Elasticsearch 5.0 les nouveautés

PowerPoint Presentation

elasticsearch 5.0les nouveautsMathieu [email protected]

PrsentationMathieu ELIEConsultant et formateur elasticsearchTwitter: @mathieuelWeb: http://www.mathieu-elie.netTech freelance depuis 5 ans

Le stack partir de 5.0

Le stack 5.0Toutes les versions calles sur le mme numro.Kibana 5.0 logstash 5.0 beats 5.0X-pack: shields marvel etc packag sur tout le stack.Meilleur intgration de ses produits sur tout le stack.

Lucene 6.0

Lucene 6.0Dimensionnal pointsNumrique, date et gospatialHalf disk spaceIndex deux fois plus viteRecherche: +25% de performanceParfait pour le logging et les metrics

Ingest Node

Ingest nodeFiltre logstash comme grok, split.Pas besoin de tout logstash sur de nombreux use cases.Applique des processeurs au moment de lindexation.Index et bulk.

Painless scripting(with Painless !)

PainlessGroovy disabled par dfaut pour raisons de scuritNouveau langage enabled par dfaut.Conut spcifiquement pour esDonc plus scure.Plus performant.

Instant aggregations

Instant aggregationsCache ok mme avec time.nowQuery parser re-critDonc plus de scu et.Plus de perfs avec du cachingQuery cache enabled par dfaut car gros gain de perfs.

Text/Keyword to Replace Strings

Text / KeywordString -> full text | keyword comme tag, email. Domain nameText -> full texte et relevanceKeyword -> pour agrgations / filters. Doc values.Text: field data disabled / scurit pour ne pas loader toute la data en mmoire.

Text/Keyword to Replace Strings

Completion Suggester v2

Completion suggester v2Compltement re-crit.Prends en compte les documents supprims.Retourne des documents entiers.Score: peuvent tre ajusts.

Settings Validation

Settings validationStrictement valids.Valide globalement / atomic.Unset ! -> nullLes valeurs par dfaut peuvent tre rcupres. ?include_defaults

Safety in production

Safety in productionBind localhost -> devBind ip -> productionLocal -> warnProduction -> do not start

Resilience

ResilienceBeaucoup damliorationsFile path name -> hash et pas index.Cluster state / dmarrage.

Migration Helper

Migration helperAide prparer la migration de 2.0 vers 5.0Cluster checkup.Re-index helper.Deprecation logging.

Deleted Index Tombstones

Deleted Index TombstonesAu restart dun cluster ->Des indices delets pouvaient re-apparaitre !-> fixed

Indexed Scripts/Templates are now Stored

Indexed Scripts/Templates are now StoredAvant -> stock dans un index.Doit etre dmarr avant les autres-> cluster state

So long Environment Vars and thanks for all the fish

So long Environment Vars and thanks for all the fishJvm.optionsLigne de commande re-factore.

Safety Measures

Safety MeasuresBootstrap ->Check heap size correcte ->Mmapfs nead virtual memory

Bootstrap Checks

Bootstrap checksLocal -> warningsProduction -> stop

Indexing Performance

Indexing performanceTravaux sur les locks+ 15 a 20 % sur l 'index des petits documents grace aux locks de concurrent updateaussi des gains sur le fsync du transaction log

Dots in Field Names

Dot in fields nameRemoved in 2.0En 5.0 -> se comporte comme un objet (hirarchie).

Shard Allocation

Shard allocationFailed -> possible -> mais ? Pourquoi ?Api ddie pour rpondre cette question.

Java REST client

Java REST clientClient lger bas niveau.Pas transport (protocole).Moins de dpendences: code et version de server.

Rollover indexing

Rollover indexingGestion de time based indices.Rollover index alias if too old or too big.Shrink multiple shards to one shard.

Wait for refresh

Wait for refreshWait for refresh a lindex.Near real time !

Index creation friendly to sysadmins

Index creation friendly to sysadminswaits for the primay shard allocated before responding-> plus de red status furtifs -> plus dalertes.

Netty4

Netty4Upgrade de la library de networking-> super important mais risquSwitch back netty 3.0 possible si bugs ou autres problmes.

Security improvements in X-Pack

Security improvements in X-PackPlus simple pour grer les certificats SSLOutils helpers.

THE ENDQuestion ?Follow @mathieuel