Elasticsearch 5.0

Thiago SouzaSupport Engineer @ ElasticElasticsearch 5.0

#

Elasticsearch 5.0Um pouco sobre mimDesenvolvedor h mais de 10 anos

Utilizo o Elasticsearch desde 2010 (em produo desde v0.90.0) Recentemente iniciei como Support Engineer na Elastic

#

Elastic Overview

70,000+CommunityMembers

estatsticas desde 2012, quando a empresa foi criada70M+ProductsDownloads2,400+SubscriptionCustomers

We aim to help you make your data usable in real time to power mission critical applications that solve todays real problems

#

#Global Customer Base

TechFinanceTelcoConsumer

#

Elasticsearch is an Open Source (Apache 2), Distributed, RESTful, Search Engine built on top of Lucene.http://www.elasticsearch.org - 2011

#

Apache LuceneTM is a high-performance, full-featured text search engine library written entirely in Java. https://lucene.apache.org/core

#

Full-featured text search engine

Library written entirely in Java.

Uma biblioteca Java off-line, acessada localmente.

Elasticsearch 5.0Apache Lucene: Full Text Search

IdTextoIdsTermo1Amanh vai chover no Rio de Janeiro1amanha2Rio de Janeiro tem muita praia!1chov2praia1,2rio...

Inverted Index

#

Full-featured text search engine

Library written entirely in Java.

Uma biblioteca Java off-line, acessada localmente.

Elasticsearch 5.0Apache Lucene: Full Text Search

IdTextoIdsTermo1Amanh vai chover no Rio de Janeiro1amanha2Rio de Janeiro tem muita praia!1chov2praia1,2rio...

Inverted Index

"Amanh" => "amanha""chover" => "chov"

#

Elasticsearch 5.0Apache Lucene: AggregationsOrientado a TuplasOrientado a ColunasidNomeIdadePesoidNomeIdadePeso1Joo34811Joo3481X2Maria51652Maria51653Jos53763Jos5376Agregaes mais rpidasAVG(Idade) = 46SUM(Peso) = 222

#

Elasticsearch 5.0Elasticsearch

$ curl -XPOST 'localhost:9200/twitter/tweet/' -d '{ "user" : "kimchy", "post_date" : "2009-11-15T14:12:12", "message" : "trying out Elasticsearch"}'HTTP + JSONUm index no Elasticsearch composto por 1 ou mais shards e cada shard com 0 ou mais rplicas

#

Elasticsearch 5.0Elasticsearch: v0.90.0 (2013)Alta Disponibilidade

Escalabilidade Horizontal

API RESTful

Busca Full Text

Busca Multifaceted:TermHistogramRangeetc...

#

#

Elasticsearch 5.0Elastic Stack 5.0

Nova identidade visual

Release unificado

X-Pack: Pacote de Plugins

#

#

Segurana

Elasticsearch 5.0ElasticsearchJava Security Manager para plugins.Sandboxed Scripting (Painless).Verificao de Jarhell.Suporte a Site plugins removido.

#

#

Apache Lucene 6.0

Muda fundamentalmente como nmeros so tratados. Lucene 6.0 guarda dados numricos em uma estrutura chamada k-dimensional tree.

Na prtica, isso significa que, se tratando de nmeros:

Elasticsearch 5.0ElasticsearchOcupa metade do espao em disco e tambm requer menos memria.Indexao 2x mais rpida.Busca 25% mais rpida.Permite suporte a nmeros gigantes como IPv6.https://www.elastic.co/blog/lucene-points-6.0

#

#

Apache Lucene 6.0

Fundamentalmente muda o algoritmo de scoring.

Lucene 6.0 utiliza o algoritmo Okapi BM25 para ordenao por relevncia. Antes era TF-IDF.

Elasticsearch 5.0Elasticsearch

#

#

Apache Lucene 6.0

Fundamentalmente muda o algoritmo de scoring.

Lucene 6.0 utiliza o algoritmo Okapi BM25 para ordenao por relevncia. Antes era TF-IDF.

Elasticsearch 5.0Elasticsearch

https://www.elastic.co/elasticon/conf/2016/sf/improved-text-scoring-with-bm25

#

#

Wait-For-Refresh

O novo recurso Wait-For-Refresh vai permitir que uma operao de escrita bloqueie o retorno at que o prximo refresh regular acontea.

Elasticsearch 5.0Elasticsearch

PUT my-type/my-type/my-id?refresh=true /**