Chapitre2 prise en_main_kibana

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Comme nous l’avons vu dans le chapitre 1, Kibana est l’outil principal permettant l’analyse des logs.

Le cours qui va suivre porte sur la version 3 de Kibana, sachant qu’une version 4 apportant des améliorations fera son apparition prochainement.

Mais pas de panique, l’approche contextuelle reste bien entendu la même.

Kibana


Kibana, Concepts de base :


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


Onglet General :

Title : le titre du panel dans le dashboard.Span : La largeur du panel dans le dashboard,

Cocher la propriété Editable revient à rendre le panel modifiable.Inspect revient à autoriser la consultation du code source associé au panel.

Panel Histogram : Configuration


Onglet PanelValues : fonctions de regroupement des données : count, max, min, mean, totalTransform Series : intervalle en s, afficher la dérivée (Derivative) de la courbe et

prendre en compte les zeros (Zero fill)Time Options : - Le champ qui doit être pris en compte pour l’échelle

- La Timezone qui correspond à celle du navigateur ou UTC- Le paramétrage de l’échelle de temps auto ou pas- La Résolution en nombre d’enregistrements verticaux


Onglet StyleChart Options : Présentation par Bars, Lines ou Points de l’histogramme.

xAxis et Yaxis pour l’affichage en abscisse et ordonnée. Selectable permet de rendre consultable une partie

de l’histogram.Y Format : None, short ou bytes


Multiple Series : Stack permet de cumuler les séries sur un même histogramme.On peut alors faire le choix d’exprimer les valeurs soit par dénombrement (Stack), soit par pourcentage d’une série par rapport au total des séries représentées. ( Cumulative ou Individual)

Header / Legend: Header : Activer le bouton Zoom sur l’histogramme.View permet de créer un raccourci pour la mise en forme de l’histogrammeLegend : Legend permet d’afficher la légende. S’il n’y a pas de légende, on peut afficher la requête correspondante grâce au champ Query.Counts permet de comptabiliser le nombre d’entrées pour chaque type d’enregistrement de

l’histogramme.


Grid : Min / Max : Permet de gérer l’échelle au niveau des valeurs min et max (valeur numérique)

Recommandé : Laisser en Auto, pour des changements dynamiques.


Panel Histogram : Bars

Panel Histogram : Lines


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


Onglet General :

Title : le titre du panel dans le dashboard.Span : La largeur du panel dans le dashboard,

Cocher la propriété Editable revient à rendre le panel modifiable.Inspect revient à autoriser la consultation du code source associé au panel.

Panel Table : Configuration


Terms mode :Field : Le champ sur lequel porte la TableLenght: Le nombre de lignes de la TableOrder: Count, ordre alphabétiqueExclude: Permet d’ignorer les enregistrements du champ concerné qui est renseigner dans Field et dont le libellé correspond à la valeur saisie.


Panel Table :


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


Page globale Kibana 3 : -Query : Permet de fixer les éléments à considérer dans l’analyse

Peut etre un rang, une valeur numérique, une chaine de caractèresCritères multiples possibles

-Filtering : Permet de mettre en place des critères de tri des données : -MUST / MUST NOT -Porte sur un champ-Porte sur la valeur d’un champ, un intervalle de valeurs-Possibilité de filtres multiples


Chaque dashboard est constitué de rows.Ces rows se présentent comme ci-contre (ici sous leur forme la plus réduite au nombre de 6).Chaque row va pouvoir mettre en avant des critères d’analyse via des panels.

On peut ajouter facilement une row grâce au boutonIl suffit ensuite d’ajouter simplement le nom d’une ligne et sa taille (Cf page suivante).


En cliquant sur , on peut visualiser les différentes lignes, les organiser et en ajouter une tout simplement à droite du panneau de visualisation comme expliqué précédemment.


Configurer une ligne de dashboard :

Une fois la ligne créée, il faut la configurer : panels, etc…Pour cela, chaque ligne dispose à partir de sa création un micro panneau latéral comme ci-dessous :

Collapse Raw : Réduit la ligne au minimum comme vu précédemment (uniquement le nom).Configure Raw : Utile pour réordonner des panels, en ajouter, définir leur taille.Add Panel : Raccourci pour la même fonctionnalité que l’ajout dans l’option Configure Raw.

Il suffit ensuite de créer des panels en suivant les explications pour chaque type de panel.


Configuration générale d’un dashboard :

La configuration se fait par le menu en haut à droite du dashboard :

On y retrouve :-l’intervalle de temps pour lequel on veut les données.-Un bouton Refresh.-Bouton d’accueil du portail Kibana.-Bouton Load pour accéder aux dashboards d’un même portail.-Bouton Save pour sauvegarder les modifications-Bouton Share pour partager un dashboard via URL.-Bouton principal : Configure Dashboard


Configure dashboard: Onglet General

- Titre du dashboard- Style graphique : Dark/White- Editable : A cocher pour autoriser les modifications du dashboard- Hints permet l’affichage d’une suggestion d’ajout de panneau aux

emplacements vides.


Configure dashboard: Onglet Index

- Default Index : Alias du Dashboard


Configure dashboard: Onglet Index

- Propriétés de sauvegarde : export, navigateur ou encore Elasticsearch- Propriétés d’upload via fichier, ou Elasticsearch- Propriétés de partage : Durée durant laquelle le partage est actif


Configure dashboard: Onglet Timepicker

- Options d’intervalle pour analyse ( ne dois pas dépasser la rétention des logs)

- Paramétrage de l’auto-refresh du dashboard pour visualiser les nouvelles données (ne pas le mettre trop court pour des volumes importants)

- Champ sur lequel porte les critères de temps (par défaut @timestamp). Le modifier uniquement si un changement de variable a été effectué.


Configure dashboard: Gestion des échelles

L’option Scale permet de gérer la mise à une échelle. Ici on divise par 1000 les valeurs pour avoir des valeurs plus significatives en ordonnée. On passe donc d’un maximum de 6000 ms à 6s.


Configure dashboard: Gestion des échelles

Le fait de passer l’option YFormat en type Short va permettre un autre type de simplifications des graphiques : Elle va permettre d’afficher les ordonnées en format simplifié. Exemple ici, 15 000 se transforme en 15 K.


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Style : Bars, pie, list, totalLegend : Position de la légendeList Format : Horizontal ou VerticalQueries : choix habituel

Panel Hits : Configuration


Panel Hits : Bars Panel Hits : Pie


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Style : Bars, pie, tableLegend : Position de la légendeLegend Format : Horizontal ou VerticalQueries : choix habituel

Panel Terms : Configuration

Terms_mode: Terms ou Terms_statsField : Le champ que l’on souhaite traiterOrder : Count, Term ou inverséOn peux également exclure des termes que l’on ne veut pas voir apparaître, séparés par une virgule. (Exclude Terms)


Panel Terms : Pie Panel Terms : Bars Panel Terms : Table


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Queries : choix habituel

Panel Bettermap: Configuration

Coordinate Field : geoip.location Tooltip Field : Le champ qui est mis en valeur lorsque l’on place le pointeur de la souris.Max Points : Le nombre de points à prendre en compte. Le fixer au nombre d’enregistrements (nombre de hits).


Panel Bettermap


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.

Panel Text : Configuration

Mode : Text, HTML, Markdown (langage de balise semblable à HTML)Content : Le texte que l’on souhaite saisir.


Panel Text

NB : Possibilité d’insérer des liens href, etc …


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines


On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Style : Bars, pie, tableLegend : Position de la légendeLegend Format : Horizontal ou VerticalQueries : choix habituel

Panel Map : Configuration

Field : Le champ sur lequel porte la synthèse du panel Max : Le nombre de valeurs que l’on souhaite prendre en compteMap : Le choix du planisphère : Monde, Europe et USA


Panel Map


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines



Panel Trends : Configuration

Time Ago: Délai pour la mise en place de l’échelleFont Size : Taille de la police d’écritureList Format : Format de la liste (vertical ou horizontal)Reverse Colors : Inversion des couleurs rouge et vert (uniquement pour aspect graphique)


Panel Trends


Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines



Panel Sparklines: Configuration

Chart Value : Count, Term ou inverséTime Field : Le champ que l’on souhaite traiterDerivative : Afficher la dérivée ou affichage classique


Panel Sparklines

Data & Analytics

Chapitre2 prise en_main_kibana