Allgemein

SplunkLive Konferenz in München

Am 20.3. war die SplunkLive Konferenz in München und ich war dabei. Hier nun ein kleiner Auszug für euch:

Let the day begin

Nicht meinen hellsten Moment hatte ich bei der Planung der Dienstreise. Um 4 Uhr morgens aufgestanden, halb 5 losgefahren um pünktlich 6:15 Uhr meinen Flieger nach München zu bekommen. Angekommen am Flughafen, schleuderte ich meine 12€ Spesen zu 65% direkt für ein Luxusfrühstück raus.

Der weitere Verlauf der Reise verlief wie erwartet: Der übliche Herdentrieb an der Flugzeugrolltreppe trotz Sitzplatzreservierung und eine knappe Stunde Flug bis München.

In München angekommen war die Weiterreise recht angenehm. Der Veranstaltungsort der Konferenz lag in einem Hotel direkt am Münchener Hauptbahnhof. Also fix ein Ticket gezogen und vom Flughafen direkt mit der S-Bahn zum Hotel gefahren.

Nun hieß es sich anmelden, Tagespass in Empfang nehmen und los gehts. Erwartungsgemäß gab es zwei Schlangen bei der Registrierung. Gemäß Lemmingkodex stellten sich alle an der langen Schlange an, welche schließlich bis zum Eingang des Hotels reichte. Dank meiner 0,045% Lachs-Gene, schwamm ich gegen den Strom, nahm die kurze Schlange und durfte anschließend bereits mit Kaffee in der Hand den Rest der Schlange begutachten. Wetterbedingt gab es einige Verzögerungen, weshalb die erste Session nicht pünktlich beginnen konnte. So starteten die Sessions letztendlich mit gut einer halben Stunde Verspätung.

 

Let’s start

Grundsätzlich wollte ich an dieser Konferenz teilnehmen, da wir im Unternehmen bereits Splunk einsetzen und ich mir erhoffte Input zu bekommen wie und für was man Splunk noch sinnvoller einsetzen kann.

Angefangen hat alles mit einer Begrüßungsrunde und drei recht interessanten Vorträgen von Splunk-Kunden. Da ich mir nicht sicher bin, ob ich die Namen hier einfach so nennen darf, umschreibe ich es mal wie folgt:

Kunde 1: Ein großer Automobilkonzern aus Bayern, der Splunk nutzt um über Heatmaps Car Sharing Nutzung zu optimieren.

Kunde 2: Ein auch nicht kleiner Maschinenhersteller der über Splunk zum Beispiel die Zündkerzenspannung mehrerer Maschinen überwacht und diese proaktiv tauscht.

Kunde 3: Ein mega großer Hersteller für Alles 😉 der Splunk nutzt, um Securityangriffe zu erkennen.

Alle drei Vorträge waren durchweg interessant und haben die Vielfältigkeit der Nutzung von Splunk deutlich aufgezeigt. Musikalisch hinterlegt war diese Session von einem ständig klingelnden Nokia 6310.

 

Anschließend starteten die Tracks wo jeder sich sein Steckenpferd selbst heraussuchen konnte.

Generell waren die Tracks in drei Kategorien unterteilt: “Überblick Track”, “IT Track” und der “Security Track”

Meine erste Session hieß “Metriken und Logs integrieren für Troubleshooting & Monitoring”. Allein durch die Farbe des Fußbodens wurde mir die Teilnahme hier quasi aufgezwungen:

Dieser Vortrag zeigte einige neue Features der Splunk Version 7.0 und einige für mich altbekannte Dinge. Erwähnenswert wäre hier einzig die neue Möglichkeit, hochperformante Metriken in Splunk abzubilden.

Der zweite Vortrag hingegen (“Maschinendaten laden in Splunk”) brachte ein paar mehr Erkenntnisse:

Was mir perönlich neu war, ist die Möglichkeit Splunk auch ohne Forwarder zu betreiben und eine agent-less Konfiguration aufzusetzen, welche über http/https läuft. Zusätzlich wurde mehrfach auf die “predict” Funktion eingegangen, welche es automatisiert ermöglicht Vorhersagen über Ressourcennutzung, Auslastung und so weiter zu treffen. Als positiv empfand ich die Tatsache, dass die Community stark gewachsen ist, Splunk hier eine Base bietet und versucht, den Communitygedanken zu leben. Beispielsweise kann man sich unter dev.splunk.com ein Entwicklerpaket herunterladen, eigene Apps für Splunk schreiben und diese auch über die Splunkbase veröffentlichen lassen.

Als Showcase diente unter anderem das “Splunk Addon für Unix und Linux Setup”, welches es ermöglicht, eine Menge der typischen sysadmin Werkzeuge direkt durch Splunk nutzen zu lassen (z.B. top, iostat, netstat, etc.). Auch hier wurde ein Querverweis zum Security Track gegeben, indem darauf hingewiesen wurde, dass ein Hacker sicher zuerst Logs auf einem kompromitiertem System löscht um seine Spuren zu verwischen und hier Splunk hilft, da es die Logs in Echtzeit an den zentralen Loggingserver überträgt. Generell gilt diese Aussage aber natürlich für nahezu alle zentralen Loggingserver und stellt somit kein spezielles Splunk-Feature dar.

Interessant war die Kombination aus der Sammlung von Performancewerten und der predict-Funktion. Wer kennt nicht die Fragen aus dem Management:

“Brauchen wir nächstes Jahr eine größere Netapp oder reicht unser Speicherplatz noch?”

Mit Hilfe der predict-Funktion hat man hier sicher einen Ansatz, um sein Bauchgefühl mit ein wenig Daten zu hinterlegen. Aufgrund der Komplexität von IT-Infrastrukturen, würde ich mich allerdings unwohl fühlen  mich einzig darauf zu verlassen.

Ein weiterer Security Ansatz für Splunk war der Gedanke, unter Linuxservern beispielsweise das /etc Verzeichnis überwachen zu lassen und somit ungewollte Änderungen zum Beispiel durch Hacker schneller entdecken zu können. Sicher gibt es eigene Tools die auf derartige Aufgaben spezialisiert sind, wie auditd und der Gleichen, allerdings fand ich die relative simple Einbindung und Konfiguration dieser Überwachungsmethode an dieser Stelle recht charmant.

Der dritte Vortrag nannte sich “Vorrausschauendes, proaktives und collaboratives Machine Learning mit Splunk ITSI” und machte seinem Namen alle Ehre. Splunk ITSI steht für “Splunk IT Service Intelligence”. In dieser Splunk App ist es möglich, KPIs zu konfigurieren, Abhängigkeiten von Services und Events zu definieren und all das auch übersichtlich zu gruppieren. Grundsätzlich sieht sich ITSI mit seinen Bordmitteln für folgende Tasks gewappnet:

  • Anomaly Detection – Entdecken von Auffälligkeiten in bestimmten Events oder Eventgruppen
  • Predictive Analytics – Erstellen von vorhersehenden statistischen Analysen
  • Clustering – Zusammenfassen verschiedener Events in Gruppen z.B. um Alarme zu minimieren

Generell arbeitet hier ITSI mit 300+ open source Algorithmen aus dem Bereich des Machine Learnings. Über eine API sind jedoch auch eigens erstellte Algorithmen integrierbar.

Für sehr rechentintensive Aufgaben wurde eine Spark-Integration geschaffen, um intensive Rechenoperationen auch auslagern zu können.

Mit Hilfe von ITSI wären sehr charmante Problemlösungsansätze denkbar, zum Beispiel:

  • Webserver schicken gruppierte Daten (Anzahl Sessions im apache, Load des Servers, Auslastung RAM, response time der Applikation aller Webserver für die bereitgestellte Applikation)
  • Über ITSI wird erkannt, dass ein Performanceproblem mangels Ressoucen vorliegt
  • Reagiert wird darauf indem vollautomatisiert eine neue Webserverinstanz bereitgestellt wird

Zum Thema Machine Learning gab es dann noch ein wundervolles Anwendungsbeispiel mit Spaßfaktor:

 

Alles in Allem hat sich für mich die Konferenz gelohnt, jedoch konnte meine Skepsis, ob es nicht auch ein Open Souce Tool für unsere Use Cases tut, nicht komplett widerlegt werden.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.