Meine Firma betreibt eine Webseite auf der enorme Mengen von Logs anfallen. Wir können/wollen daher die Logs nicht in einer relationalen Datenbank ablegen, weil das zu langsam bzw. zu teuer (Hardware) wäre. Es sind auch keine komplizierten Abfragen geplant (eine contains-Textsuche reicht völlig aus). Wie gehen wir am besten mit den Logdaten um?
|
101 ● 1 ● 2 |
8 Antworten
Ich würde wie meine Vorredner zu einer Textdatei greifen. Jeder Logeintrag sollte über einen Zeitstempel verfügen, sowie in seiner Meldung Aussagekräftig sein (z.B. ist eine Meldung wie "Der Kommandozeilenparameter xy ist unbekannt" ist besser als "Achtung Fehler"), das ist klar.
Darüber hinaus würde ich, wenn ich auf kein spezielles Loggingsystem eines Drittanbieters zurückgreifen möchte, folgende Punkte berücksichtigen:
Darüber hinaus würde ich, wenn ich auf kein spezielles Loggingsystem eines Drittanbieters zurückgreifen möchte, folgende Punkte berücksichtigen:
- Nur anonymisierte Daten speichern. Lieber eine User ID speichern als Username u.ä. ausgeben. Niemals Passwörter per Logdatei speichern.
- Jeden Tag eine neue Logdatei erstellen
- Die Logdateien beinhalten im Dateinamen das Datum, so dass diese sinnvoll sortiert angezeigt werden können
- Jede Tag/Woche/Monat (abhängig davon wie schnell diese größer werden) sollten die neuen Logdateien mit einem Packprogramm gezippt werden. Am besten automatisch triggern.
- Kopiere die Logdateien nach dem packen auf ein Backup-Laufwerk oder ähnliches. Ebenfalls Automatisch Triggern.
- Die automatischen Prozesse oben sollten regelmäßig kontrolliert werden, am besten einen automatischen Report generieren, der wöchentlich/monatlich per Email darüber auskunft gibt wieviele Dateien gezippt wurden und ob die gleichen Dateien im Backupordner liegen
- Last but not Least: Falls sinnvoll, regelmäßiges Löschen der Logfiles aus dem System und ggf. Backupordner.
- Falls eine Langzeitarchivierung gefordert ist, dann den vorigen Punkt vergessen und statt dessen die Logfiles vom Backupsystem regelmäßig auf Datenträger kopieren.
|
428 ● 1 ● 4 |
Wenn ihr die Dateien nicht mit Windows betrachten wollt, würde ich ein Flatfileformat nehmen. Entsprechende Trennzeichen und ein kleines Script das alles schreibt und liest wäre schnell und einfach geschrieben.
|
61 ● 1 ● 2 |
Mit Log4Net ist es auch möglich, die Logereignisse über das Netzwerk an einen anderen zentralen Rechner zu schicken, um dort alle Logs gemeinsam zu sammeln. Das könnte dann in Form einer XML Datei geschehen.
Diese kann man dann auch sehr komfortable mit Log4View betrachten (ist allerdings kostenpflichtig)
Diese kann man dann auch sehr komfortable mit Log4View betrachten (ist allerdings kostenpflichtig)
|
41 ● 1 ● 1 |
Ich schließe mich den Vorrednern an. Noch zwei Tips aus eigener Erfahung:
1. Am schnellsten Text in Dateien bekommt man mit file_put_contents().
2. Überlegt Euch ob Ihr Loglevels und/oder Tracelevels einführt, dann kann man einfacher über die Logfiles greppen. Bsp.:
WARNING This is a warning log message.
TRACE-4711 A log message from the component with trace level 4711.
...
1. Am schnellsten Text in Dateien bekommt man mit file_put_contents().
2. Überlegt Euch ob Ihr Loglevels und/oder Tracelevels einführt, dann kann man einfacher über die Logfiles greppen. Bsp.:
WARNING This is a warning log message.
TRACE-4711 A log message from the component with trace level 4711.
...
|
41 ● 1 ● 1 |
Mein Empfehlung wäre, schau dir mal die syslog Kommandos an. Der Dienst ist in fast jedem Linux / Unix System vorhanden und sehr mächtig. Zudem gibt es auch schon viele Tools die große Log Files packen und archivieren. Was ich nicht hundertprozentig weiß, ist wie der Dienst mit
euer Datenflut zu recht kommt
euer Datenflut zu recht kommt
|
21 ● 1 ● 1 |
Wenns eine Unix-Maschine ist, dann Logrotate
(Creating logfile archives with logrotate)
Die Logfiles werden ggf. nach Datum in Verzeichnissen archiviert
und können mit einfachen gunzip/grep-Kommandos durchsucht werden.
Billig, fehlertolerant und schnell.
Viele Grüße
(Creating logfile archives with logrotate)
Die Logfiles werden ggf. nach Datum in Verzeichnissen archiviert
und können mit einfachen gunzip/grep-Kommandos durchsucht werden.
Billig, fehlertolerant und schnell.
Viele Grüße
|
357 ● 1 ● 5 |
|
|
357 ● 1 ● 5 |
ihr könntet einfach eine textlog ala
ZEITSTEMPEL LOGMELDUNG
ZEITSTEMPEL LOGMELDUNG
.
.
.
nutzen, das lässt sich manuell sehr schnell auswerten+schreiben und ist auch noch mit einem Texteditor recht gut lesbar.
ZEITSTEMPEL LOGMELDUNG
ZEITSTEMPEL LOGMELDUNG
.
.
.
nutzen, das lässt sich manuell sehr schnell auswerten+schreiben und ist auch noch mit einem Texteditor recht gut lesbar.
|
77 ● 1 ● 2 |
Wo kommen die Logs her, wo gehen sie hin, und was steht ungefähr drin?
Logs auf dem Webserver zu belassen würde ich ab einer gewissen Anzahl an Kunden nicht mehr weil die IO des Hostsystems in die Knie gehen kann.