BF-Games Servercrash

[Kantholz 691]

Hier ein kurzes Statement von offizieller Seite.

Heute (am 11. September 2012) gab es einen verheerenden Zwischenfall unseres Webservers. Normal verfügt der Server über zwei Festplatten die via RAID1 gespiegelt sind. Was heute früh gegen 7:45 Uhr passiert ist, ist der Super-GAU eines jeden Servers: Beide Festplatten meldeten extrem hohe read und write error-rate via S.M.A.R.T. - hier beginnen dann die Festplatten auf "Reserversektoren" zu schreiben und die fehlerhaften Sektoren "auszuklammern" (vereinfacht). Davon sind aber nur eine begrenze Anzahl von Sektoren reserviert, ist dieser Wert gleich null gibts keine "Ausweichmöglichkeit" mehr.

Laut Hetzner Support sind beide Platten physikalisch defekt.

Den ganzen Tag über hab ich dann mit Hilfe eines "rescue" Systems eine der beiden Platten wieder einigermaßen gangbar gemacht sodass ich auf Teile der Daten zurückgreifen konnte. Das "aktuelle" Backup das ich von den Festplatten sichern konnte war leider das vom Stand des 22.06.2012. Beim Versuch neuere Backups wegzukopieren hat sich die Platte immer nach kürzester Zeit vom Bus abgehängt - was die Aussage des Hetzner Supports unterstützt.

Der Grund für diesem Datenverlust liegt daran, dass die MySQL Dumps die täglich gemacht wurden nicht auf unserem "externen" Backupserver gespeichert wurden, da dieser bereits voll war mit den Newsbildern und vor allem den Uploads aus dem Forum.

Nach kurzer internen Diskussion haben wir beschlossen die Seite mit den vorhandenen Daten so schnell wie möglich wieder online zu bringen, wohlwissend um den Verlust von rund 3 Monaten News, Downloads, Kommentaren, Threads und Forenposts. Unser Ziel ist es das Portal im Bezug auf die News innerhalb der nächsten Wochen so weit wie möglich wieder zu vervollständigen, das Forum rückwirkend mit Informationen zu versorgen ist allerdings leider nicht möglich.

Soviel erstmal zum jetzigen Stand der Dinge - alles weitere folgt in den nächsten Stunden bzw. Tagen.

PS: die hochgeladenen Bilder, Avatare und Co. spiel ich gerade eben wieder ein.

[pnshr 1433]

erstmal danke fürs schnelle wieder on gehn, ihr (du?) braucht jetzt sicher literweise kaffee^^

news haben manche redakteure vllt noch aufm rechner in worddokumenten oder so. das forum wird sich von selbst wieder füllen (tuts ja jetzt schon).

gibts nicht die möglichkeit 2 "externe" backupserver laufen zu lassen? einen für newsbilder und den ganzen klump, der andere für mysql dumps.

[Kantholz 691]

Ist halt einfach immer ne Kostensache... Im Leben ist nix umsonst, und vor allem für ein richtig ausfallsicheres Backupkonzept kannst man richtig viel Geld ausgeben.

Das Thema (Ausfall-) Sicherheit ist bei weitem nicht zu kurz gekommen, aber für einen "Tod" mussten wir uns letztendlich entscheiden. Und so wurde eben zwischen "DB Dumps auslagern und auf Bilder verzichten" und "DB Dumps lokal auf deim [eigentlich] ausfallsicheren RAID1 lassen und Bilder rsyncen" abgewägt und wir haben uns für ersteres entschieden.

[pnshr 1433]

und wenn man einfach die bilderupload-funktion (für screens etc.) deaktiviert?

die ist eh meistens ziemlich limitiert von der bildergröße her, da ist z.B. abload viel komfortabler. benutze eh nichts anderes

[Terpo 63]

Wow, hab ich noch nicht gehört das zwei Platten im Raid 1 gleichzeitig den Geist aufgeben. Hatte mich schon gewundert das die Seite den ganzen Tag down war und nu nix aktuelleres als Juni zu finden war, aber hey, BF-G lebt und das zählt!

Der Rest wird sich die Wochen sicher wieder einrenken

[El_Exodus 1405]

bad luck^99 wirklich helfen kann ich in den nächsten 2 wochen aber nicht, weil ich da im urlaub bin. hoffentlich bekommen wir wenigstens wieder einen recht großen anteil von allem wieder neu erstellt..

[Mc_Crowley 0]

Huhu,

Ah, jetzt weiß ich endlich was los war.

Zuerst dachte ich ja an einen Hack oder dergleichen, aber den würdet ihr ja nicht unter den Teppich kehren, oder?

Ich hab mich gar erschreckt, weil mein (neues) Passwort nicht funktionierte.

Wirklich schade um die Daten.

Habt ihr denn nicht einen extra Backupserver für soetwas?

Da reicht ja schon theoretisch popeliger Filespace für einige Groschen sofern da bei inkrementellen (!) Backups nicht hunderte Gigabytes anfallen Oo.

Ich mein, bekommt man diese Dinger denn bei Serverangeboten nicht gratis hinterhergeschmissen? Bei einem bekannten Hoster gibts zum Beispiel zu jedem Server netzinternen Backupspace ab 100Gb.

Dennoch, ein Ausfall des gesamten RAID-Verbunds ist schon krass - und dies auch noch am 11. September. Man könnte dies gar als Zeichen deuten...

Gruß,

PS

Man kann keine Avatare mehr uploaden weil du Uploadfunktion mit einem Fehler quittiert.

[=kettcar= 259]

Ich für meinen Teil schreibe die News live und speicher sie nicht bei mir ab

[Kantholz 691]

(...)

Habt ihr denn nicht einen extra Backupserver für soetwas?

Da reicht ja schon theoretisch popeliger Filespace für einige Groschen sofern da bei inkrementellen (!) Backups nicht hunderte Gigabytes anfallen Oo.

(...)

Ich mein, bekommt man diese Dinger denn bei Serverangeboten nicht gratis hinterhergeschmissen? Bei einem bekannten Hoster gibts zum Beispiel zu jedem Server netzinternen Backupspace ab 100Gb.

Diesen Backupspace nutzen wir bereits für den "uploads" Ordner im Forum und für unseren Images vhost (der auch noch nicht läuft...)

hier werden die Daten schlicht und einfach ge-rsynct, keine revisionsverwaltung, nothing, nur ein 1:1 spiegel. Damit ist dieser Backupspace fast voll, es würde de fakto kein einziger Tag der sqldumps mehr draufpassen, da diese selbst ge-tar-gzipt noch mehrere gigabytes groß sind (vor allem das forum mit seiner "posts" tabelle schlägt da ordentlich zu buche, aber auch die kommentartabelle aus dem portal ist nicht zu vernachlässigen).

Man kann keine Avatare mehr uploaden weil du Uploadfunktion mit einem Fehler quittiert.

ich weiß, ist beabsichtigt. der wwwrun benutzer bekommt wieder schreibrechte sobald ich wieder alles zurück-ge'rsycnt habe um keinen inkonsistenten Stand zu verursachen.

[sid6.5 319]

Ist halt einfach immer ne Kostensache... Im Leben ist nix umsonst, und vor allem für ein richtig ausfallsicheres Backupkonzept kannst man richtig viel Geld ausgeben.

Das Thema (Ausfall-) Sicherheit ist bei weitem nicht zu kurz gekommen, aber für einen "Tod" mussten wir uns letztendlich entscheiden. Und so wurde eben zwischen "DB Dumps auslagern und auf Bilder verzichten" und "DB Dumps lokal auf deim [eigentlich] ausfallsicheren RAID1 lassen und Bilder rsyncen" abgewägt und wir haben uns für ersteres entschieden.

+1

Zumindest die DB muss einmal pro Woche (automatisch) gesichert werden. Komplettbackup der gesamten Seite sollte aber auch 1x im Monat erfolgen. 3 Monate ist schon sehr lange.

Zu dem Thema sollte man schnell eine News auf die HP packen. Die "aktuelle" über das double XP ist *etwas* verwirrend.

Habt ihr mal bei eurem Hoster nachgefragt wieviel euch ausreichend Backupspace pro Jahr kosten würde?

Man kann ja einen Donation Run auf der HP starten mit Donationmeter *soviel Kohle brauchen wir für den server!* - zus. Newsmail an alle reg. Benutzer. Da sollte das schon machbar sein.

Bearbeitet 12. September 2012 von sid6.5

[Kantholz 691]

http://wiki.hetzner.de/index.php/Backup

wir werden definitiv in Erwägung ziehen dan Backupspeicher zu erhöhen, wie wir das mit den Kosten machen muss erstmal intern durchdiskutiert werden, weil da sind wir ab absoluten maximum angelangt was das Team aufwenden kann...

Wie gesagt: Backups wurden täglich gemacht, auch mir Backuprevisionen, aber das ist halt relativ hinfällig wenn mans auf einer Partition auf dem Raid speichert und sich das gesamte Raid verabschiedet :-/

[Krockeschinski 1765]

09/11/2012

NEVER FORGET

WORST DISASTER IN HISTORY

[Flo 839]

bfg 11/9

never forget

ein Anschlag auf unsere Freiheit

qft

[c4m3l 128]

Woaaaa, gestern den ganzen Tag nicht gewüsst wie ich mir die Zeit bei der Arbeit ohne BF-G totschlagen soll!

Danke deshalb an alle beteilligten das heute wieder alles funktioniert!

[-=Punkbuster=- 166]

News ist in Arbeit...