Oh man… Das ist mir so peinlich das ich finde, es gehört einfach hierhin!

Vor wenigen Tagen hatte ich wohl eine der stressigen Wochen überhaupt. Eine Festplatte meines Servers stand davor den Geist komplett aufzugeben. Auf dem System liefen mehrere VMs.
Das unschöne dabei.. das System war im Raid 0.

Aber Raid 0 ist doch total behindert?!

Jap.. Danke Kevin. Ich bin dir nicht böse.. aber doch… bin ich. ♥
Innerhalb von 7 anhalb Tagen, war ich wie bekloppt mit dem Support meines Dedi. Root Server Betreiber in Kontakt, so wie dem Support der Virtualisierungssoftware die ich nutze. Nebenbei musste ich mich noch auf die Arbeit konzentrieren. Trotz dessen das ich meine Arbeit höher Priorisiert hatte, kam ich nicht dran vorbei öfters mal bis halb 2 Uhr morgens zu sitzen.
Ein Zugriff auf das System war noch möglich, auch wenn eher schlecht als recht. Windows VMs bekamen schneller einen Bluescreen als ich Ditscheridu sagen konnte. Die Rettung sollte also ein Backup über das Backup System der Virtualisierungssoftware sein. Leider funktionierte diese nur über FTP.

Somit ging es los einen großen FTP Speicher zu finden wo ich ca. 2 TB an Server absichern kann. In diesem falle nur 3 VMs die mir als die wichtigsten erschienen. Hier schnell Angebote eingeholt da es wirklich dringend war und mich für Hetzner und Ihre StorageBox entschieden. Einerseits da der Problem Server ebenfalls dort angemietet war und andererseits, wegen dem dadurch höheren Geschwindigkeiten. Das StorageBox Angebot ist wirklich klasse und Preis/Leistung auch völlig gut! (Ich werde dafür nicht bezahlt) was aber wirklich.. ja.. schade war, ist das trotz der Notlage und entsprechenden Anfrage für eine StorageBox für die Laufzeit von 2 Wochen für den halben Preis, ich nur eine Nachricht erhielt mit NÖ. Voll oder gar nicht.
Sehr schade hier von dem Sales Team.. Ich bin dort schon länger Kunde mit diesem Server und habe diesen damals sogar eingetauscht gegen einen älteren.. aber mittlerweile überlege ich mir diesen komplett zu den anderen zu Anbieter zu ziehen. Während der Technische Support 1A war und ich mich mit diesen auf einer Wellenlänge fühlte, eintäuschte mich dies doch schon sehr, da keine anständige Erklärung bis auf kurz “geht nicht” kam. Buhu Hetzner.. Buhuu..

Der Virtualisierungssoftware Support wird ab jetzt mit 5*Support abgekürzt. 😀

Als die StorageBox da war ging es los. 5*Support kontaktiert wie was wo. Man muss dazu sagen, ich war mit diesen schon in Kontakt über mögliche Sicherungsarten, eben weil wegen HDD put.
Ohhh boyy, flott eingerichtet wie Sie mir das gesagt haben. Backups gestartet. 8 Stunden später. VPS 2 & 3 sind nur 34GB groß.. das passt nicht.. allein 34GB liegen als Share Files auf einer VM..
Wieder den 5*Support kontaktiert. “Festplatten sind nur so groß wie sie grade benötigt werden.” Heißt.. vergrößern sich dynamisch.. mhmm.. dreck.. war die StorageBox etwas groß… egal, kann nicht schaden! 😡 nach 1 Tag hin und her wurde das Problem gelöst. Die /tmp Partition war zu klein.. Ohhh.. gut das LVM lief. Mit großer Angst eine weitere /tmp Partition auf einer eigenen Gruppe erstellt und zugewiesen. Auf Empfehlung die Backup per SSH in einem Screen manuell gestartet und die Logs verfolgt. OH BOY OH BOY OH BOY!!! Anhand der Logs wäre ich noch Irre geworden.. alles las sich so, als wenn es fehlgeschlagen wäre. Die Daten waren aber! Auch hier auf Empfehlung noch 2 weitere Backups gestartet. Das ganze kostete mich nochmals 3 Tage. Ab diesem stand waren wir schon bei 5 / 7 (1/2) Tage.

Die neue Platte ist drin.
Da ich das System ewig nicht aufgesetzt hatte und Linux immer etwas schwerer ist, wenn man es lange nicht mehr sah… verlor ich allein bei dem Aufsetzen des Systems einen halben Tag.
Es war Zeit die Backups einzuspielen. Mich beim 5*Support erkundigt ob ich was beachten muss und auch daran gehalten was mir gesagt wurde. Backup VPS1 eingespielt.. Bootet nicht.. 3 Partitionen sind dahin… Oh nein… Backup VPS1 – B2 eingespielt… ähnliches Ergebnis. Oh bitte nicht.. Backup VPS2.. Bootet gar nicht erst.. Backup VPS3.. PXE BOOT, not Bootable Device.

Anmerkung: Ich habe so gut es ging grobe Files von dem Server per SSH / SFTP / Remote gesichert, aber auch nur Configs und Server Files.

An diesem Punkt war der Tag für mich gelaufen. Ich wusste ich habe grobe Backups und voll Backups mit denen ich nichts anfangen kann. Mein Urlaub ist noch etwas hin um alles wieder aufzusetzen. Ich konnte mir nicht einmal böse sein, es war meine Schuld Raid 0 damals zu verwenden. Den 5*Support kontaktiert um zu hören das die Backups wirklich “faulty” sind. Nope! Sie versuchten mir weiter zu helfen als wäre noch etwas nicht ganz korrekt. Am Ende von Tag 6 gab ich Ihnen Zugriff auf die Server und legte mich schlafen.

Als ich aufwachte.. Sprachlos! 6 E-Mails! Fail2Ban gestartet! OOOOoooooohhhh das kann nicht war sein! Schnell an den Rechner. Mails gecheckt und wirklich! Noch eine E-Mail vom 5*Support mit dem Hinweis das grade VPS3 restored wird und ich danach doch bitte mich melden soll und VPS2 Starten soll. Alles klar!

Es war soweit. Alle VPS Systeme waren Ready. Ein unglaubliches Gefühl. Alles wieder da. Der Fehler war nur ein Namensproblem der VPS Images.
Danke 5*Support und danke dir Nambi! Ich dachte du bist der totale Lappen nach den ersten paar Fragen aber hast mich wirklich umgehauen mit deinem Support können. 🙂 Ich schulde dir ein Bier!
6 (1/2) Tage musstet Ihr mich ertragen. 😀

Und ja, ich hab was daraus gelernt. Der Server läuft nun in Raid 1 und erstellt auch nach einem entsprechendem Backup Plan, Backups. Die Ironie das ich Müll / weniger wichtigeres eher gebackupt habe als einen Träger Server ist wirklich mies. Aus Fehlern lernt man. Auch wenn, es hier wirklich viel Glück war.

 

Neben dieser Netten Geschichte plane ich demnächst Beiträge über mein “Heim Controlpanel” zu schreiben, da es endlich einen Nennenswerten Status erreicht hat. Es ist zwar nur eine LED Steuerung derzeit, aber Ihr werdet es ja dann lesen. 🙂
Dazu gibt es dann einen kleinen Release an Arduino Scripts.