Backup und Replikation trojanersicher für Proxmox VE mit Miyagi Workflow

Was

Trojanersichere wirBackups unsund Wünschen

Replikationen

mit Proxmox Backup Server, ZFS und Miyagi

FürZiel ist eine Datensicherung wünschen wir unsmit drei Kopien der Daten anDaten, mindestens zwei Standorten,Standorten mitund zwei Methoden.unterschiedlichen
Sicherungsmethoden. Zusätzlich istmuss die Kontrolle der Backups und Replikationen zuverlässig, automatisch und ohne Fehlerquote ein Muss!funktionieren.

Unsere Lösung erzeugtkombiniert Proxmox Backup Server, ZFS-Replikation, Snapshots, Monitoring mit Checkmk und den Miyagi-Workflow. Dadurch entstehen sowohl klassische Backups mit langer Historie als auch startfähige ZFS-Replikate für schnelle Wiederherstellung im Notfall.

Backups bieten ein Wiederherstellungsversprechen.

ZFS-Replikate bieten eine sehr schnelle Wiederherstellungsmöglichkeit, weil replizierte Systeme auf geeigneter Hardware direkt gestartet werden können.

Was wir erreichen wollen

Native Proxmox-Backups ohne Löschmöglichkeit von der Quelle Startfähige ZFS-Replikate auf einem oderzweiten mehreren Systemen

Natives Proxmox Backup ohne Löschmöglichkeit auf der Quelle (Restoreversprechen) Natives ZFS Replikat (Restoregarantie)System Lückenloses Monitoring ohnealler FehlerquoteBackups oderund AufwandReplikationen Serialisierung derSerialisierte Sicherungen für bessere LeistungPerformance Automatisierung vonAutomatisierte Updates, Backupwartung und -verifizierungVerifizierung undAutomatisches Herunterfahren des Sicherungsservers nach Abschluss Zentrales Dashboard für FunktionBackupstatus, Replikation und Sicherung aller Systeme

Systemzustand Schnelle Wiederherstellung durchüber Proxmox BackupserverBackup Server oder Starten von replizierten SystemenZFS-Replikate

Als Ergebnis finden wirentsteht eine Backuphistorie fürüber mehrere Monate bis Jahre undsowie Replikateein ZFS-Replikat mit typischer Aufbewahrung von ca. 14 Tagen bis drei MonateMonaten.

 

Beispiel auf dem Zielserver

# Auf dem Zielserver sollte das dann so aussehen

# Unsere Proxmox Backups mit fünf Tagen SnapshotSnapshot-Schutz gegen Kompromittierung
zfs list
rpool/pbsstore                    4.9T  30.4T  4.62T  /rpool/pbsstore 

#PVE# PVE mit LXC Container
rpool/repl/lwpve2/rpool/data/subvol-100-disk-0    168G  34.8G   165G  /rpool/repl/lwpve2/rpool/data/subvol-100-disk-0
rpool/repl/lwpve2/rpool/data/subvol-102-disk-0    918M  31.1G   872M  /rpool/repl/lwpve2/rpool/data/subvol-102-disk-0

#PVE# PVE mit KVM
rpool/repl/lwpve3/rpool3/data/vm-301-disk-0       267K  41.0T   169K  -
(finden sich unter /dev/zvol/rpool....)
rpool/repl/lwpve3/rpool3/data/vm-301-disk-1      40.6G  41.0T  26.7G  -
(finden sich unter /dev/zvol/rpool....)
rpool/repl/lwpve3/rpool3/data/vm-301-disk-2       277G  41.0T   214G  -

(# ZVOLs finden sich unter /dev/zvol/rpool....)

Die Backups benötigen für dieeine Wiederherstellung den richtigen Zeitpunkt, dengenügend freien Platz und Zeit,Zeit. während die ZFS ZFS-Replikate sofortkönnen Startfähigdagegen sindauf undausreichend in Potenterleistungsfähiger Hardware sehr schnell produktiv gehengestartet können.werden.

Die AufhebezeitenAufbewahrungszeiten für Backups und ReplikatenReplikate können selbst festgelegt werden.

Überlegungen zu Proxmox VE

VE, ZFS und Ceph

Proxmox VE ist primäreine nurleistungsfähige einVirtualisierungsplattform überschaubaresauf FrontendBasis fürvon KVM und LXC. Virtualisierung.

Viele

Es ist natürlich denkbar alteältere VMware- und HyperVHyper-V-Umgebungen Lösungenkönnen auf Proxmox umzustellen.VE migriert werden.

Der eigentliche Nutzen von Proxmox entsteht aber nicht nur durch die Weboberfläche, sondern durch die Kombination mit ZFS, Ceph, SDN, Snapshots, Replikation und dem Proxmox Backup Server.

Nutzt man Proxmox VE nur mit Hardware RaidHardware-RAID oder klassischem SAN, verliert man imviele VergleichVorteile, zudie denProxmox kommerziellenin LösungenVerbindung einemit MengeZFS Komfort.oder Ceph eigentlich bietet.

NatürlichZFS isteignet diesich Hochverfügbarkeitbesonders für kleinere und dasmittlere schlankeInstallationen Designmit eineinem Gewinnbis imdrei VergleichProxmox-Servern. zuHier denkönnen kostenintensivenSysteme Lösungenperformant desbetrieben, Mittbewerbs.regelmäßig snapshotiert und auf weitere Systeme repliziert werden.

Ceph

Proxmox lebtkommt vor allem durchdann dieins im Hintergrund integrierten Lösungen KVM, LXC, SDN und vor allem ZFS und Ceph.

ZFS und Ceph schicken Hardware Raids und SANs auf die Ersatzbank und sind nunmehr oft obsolet.

Lösungen mit Ceph werden primär eingesetztSpiel, wenn im HärtefallFehlerfall möglichst kein BitDatenverlust Datenentstehen verlorendarf gehenund darf,ausreichend wasBudget, allerdingsNetzwerkleistung mitund einemKnow-how vier-vorhanden bissind. sechsfachenIn Kostenaufwandder einhergeht.Praxis bedeutet Ceph häufig einen deutlich höheren Hardware- und Betriebsaufwand.

Mit ZFS erreicht man realistisch eine SicherungSicherungslücke von unter fünf Minuten oder besser, wenn notwendig.es notwendig ist. Nur weil bei einem Server das Licht ausgeht, sind die Daten noch lange die Daten nicht weg!!!verloren.

Bei

Empfehlung eherfür nichtkleinere zuUmgebungen

erwartenden

Problemen mit einem Ceph Cluster müsste man eventuell von vorne starten.

Kleinere Installationen von ca. ein

Ein bis drei ProxmoxProxmox-Server Servern sollten daherbevorzugt mit ZFS installiertbetreiben ZFS-Snapshots regelmäßig automatisieren ZFS-Replikation auf ein zweites System einrichten Zusätzlich Proxmox Backup Server für längere Historie nutzen Monitoring für Backup, Replikation und untereinanderZFS-Zustand replizierteinrichten

---

Snapshots gegen Bedienfehler, Fahrlässigkeit und Ransomware

Vor Umstellungen, Updates oder riskanten Maßnahmen erstellt ein Administrator üblicherweise einen Snapshot. Bei VMware oder Hyper-V können zu viele oder zu lange bestehende Snapshots schnell zum Problem werden.

DieHier Replikationspielt mitZFS Bordmittelnseine siehtStärke jedochaus. nurZFS-Snapshots densind Transportsehr effizient und keinekönnen Historieregelmäßig der Systeme vor.

Da heutzutage SSDs und Festplatten nicht mehr von vorne bis hinten beschriebenerstellt werden, sondern zufällig, macht es Sinn die komplette Lebenszeit den kompletten Platz auszunutzen.

Von Dummheit, Fahrlässigkeit bis zum Trojaner

Vor Umstellungen und Maßnahmen führt der Admin üblicherweise einen Snapshot aus. Gerade VMware ist die absolut im Nachteil gegen die meisten Systeme, da Konsolidierung der Snapshots nach Tagen schonohne den Betrieb lahmlegenin kann.gleicher DaherWeise istzu eine hohe Anzahl von Snapshots im HyperV und VMware keine Option.

Hier kommt ZFS ins Spiel.belasten.

Durch die auf Vektoren basierende Arbeitsweise von ZFS sind permanente Snapshots keinim Nachteilproduktiven fürBetrieb denein Betrieb.großer Vorteil.

Wir

Empfohlene empfehlen folgende Vorgehensweise.Snapshot-Strategie

InstallationFür einerautomatische SnapshotSnapshots Engineeignen wiesich beispielsweise zfs-auto-snapshot oder CV4PVE (Webals Web-GUI für PVE)

Alle Programme inklusive Proxmox VE erstellen dieselbe Qualität an Snapshots, wobei zfs-auto-snapshot von Proxmox unentdeckt arbeitet.

Hierbei ist nur zu beachten, dass das System nicht über 80% belegt wird. Für den Fall der Überlastung können wir die Aufhebezeiten reduzieren.

Unser Vorschlag belegt üblicherweise ca. 2,5 mal so viel Platz wie die Nutzdaten.

Hier die optimalen Einstellungen aus unserer Praxis:VE.

• 12 Snapshots alle 15 Minuten für schnelle Hilfe in den letzten drei Stunden für schnelle Hilfe
• 96 Stundenstündliche Snapshots für vier Tage, besonders sinnvoll für Ostern, Weihnachten, KrankheitTage
• 21 Tagetägliche Snapshots für drei Wochen
• 6 Wochenwöchentliche Snapshots für einsechs feineres Raster in die VergangenheitWochen
• 3 Monatemonatliche Snapshots für unentdeckte Fehler

Für allesAufbewahrungszeiten über drei Monate nutzenhinaus wireignet sich zusätzlich die tägliche Sicherung mit dem Proxmox Backup Server.

Wichtig: Das System sollte nicht dauerhaft über 80 % belegt werden. Bei zu hoher Belegung müssen Aufbewahrungszeiten reduziert werden.

---

Proxmox BackupserverBackup Server: Segen und Fluch

Risiko

Der Proxmox Backup Server ist ein idealeshervorragendes Sicherungswerkzeug für virtuelle Maschinen und Linux Linux-Container auf Proxmox VE. Er bietet inkrementelle Backups, Deduplizierung, Verifizierung und effiziente Wiederherstellung.

Das DesignStandarddesign sieht vorallerdings daßvor, hier Sicherungen vondass Proxmox VE nachseine Sicherungen zum Proxmox BackupserverBackup geschobenServer werden,schiebt. wasDadurch Raumentsteht fürim TrojanerErnstfall undAngriffsfläche, Hackerwenn bietet.Zugangsdaten oder Berechtigungen zu weit gefasst sind.

EsDer istBackup-Benutzer extremsollte wichtig, dem Backupuser im Server einen API Key bereitzustellen, der nurausschließlich Sicherungs- und WiderherstellungsrechteWiederherstellungsrechte besitzt.besitzen.

Zwei2FA, Faktorein Login,API-Token somit wieminimalen dieRechten Deaktivierungund desdeaktivierter SSH Logins per PasswortSSH-Passwortlogin sind absolut notwendig!Pflicht.

Typische Probleme im Standardbetrieb

Der Backupserver kann nicht wissen wann ein Proxmox VE System seine Sicherung anliefert. Daher muss erhäufig permanentdauerhaft laufen.laufen

Selbst

Automatisches einEinschalten Anschalten des Backupservers vor der geplanten Sicherung erlaubt einund Herunterfahren nach der Sicherung nicht, da es technischist nicht vorgesehen ist.

Ebenfalls ist das

Monitoring der Backups ist nicht vorgesehenkomfortabel undintegriert mitMailbenachrichtigungen Zabbixreichen oderfür Check_MKprofessionelle nurKontrolle mühseligoft einzurichten.nicht

Dieaus

MailbenachrichtigungEin ist unzureichend bis unbrauchbar. Ebenfalls fehlt einzentrales Dashboard für Backup,Backup-, FestplattenzustandReplikations- oderund Raid-Probleme.ZFS-Zustand fehlt

---

Der Miyagi-Workflow

Der Miyagi-Workflow kombiniert Proxmox Backup Server, ZFS-Replikation, Wartung, Updates, Verifizierung und Monitoring in einem Ablauf.

Wir

Das benötigenZiel einenist weiterenein Computer,Backupserver an einem anderen Ort, mit zwei weiteren Kopien in zwei MethodenStandort, der Sicherung 

Proxmox VE bietet die Möglichkeit nativ mit dem Backupserver zu sichern und mit ZFS ein startfähiges Replikat nativ zu erstellen.

Backups bieten hier ein Wiederherstellungsversprechen, während ZFS eine Wiederherstellungsgarantie bietet

Voraussetzungennur für den MiyagiSicherungslauf Workflow

aktiv ist, die Sicherungen kontrolliert, Replikate erstellt und anschließend wieder herunterfährt.

Voraussetzungen

• Proxmox VE Server 8.4 oder neuer

mit ZFS RaidRAID10 10empfohlen, (empfohlen)RAIDZ odermöglich RaidZaber (langsamer)langsamer Optional zfs-auto-snapshot oder CV4PVE Snapshotmanager
ComputerSeparater Sicherungsserver mit möglichst viel Platz,Speicherplatz z. B.Empfohlen: HPE Microserver mit ECC, 4 x 20TB HDD oder vergleichbare Systeme von Terramaster ohne ECC mitund 16mehreren GBgroßen RAM (nicht empfohlen)HDDs Proxmox Backup Server 3.4 oder neuereneuer ISO zur Installation mitidealerweise ebenfalls auf ZFS RaidBashclub 10Postinstaller (empfohlen)für odercheckzfs RaidZund (langsamer)zsync auf beiden Systemen Optional Checkmk-Agent auf PVE und PBS

Bashclub Postinstaller:

https://github.com/bashclub/proxmox-zfs-postinstall

---

Proxmox Backup Server vorbereiten

SSH-Zugriff vorbereiten

• Auf dem PBS den Inhalt von .ssh/id_rsa.pub kopieren

Den Key in Proxmox VE unter .ssh/authorized_keys ergänzen Einmalig per SSH vom PBS zum PVE verbinden, um den Hostkey zu speichern

Wichtige Hinweise zur PBS-Konfiguration

Kein NFS als Datastore für Proxmox Backup Server verwenden.

Optional alterkann PCbeim mitBooten ein iSCSI-LUN von Synology iSCSIoder Freigabeeinem

Dafüranderen CronjobSystem beimeingebunden bootenwerden,

wenn keine lokalen Platten genutzt werden.

@reboot iscsiadm --mode node --targetname "iqn.2xxxx" --portal "10.ipsyn...:3260" --login && zpool import -f iscsi

Bashclub Postinstaller für checkzfs und zsync Tool auf beiden Systemen https://github.com/bashclub/proxmox-zfs-postinstall Optional Check_MK Agent auf PVE und PBS

Installation Proxmox Backup und Einstellungen

PBS: Inhalt von .ssh/id_rsa.pub wird per Web GUI in PVE .ssh/authorized_keys ergänzt Einmaliger Login per SSH von PBS zu PVE um den Hostkey zu speichern
Konfiguration von PBS

Kein NFS für PBS nutzen!!!  Optional beim booten ein Synology oder ähnliches iSCSI LUN einbinden, falls keine neuen Platten angeschafft wurden Auf der Shell optimierten ZFS

ZFS-Pool und Dataset erstellen,für fallsPBS nichterstellen

nativ installiert wurde

Optional mit iSCSI

iscsiadm --mode node --targetname "iqn.2xxxx" --portal "10.ipsyn...:3260" --login

Bei direktendirekter PlattenNutzung Raidvon erstellen

Festplatten:

zpool create -f iscsi /dev/sdx -o autoexpand=on

zfs create iscsi/pbsstore -o recordsize=1M -o com.sun:auto-snapshot=false
mit lsblk finden wir die Festplatten namen, alternativ unter /dev/disk/by-id (empfohlen=

Bei nativ installiertem PBSPBS:

wie folgt den Store anlegen

zfs create rpool/pbsstore -o recordsize=1M -o com.sun:auto-snapshot=false

Die

Festplatten Insollten idealerweise über /dev/disk/by-id eingebunden werden.

Datastore im Proxmox BackupserverBackup neuen StoreServer anlegen

• Bei
  iSCSI:
• bei iSCSi nach /iSCSI/iscsi/pbsstore
• nativBei nachnativer Installation: /rpool/pbsstore

Purge, Garbage CollegtionCollection und Verifyjobs zunächst deaktiviert anlegen auf 1. Tag im Jahr und deaktivieren, wir regeln das! Benutzer backup@pbs mit gutenstarkem Passwort und 2FA anlegen API API-Key backup@pbs!backup anlegen,anlegen PasswortBerechtigung Datastore Backup für Benutzer und Name notieren Permission für "/" Datastore Backup für User backup@pbs und API API-Key backup@pbs!backup anlegen.setzen

Datastore

in Proxmox VE einrichten

In Proxmox VE,VE alsowird derein Quelle

Neuenneuer Datastore vom Typ Proxmox Backup Server
 eingerichtet.

 

Danach

Ausführung eines Tests der Datensicherungsollte direkt aus einer VM oder einem LXC ein Testbackup ausgeführt werden.

Achtung: Proxmox VE hat als defaultsetzt den Store "local"local standardmäßig teilweise auf Typ BackupBackup. stehen,Das sollte dringend deaktivieren!deaktiviert werden.

Miyagi installieren

Die Installation Miyagierfolgt

auf Aufdem Proxmox BackupserverBackup

Server.

apt install git open-iscsi

git clone -b dev https://github.com/bashclub/miyagi-pbs-zfs.git
cd miyagi-pbs-zfs
cp config.example ipdeinespve.conf
nano ipdeinespve.conf

Miyagi

Das Miyagi-Script sichert einen PVEProxmox VE Host mit maximal zwei ZFS ZFS-Pools auf ein Ziel,Ziel. fürFür mehrweitere Hosts oder Pools werden einfach mehrere Configs!

Konfigurationsdateien verwendet.

Beispielkonfiguration

SSHPORT='22'

#SSH Port, eventuell extern geändert
BACKUPSERVER=yes #Soll Backup ausgeführt werden
MAINTDAY=6
#1 Montag bis 7 Sonntag, am besten Samstags, da Sonntags Scrubs laufen
SHUTDOWN=yes #Ausschalten nach Beendigung (empfohlen)
UPDATES=yes

#Updates PBS

SOURCEHOST='dein pve dein-pve-ip'

# IP vom Proxmox VE System das gesichert werden soll

#Replikation mit ZFSZFS-Replikation
ZFSROOT='rpool/data' Standard ZFS Pool von Proxmox VE mit ZFS
ZFSSECOND='rpool-hdd/data'
#Optional zweites ZFS auf HDD
ZFSTRGT='rpool/repl'

#Das ist der Proxmox Backup Server mit ZFS installiert

#Falls Sonntags der ZFS Scrub läuft, besser stoppen
ZPOOLSRC=rpool #Erster Pool PVE
ZPOOLDST=rpool

#Erster# Pool PBS

#ZSYNCZSYNC für ZFS Replication vom github.com/bashclubZFS-Replikation
ZPUSHTAG=bashclub:zsync
#Markiert auf der Quelle mit diesem Wert rekursiv die Datasets und Volumes
ZPUSHMINKEEP=3 #Standardwert zum Anfügen, nicht ändern
ZPUSHKEEP=14
#Bei täglicher Sicherung wären das 14 Tage!
ZPUSHLABEL=zsync #Name vom Snapshot für die Replikation, dieser muss auf beiden Seiten erscheinen
ZPUSHFILTER="daily,weekly,monthly"

#Falls# zfs-auto-snapshot auf Quelle genutzt wird, können wir diese Snapshots mitnehmen!

#BackupBackup
PBSHOST='IPPBS'ip-des-pbs'
#IPBACKUPSTORE=backup
AdresseBACKUPSTOREPBS=backup
desBACKUPEXCLUDE='99999'

Wichtige Parameter

BACKUPSERVER=yes: Proxmox Backup Serversausführen BACKUPSTORE=backupMAINTDAY=6: #DatastorenameWartungstag, füridealerweise BackupsSamstag SHUTDOWN=yes: Backupserver nach Abschluss herunterfahren UPDATES=yes: Updates auf PVE BACKUPSTOREPBS=backup #Datastorename für Backups aufdem PBS BACKUPEXCLUDE='99999'ausführen #WeglassenZPUSHKEEP=14: vonAnzahl der aufzubewahrenden Replikationsstände ZPUSHFILTER: vorhandene Snapshots wie daily, weekly, monthly mitnehmen BACKUPEXCLUDE: auszuschließende VMs oder LXCsLXC, mit Komma getrennt, nicht leer lassen! Komma-getrennt Danach

---

Testlauf

durchführen

/root/miyagi-pbs-zfs/pbs-zfs-daily.sh -c /root/miyagi-pbs-zfs/192....x.x.x.conf

Die Ausgabe sollte zuerst die ZFS-Replikation und späteranschließend das Proxmox-Backup anzeigen. Danach fährt der Server bei entsprechender Konfiguration herunter.

Kontrolle des Testlaufs

Proxmox Backup anzeigen

Shutdown Kontrolle Testlauf

PBS-SicherungServer

• In Proxmox VE unter Cluster / Datastores den Backup StoreBackupstore wieder aktivieren!aktivieren
• In den VMs/LXCs oder im Store selbst schauenkontrollieren, ob Backups vorhanden sind

ZFS-Replikation

auf

aufdem PBS inprüfen Shell

checkzfs --sourceonly

oder

Alternativ:

checkzfs --source ippve --filter rpool/data --threshold 1500,2000 -- columns +message

ZFS-Replikation

auf aufdem PVE inprüfen Shell

cat /var/lib/check_mk_agent/spool/*

---

Monitoring

mit Checkmk

Ein zentraler Bestandteil

Check_MKdes Workflows ist das Monitoring

ohne AufFehlerquote. PVEBackups perund Replikationen sollen nicht nur laufen, sondern zuverlässig überwacht werden.

Service Discovery

auf ServiceProxmox DiscoveryVE abwarten

oder starten

Dieser

ZeigtDienst zeigt den Status des letzten Backups Backups.

 
Zeigt

Dieser Dienst zeigt alle Quelldatasets und -VolumesVolumes. ohne Fehlerquote, wenn Quelle korrekt angegeben
Status geht auf Unknown wennWenn innerhalb eines Tages keine neuen Daten kommen!kommen, geht der Status auf Unknown.

Ausgeschalteten Miyagi Miyagi-Server kontrollierenüberwachen

Da der Sicherungsserver nach Abschluss herunterfahren kann, wird in Checkmk ein eigener Host angelegt.

• Neuen Host mit Namen nach Schema miyagi-quelle-ziel inanlegen

Check_MK anlegen, ohneKein Agent und API,keine mitAPI notwendig Spezialprüfung für den letzten bekannten Backupstatus verwenden

 

Nach der Service Discovery abwartenerscheint oderder starten
entsprechende Status.

 

Damit

Nunbleibt könnenauch wirein denausgeschalteter ausgeschaltetenBackupserver Serverkontrollierbar. im Blick behalten. KommenWenn innerhalb eines Tages keine neuen Daten,Daten eintreffen, geht dasder SystemStatus auf UnknownUnknown.

---

Warum dieser Ansatz trojanersicherer ist

Der zentrale Vorteil liegt in der Kombination mehrerer Schutzebenen:

Snapshots schützen gegen Bedienfehler und schnelle Verschlüsselung ZFS-Replikate ermöglichen einen schnellen Start auf Ersatzhardware Proxmox Backup Server bietet lange Historie und Deduplizierung Der Backupserver muss nicht dauerhaft erreichbar sein API-Token und minimale Rechte reduzieren Angriffsflächen Checkmk überwacht Erfolg, Alter und Vollständigkeit der Sicherungen

Fazit

Mit Proxmox VE, ZFS, Proxmox Backup Server, Miyagi und Checkmk entsteht ein sehr robuster Backup- und Replikationsworkflow für kleine und mittlere Unternehmen.

Die Lösung kombiniert eine lange Backuphistorie mit schnell startfähigen Replikaten und einer zentralen Überwachung. Damit lassen sich Ausfälle, Bedienfehler und Ransomware-Schäden deutlich besser beherrschen.

Passende Schulungen

Wenn Sie diesen Workflow im Detail verstehen oder gemeinsam aufbauen möchten, passen besonders diese Kurse auf cloudistboese.de:

Replikationen und Backups trojanersicher Proxmox produktiv mit ZFS betreiben ZFS Grundlagen IT Monitoring und Kontrolle mit Checkmk, Tactical RMM und Wazuh