Backup und Replikation trojanersicher für Proxmox VE mit Miyagi Workflow

Was wir uns Wünschen

Für eine Datensicherung wünschen wir uns drei Kopien der Daten an mindestens zwei Standorten, mit zwei Methoden. 
Zusätzlich ist die Kontrolle ohne Fehlerquote ein Muss!

Unsere Lösung erzeugt auf einem oder mehreren Systemen

  1. Natives Proxmox Backup ohne Löschmöglichkeit auf der Quelle (Restoreversprechen)
  2. Natives ZFS Replikat (Restoregarantie)
  3. Lückenloses Monitoring ohne Fehlerquote oder Aufwand
  4. Serialisierung der Sicherungen für bessere Leistung
  5. Automatisierung von Updates, Backupwartung und -verifizierung und Herunterfahren des Sicherungsservers
  6. Zentrales Dashboard für Funktion und Sicherung aller Systeme

  7. Schnelle Wiederherstellung durch Proxmox Backupserver oder Starten von replizierten Systemen

Als Ergebnis finden wir eine Backuphistorie für mehrere Monate bis Jahre und Replikate von ca. 14 Tagen bis drei Monate

image.png

# Auf dem Zielserver sollte das dann so aussehen

# Unsere Proxmox Backups mit fünf Tagen Snapshot gegen Kompromittierung
zfs list
rpool/pbsstore                    4.9T  30.4T  4.62T  /rpool/pbsstore 

#PVE mit LXC Container
rpool/repl/lwpve2/rpool/data/subvol-100-disk-0    168G  34.8G   165G  /rpool/repl/lwpve2/rpool/data/subvol-100-disk-0
rpool/repl/lwpve2/rpool/data/subvol-102-disk-0    918M  31.1G   872M  /rpool/repl/lwpve2/rpool/data/subvol-102-disk-0
#PVE mit KVM 
rpool/repl/lwpve3/rpool3/data/vm-301-disk-0       267K  41.0T   169K  - (finden sich unter /dev/zvol/rpool....)
rpool/repl/lwpve3/rpool3/data/vm-301-disk-1      40.6G  41.0T  26.7G  - (finden sich unter /dev/zvol/rpool....)
rpool/repl/lwpve3/rpool3/data/vm-301-disk-2       277G  41.0T   214G  - (finden sich unter /dev/zvol/rpool....)

Die Backups benötigen für die Wiederherstellung den Zeitpunkt, den Platz und Zeit, während die ZFS Replikate sofort Startfähig sind und in Potenter Hardware produktiv gehen können.

Die Aufhebezeiten für Backups und Replikaten können selbst festgelegt werden.

Überlegungen zu Proxmox VE

Proxmox VE ist primär nur ein überschaubares Frontend für KVM und LXC Virtualisierung.

Es ist natürlich denkbar alte VMware- und HyperV Lösungen auf Proxmox umzustellen.

Nutzt man Proxmox mit Hardware Raid oder SAN, verliert man im Vergleich zu den kommerziellen Lösungen eine Menge Komfort.

Natürlich ist die Hochverfügbarkeit und das schlanke Design ein Gewinn im Vergleich zu den kostenintensiven Lösungen des Mittbewerbs.

Proxmox lebt vor allem durch die im Hintergrund integrierten Lösungen KVM, LXC, SDN und vor allem ZFS und Ceph.

ZFS und Ceph schicken Hardware Raids und SANs auf die Ersatzbank und sind nunmehr oft obsolet.

Lösungen mit Ceph werden primär eingesetzt wenn im Härtefall kein Bit Daten verloren gehen darf, was allerdings mit einem vier- bis sechsfachen Kostenaufwand einhergeht.

Mit ZFS erreicht man realistisch eine Sicherung unter fünf Minuten oder besser, wenn notwendig. Nur weil bei einem Server das Licht ausgeht, sind noch lange die Daten nicht weg!!!

Bei eher nicht zu erwartenden Problemen mit einem Ceph Cluster müsste man eventuell von vorne starten.

Kleinere Installationen von ca. ein bis drei Proxmox Servern sollten daher mit ZFS installiert und untereinander repliziert werden.

Die Replikation mit Bordmitteln sieht jedoch nur den Transport und keine Historie der Systeme vor.

Da heutzutage SSDs und Festplatten nicht mehr von vorne bis hinten beschrieben werden, sondern zufällig, macht es Sinn die komplette Lebenszeit den kompletten Platz auszunutzen.

Von Dummheit, Fahrlässigkeit bis zum Trojaner

Vor Umstellungen und Maßnahmen führt der Admin üblicherweise einen Snapshot aus. Gerade VMware ist die absolut im Nachteil gegen die meisten Systeme, da Konsolidierung der Snapshots nach Tagen schon den Betrieb lahmlegen kann. Daher ist eine hohe Anzahl von Snapshots im HyperV und VMware keine Option.

Hier kommt ZFS ins Spiel.

Durch die auf Vektoren basierende Arbeitsweise von ZFS sind permanente Snapshots kein Nachteil für den Betrieb.

Wir empfehlen folgende Vorgehensweise.

Installation einer Snapshot Engine wie zfs-auto-snapshot oder CV4PVE (Web GUI für PVE)

Alle Programme inklusive Proxmox VE erstellen dieselbe Qualität an Snapshots, wobei zfs-auto-snapshot von Proxmox unentdeckt arbeitet.

Hierbei ist nur zu beachten, dass das System nicht über 80% belegt wird. Für den Fall der Überlastung können wir die Aufhebezeiten reduzieren.

Unser Vorschlag belegt üblicherweise ca. 2,5 mal so viel Platz wie die Nutzdaten.

Hier die optimalen Einstellungen aus unserer Praxis:

Für alles über drei Monate nutzen wir die tägliche Sicherung mit Proxmox Backup Server

Proxmox Backupserver Segen und Fluch

Proxmox Backup Server ist ein ideales Sicherungswerkzeug für virtuelle Maschinen und Linux Container auf Proxmox VE.

Das Design sieht vor daß hier Sicherungen von Proxmox VE nach Proxmox Backupserver geschoben werden, was Raum für Trojaner und Hacker bietet.

Es ist extrem wichtig, dem Backupuser im Server einen API Key bereitzustellen, der nur Sicherungs- und Widerherstellungsrechte besitzt.

Zwei Faktor Login, so wie die Deaktivierung des SSH Logins per Passwort sind absolut notwendig!

Der Backupserver kann nicht wissen wann ein Proxmox VE System seine Sicherung anliefert. Daher muss er permanent laufen.

Selbst ein Anschalten des Backupservers vor der geplanten Sicherung erlaubt ein Herunterfahren nach der Sicherung nicht, da es technisch nicht vorgesehen ist.

Ebenfalls ist das Monitoring der Backups nicht vorgesehen und mit Zabbix oder Check_MK nur mühselig einzurichten.

Die Mailbenachrichtigung ist unzureichend bis unbrauchbar. Ebenfalls fehlt ein  Dashboard für Backup, Festplattenzustand oder Raid-Probleme.

Wir benötigen einen weiteren Computer, an einem anderen Ort, mit zwei weiteren Kopien in zwei Methoden der Sicherung 

Proxmox VE bietet die Möglichkeit nativ mit dem Backupserver zu sichern und mit ZFS ein startfähiges Replikat nativ zu erstellen.

Backups bieten hier ein Wiederherstellungsversprechen, während ZFS eine Wiederherstellungsgarantie bietet

Voraussetzungen für den Miyagi Workflow
Installation Proxmox Backup und Einstellungen

Achtung: Proxmox VE hat als default den Store "local" auf Typ Backup stehen, dringend deaktivieren!

Installation Miyagi

Version #11
Erstellt: 14 Mai 2025 10:02:55 von Christian Zengel (sysops GmbH)
Zuletzt aktualisiert: 14 Mai 2025 14:00:51 von Christian Zengel (sysops GmbH)