Proxmox Best Practice Setup für ZFS und / oder Ceph im Cluster für Einsteiger (Stand Dezember 2024)

Der

Proxmox Verfasser des Artikels, Christian-Peter Zengel, hat zum Zeitpunkt des Artikels ca 15 Jahre ErfahrungCluster mit ZFS und Proxmox.Ceph Er– Best Practices für Einsteiger

Praxiswissen aus rund 150 Proxmox- und ZFS-Systemen

Der Verfasser dieses Artikels, Christian-Peter Zengel, verfügt über rund 15 Jahre Praxiserfahrung mit Proxmox VE und ZFS und betreibt aktuell caetwa 150 Systeme mit Proxmox und ZFS.

DasDie EinsatzgebietErfahrungen gehtreichen von StandaloneinstallationStandalone-Installationen bis hin zu Proxmox-Clustern mit bis zu cazehn 10Hosts. Der Schwerpunkt liegt klar auf ZFS, Replikation, Backup, Monitoring und praxistauglicher Hochverfügbarkeit.

Hinweis: Dieser Artikel versteht sich nicht als Ceph-Expertenleitfaden. Ceph wird hier vor allem zum Funktionsvergleich und als Einstieg behandelt. Für viele kleine und mittlere Installationen bis etwa zehn Hosts im Cluster. Es ist keineZFS mit Replikation in unserer Praxis häufig die einfachere, günstigere und besser beherrschbare Lösung.

---

Proxmox Best Practice Kurs mit ZFS und Ceph Expertise vorhanden!

DieserDiese Dokumentation basiert auf diesemeinem online KurseOnlinekurs von cloudistboese.de.

18.12.2024 - 11h Proxmox Best Practice Cluster mit ZFS +und Ceph für Einsteiger 

ZFSDer istKurs dievermittelt perfekteeinen Grundlageschnellen, fürpraxisnahen kleineEinstieg in den Aufbau eines Proxmox-Clusters mit ZFS, einfacher Ceph-Grundlage, Backup, Snapshots, Monitoring und mittlereHochverfügbarkeit.

Kunden

komplettAktuelle unverwundbar gegen Ausfall, TrojanerKurse und vorWiederholungen allemauf Dummheitcloudistboese.de zuansehen sein.

Ceph

---

ist

Für die Basis der höchsten Verfügbar- und Skalierbarkeit

In diesem Kurs vermitteln wir ZFS und Ceph Grundkenntnisse für Proxmox

Achtung: Das Tempo dieses Kurses ist relativ schnell, dafür werden alle Schritte mit Screenshots dokumentiert!

Erwen eignet sich fürdiese den schnellen Einstieg mit mit Wissen aus zuverlässiger Quelle.

Anleitung?

Dauer ca 4h+

Nach diesem Kurs kannst Du Proxmox im Cluster sicher und einfach betreiben.

Für erweiterte Trojanerabwehr bitte den Trojanersicherkurs besuchen.

Der folgende Artikel eignetrichtet sich besonders füran EinsteigerEinsteiger, Administratoren und IT-Dienstleister, die mit mehr als einem Proxmox-Host imstarten möchten und eine robuste, nachvollziehbare Cluster-Grundlage suchen.

Proxmox VE mit ZFS installieren Proxmox Cluster startenmit müssen.
mehreren Nodes aufbauen ZFS-Replikation verstehen und kontrollieren VMs und LXCs performant anlegen einfache Ceph-Grundlagen kennenlernen Proxmox Backup Server integrieren Snapshots, Replikation und Monitoring verbessern Hochverfügbarkeit sinnvoll einordnen

DerNach Bezugdiesem aufKurs Cephkönnen sollSie lediglicheinen zumkleinen FunktionsvergleichProxmox-Cluster dienen.sicherer Wirplanen, empfehleninstallieren bisund 10 Hosts immer ZFS!betreiben.

---

ZFS

Installationoder Ceph im Proxmox

 Cluster?

EinZFS System hat extra Plattenist für unserenkleine Workshop,und zweimittlere wurdenProxmox-Installationen bereitseine installiert.sehr starke Grundlage. Durch Prüfsummen, Snapshots, Replikation und einfache Wiederherstellung schützt ZFS zuverlässig vor vielen typischen Problemen wie defekten Datenträgern, versehentlichen Änderungen und manchen Folgen von Ransomware-Angriffen.

EsZFS kommtersetzt derjedoch kein Backup. Gegen kompromittierte Root-Zugänge, Brand, Diebstahl, vollständigen Standortausfall oder absichtlich gelöschte Snapshots hilft nur ein sauberes Backup- und Replikationskonzept.

Ceph bietet echten verteilten Storage und hohe Skalierbarkeit, benötigt aber deutlich mehr Hardware, Netzwerkplanung und Betriebserfahrung. Für viele Umgebungen bis etwa zehn Hosts ist ZFS mit Replikation oft wirtschaftlicher und einfacher zu betreiben.

---

Installation von Proxmox VE auf ZFS

Für den Workshop wird ein HPE Microserver Gen10 Plus V2,V2 vorzugsweiseverwendet. Empfehlenswert ist eine Ausstattung mit ECC,ECC-RAM zumund Einsatzdirekt ansprechbaren Datenträgern.

 HPE Microserver Gen10 Plus V2 ansehen

 

Wir installieren mindestensProxmox einenVE Raid1,bevorzugt 10auf ZFS Mirror, RAID10 oder Z,RAIDZ. niemalsHardware-RAID-Controller sollten für ZFS vermieden werden. Empfehlenswert sind Controller im HBA- oder IT-Mode, damit ZFS direkten Zugriff auf Basisdie einesDatenträger Hardware Raid Controllers!erhält.

Für Cluster dringendsollten alleHostnamen, IPsIP-Adressen, Netzwerke und NamenDNS-Einträge vorhervor klären,der sonstInstallation kommtsauber esgeplant zuwerden. späterenNachträgliche ZusatzarbeitenÄnderungen fürverursachen denhäufig Clusterunnötige Zusatzarbeit.

 

---

Proxmox Cluster mit drei PVENodes erstellen

Ein Proxmox-Cluster wirdkann insehr Sekundenschnell erzeugt,erzeugt werden. Auch ein einzelner Node alleinekann läuftzunächst problemlos allein laufen. Für echte Cluster-Funktionen und Quorum sollten jedoch mindestens drei Nodes oder ein sinnvoller QDevice-Aufbau geplant werden.

 

 

 

Cluster

Weitere Proxmox Nodes hinzufügen

Weitere Nodes mitwerden denüber Joindie InformationJoin-Informationen des ersten ClusternodesCluster-Nodes inhinzugefügt. derAuf Zwischenlage aufdem neuen Node werden die Informationen unter Join Cluster Einfügeneingefügt. Zusätzlich werden Root-Passwort und RootpasswortCluster-Netzwerk und Clusternetz(e) bereitstellenangegeben.

 

 

DerWährend des Cluster-Beitritts kann der neue Node wird im Vorgangkurzzeitig die Verbindung zum Browser verlieren, da er Schlüssel und Zertifikate des Clusters übernimmt.übernommen Derwerden. BrowserDanach musssollte die Weboberfläche neu geladen werden. Danach ist die Administration von jedem Clustermitglied aus möglich.

Lokale Storages benötigen lokalen Login zum Einrichten

 

Postinstaller für erweiterteProxmox Funktionen

VE

Unser Proxmox ZFS Postinstaller vom #BashclubBashclub funktionierthilft ambei bestenvielen mitwiederkehrenden Standalone.Aufgaben nach der Installation.

Für unserCluster-Setups Setupsollten die Optionen bewusst gewählt werden. Im Workshop verzichten wir beispielsweise auf Autosnapshots für rpool/data, also dem local-zfs Storedata und auf das SSH-Hardening, soweit dies aus Kompatibilitätsgründen

sinnvoll

Diese Zusammfassung zeigt die für unser Setup günstigsten Settings, mehr Kontext im Kursist.

 

Demonstration

ZFS Raid

RAID

demonstrieren und überwachen

SoftwareZFS-Software-RAID Raidlässt mitsich ZFSim istFehlerfall ultrasehr schnell beianalysieren Problemenund entstört.wiederherstellen. Der direkte Zugriff auf die PlattenDatenträger bringtermöglicht viaein gutes Monitoring und kann Probleme vorfrühzeitig Ausfallsichtbar zummachen.

Vorschein.

Im BeispielWorkshop packenwird wirbeispielhaft eine Platte vor einem Reboot offline,offline bittegesetzt. Das ist eine Demonstration und sollte auf produktiven Systemen nicht nachmachen!unüberlegt nachgestellt werden.

 

 

Das Proxmox-Dashboard zeigt nicht alle Storage-Probleme so deutlich, wie es für den produktiven Betrieb wünschenswert wäre. Für professionelle Umgebungen empfehlen wir zusätzliches Monitoring, zum Beispiel mit Checkmk oder CV4PVE.

 

 

---

VMs und LXCs unter Proxmox richtig anlegen

TrotzFür defektemmoderne Raidvirtuelle zeigtMaschinen dassollten Summarydashboardheute keinin Problem.der HierRegel mussq35 mitund Check_MKOVMF/UEFI oderverwendet CV4PVEwerden. kontrolliertÄltere werden,Einstellungen oder...wie i440FX und klassisches BIOS sind für neue Systeme meist nicht mehr empfehlenswert.

S.M.A.R.T Kontrolle via GUI aus Erfahrung oft noch ohne Fehler, während unser Check_MK Plugin schon Probleme erkennt!

 

Mühselige Kontrolle aller Systeme via GUI pro Host ist nicht praxistauglich!!!

Musterinstallation Linux / Windows als VM

Der Postinstaller stellt die aktuelle Windows Treiber ISO in der Stabilen Version bereit, der Proxmox Installer das zweite Laufwerk dafür

i440FX als Maschinentyp und Bios sind inzwischen eher zu vermeiden, schliesslich soll der Kram lange laufen.

Funfact, i440FX war für die Pro Version des ersten Pentiums, dung ding da ding!

Proxmox VE legt im ZFS oder Ceph ebenfalls einen Blockstorage für TPM und EFI Einstellungen an, diese werden Raw ohne Dateisystem geschrieben und haben nichts mit der EFI-Boot-Partition zu tun.

Die native Bildschirmauflösung des Systems wird in der VM beim Starten mit ESC eingestellt.

Der Virtio

VirtIO SCSI singleSingle: Controllergute wirdPerformance im Host alsund eigener Prozess und im Gast als eigener Controller pro Disk aktiviertQEMU

DerGuest QemuAgent:

Agent sorgtwichtig für Shattenkopien,Shutdown, Freezing,Freeze, HerunterfahrenIP-Erkennung und mehr!Backups

Discard

Die Kombination von Discard,und SSD Emulation, wie auch IO thread gibtEmulation:

bessere AuslastungRückgabe undgelöschter Entlastung von gelöschten DatenBlöcke an den Host

IO

Thread:

bessere

Entkopplung von I/O-Last

CPU Typ HostHost: istideal fürbei identischeidentischer HardwareHardware, vorsichtig bei gemischten CPUs im Cluster Ballooning: ermöglicht dynamischere RAM-Nutzung, benötigt aber passende Treiber

 

 

 

 

 

---

ZFS-Replikation in ClusternProxmox und Standalone zu bevorzugen, da hier alle Prozessorfunktionen genutzt werden

Ballooning spart RAM beim einschalten und macht noch mehr. Treiber unter Windows sind notwendig

Virtio Netzwerkkarten brauchen unter Windows eigene Treiber, performen aber bis 100Gbit

VE

Die eingebaute ZFS-Replikation von Proxmox VE ist erstfür malviele gutkleine genug,und auchmittlere wennCluster eseine mitsehr Zsyncgute besserGrundlage. geht.Bei Dafürvorhandener hatReplikation man,liegt leiderder nurgrößte inTeil der VM hier, Kontrolle über den Erfolg. Löscht man den Job, löscht sich das Replikat

Das Zeitfenster ist mit 15-60 Minuten optimal, mit einer Minute perfekt. Jedoch sollte man nicht jede VMbereits auf einedem Minute stellen. da hier das ZFS Auflisten zu Timeouts führt. 

Autosnapshotting ist nicht vorgesehen, leider!

Linux unterstützt alle Virtio LaufwerkeZielsystem und Netzwerkkarten nativ

Installation Ceph

Der Assistent installiert die notwendigen Repositories. Wir empfehlen hier wenigstens die Community Subscription zu nehmen, da ein defekter Ceph-Cluster ein Single-Point-of-Failure ist

Die Auswahl der Netze für Cluster, Ceph, Rendundanz und weitere Segmentierungen sollten von einem Erfahrenen Fachmann vorgenommen werden. Wir empfehlen hier Inett aus Saarbrücken

Im aktuellen Setup können wir zum Testenmuss nur dasinkrementell LAN nehmen, das wir ausdrücklich so nicht empfohlen!!!

Die Installation muss auf allen Clustermitgliedern wiederholt werden, wobei die Konfiguration via PVE Cluster übernommen wird

Jeder Host bekommt mindestens eine SSD als sog. OSD, ab drei Stück haben wir einen funktionierenden Ceph Cluster, ohne extra Sicherheit. Als Nettonutzplatz erhalten wir 1/3 der SSDs, in dem Fall knapp 1TB

Auf keinen Fall dafür in irgendeiner Weise Hardware Raid Controller nutzen!!!

Ceph OSD Einrichtung

Ceph Pool anlegen

Der Pool verbindet die OSDs zum Verbund, die Rolle Monitor und Manager können auf mehrere Nodes verteilt werden, sonst wäre der Reboot des ersten Nodes nicht ohne Schaden möglich!

VM Migration Node zu Node

Die Übertragung einer laufenden VM oder eines LXC mit Shutdown ist bei ZFS und Ceph möglich.

Wärend bei CEPH der Speicher verteilt ist, muss bei ZFS RAM und Disk nocheinmalübertragenergänzt werden.

BeiOhne vorheriger ZFS Replikation ist das meiste der VM schon auf dem Ziel und kann inkrementell ergänzr werden.

Gab es vorher keinevorherige Replikation muss die komplette VM oder der komplette Container übertragen werden. Je nach Zustand erfolgt die Übertragung über KVM-Mechanismen oder ZFS. Dabei kann es Unterschiede beim Erhalt von Snapshots geben.

 

 

Replikationsintervalle von 15 bis 60 Minuten sind für viele Umgebungen ein guter Kompromiss. Eine Minute ist technisch möglich, sollte aber nicht pauschal für jede VM verwendet werden.

---

Ceph-Grundlagen im Proxmox Cluster

Ceph ermöglicht verteilten Storage innerhalb eines Proxmox-Clusters. Dadurch können VMs auf gemeinsamem Storage liegen und bei passender Architektur sehr flexibel zwischen Nodes betrieben werden.

DasCeph Mittelbenötigt derjedoch Übertragungsorgfältige istPlanung, jegeeignete nachNetzwerke, Zustandpassende derHardware VMund viaausreichende KVM oder ZFS möglich.Redundanz.

ErsteresFür würdeproduktive Ceph-Cluster empfehlen wir mindestens eine Proxmox-Subscription und erfahrene Planung. Ein fehlerhaft aufgebauter Ceph-Cluster kann selbst zum Verlustkritischen vonAusfallrisiko Snapshots führen!werden.

 

 

Klonen

Die zwischenAuswahl ZFSder Netzwerke für Cluster, Ceph, Redundanz und Cephweitere

Segmentierungen sollte durch erfahrene Fachleute erfolgen. Für produktive Ceph-Umgebungen sollte das normale LAN nicht einfach mitverwendet werden.

Proxmox kann mit

Bordmitteln

---

Ceph OSDs und Pools einrichten

Jeder Host benötigt geeignete Datenträger als OSDs. Für ein einfaches Testsetup reichen drei OSDs, produktiv sollte Ceph jedoch deutlich sorgfältiger und redundant geplant werden.

Hardware-RAID-Controller sollten auch für Ceph nicht verwendet werden. Ceph benötigt direkten Zugriff auf die meisten Formate konvertieren.Datenträger.

Qemu-Guest-Agent Installation

Dieses Paket für geordnetes Herunterfahren immer mitinstallieren und starten!

IO Leistung der Systeme bei diesen Voraussetzungen

ZFS ist dreimal schneller und auf zwei Kisten verfügbar

Wir gehen von der sechsfachen benötigten Leistung aus um Leistungsmässig an ZFS Raid1 zu kommen

Login für Root und PVE User mit zwei Faktor absichern!

 

Monitor- und Manager-Rollen sollten auf mehrere Nodes verteilt werden. Andernfalls kann bereits ein Reboot eines einzelnen Nodes zu Problemen führen.

---

Migration zwischen Nodes

Die Migration laufender VMs oder gestoppter LXCs ist sowohl mit ZFS als auch mit Ceph möglich. Der wesentliche Unterschied liegt im Storage-Konzept.

Ceph: Speicher liegt verteilt im Cluster ZFS: Speicher muss auf dem Zielhost vorhanden sein oder übertragen werden ZFS mit Replikation: nur die Änderungen müssen ergänzt werden ZFS ohne Replikation: vollständige Übertragung notwendig

 

 

---

QEMU Guest Agent installieren

WeitereDer UserQEMU benötigenGuest entsprechendeAgent Rechte!sollte in virtuellen Maschinen immer installiert und aktiviert werden. Er ermöglicht geordnetes Herunterfahren, bessere Backup-Konsistenz, IP-Erkennung und weitere Verwaltungsfunktionen.

 

---

Proxmox Sicherheit: 2FA, SSH und Netzwerksegmentierung

Zwei-Faktor-Authentifizierung aktivieren

LoginRoot- Realmund istProxmox-Benutzer Linuxsollten Usermit oderZwei-Faktor-Authentifizierung Proxmoxabgesichert Userbasiswerden.

Es können in der GUI keine weiteren Linux/PAM User angelegt werden, jedoch GUI aktiviert

 

SSH Daemon gegen Passwort Passwort-Login absichern

SSH-Zugänge sollten nach Möglichkeit nur mit Schlüsseln und ohne Passwort-Login betrieben werden.

 

Eigene virtuelle Switche für VMsVerwaltungsnetz trennen das Verwaltungsnetz ab

Wenn die ResourcenRessourcen vorhanden sind, dringendsollten dafür sorgen daß AnwenderAnwender- und Gast Gast-VMs keinen direkten Zugriff auf Proxmox VE, SwitcheSwitches undoder Firewalls habenerhalten.

 

Replikationen zuverlässig prüfen

Ein Blick auf ZFS klärtallein zeigt nicht zuverlässig, welche VM gerade auf welchem Host aktiv ist!ist.

Deshalb

PVE1müssen Replikationen kontrolliert und zweinachvollziehbar sindüberwacht aufwerden.

den

Das erstenProxmox BlickDashboard zeigt defekte Platten, RAID-Probleme und Replikationsfehler nicht zuimmer unterscheiden,so auchzentral, nichtwie mites Snapshotauflistungfür größere Umgebungen wünschenswert wäre. Deshalb sollten Checkmk, CV4PVE oder eigene Prüfwerkzeuge eingesetzt werden.

 

 

---

Proxmox Konfiguration sichern

Die Proxmox-Konfiguration liegt in einer Cluster-Datenbank und wird unter /etc/pve eingebunden. Unser erweitertesPostinstaller Ablagekonzeptkann machtdiese dieKonfiguration Funktionregelmäßig vonnach abgelegten/rpool/pveconf Datensichern vielund deutlicher.mit MehrZFS-Autosnapshots auf cloudistboese.de

historisieren.

 

Prüfung der Replikationen muss mühselig pro VM vorgenommen werden

Leider zeigt das PVE Dashboard weder defekte Platten, noch Raids oder Replikationen in der Übersicht an. Hier wird später Check_MK oder CV4PVE für Übersicht sorgen müssen!

Postinstaller sichert komplette Konfiguration und dessen Historie

Hochverfügbarkeit mit RsyncProxmox und ZFS-Auto-Snapshot

Üblicherweise nutzen wir zfs-auto-snapshot gnadenlos auf alle Datasets und Volumes

HA

Die Proxmox Konfiguration liegt jedoch in einer Datenbank und wird nach /etc/pve gemountet

Diesen Ordner sichern wir regelmässig nach /rpool/pveconf und bauen mit Autosnapshots eine Historie

Hochverfügbarkeit einer VM / HA

Die HA HA-Engine sorgt dafürdafür, daßdass VMs /oder LXCLXCs beibeim Ausfall eines Hosts auf einem anderen Host gestartet werden.werden können.

DerWichtig Übergangist dauertdie mindestensUnterscheidung:

zwei

Minuten, wobei nur bei SANCeph oder CEPHSAN: keinStorage Datenverlustist entstehtgemeinsam verfügbar ZFS-Replikation: es kann die Replikationslücke verloren gehen HA mit ZFS: gut für Dienste mit tolerierbarem Datenverlustfenster

Bei ZFS verlierthängt mandas diermögliche dieDatenverlustfenster Replikationslücke!

vom

Replikationsintervall ab. Daher eignet sie  sich amHA bestenmit ZFS besonders für FirewallsSysteme undwie Firewalls, Telefonanlagen

oder

Dienste,

bei

Diedenen HAein Gruppekurzer definiertRückstand dievertretbar gewünschte Ausführungspriorität, wobei höher mehr Prio hatist.

Prio 1 ist am niedrigsten

Die VMs werden den Gruppen zugewiesen und definieren unseren Wunschort und Zustand

Da PVE1 die höchste Priorität hatte wird VM 100 sofort dort hin migriert, die Replikation umgedreht

 

Wird ein Node regulär neu gestartet, werden die VMs nicht automatisch umgezogen, sondern heruntergefahren.

Die Weboberfläche eines anderen Nodes muss dann geöffnet werden, diesollten VMs vorher umgezogenbewusst werden!migriert werden. Ein Reboot ersetzt keine geplante Wartung.

---

Snapshots

Bei Ceph sollte es kein Problem sein einen Node neuzustarten, jedoch muss dafür der Cluster redundant gebaut sein. Sonst besser alle VMs stoppen

Manuellemanuell und automatischeautomatisch Snapshots

nutzen

Manuelle Snapshots viaüber die Proxmox GUI oder API werden mitabhängig demvom passendendarunterliegenden DatastoresnapshotStorage ausgeführt,erzeugt also– beispielsweise auf ZFS, Ceph oder KVManderen Storage-Backends.

Bei ZFS werden diese Snapshot-Zustände mitrepliziert und diein Konfigurationsdateider umVM-Konfiguration diesen Zustand erweitertsichtbar.

 

 

---

Automatische

CV4PVE-Admin Snapshotsfür Snapshots, Monitoring und ManagementReplikationen

mit

CV4PVE-Admin

kann eine sinnvolle AlternativeErgänzung zu zfs-auto-snapshotProxmox seinVE sein. Es bietet bessere Übersicht über Replikationen, Snapshots und ergänztbestimmte wichtige, fehlende Einblicke der PVE GUIMonitoring-Funktionen.

 

 

Diese Anleitung scheint die sinnvollste, bitte auf eigene Maschine

Eigener PVE User plus gewünschte Rechte sind hier erklärt

Alle Replikationen mit Bordmitteln im Blick, nicht mehr jede VM muss aufgeklappt werden

Automatische Snapshots können hierdort definiert werden,werden. jedochWichtig mussist, dass das TeilSystem aufzuverlässig laufen

läuft

und

überwacht wird.

 

---

ZFS Snapshots können via GUI nur einzeln zurückgerollt werden, hier ist Ceph im Vorteil

Replikation bricht nicht bei Rollback

Proxmox kann von HW Raid, ZFS, BTRFS, jedoch nicht von Ceph booten

Den Ceph Zustand kann man nicht mit Check_MK Bordmitteln prüfen

Datensicherung mit Proxmox Backup Server

Proxmox kann nativ erst mal nur eine Vollsicherung

Erst der

Proxmox Backup Server bringteinrichten

inkrementelle

Proxmox VE kann klassische Backups erstellen. Der Proxmox Backup Server ergänzt inkrementelle, deduplizierte Backups, zentrale Verwaltung, Verify Jobs, Prune Jobs und ManagementGarbage Collection.

ErPBS kann auf eineneigener bestehendenHardware, PVEin installierteiner werden,VM alternativoder in bestimmten Szenarien auch als LXC betrieben werden. Für produktive Backups ist ein dediziertes, abgesichertes System vorzuziehen.

Die Repos fehlen jedoch hier

 

Für den Datastore empfehlen sich lokale Dateisysteme oder geeignete Storage-Anbindungen. SMB verursacht in vielen Umgebungen zusätzlichen Overhead und ist für PBS meist nicht die beste Wahl.

---

Backup-Benutzer, Token und Rechte

HierFür wäreBackups aktuellsollte Bookwormein eigener Backup-Benutzer mit Token verwendet werden. Root-Zugänge und Backup-Zugänge sollten mit Zwei-Faktor-Authentifizierung abgesichert werden.

Der

Benutzer oder Token benötigt die Berechtigung Datastore Backup.

 

 

 

---

Zugriff

Proxmox Backup Server in diesemProxmox FallVE viaeinbinden

PVE3

Für aufdie PortEinbindung 8007des mitProxmox SSLBackup Servers in Proxmox VE werden mehrere Angaben benötigt:

Name des Datastores in Proxmox VE Serveradresse des PBS Datastore-Name im PBS Benutzer oder Token Token Secret Fingerprint des PBS-Zertifikats

 

 

Das Dateisystemlokale könnte mit BTRFS, ZFS oder Ext4 bereitgestellt werden, wobei Ext4 keine Snapshots zum AbsichernBootvolume von BackupsProxmox beherrscht,VE dafürsollte 100%nicht Platzausnutzungals Backup-Ziel verwendet werden.

---

Backups, Prune, Garbage Collection und Verify

Das

erste

DerBackup Backupstoreeiner wirdVM alsist Mountpointin bereitgestellt.der SMBRegel performtein hiervollständiger sehrDurchlauf. schlecht

Root User plus BackupuserDanach werden mit 2faDirty abgesichert!

Für die Sicherung benötigen wir einen Token auf den Backupuser

Backup BenutzerBitmap und -TokenDeduplizierung benötigennur dienoch Berechtigunggeänderte DatastoreDaten Backup

effizient

Für den Datastore in PVE benötigen wir mehrere Parameter

Oben den Datastorenamens seitens PVE, den Tokennamen wie sein Passwort.

Auf der Rechten Seite der Datastorename aus dem PBSübertragen und unten dessen Fingerabdruck, den wir auf der Startseite des PBS findengespeichert.

Danach taucht der Backupstore in jedem PVE auf, wenn gewünscht

Achtung, das Bootvolume von PVE ist per Default auch als Backupstore definiert, weg damit!

Erstes manuelles Backup zeigt den Dirty-Bitmap Status: created-new, was eine Vollsicherung bedeutet

Die zweite Sicherung wird dann inkrementell durchgeführt, bis die VM gestoppt wird!!!

Löschen einer Sicherung ist gewollt nicht über PVE möglich, in PBS kann man das manuell durchführen oder automatisch.

Der Platz wird erst nach einem Prune lauf freigegeben!

Nach einem Stop der VM oder Reboot des Hosts oder Stoppen des Gasts wirdkann wieder eineein Vollsicherungvollständiger durchgeführt,Scan notwendig werden. Durch Chunk-Deduplizierung werden jedoch nur neue oder geänderte Chunks aufgespeichert.

das

Ziel geschrieben.

Dadurch

geht das

auch

Prune nochJobs

relativ

Prune flott.Jobs Siehedefinieren dieAufbewahrungszeiten. MBDer angabenProxmox-Simulator untenhilft bei der Sicherung

Prüfung

der

Regeln.

 

Garbage

Für den automatischen Lauf immer VMs ausschliessen oder alles mitnehmen. Eine Auswahl der VMs führt zu Fehlern über die Zeit durch Unterlassung

Die Retention, also das Aufräumen hier ist nicht sinnvoll, noch möglich

In Prunejobs regelst Du die Aufhebezeiten und die Ausführung der Regel, was aber nur für die Auswahl relevant ist. Der Vorgang geht relativ schnell

Der Simulator von Proxmox hilft dabei

Collection

Die Garbage Collection räumt dann alle Junks auf die in keinem Backupnicht mehr benötigtbenötigte Chunks auf. Dieser Vorgang kann Last erzeugen und sollte sinnvoll geplant werden.

Der Vorgang hat hohe Last und dauert, also bei Stilstand ausführen

d

Verify

Jobs

Der Verify JobJobs überprüftprüfen regelmässig die Vollständigkeit der Junks undregelmäßig die Integrität der Backups. Der Erfolg wird insowohl derim RechtenPBS Spalteals auch in PVEProxmox undVE PBS angezeigt

angezeigt.

 

---

Optional

Optional: Replikationskontrolle mit checkzfs von #Bashclub

Mit checkzfs vom Bashclub können ZFS-Replikationen zusätzlich kontrolliert werden. Da unklarnicht istimmer sofort erkennbar ist, welcher Host gerade welche ZFS MaschineVM aktiv betreibt, bleibtkann uns nur denein Vergleich allerder Datastores gegeneinander.hilfreich sein.

Der VorgangCheck sollte nurnicht während laufender Replikationen ausgeführt werdenwerden, wennda geradedies keinezu ReplikationFehlmeldungen läuf,führen sonst spuckt er Fehlerkann.

 

 

---

Fazit:

Proxmox Cluster mit ZFS bewusst planen

Für diesenviele Anwendungsfallkleine und mittlere Umgebungen ist eventuellein CV4PVEProxmox-Cluster einfacher,mit daZFS, esReplikation, auchProxmox vieleBackup TeileServer vomund gutem Monitoring übernimmteine sehr leistungsfähige und wirtschaftliche Lösung.

Ceph ist besonders interessant, wenn echter verteilter Storage, hohe Skalierung und passende Hardware vorhanden sind. Für kleinere Installationen ist ZFS jedoch häufig einfacher zu verstehen, schneller einzurichten und leichter zuverlässig zu betreiben.

ZFS für kleine und mittlere Cluster bevorzugt prüfen Ceph nur mit passender Hardware und Erfahrung produktiv einsetzen Backups nie durch Snapshots ersetzen Replikationen regelmäßig kontrollieren Monitoring zwingend einplanen 2FA und SSH-Hardening aktivieren Proxmox Backup Server sauber absichern

---

Ressourcen

Aktueller sysops Prospekt aow.de – Linkliste zu allen Projekten cloudistboese.de – Schulungsportal für Proxmox, ZFS und Open Source sysops.tv auf YouTube Bashclub Proxmox ZFS Postinstaller auf GitHub

---

Proxmox Schulung oder Beratung anfragen

Sie möchten Proxmox VE mit ZFS, Replikation, Backup und Monitoring professionell einsetzen? Die sysops GmbH unterstützt bei Planung, Installation, Migration, Schulung und Betrieb.

📧 info@sysops.de
📞 +49 (0) 6021 2125-0

Vielen Dank für Ihre Aufmerksamkeit

Aufmerksamkeit.
Christian-Peter Zengel (– sysops.tv)tv

 

---

ResourcenUpdate: Ceph-Vernetzung mit Proxmox VE 9 und Network Fabrics

Seit Proxmox VE 9 lässt sich die Ceph-Vernetzung deutlich einfacher abbilden. Mit den neuen SDN Network Fabrics können geroutete Underlay-Netzwerke direkt über die Proxmox-Oberfläche erstellt werden.

Damit werden insbesondere Full-Mesh-Netzwerke für Ceph übersichtlicher und wartbarer. Proxmox beschreibt selbst, dass Fabrics ab PVE 9 über den SDN-Stack in der GUI erstellt werden können und sich für Full-Mesh-Ceph-Setups eignen. [oai_citation:0‡Proxmox VE](https://aow.de/books/ubersicht-des-projekts/page/prospekt - Unser aktueller Prospektpve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server?utm_source=chatgpt.com)

https://aow.deFür -neue LinklisteCeph-Installationen zusollte allendaher Projektengeprüft werden, ob die Vernetzung über Datacenter → SDN → Fabrics sinnvoller ist als eine manuelle statische Netzwerkkonfiguration.

https://cloudistboese.de - Schulungsportal, alle Kurse können kostenfrei wiederholt werden. Kurse meist online, auch vor Ort

http://youtube.com/sysopstv - Livesendung Montags und Donnerstags gegen 17:15h, Donnerstags Stammtisch online