Proxmox best Practice Cluster mit ZFS, CepH, SAN - Themenübersicher von KI analysiert
Dieser
Proxmox-Artikel ist KI generiert. Als Basis diente die Sprache des Referenten und die ca 800 Screenshots!
Dieser Artikel ist KI generiert. Als Basis diente die Sprache des Referenten und die ca 800 Screenshots!
Zusammenfassung des Proxmox VE Workshops
Der zweitägige Workshop behandelt den praktischen Aufbau und Betrieb moderner Virtualisierungsumgebungen mit Proxmox VE.VE nicht nur als Oberfläche zum Starten virtueller Maschinen, sondern als vollständige Virtualisierungsplattform. Im Mittelpunkt stehen nicht nur Installation und Bedienung der Weboberfläche, sondern vor allem die technischen Zusammenhänge hinterArchitektur, Storage, ZFS, Netzwerk, Cluster, High Availability, Netzwerk,Backup, Migration, BackupMonitoring und Monitoring.die praktische Fehlersuche.
DieDabei Inhaltewerden stammenverschiedene ausBetriebsmodelle einemmiteinander zweitägigenverglichen: praktischenvom Workshopeinzelnen undProxmox-Host wurdenüber auszwei gesprochenemSysteme Kursmaterialmit sowieZFS-Replikation denbis dazugehörigenhin Bildschirmaufzeichnungenzu zusammengeführt.Clustern mit Ceph oder klassischem SAN-Storage.
1. Proxmox Grundlagen und Architektur
Proxmox VE ist eine Virtualisierungsplattformbasiert auf Basis von Debian Linux.Linux Fürund verwendet KVM für virtuelle Maschinen kommt KVM zum Einsatz, zusätzlich könnensowie Linux-Container betriebenfür werden.
ImSysteme. WorkshopDadurch wurde zunächst geklärt, wieunterscheidet sich Proxmox in einigen Punkten deutlich von VMwareklassischen ESXiVMware- undoder Hyper-V unterscheidet und welche Architektur für unterschiedliche Anforderungen sinnvoll ist.V-Umgebungen.
- Standalone-
ProxmoxSystem: Ein einzelner Proxmox-Host ist einfach und kostengünstig, bietet aber bei einem Hardwareausfall zunächst keinen zweiten Host für den Wiederanlauf. zweiZFS-Replikation: Zwei oder mehr HostsmitkönnenZFS-Replikationlokale VM-Daten regelmäßig untereinander replizieren. Dadurch lässt sich ohne zentrales SAN bereits eine relativ einfache Wiederanlaufstrategie realisieren.- Cluster: Mehrere Proxmox-Systeme werden gemeinsam verwaltet und teilen wichtige Konfigurationsinformationen. Ein Cluster allein bedeutet jedoch noch keine automatische Hochverfügbarkeit.
HighCephAvailability
Entscheidend ist nicht, möglichst viele Funktionen einzusetzen, sondern eine Architektur zu wählen, die zu Verfügbarkeit, Budget, Hardware und gewünschter Wiederanlaufzeit passt.
2. Storage und ZFS
EinZFS zentralerist Bestandteileiner der Schwerpunkte des WorkshopsWorkshops. istEs ZFS. Im Gegensatz zu klassischen Hardware-RAID-Systemen übernimmt ZFS mehrere Aufgaben gleichzeitig:verbindet RAID-Verwaltung, Datenintegrität,Funktionen, Volume-Management, Datenintegrität, Snapshots, Kompression und Caching.Caching in einem Storage-System.
Behandelte ZFS-Themen
ZFSMirror
Zusätzlich wurde gezeigt, wie der Zustand von Pools und Datenträgern mit zpool status, zfs list und SMART-Daten überprüft wird.
3. ZFS Snapshots und Recovery
ZFS-Snapshots ermöglichen sehr schnelle Wiederherstellungspunkte. Sie ersetzen kein Backup, sind eineraber derbesonders größtenhilfreich praktischenbei VorteileUpdates, vonFehlkonfigurationen ZFS.oder Sieversehentlich könnenveränderten sehr schnell erstellt werden und benötigen zunächst nur wenig zusätzlichen Speicher.
Im Workshop wurde zfs-auto-snapshot eingesetzt, um automatisch Wiederherstellungspunkte zu erzeugen.Daten.
stündlicheAutomatischeSnapshotsSnapshots: Mit zfs-auto-snapshot können beispielsweise stündliche, tägliche und wöchentliche Wiederherstellungspunkte automatisch erzeugt werden.täglicheRollback:SnapshotsEin Dataset kann direkt auf einen früheren Snapshot zurückgesetzt werden. Da dies destruktiv sein kann, muss vor dem Rollback geprüft werden, welche neueren Änderungen dadurch verloren gehen.wöchentlicheCloneSnapshots
Damit
4. können beschädigte Systeme, Fehlkonfigurationen oder problematische Updates schnell zurückgesetzt werden.
Zusätzlich wurde der Unterschied zwischen einem destruktiven RollbackInstallation und einer nicht-destruktiven Wiederherstellung über einen Clone erläutert.
4. Proxmox Post-Installation
Die TeilnehmerProxmox-Installation installiertenwurde Proxmoxvollständig selbst.durchgeführt. Dabei ging es nicht nur darum, den Installer durchzuklicken, sondern bereits bei der Installation Storage- und Netzwerkentscheidungen bewusst zu treffen.
5. Virtuelle Maschinen richtig konfigurieren
Die virtuelle Hardware beeinflusst Leistung, Kompatibilität und spätere Migrationen. Deshalb wurden VMs nicht einfach mit beliebigen Standardwerten angelegt.
Besonders wichtig war die Entscheidung, ob ein System klassisch mit LVM oder direkt auf einem ZFS-Mirror installiert wird.
5. Proxmox Post-Installation und Optimierung
Nach der Installation wurde das System für den produktiven Einsatz vorbereitet.
Ziel war eine reproduzierbare Grundkonfiguration, die anschließend für weitere Proxmox-Hosts verwendet werden kann.
6. Virtuelle Maschinen: Proxmox Best Practices
Eine virtuelle Maschine sollte nicht einfach mit den Standardwerten erstellt werden. Die virtuelle Hardware hat erheblichen Einfluss auf Leistung und spätere Migrationsmöglichkeiten.
7. Linux- und Windows-Gastsysteme
Linux unter Proxmox
AmIm Beispiel einer Linux-VMWorkshop wurden sowohl Linux- als auch Windows-Systeme praktisch installiert. Dadurch konnten unterschiedliche Anforderungen an virtuelle Hardware und Treiber direkt gezeigt werden.
Windows unter Proxmox
Bei
7. Netzwerk und Bridges
Virtuelle Maschinen kommunizieren in Proxmox normalerweise über Linux Bridges. Eine Bridge verbindet dabei virtuelle Netzwerkkarten der VMs mit physischen Interfaces oder VLANs.
VirtIOManagement-Netz:StorageDieDriverWeboberfläche und SSH-Zugänge des Hypervisors sollten möglichst nicht im normalen Client- oder Gastnetz erreichbar sein. Ein getrenntes Management-Netz reduziert die Systeme, von denen ein Angriff auf den Hypervisor überhaupt möglich ist.RedVM-Netze:HatVirtuelleVirtIO Ethernet Adapter
8. Templates und VM-Cloning
Wiederkehrende Systeme lassen sich als Templates vorbereiten und anschließend sehr schnell klonen.
Gerade für Schulungen, Tests oder wiederkehrende ServerinstallationenServer können Templatesüber viel Zeit sparen.
9. Proxmox Netzwerk,eigene Bridges und VLANs
Proxmoxin verwendetgetrennte LinuxNetzwerksegmente Bridges,eingebunden um virtuelle Maschinen mit physischen Netzwerkkarten zu verbinden.
vmbr0Storage-Netze: Ceph, iSCSI oder Replikation erzeugen teilweise erheblichen Netzwerkverkehr. Separate Interfaces oder VLANs verhindern, dass dieser Verkehr das normale Management- oder VM-Netz unnötig belastet.
Zusätzlichfehlerhaften wurdeNetzwerkkonfiguration gezeigt,nicht wiemehr eineerreichbar beschädigteist, kann die Linux-Netzwerkkonfiguration direkt überauf der Konsole analysiert und repariert /etc/network/interfaceswerdenwerden.
kann.
8.
10. Proxmox ClusterQuorum und Quorum
MigrationMehrere Proxmox-Hosts können zu einem Proxmox-Cluster verbunden werden. DamitDadurch entstehtwerden zunächstwesentliche eineKonfigurationen gemeinsameüber Verwaltungs-die Nodes verteilt und Konfigurationsumgebung.die Systeme gemeinsam verwaltet.
Cluster-NodesCorosync: Corosync übernimmt einen wichtigen Teil der Kommunikation und Mitgliedschaftsverwaltung innerhalb des Clusters.CorosyncQuorum: Das Mehrheitsprinzip verhindert, dass getrennte Teile eines Clusters unabhängig voneinander widersprüchliche Änderungen vornehmen.QuorumVM-Migration: Laufende VMs können zwischen Nodes verschoben werden. Wie viel dabei übertragen werden muss, hängt stark davon ab, ob lokaler oder gemeinsam genutzter Storage verwendet wird./etc/pve
Ein Cluster bedeutet dabei nicht automatisch Hochverfügbarkeit. HA, Storage und Replikation sind zusätzliche Funktionen,Liegt die getrennt geplant werden müssen.
11. VM-Migration und Live Migration
Im Workshop wurden virtuelle Maschinen zwischen unterschiedlichen Proxmox-Hosts verschoben.
Dabei hängt der Ablauf stark vom verwendeten Storage ab.
Bei Shared Storage liegen die VM-DatenFestplatte bereits fürauf mehrereCeph Hostsoder erreichbar vor. DadurchSAN, muss bei einer Live Migration imnicht Wesentlichenzusätzlich derdie laufendegesamte Zustandvirtuelle derDisk VMzwischen übertragenden Hosts kopiert werden.
9. ZFS-Replikation und High Availability
ZFS-Replikation und Proxmox HA lösen unterschiedliche Probleme und können miteinander kombiniert werden.
12. ZFS-Replikation zwischen Proxmox-Hosts
Mit ZFS können virtuelle Festplatten regelmäßig auf einen zweiten Proxmox-Host repliziert werden.
Nach dereiner ersten vollständigen Übertragung werden nur nochdie Unterschiede zwischen ZFS-Snapshots übertragen. Dadurch kann ein zweiter Host relativ aktuell gehalten werden.
Damit lässt sich auch ohne komplexes Shared Storage eine kostengünstige Wiederanlaufstrategie aufbauen.
13. High Availability mit Proxmox
Mit Proxmox HA können virtuelle MaschinenVMs nach einem Node-Ausfall automatisch auf einem anderen Cluster-NodeHost gestartet werden.
Im
10. WorkshopSAN, wurden Hosts auch bewusst hart abgeschaltet, um das tatsächliche Verhalten bei einem Ausfall zu demonstrieren.
Dabei wurde deutlich: High Availability verbessert die Wiederanlaufzeit, ersetzt aber weder Datensicherung noch Replikation.
14. SANiSCSI und iSCSI mit Proxmox
Multipath
Als klassischesAlternative Shared-Storage-Modellzu lokalem ZFS und Ceph wurde einklassisches SANShared aufStorage Basis vonmit TrueNAS und iSCSI verwendet.behandelt.
ZVOLsZVOL: TrueNAS stellt ein ZFS-Volume als Blockgerät bereit, das anschließend per iSCSI an die Proxmox-Hosts exportiert werden kann.iSCSISharedTargetsStorage: Mehrere Proxmox-Nodes können auf denselben zentralen Speicher zugreifen. Das erleichtert Live-Migration und klassische Clusterkonzepte.SharedMultipath:Storage
Der Vorteil liegt in gemeinsam nutzbarem Storage und einfacher Live Migration. Gleichzeitig entsteht aber eine zusätzliche zentrale Infrastruktur, die selbst redundant ausgelegt werden muss.
15. Multipath für redundanteProduktiver SAN-Verbindungen
Ein produktives SANZugriff sollte nicht nurvon einem einzigen Netzwerkpfad abhängen. Multipath kombiniert mehrere unabhängige Wege zum selben Storage-Gerät.
11. MultipathCeph
Ceph stellt verteilten Storage direkt über mehrere Storage-VerbindungenCluster-Nodes zubereit. einemDadurch logischenwird Gerätkein zusammengeführt.
Behandeltklassisches wurdenSAN unter anderem:benötigt.
WWIDsDatenverteilung: Daten werden auf mehrere Systeme verteilt und entsprechend der konfigurierten Replikation mehrfach gespeichert.Storage: Alle beteiligten Proxmox-Nodes greifen auf denselben logischen Storage-Bestand zu.multipathShared-aCeph erzeugt zusätzlichen internen Datenverkehr. Netzwerkbandbreite und Latenz sind deshalb entscheidende Faktoren für die Gesamtleistung.multipathNetzwerk:-rmultipathKapazität:-ll
/dev/mapperdie lsblkReplikation steht nicht die gesamte physisch installierte Rohkapazität für Nutzdaten zur Verfügung.
Auch der Ausfall eines einzelnen SAN-Pfades wurde praktisch demonstriert.
16. Ceph Storage mit Proxmox
Ceph verteilt Daten über mehrere Proxmox-Nodes und stellt dadurch gemeinsam nutzbaren Storage ohne klassisches externes SAN bereit.
Dadurch werden Live Migration und Hochverfügbarkeit möglich, allerdings steigen Hardware-, Netzwerk- und Speicherbedarf.
Im Workshop wurde Ceph bewusst mit SAN und lokaler ZFS-Replikation verglichen.
17. Proxmox Monitoring mit Checkmk
Die Proxmox-Oberfläche zeigt nicht jeden Hardware- oder Storagefehler ausreichend deutlich an. Deshalb ist externes Monitoring für produktive Installationen wichtig.
Überwacht werden sollten beispielsweise:
Im Workshop wurde dafür unter anderem Checkmk verwendet und der Agent sowohl auf Linux als auch unter Windows installiert.
18.
12. Backup und Disaster Recovery
HighHA, Availability,Replikation und Snapshots undreduzieren ReplikationAusfallzeiten, sindersetzen keineaber vollständigekein Datensicherungsstrategie.
DeshalbBackup. wurdenEin Fehler oder Angriff kann ansonsten sehr schnell auf mehrere Sicherungsansätzereplizierte behandelt:Systeme übertragen werden.
klassische Proxmox Backups
Besondersräumlich wichtig ist die räumliche und technische Trennung der Backupsgetrennt vom Produktivsystem.Produktivsystem Dadurchliegen, kanndamit verhindertbeispielsweise werden,Brand, dassDiebstahl oder ein Angriffgrößerer oderHardwareausfall Hardwarefehler gleichzeitignicht Produktion und SicherungBackup betrifft.
19.beziehungsweise Proxmoxgetrennte UpdatesBackups:
Eine Sicherung, auf die das Produktivsystem nicht dauerhaft schreiben kann, bietet zusätzlichen Schutz gegen Ransomware und 13. Monitoring
DaEin ProxmoxVirtualisierungscluster aufdarf Debiannicht basiert,nur erfolgtanhand dieder Systempflegegrünen überSymbole diein Linux-Paketverwaltung.der Proxmox-Weboberfläche überwacht werden. Gerade Storage- und Hardwareprobleme müssen aktiv kontrolliert werden.
APTZFSUpdatesPool Status: Ein Pool kann bereits DEGRADED sein, obwohl die darauf laufenden VMs zunächst weiterhin funktionieren.KernelSMARTUpdatesund SSD-Wearout: Physische Datenträger müssen auf Fehlerwerte, Betriebsstunden und Verschleiß überwacht werden.Repository-VerwaltungMultipath: Ein SAN kann weiterhin funktionieren, obwohl bereits einer von zwei redundanten Pfaden ausgefallen ist. Ohne Monitoring würde dieser Zustand möglicherweise erst beim Ausfall des zweiten Pfades auffallen.aptCheckmk:autoremove
dpkgexternes --auditMonitoring Ein weiterer Punkt waren ZFS Feature Upgrades. Diese sollten nicht unmittelbar nach Veröffentlichung aktiviert werden, damit im Notfall weiterhin kompatible Recovery-Medien verfügbar sind.
20. Proxmox
14. Sicherheit und Hardening
EineDer produktiveProxmox-Hypervisor Virtualisierungsplattformist solltedie nichtzentrale ungeschütztKontrolle imüber normalenviele Anwendernetzvirtuelle betriebenServer. werden.
Behandeltekompromittierter MaßnahmenProxmox-Host warenkann unterdeshalb anderem:wesentlich größere Auswirkungen haben als der Angriff auf eine einzelne virtuelle Maschine.
separatesSeparates Management-Netz: Proxmox-Webinterface und SSH sollten möglichst nur aus einem administrativen Netz oder über VPN erreichbar sein. Anwender-PCs und normale Server benötigen normalerweise keinen direkten Zugriff auf die Managementoberfläche.- SSH
HardeningHardening: Nicht benötigte oder unsichere Anmeldeverfahren werden abgeschaltet. Gleichzeitig sollte der SSH-Dienst nur aus Netzen erreichbar sein, aus denen tatsächlich administriert wird. - SSH
KeysKeys: Schlüsselbasierte Anmeldung vermeidet die Übertragung und regelmäßige Eingabe administrativer Passwörter. Private Schlüssel müssen allerdings ebenso sorgfältig geschützt werden wie Passwörter. - Passwort-Login für root
deaktivierendeaktivieren: Ist eine funktionierende Schlüsselanmeldung eingerichtet, kann der direkte SSH-Login von root per Passwort abgeschaltet werden. Damit entfällt ein besonders offensichtliches Ziel für automatisierte Passwortangriffe. - Zugriff auf das Webinterface
begrenzenbegrenzen: Port 8006 sollte nicht unnötig aus beliebigen Netzen oder direkt aus dem Internet erreichbar sein. Firewall-Regeln und Netzwerksegmentierung beschränken die erreichbaren Management-Systeme. - Proxmox Firewall: Die integrierte Firewall kann Regeln auf Datacenter-, Host- und VM-Ebene anwenden. Dadurch lassen sich sowohl Managementdienste als auch virtuelle Systeme gezielt absichern.
- Zwei-Faktor-
AuthentifizierungAuthentifizierung: Für administrative Konten ergänzt ein zweiter Faktor das Passwort. Ein gestohlenes oder erratenes Passwort reicht damit allein nicht mehr zur Anmeldung an der Proxmox-Oberfläche.
15.
21. TroubleshootingUpdates und Troubleshooting
Proxmox Kommandozeilebasiert
Einauf Debian. Deshalb sind Linux-Kenntnisse gerade bei Updates und Fehleranalysen ein wesentlicher Teil des Workshops bestand darin, nicht nur die Proxmox-GUI zu verwenden, sondern den tatsächlichen Zustand des Systems über Linux-Werkzeuge analysieren zu können.
Typische Werkzeuge waren:Vorteil.
Updates: Paket- und Kernelupdates werden über die Debian-Paketverwaltung eingespielt. Vor größeren Versionswechseln sollten Kompatibilität, Clusterzustand und vorhandene Backups geprüft werden.zpoolZFS Feature Upgrades: Neue ZFS-Pool-Features sollten bewusst aktiviert werden. Ein einmal aktualisierter Pool kann gegebenenfalls nicht mehr mit älteren ZFS-Versionen importiert werden.zfsKommandozeile: Befehle wie zpool, zfs, smartctl, multipath, lsblk, ip und qm zeigen häufig wesentlich genauer als die Weboberfläche, was im System tatsächlich passiert.smartctlmultipath
lsblkBehandelt ipwurden qmunter aptanderem dpkgausgefallene ZFS-Datenträger, beschädigte Netzwerkkonfigurationen, Clusterprobleme und das Wiederherstellen früherer Zustände.
Damit können Netzwerkprobleme, Storagefehler, beschädigte Pools, Replikationsprobleme und viele andere Störungen auch dann untersucht werden, wenn die grafische Oberfläche keine eindeutige Ursache zeigt.
Zusammenfassung des Proxmox WorkshopsFazit
Der Workshop behandeltverfolgt Proxmoxbewusst nichtkeinen nurAnsatz alsnach Ersatzdem fürMotto VMware„drei oderHosts Hyper-V,installieren sondernund alsauf kompletteHA Virtualisierungsplattformklicken“. mitStattdessen unterschiedlichenwerden Architekturvarianten.die einzelnen Bausteine einer Proxmox-Infrastruktur getrennt betrachtet und anschließend kombiniert.
EinDadurch besondererwird Schwerpunktnachvollziehbar, liegtwelche aufAufgabe derZFS, Kombination aus Proxmox und ZFS. Damit lassen sich mit vergleichsweise einfacher Hardware leistungsfähige, gut überwachte und schnell wiederherstellbare Virtualisierungsumgebungen aufbauen.
Gleichzeitig werden auch größere Konzepte wie High Availability,Replikation, Ceph, SAN, iSCSIMultipath, Cluster, HA und MultipathBackup praktischjeweils demonstriertübernehmen – und miteinanderwelche verglichen.Funktion sie ausdrücklich nicht ersetzen.
Das Ziel ist es,eine nichtProxmox-Infrastruktur, nurderen einzelneVerhalten Funktionenauch bedienenbei zuFestplatten-, können,Netzwerk-, sondernHost- dieoder technischenStorage-Ausfällen Zusammenhänge zu verstehenverstanden und darausvorhersehbar für unterschiedliche Kunden und Anforderungen eine passende Proxmox-Infrastruktur aufzubauen.bleibt.
Quellen und weiterführendetechnische DokumentationReferenzen
Die folgenden LinksQuellen führendienen überwiegendals technische Referenz und Vertiefung zu den im Workshop behandelten Themen. Verlinkt sind überwiegend die offiziellen Dokumentationen der eingesetzten Projekte und Technologien. Sie dienen als technische Referenz und zur Vertiefung der im Workshop behandelten Themen.Hersteller.
Proxmox VE
- Proxmox VE Administration Guide – Zentrale Dokumentation zu Installation, virtuellen Maschinen, Containern, Storage, Netzwerk,
ClusterCluster, High Availability, Firewall undAdministration.
/etc/pve und ZFS und OpenZFS
Proxmox Backup Server
- Proxmox Backup Server Dokumentation –
Installation,OffizielleBackup-Repositories,DokumentationSicherung,zu Backup, Restore, Deduplizierung, Kompression, Pruning, Garbage Collection und Datastores.
OpenZFS
TrueNAS, iSCSI und SANMultipath
- TrueNAS
DocumentationDokumentation –OffizielleZentrale Dokumentation zu ZFS, Storage Pools, Datasets, ZVOLs, Netzwerk und iSCSI. - TrueNAS – ZVOLs – Erläutert das Erstellen und Verwalten von ZFS Block
DevicesDevices, die unter anderem als Grundlage fürvirtuelleiSCSI-StorageMaschinen und iSCSI-Storage.dienen. - TrueNAS – Networking und Multipath
I/O– Hinweise zu redundanten Storage-NetzwerkenNetzen, iSCSI-Pfaden undredundanten iSCSI-Pfaden.Multipath-Konfigurationen.
Checkmk Monitoring
- Checkmk Dokumentation – Zentrale Dokumentation zu
Monitoring,Hosts, Services,AgentenAgenten, Monitoring-Regeln und Benachrichtigungen. - Checkmk – Linux überwachen – Installation und Betrieb des Checkmk-Agenten
unteraufLinux.Linux-Systemen. - Checkmk – Windows überwachen – Installation und Betrieb des Checkmk-Agenten
unteraufWindows.
Weitere technische Referenzen
- Debian Dokumentation – Technische Grundlage
des Proxmox-Hostsystems und ReferenzfürLinux-Administration.viele administrative Aufgaben auf dem Proxmox-Hostsystem. - QEMU Dokumentation –
TechnischerHintergrundinformationenHintergrundzurderVirtualisierungsschicht und zur virtuellen Hardware vonProxmox verwendeten Virtualisierungsschicht.QEMU/KVM. - KVM – Kernel-based Virtual Machine – Hintergrundinformationen zur Linux-Virtualisierung mit KVM.
Hinweis: Versionsstände,Menübezeichnungen, MenübezeichnungenVersionsstände und einzelne Funktionen können sich mit zukünftigen Versionen von Proxmox VE, OpenZFS, TrueNAS und Checkmk ändern. Für produktive Installationen sollte deshalb immer zusätzlich die Dokumentation der jeweilstatsächlich eingesetzten Version geprüft werden.