Direkt zum Hauptinhalt

Proxmox best Practice Cluster mit ZFS, CepH, SAN - Themenübersicher von KI analysiert

Dieser Proxmox-Artikel ist KI generiert. Als Basis diente die Sprache des Referenten und die ca 800 Screenshots!

Dieser Artikel ist KI generiert. Als Basis diente die Sprache des Referenten und die ca 800 Screenshots!

Zusammenfassung des Proxmox VE Workshops

Der zweitägige Workshop behandelt den praktischen Aufbau und Betrieb moderner Virtualisierungsumgebungen mit Proxmox VE.VE nicht nur als Oberfläche zum Starten virtueller Maschinen, sondern als vollständige Virtualisierungsplattform. Im Mittelpunkt stehen nicht nur Installation und Bedienung der Weboberfläche, sondern vor allem die technischen Zusammenhänge hinterArchitektur, Storage, ZFS, Netzwerk, Cluster, High Availability, Netzwerk,Backup, Migration, BackupMonitoring und Monitoring.die praktische Fehlersuche.

DieDabei Inhaltewerden stammenverschiedene ausBetriebsmodelle einemmiteinander zweitägigenverglichen: praktischenvom Workshopeinzelnen undProxmox-Host wurdenüber auszwei gesprochenemSysteme Kursmaterialmit sowieZFS-Replikation denbis dazugehörigenhin Bildschirmaufzeichnungenzu zusammengeführt.Clustern mit Ceph oder klassischem SAN-Storage.

1. Proxmox Grundlagen und Architektur

Proxmox VE ist eine Virtualisierungsplattformbasiert auf Basis von Debian Linux.Linux Fürund verwendet KVM für virtuelle Maschinen kommt KVM zum Einsatz, zusätzlich könnensowie Linux-Container betriebenfür werden.

containerisierte

ImSysteme. WorkshopDadurch wurde zunächst geklärt, wieunterscheidet sich Proxmox in einigen Punkten deutlich von VMwareklassischen ESXiVMware- undoder Hyper-V unterscheidet und welche Architektur für unterschiedliche Anforderungen sinnvoll ist.V-Umgebungen.

  • Standalone-ProxmoxSystem: Ein einzelner Proxmox-Host ist einfach und kostengünstig, bietet aber bei einem Hardwareausfall zunächst keinen zweiten Host für den Wiederanlauf.
  • zweiZFS-Replikation: Zwei oder mehr Hosts mitkönnen ZFS-Replikationlokale VM-Daten regelmäßig untereinander replizieren. Dadurch lässt sich ohne zentrales SAN bereits eine relativ einfache Wiederanlaufstrategie realisieren.
  • Cluster: Mehrere Proxmox-Systeme werden gemeinsam verwaltet und teilen wichtige Konfigurationsinformationen. Ein Cluster allein bedeutet jedoch noch keine automatische Hochverfügbarkeit.
  • HighCeph Availability
oder Ceph-Cluster SAN-basiertesSAN: Shared Storage ermöglicht mehreren Hosts den Zugriff auf dieselben VM-Daten und vereinfacht dadurch unter anderem Live-Migration und HA.

Entscheidend ist nicht, möglichst viele Funktionen einzusetzen, sondern eine Architektur zu wählen, die zu Verfügbarkeit, Budget, Hardware und gewünschter Wiederanlaufzeit passt.

2. Storage und ZFS

EinZFS zentralerist Bestandteileiner der Schwerpunkte des WorkshopsWorkshops. istEs ZFS. Im Gegensatz zu klassischen Hardware-RAID-Systemen übernimmt ZFS mehrere Aufgaben gleichzeitig:verbindet RAID-Verwaltung, Datenintegrität,Funktionen, Volume-Management, Datenintegrität, Snapshots, Kompression und Caching.Caching in einem Storage-System.

Behandelte ZFS-Themen

  • ZFS Mirror
RAID-Z1, RAID-Z2 und RAID-Z3Z: Je nach gewünschter Leistung, Kapazität und Ausfallsicherheit können unterschiedliche ZFS-VDEV-Strukturen aufgebaut werden. RAID10-ähnlicheChecksummen: Mirror-KonfigurationenZFS prüft Daten und Metadaten mit Checksummen und Datenintegritätkann dadurch nicht nur einen ausgefallenen Datenträger, sondern auch beschädigte Daten erkennen. KompressionKompression: Daten können transparent komprimiert werden. Gerade VM-Datenträger erreichen dabei teilweise erhebliche Kompressionsraten. ARC und L2ARC: ZFS verwendet freien Arbeitsspeicher intensiv als RAM-CacheCache. Optional können zusätzliche schnelle Datenträger als weiterer Lesecache eingesetzt werden. L2ARCSLOG: alsFür zusätzlichersynchrone SSD-CacheSchreibzugriffe kann ein separates schnelles Log-Gerät eingesetzt werden. Das ist vor allem bei entsprechenden Storage-Workloads relevant. SLOG für synchrone Schreibvorgänge TRIMSMART und AutoTrimWearout: ResilveringNeben dem eigentlichen ZFS-Pool müssen auch die physischen SSDs und HDDs überwacht werden. Besonders bei SSDs sind Schreibvolumen und Verschleißwerte wichtige Betriebsparameter.

Zusätzlich wurde gezeigt, wie der Zustand von Pools und Datenträgern mit zpool status, zfs list und SMART-Daten überprüft wird.

ZFS ermöglicht einen direkten Blick auf den Zustand der Datenträger und des Storage-Systems. Dadurch lassen sich Fehler häufig erkennen, bevor daraus ein tatsächlicher Ausfall entsteht.

3. ZFS Snapshots und Recovery

ZFS-Snapshots ermöglichen sehr schnelle Wiederherstellungspunkte. Sie ersetzen kein Backup, sind eineraber derbesonders größtenhilfreich praktischenbei VorteileUpdates, vonFehlkonfigurationen ZFS.oder Sieversehentlich könnenveränderten sehr schnell erstellt werden und benötigen zunächst nur wenig zusätzlichen Speicher.

Im Workshop wurde zfs-auto-snapshot eingesetzt, um automatisch Wiederherstellungspunkte zu erzeugen.Daten.

  • stündlicheAutomatische SnapshotsSnapshots: Mit zfs-auto-snapshot können beispielsweise stündliche, tägliche und wöchentliche Wiederherstellungspunkte automatisch erzeugt werden.
  • täglicheRollback: SnapshotsEin Dataset kann direkt auf einen früheren Snapshot zurückgesetzt werden. Da dies destruktiv sein kann, muss vor dem Rollback geprüft werden, welche neueren Änderungen dadurch verloren gehen.
  • wöchentlicheClone Snapshots
statt unterschiedlicheRollback: AufbewahrungszeitenFür eine nicht-destruktive Wiederherstellung kann ein Snapshot geklont und separat bereitgestellt werden. Daten lassen sich anschließend gezielt aus diesem Zustand zurückholen.

Damit

4. können beschädigte Systeme, Fehlkonfigurationen oder problematische Updates schnell zurückgesetzt werden.

Zusätzlich wurde der Unterschied zwischen einem destruktiven RollbackInstallation und einer nicht-destruktiven Wiederherstellung über einen Clone erläutert.

4. Proxmox Post-Installation

Die TeilnehmerProxmox-Installation installiertenwurde Proxmoxvollständig selbst.durchgeführt. Dabei ging es nicht nur darum, den Installer durchzuklicken, sondern bereits bei der Installation Storage- und Netzwerkentscheidungen bewusst zu treffen.

    ZFS RAID1 als Systemstorage: Zwei Datenträger können direkt während der Installation als ZFS-Mirror eingerichtet werden. Dadurch ist auch das Proxmox-System selbst redundant. Management-Netzwerk: Hostname, feste IP-Adresse, Gateway und DNS sollten vor der Installation geplant sein. Spätere Änderungen sind möglich, können bei Clustern aber deutlich aufwendiger werden. Repositories: Nach der Installation muss entschieden werden, ob das Enterprise-Repository oder beispielsweise das No-Subscription-Repository verwendet wird. Post-Install-Konfiguration: Zusätzlich wurden unter anderem VirtIO-Treiber, ZFS-Hilfsprogramme, AutoTrim, Snapshot-Einstellungen und weitere Systemparameter eingerichtet.

    5. Virtuelle Maschinen richtig konfigurieren

    Die virtuelle Hardware beeinflusst Leistung, Kompatibilität und spätere Migrationen. Deshalb wurden VMs nicht einfach mit beliebigen Standardwerten angelegt.

      Q35 und UEFI: Für moderne Betriebssysteme bietet sich eine moderne virtuelle Hardwareplattform mit UEFI und EFI-Disk an. VirtIO SCSI: VirtIO-Geräte vermeiden unnötige Hardwareemulation und bieten bei Storage- und Netzwerkzugriffen eine wesentlich geeignetere virtuelle Schnittstelle. CPU-Konfiguration: Der CPU-Typ beeinflusst sowohl die grundlegendeverfügbare InstallationLeistung und Features als auch die Storage-AuswahlMöglichkeit, behandelt.eine
        VM grafischerspäter Proxmox-Installerauf einen anderen Host zu migrieren. TextinstallerBallooning und KSM: Proxmox kann Arbeitsspeicher zwischen VMs flexibler verwalten. Diese Funktionen sollten jedoch bewusst eingesetzt und nicht als Ersatz für ausreichenden physischen RAM verstanden werden. ext4QEMU Guest Agent: Der Agent verbessert die Kommunikation zwischen Proxmox und LVMdem ZFS RAID1 EFIGastsystem und Bootpartitionenliefert Hostnamebeispielsweise Management-IPzusätzliche Gateway DNSStatusinformationen.

        Besonders wichtig war die Entscheidung, ob ein System klassisch mit LVM oder direkt auf einem ZFS-Mirror installiert wird.

        5. Proxmox Post-Installation und Optimierung

        Nach der Installation wurde das System für den produktiven Einsatz vorbereitet.

          pve-no-subscription Repository zusätzliche Paketquellen VirtIO-Windows-ISO ZFS-Werkzeuge SSH-Hardening Locales Swappiness ZFS ARC-Konfiguration ZFS Blocksize AutoTrim AutoExpand

          Ziel war eine reproduzierbare Grundkonfiguration, die anschließend für weitere Proxmox-Hosts verwendet werden kann.

          6. Virtuelle Maschinen: Proxmox Best Practices

          Eine virtuelle Maschine sollte nicht einfach mit den Standardwerten erstellt werden. Die virtuelle Hardware hat erheblichen Einfluss auf Leistung und spätere Migrationsmöglichkeiten.

            Q35 Machine Type UEFI statt Legacy BIOS EFI-Disk VirtIO SCSI Single VirtIO-Netzwerkkarten Discard / TRIM CPU-Typ und CPU-Features AES-Unterstützung Nested Virtualization RAM Ballooning Kernel Samepage Merging

            7. Linux- und Windows-Gastsysteme

            Linux unter Proxmox

            AmIm Beispiel einer Linux-VMWorkshop wurden sowohl Linux- als auch Windows-Systeme praktisch installiert. Dadurch konnten unterschiedliche Anforderungen an virtuelle Hardware und Treiber direkt gezeigt werden.

              Linux: Installation, EFI-EFI, Partitionierung, zusätzliche virtuelle Datenträger und der QEMU Guest Agent wurden praktisch behandelt.

              Windows unter Proxmox

              Bei

              Windows: Windows spielenbenötigt diefür optimale Leistung VirtIO-Treiber eine wichtige Rolle.Treiber. Während der Installation müssen unter Umständenwurden Storage-Treiber sowie anschließend Netzwerk- und Netzwerktreiberweitere eingebundenVirtIO-Treiber werden.eingebunden.

              7. Netzwerk und Bridges

              Virtuelle Maschinen kommunizieren in Proxmox normalerweise über Linux Bridges. Eine Bridge verbindet dabei virtuelle Netzwerkkarten der VMs mit physischen Interfaces oder VLANs.

              • VirtIOManagement-Netz: StorageDie DriverWeboberfläche und SSH-Zugänge des Hypervisors sollten möglichst nicht im normalen Client- oder Gastnetz erreichbar sein. Ein getrenntes Management-Netz reduziert die Systeme, von denen ein Angriff auf den Hypervisor überhaupt möglich ist.
              • RedVM-Netze: HatVirtuelle VirtIO Ethernet Adapter
              VirtIO Driver Installer QEMU Guest Agent

              8. Templates und VM-Cloning

              Wiederkehrende Systeme lassen sich als Templates vorbereiten und anschließend sehr schnell klonen.

                VM in Template umwandeln Full Clone Linked Clone VM-ID-Verwaltung

                Gerade für Schulungen, Tests oder wiederkehrende ServerinstallationenServer können Templatesüber viel Zeit sparen.

                9. Proxmox Netzwerk,eigene Bridges und VLANs

                Proxmoxin verwendetgetrennte LinuxNetzwerksegmente Bridges,eingebunden um virtuelle Maschinen mit physischen Netzwerkkarten zu verbinden.

                  physische Netzwerkinterfaceswerden. vmbr0Storage-Netze: Ceph, iSCSI oder Replikation erzeugen teilweise erheblichen Netzwerkverkehr. Separate Interfaces oder VLANs verhindern, dass dieser Verkehr das normale Management- oder VM-Netz unnötig belastet. Management-Netz/etc/network/interfaces: VM-NetzWenn Storage-Netzdie VLANsWeboberfläche Bondingwegen einer

                  Zusätzlichfehlerhaften wurdeNetzwerkkonfiguration gezeigt,nicht wiemehr eineerreichbar beschädigteist, kann die Linux-Netzwerkkonfiguration direkt überauf /etc/network/interfacesder Konsole analysiert und repariert werdenwerden. kann.

                  8.

                  Cluster,

                  10. Proxmox ClusterQuorum und Quorum

                  Migration

                  Mehrere Proxmox-Hosts können zu einem Proxmox-Cluster verbunden werden. DamitDadurch entstehtwerden zunächstwesentliche eineKonfigurationen gemeinsameüber Verwaltungs-die Nodes verteilt und Konfigurationsumgebung.die Systeme gemeinsam verwaltet.

                  • Cluster-NodesCorosync: Corosync übernimmt einen wichtigen Teil der Kommunikation und Mitgliedschaftsverwaltung innerhalb des Clusters.
                  • CorosyncQuorum: Das Mehrheitsprinzip verhindert, dass getrennte Teile eines Clusters unabhängig voneinander widersprüchliche Änderungen vornehmen.
                  • QuorumVM-Migration: Laufende VMs können zwischen Nodes verschoben werden. Wie viel dabei übertragen werden muss, hängt stark davon ab, ob lokaler oder gemeinsam genutzter Storage verwendet wird.
                  • /etc/pve
                  Shared gemeinsameStorage: Cluster-Konfiguration

                  Ein Cluster bedeutet dabei nicht automatisch Hochverfügbarkeit. HA, Storage und Replikation sind zusätzliche Funktionen,Liegt die getrennt geplant werden müssen.

                  11. VM-Migration und Live Migration

                  Im Workshop wurden virtuelle Maschinen zwischen unterschiedlichen Proxmox-Hosts verschoben.

                  Dabei hängt der Ablauf stark vom verwendeten Storage ab.

                    lokaler Storage ZFS-Replikation SAN Ceph Online-Migration Migration des RAM-Zustands Conntrack State

                    Bei Shared Storage liegen die VM-DatenFestplatte bereits fürauf mehrereCeph Hostsoder erreichbar vor. DadurchSAN, muss bei einer Live Migration imnicht Wesentlichenzusätzlich derdie laufendegesamte Zustandvirtuelle derDisk VMzwischen übertragenden Hosts kopiert werden.

                    9. ZFS-Replikation und High Availability

                    ZFS-Replikation und Proxmox HA lösen unterschiedliche Probleme und können miteinander kombiniert werden.

                    ZFS-Replikation:

                    12. ZFS-Replikation zwischen Proxmox-Hosts

                    Mit ZFS können virtuelle Festplatten regelmäßig auf einen zweiten Proxmox-Host repliziert werden.

                    Nach dereiner ersten vollständigen Übertragung werden nur nochdie Unterschiede zwischen ZFS-Snapshots übertragen. Dadurch kann ein zweiter Host relativ aktuell gehalten werden.

                    Replikationsintervall: Da die Änderungen zwischen zwei Snapshots übertragen.

                    Damit lässt sich auch ohne komplexes Shared Storage eine kostengünstige Wiederanlaufstrategie aufbauen.

                    Die Replikation ist nicht synchron.permanent Dersynchron Datenstanderfolgt, desbestimmt zweitendas Hostseingestellte Intervall den möglichen Datenverlust bei einem plötzlichen Ausfall. HA-Ressourcen: Proxmox kann daherfestlegen, jewelche nach Replikationsintervall einige Minuten hinter dem produktiven System liegen.

                    13. High Availability mit Proxmox

                    Mit Proxmox HA können virtuelle MaschinenVMs nach einem Node-Ausfall automatisch auf einem anderen Cluster-NodeHost gestartet werden.

                    werden
                      HA-Ressourcensollen. FailbackNode Affinity: Über Prioritäten lässt sich definieren, auf welchen Hosts bestimmte virtuelle Maschinen bevorzugt laufen sollen. Auto-RebalanceFencing Nodeund AffinityWatchdog: PrioritätenVor Fencingeinem Watchdogautomatischen Neustart einer VM muss der Cluster sicherstellen, dass die VM nicht gleichzeitig noch auf dem ausgefallenen beziehungsweise isolierten Host aktiv ist.

                      Im

                      10. WorkshopSAN, wurden Hosts auch bewusst hart abgeschaltet, um das tatsächliche Verhalten bei einem Ausfall zu demonstrieren.

                      Dabei wurde deutlich: High Availability verbessert die Wiederanlaufzeit, ersetzt aber weder Datensicherung noch Replikation.

                      14. SANiSCSI und iSCSI mit Proxmox

                      Multipath

                      Als klassischesAlternative Shared-Storage-Modellzu lokalem ZFS und Ceph wurde einklassisches SANShared aufStorage Basis vonmit TrueNAS und iSCSI verwendet.behandelt.

                      • ZVOLsZVOL: TrueNAS stellt ein ZFS-Volume als Blockgerät bereit, das anschließend per iSCSI an die Proxmox-Hosts exportiert werden kann.
                      • iSCSIShared TargetsStorage: Mehrere Proxmox-Nodes können auf denselben zentralen Speicher zugreifen. Das erleichtert Live-Migration und klassische Clusterkonzepte.
                      • SharedMultipath: Storage
                      Proxmox Storage-Anbindung LVM auf gemeinsamem Storage

                      Der Vorteil liegt in gemeinsam nutzbarem Storage und einfacher Live Migration. Gleichzeitig entsteht aber eine zusätzliche zentrale Infrastruktur, die selbst redundant ausgelegt werden muss.

                      15. Multipath für redundanteProduktiver SAN-Verbindungen

                      Ein produktives SANZugriff sollte nicht nurvon einem einzigen Netzwerkpfad abhängen. Multipath kombiniert mehrere unabhängige Wege zum selben Storage-Gerät.

                      WWID: Anstelle wechselnder Linux-Gerätenamen wie /dev/sde oder /dev/sdf wird das Storage-Gerät über seine eindeutige WWID identifiziert. Pfadausfall: Fällt eine Netzwerkverbindung aus, kann ein korrekt konfiguriertes Multipath-System den Zugriff über einen einzigenverbleibenden NetzwerkpfadPfad erreichbarfortsetzen. sein.
                      Mit

                      11. MultipathCeph

                      werden

                      Ceph stellt verteilten Storage direkt über mehrere Storage-VerbindungenCluster-Nodes zubereit. einemDadurch logischenwird Gerätkein zusammengeführt.

                      separates

                      Behandeltklassisches wurdenSAN unter anderem:benötigt.

                      • WWIDsDatenverteilung: Daten werden auf mehrere Systeme verteilt und entsprechend der konfigurierten Replikation mehrfach gespeichert.
                      • multipathShared -aStorage: Alle beteiligten Proxmox-Nodes greifen auf denselben logischen Storage-Bestand zu.
                      • multipathNetzwerk: -rCeph erzeugt zusätzlichen internen Datenverkehr. Netzwerkbandbreite und Latenz sind deshalb entscheidende Faktoren für die Gesamtleistung.
                      • multipathKapazität: -ll
                      Durch /dev/mapperdie lsblkReplikation steht nicht die gesamte physisch installierte Rohkapazität für Nutzdaten zur Verfügung.

                      Auch der Ausfall eines einzelnen SAN-Pfades wurde praktisch demonstriert.

                      16. Ceph Storage mit Proxmox

                      Ceph verteilt Daten über mehrere Proxmox-Nodes und stellt dadurch gemeinsam nutzbaren Storage ohne klassisches externes SAN bereit.

                      Dadurch werden Live Migration und Hochverfügbarkeit möglich, allerdings steigen Hardware-, Netzwerk- und Speicherbedarf.

                        mehrere Cluster-Nodes schnelle SSDs schnelle Netzwerkverbindungen replizierte Daten Shared Storage

                        Im Workshop wurde Ceph bewusst mit SAN und lokaler ZFS-Replikation verglichen.

                        17. Proxmox Monitoring mit Checkmk

                        Die Proxmox-Oberfläche zeigt nicht jeden Hardware- oder Storagefehler ausreichend deutlich an. Deshalb ist externes Monitoring für produktive Installationen wichtig.

                        Überwacht werden sollten beispielsweise:

                          ZFS Pool Status SMART-Werte SSD Wearout Speicherplatz Multipath-Verbindungen Cluster-Zustand Backup-Jobs Replikationen

                          Im Workshop wurde dafür unter anderem Checkmk verwendet und der Agent sowohl auf Linux als auch unter Windows installiert.

                          18.

                          12. Backup und Disaster Recovery

                          HighHA, Availability,Replikation und Snapshots undreduzieren ReplikationAusfallzeiten, sindersetzen keineaber vollständigekein Datensicherungsstrategie.

                          unabhängiges

                          DeshalbBackup. wurdenEin Fehler oder Angriff kann ansonsten sehr schnell auf mehrere Sicherungsansätzereplizierte behandelt:Systeme übertragen werden.

                          • klassische Proxmox Backups
                          Proxmox Backup ServerServer: PBS integriert sich direkt in Proxmox VE und bietet deduplizierte und komprimierte Backups von VMs und Containern. ZFS SendSend/Receive: undZFS-Snapshots Receivekönnen vollständig oder inkrementell auf ein anderes ZFS-System übertragen werden. inkrementelleOffsite-Sicherung: ZFS-ReplikationMindestens Offsite-Backupeine Offline-Sicherung sollte

                          Besondersräumlich wichtig ist die räumliche und technische Trennung der Backupsgetrennt vom Produktivsystem.Produktivsystem Dadurchliegen, kanndamit verhindertbeispielsweise werden,Brand, dassDiebstahl oder ein Angriffgrößerer oderHardwareausfall Hardwarefehler gleichzeitignicht Produktion und SicherungBackup betrifft.

                          gleichzeitig
                          trifft.
                          Offline-

                          19.beziehungsweise Proxmoxgetrennte UpdatesBackups:

                           Eine Sicherung, auf die das Produktivsystem nicht dauerhaft schreiben kann, bietet zusätzlichen Schutz gegen Ransomware und VersionswechselFehlbedienung.

                          13. Monitoring

                          DaEin ProxmoxVirtualisierungscluster aufdarf Debiannicht basiert,nur erfolgtanhand dieder Systempflegegrünen überSymbole diein Linux-Paketverwaltung.der Proxmox-Weboberfläche überwacht werden. Gerade Storage- und Hardwareprobleme müssen aktiv kontrolliert werden.

                          • APTZFS UpdatesPool Status: Ein Pool kann bereits DEGRADED sein, obwohl die darauf laufenden VMs zunächst weiterhin funktionieren.
                          • KernelSMART Updatesund SSD-Wearout: Physische Datenträger müssen auf Fehlerwerte, Betriebsstunden und Verschleiß überwacht werden.
                          • Repository-VerwaltungMultipath: Ein SAN kann weiterhin funktionieren, obwohl bereits einer von zwei redundanten Pfaden ausgefallen ist. Ohne Monitoring würde dieser Zustand möglicherweise erst beim Ausfall des zweiten Pfades auffallen.
                          • aptCheckmk: autoremove
                          Ein dpkgexternes --auditMonitoring Proxmoxsammelt Versionswechseldiese Zustände zentral und kann Alarmierungen auslösen, bevor aus einer verlorenen Redundanz ein tatsächlicher Ausfall wird.

                          Ein weiterer Punkt waren ZFS Feature Upgrades. Diese sollten nicht unmittelbar nach Veröffentlichung aktiviert werden, damit im Notfall weiterhin kompatible Recovery-Medien verfügbar sind.

                          20. Proxmox

                          14. Sicherheit und Hardening

                          EineDer produktiveProxmox-Hypervisor Virtualisierungsplattformist solltedie nichtzentrale ungeschütztKontrolle imüber normalenviele Anwendernetzvirtuelle betriebenServer. werden.

                          Ein

                          Behandeltekompromittierter MaßnahmenProxmox-Host warenkann unterdeshalb anderem:wesentlich größere Auswirkungen haben als der Angriff auf eine einzelne virtuelle Maschine.

                          • separatesSeparates Management-Netz: Proxmox-Webinterface und SSH sollten möglichst nur aus einem administrativen Netz oder über VPN erreichbar sein. Anwender-PCs und normale Server benötigen normalerweise keinen direkten Zugriff auf die Managementoberfläche.
                          • SSH HardeningHardening: Nicht benötigte oder unsichere Anmeldeverfahren werden abgeschaltet. Gleichzeitig sollte der SSH-Dienst nur aus Netzen erreichbar sein, aus denen tatsächlich administriert wird.
                          • SSH KeysKeys: Schlüsselbasierte Anmeldung vermeidet die Übertragung und regelmäßige Eingabe administrativer Passwörter. Private Schlüssel müssen allerdings ebenso sorgfältig geschützt werden wie Passwörter.
                          • Passwort-Login für root deaktivierendeaktivieren: Ist eine funktionierende Schlüsselanmeldung eingerichtet, kann der direkte SSH-Login von root per Passwort abgeschaltet werden. Damit entfällt ein besonders offensichtliches Ziel für automatisierte Passwortangriffe.
                          • Zugriff auf das Webinterface begrenzenbegrenzen: Port 8006 sollte nicht unnötig aus beliebigen Netzen oder direkt aus dem Internet erreichbar sein. Firewall-Regeln und Netzwerksegmentierung beschränken die erreichbaren Management-Systeme.
                          • Proxmox Firewall: Die integrierte Firewall kann Regeln auf Datacenter-, Host- und VM-Ebene anwenden. Dadurch lassen sich sowohl Managementdienste als auch virtuelle Systeme gezielt absichern.
                          • Zwei-Faktor-AuthentifizierungAuthentifizierung: Für administrative Konten ergänzt ein zweiter Faktor das Passwort. Ein gestohlenes oder erratenes Passwort reicht damit allein nicht mehr zur Anmeldung an der Proxmox-Oberfläche.

                          15.

                          21. TroubleshootingUpdates und Troubleshooting

                          Proxmox Kommandozeilebasiert

                          Einauf Debian. Deshalb sind Linux-Kenntnisse gerade bei Updates und Fehleranalysen ein wesentlicher Teil des Workshops bestand darin, nicht nur die Proxmox-GUI zu verwenden, sondern den tatsächlichen Zustand des Systems über Linux-Werkzeuge analysieren zu können.

                          Typische Werkzeuge waren:Vorteil.

                          • zpoolUpdates: Paket- und Kernelupdates werden über die Debian-Paketverwaltung eingespielt. Vor größeren Versionswechseln sollten Kompatibilität, Clusterzustand und vorhandene Backups geprüft werden.
                          • zfsZFS Feature Upgrades: Neue ZFS-Pool-Features sollten bewusst aktiviert werden. Ein einmal aktualisierter Pool kann gegebenenfalls nicht mehr mit älteren ZFS-Versionen importiert werden.
                          • smartctlKommandozeile: Befehle wie zpool, zfs, smartctl, multipath, lsblk, ip und qm zeigen häufig wesentlich genauer als die Weboberfläche, was im System tatsächlich passiert.
                          • multipath
                          Recovery: lsblkBehandelt ipwurden qmunter aptanderem dpkgausgefallene ZFS-Datenträger, beschädigte Netzwerkkonfigurationen, Clusterprobleme und das Wiederherstellen früherer Zustände.

                          Damit können Netzwerkprobleme, Storagefehler, beschädigte Pools, Replikationsprobleme und viele andere Störungen auch dann untersucht werden, wenn die grafische Oberfläche keine eindeutige Ursache zeigt.

                          Zusammenfassung des Proxmox WorkshopsFazit

                          Der Workshop behandeltverfolgt Proxmoxbewusst nichtkeinen nurAnsatz alsnach Ersatzdem fürMotto VMware„drei oderHosts Hyper-V,installieren sondernund alsauf kompletteHA Virtualisierungsplattformklicken“. mitStattdessen unterschiedlichenwerden Architekturvarianten.die einzelnen Bausteine einer Proxmox-Infrastruktur getrennt betrachtet und anschließend kombiniert.

                          EinDadurch besondererwird Schwerpunktnachvollziehbar, liegtwelche aufAufgabe derZFS, Kombination aus Proxmox und ZFS. Damit lassen sich mit vergleichsweise einfacher Hardware leistungsfähige, gut überwachte und schnell wiederherstellbare Virtualisierungsumgebungen aufbauen.

                          Gleichzeitig werden auch größere Konzepte wie High Availability,Replikation, Ceph, SAN, iSCSIMultipath, Cluster, HA und MultipathBackup praktischjeweils demonstriertübernehmen – und miteinanderwelche verglichen.Funktion sie ausdrücklich nicht ersetzen.

                          Das Ziel ist es,eine nichtProxmox-Infrastruktur, nurderen einzelneVerhalten Funktionenauch bedienenbei zuFestplatten-, können,Netzwerk-, sondernHost- dieoder technischenStorage-Ausfällen Zusammenhänge zu verstehenverstanden und darausvorhersehbar für unterschiedliche Kunden und Anforderungen eine passende Proxmox-Infrastruktur aufzubauen.bleibt.


                          Quellen und weiterführendetechnische DokumentationReferenzen

                          Die folgenden LinksQuellen führendienen überwiegendals technische Referenz und Vertiefung zu den im Workshop behandelten Themen. Verlinkt sind überwiegend die offiziellen Dokumentationen der eingesetzten Projekte und Technologien. Sie dienen als technische Referenz und zur Vertiefung der im Workshop behandelten Themen.Hersteller.

                          Proxmox VE

                          • Proxmox VE Administration Guide – Zentrale Dokumentation zu Installation, virtuellen Maschinen, Containern, Storage, Netzwerk, ClusterCluster, High Availability, Firewall und Administration.
                           Proxmox VE – Network Configuration  – Linux Bridges, Bonds, VLANs sowie Netzwerkdesign für Cluster und Storage.Benutzerverwaltung. Proxmox VE Cluster Manager – AufbauTechnische einesReferenz Proxmox-Clusters,zu Cluster-Aufbau, Corosync, Quorum und Cluster-Kommunikation.der Verwaltung mehrerer Proxmox-Nodes. Proxmox Cluster File System – pmxcfs – TechnischerErläutert Hintergrunddas zuverteilte Cluster-Dateisystem hinter /etc/pve und derdie Replikationgemeinsame derKonfiguration Cluster-Konfiguration.innerhalb eines Proxmox-Clusters. Proxmox VE High Availability – HADokumentation Manager,zu HA-Ressourcen, Fencing, Watchdog, Failover und HA-Ressourcen.automatischem Wiederanlauf von virtuellen Maschinen. Proxmox VE Storage Replication – Beschreibung der ZFS-basierten Replikation lokalervirtueller ZFS-Storage-SystemeFestplatten zwischen Proxmox-Nodes. Proxmox VE Storage – ÜbersichtÜberblick über lokale und gemeinsame Storage-Systeme wie ZFS, LVM, NFS, iSCSI, Ceph und Proxmox Backup Server. Proxmox VE Ceph – Einrichtung und Betrieb einesvon verteiltenverteiltem Ceph-Storage innerhalb eines Proxmox-Clusters. Migration zu Proxmox VE Network Configuration – Hinweise zu Migration, Clustern, Shared Storage und High Availability.

                          ZFS und OpenZFS

                             OpenZFS Documentation  – Offizielle Dokumentation zu ZFS-Pools,Linux Datasets,Bridges, Snapshots,VLANs, Kompression,Bonds Caching,sowie ScrubsManagement-, VM- und Resilvering.  OpenZFS – zpool status  – Referenz für die Überprüfung des Zustands von ZFS-Pools und Datenträgern.  OpenZFS – ZFS Snapshots  – Erstellung und Verwaltung von ZFS-Snapshots.  OpenZFS – zfs send  – Übertragung vollständiger und inkrementeller ZFS-Snapshots für Replikation und Backup.  OpenZFS – zfs receive  – Empfang replizierter ZFS-Datasets und Snapshots.Storage-Netzen.

                            Proxmox Backup Server

                            • Proxmox Backup Server Dokumentation – Installation,Offizielle Backup-Repositories,Dokumentation Sicherung,zu Backup, Restore, Deduplizierung, Kompression, Pruning, Garbage Collection und Datastores.
                             Proxmox VE und PBS Integration  – Beschreibt die Einbindung eines Proxmox Backup Servers in Proxmoxeinzelne VE.Proxmox-Hosts oder Cluster.

                            OpenZFS

                               OpenZFS Dokumentation  – Zentrale technische Referenz zu Pools, Datasets, Snapshots, Kompression, ARC, Scrubs, Resilvering und Fehlerbehandlung.  OpenZFS – zpool status  – Referenz für die Prüfung des Gesundheitszustands eines ZFS-Pools sowie für Scrub- und Resilver-Vorgänge.  OpenZFS – ZFS Snapshots  – Dokumentation zur Erstellung und Verwaltung von ZFS-Snapshots.  OpenZFS – Send and Receive  – Beschreibung vollständiger und inkrementeller Übertragungen von ZFS-Snapshots für Replikation und Backup.

                              TrueNAS, iSCSI und SANMultipath

                              • TrueNAS DocumentationDokumentation – OffizielleZentrale Dokumentation zu ZFS, Storage Pools, Datasets, ZVOLs, Netzwerk und iSCSI.
                              • TrueNAS – ZVOLs – Erläutert das Erstellen und Verwalten von ZFS Block DevicesDevices, die unter anderem als Grundlage für virtuelleiSCSI-Storage Maschinen und iSCSI-Storage.dienen.
                              • TrueNAS – Networking und Multipath I/O – Hinweise zu redundanten Storage-NetzwerkenNetzen, iSCSI-Pfaden und redundanten iSCSI-Pfaden.Multipath-Konfigurationen.

                              Checkmk Monitoring

                               Checkmk – Monitoring-Agenten  – Grundlagen der Agentenkommunikation und der Überwachung von Servern.Windows-Systemen.

                              Weitere technische Referenzen

                              • Debian Dokumentation – Technische Grundlage des Proxmox-Hostsystems und Referenz für Linux-Administration.viele administrative Aufgaben auf dem Proxmox-Hostsystem.
                              • QEMU Dokumentation – TechnischerHintergrundinformationen Hintergrundzur derVirtualisierungsschicht und zur virtuellen Hardware von Proxmox verwendeten Virtualisierungsschicht.QEMU/KVM.
                              • KVM – Kernel-based Virtual Machine – Hintergrundinformationen zur Linux-Virtualisierung mit KVM.

                              Hinweis: Versionsstände,Menübezeichnungen, MenübezeichnungenVersionsstände und einzelne Funktionen können sich mit zukünftigen Versionen von Proxmox VE, OpenZFS, TrueNAS und Checkmk ändern. Für produktive Installationen sollte deshalb immer zusätzlich die Dokumentation der jeweilstatsächlich eingesetzten Version geprüft werden.

                              Im Kurs verwendete wichtige Links

                                 Proxmox VE – Cluster Manager  – Offizielle Proxmox-Dokumentation zum Aufbau und zur Verwaltung eines Proxmox-Clusters, inklusive Corosync, Quorum und Cluster-Kommunikation.  Proxmox VE – Full Mesh Network for Ceph Server  – Beschreibung eines direkten Full-Mesh-Netzwerks zwischen Ceph-Nodes, um Storage-Verkehr ohne zentralen Switch zwischen den Hosts zu übertragen.  Proxmox VE – Deploy Hyper-Converged Ceph Cluster  – Praxisanleitung zum Aufbau eines hyperkonvergenten Proxmox-Ceph-Clusters, bei dem Compute- und Storage-Funktionen auf denselben Nodes betrieben werden.