ProxMox

Inhaltsverzeichnis

Proxmox Workshop 20230926 und 20230928

26.09.2023

28.09.2023

Proxmox Workshop 20230926 und 20230928

Kostenpflichtiger Link für Videos

26.09.2023

• Kein RAID Controller 
• Platten direkt an Proxmox geben 
• ISO Installation mit Version 7.x
  
  ◦Install Proxmox
  ◦Target Harddisk sda / sda —> ext4 mit LVM - daher auf options (ALT o) 
• ‣ ZFS RAID 1 oder ZFS RAID 10 
• ‣ Festplatten müssen gelesen werden 
• ‣ Advanced Option - ZFS Optionen 
• ‣ Passwort muss sich in der HTML Console tippen lassen - Thomas Krenn Server sind da
  
  zickick 
• Proxmox Boot-Tool kann hilfreich sein 
• https://<ip>:8006
  ◦Single PAM - ssh login in
  ◦Proxmox VE - Weboberfläche Cluster 
• /etc/ssh/sshd_config ◦PermitRootLogin without-password 
• TOTP (... one Time Password) 
• Postinstall aus bashclub - github
  
  ◦No Subscription auswählen
  ◦96 hours wegen Weihnachten und Ostern
  ◦Backup /etc zfs dataset rpool/pveconf - Configuration liegt in einer Datenbank ◦... 

• Update nach Proxmox 8.x

◦pve7to8

◦pve7to8 -- full ◦...

• Proxmox Update nach Anleitung von ProxMox - Subscription bzw. Nosubsription beachten 
• Nach Kernel Update - reboot einplanen 

•     dmesg -w # oder 
      dmesg -Tw # - Hardware Tausch 
      ProxMox-boot-tool 
      proxmox-boot-tool status 
      zpool upgrade 
      zpool upgrade -a # führt das Upgrade durch 
      # ZFS trim einschalten 
      zpool set autotrim=on rpool # Freigabe leerer Blöcke ◦zpool trim rpool
      zpool status 1 
  
  

  
  
• Template Ordner /var/lib/vz
• ISO Ablage Ordner  /var/lib/vz/template/iso
  ◦z.B. virtio-win.iso 
• Cache /var/lib/vz/cache/ z.B. *.tar.gz Proxmox Mailgateway 
• PVE boot nicht mehr 

◦CD bzw. ISO booten - ...Debug ...

• ‣

  exit - damit nicht der Installer bootet 
    zpool status 
    zpool import  zpool import rpool  zpool import -fa # a für all 
    zpool import -f rpool 
    zpool status 
    zpool list  zfs list -t snapshot  zfs list -t snapshot | grep pve-1 
    zfs rollback -r rpool/ROOT/pve-1@zfs-auto-snap.hourly_2023-hourly\_2023-09-26-1251    \
    # entsprechender snapshot - boot und Proxmox geht wieder
  
  

• ‣ data zurück rollen 

• 

zfs rollback -r rpool/data@... (?) #  data/vm... zurück rollen

• Verschlüsseltes ZFS ◦zfs-load-key
  
  ◦Replication raw - Chriz Software unterstützt das ...

• PVE Grafik
  
  ◦local
  
  ◦local-ZFS

• VM auf RAID-Z 8k versus 16k
  
  ◦

  ZFS create rz_repel/rz\_repel/vmtest ZFS create V 10G rz_repl/rz\_repl/vmtest/disk8k # Keine RAID5 für VM‘s -    \
    langsam wegen 8k ◦RAID5 min. 16K einstellen

  
  

  ◦Local-ZFS Einstellung auf min. 16K einstellen ◦Proxmox Standard volblocksize=8k
  ◦Siehe awo.de Tabelle - Artikel ZFS RAID

• VirtIO Treiber im Internet finden ... - proxmox windows driver im Browser suchen ◦Auf ProxMox Seite nach stable suchen
  ◦Link kopieren
  ◦In ProxMox GUI - Download URL eintragen

‣ Filename: VirtIO-win.iso
◦ISO Ablage Ordner **/var/lib/vz/**template/iso

• ProxMox Virtual Treiber - für Windows iso

◦Create VM
‣ System

• Maschine q35 
• BIOS: OVMF (UEFI) 
• Emu Agent 
• EFI Storage: local-zfs
  
  ‣ Disks 
• Bus/Device: SCSI # VirtIO Block ist obsolet !!! 
• SCSI - VirtIO SCSI Single - SCSI steht für SCSI Controller auf der vorseite - kann ein
  
  Prozessorkern pro Festplatte 
• Discard 
• SSD emulation 
• Cache: - Default (no cache) - keine Cache einschalten !!!
  
  ‣ CPU 

• Type: Host

‣ Network

• Bridge: vmbr0 
• Model VirtIO (paravirtualized) ◦GUI - vm - Hardware - CD/DVD
  
  ‣ Zweites CD Laufwerk VirtIO Treiber iso ◦GUI - vm - Hardware - Maschine 

‣ q35 Version 5.2 - weniger Probleme als mit 8.0 wegen deutschen Treibern - ist für US optimiert ... - Probleme mit Netzwerkkarten

◦EFI hat feste Bildschirmauflösung - kann nur in der EFI der VM eingestellt werden (EFI BIOS) - Im BIOS ESC drücken

◦Windows Installer
‣ Treiber - Virtualio SCSI laden - vioscsi - win10 - amd64

• vm-<id vm>-disk-0 EFI BIOS - speichert z.B. Bildschirmauflösung - z.B. zd0

• vm<id-vm>-disk-1 Windows 10 - z.B. zd16
  ◦Windows partitioniert die „disk-1“ in 3 Partitionen - während der Installation 
• ‣ p1: EFI 
• ‣ p2: Microsoft reserved 
• ‣ p3: Microsoft basic data 
• Windows ohne Netzwerk = keine dummen Tools 
• Windows ohne Passwort = keine Fragen 

• Wichtig für den Start der VM

◦Pool muss online
◦Pool unter 80 %
◦Definition der Datenstorages unter cat /etc/pve/storage.cfg ◦PVE Server 101.conf - unter cat /etc/pve/qemu-server/101.conf ◦Virtual CD - fehlende Treiber - 1 Controller pro Festplatte

• Virtio-win-guest-tools - evtl. Erweiterung exe sichtbar - installierten - installiert alles - liegt im Hauptverzeichnis der CD/DVD - am Ende auch die Guest-Tools 
• Reale Memory Anzeige, CPU Usage und IP Adressen ◦Deinstallation der Apps
  
  Powershell 

• 

Get-appxPackage | Remove-appxPackage # man verliert Taschenrechner - alle App

werden entfernt - auch der Storage wird entfernt ‣ Nach Feature Update wieder alles da

◦Festplatte vergrößern
‣ Resize 16 GB - bedeutetet +16 GB

• Auf PVE

cd /dev/zvol/rpool/data 
ls -alter

‣ Wiederherstellungspartiions an das Ende verschieben oder löschen • /dev/zvol/...

•     cfdisk # - Partition löschen 
  
  

  
  
• Partition in Windows Erweitern 
  ◦Unter Linux VM ausschalten, resize geht nicht immer Fehlerfrei 
• ‣ Datenträger neue Größe 
• ‣ Explorer noch alte Größe 

•     zfs history 
      cd /dev/zvol/rpool/data 
      ls -althr 
  
  

  
  

‣ SSD Emulation / Discard • Defragemtieren

◦Unter Einstellungen ändern: Auf einmal täglich einstellen ‣ Windows Swap optimieren - powershell

•     attrib 
      powercfg -h off # evtl. Darf es der User nicht - powershell als administrator starten 
      zfscreate-o com.sun:auto-snapshot=false rpool/swap # keine  autosnapshots!!! 
  
  

  
  
• ◦PVE rpool/swap in der GUI - Add ZFS 
• ‣ ID: rpool-swap 
• ‣ ZFS Pool: rpool/swap 
• ‣ Content: Disk Image 
• ‣ Thin provision Haken setzen ! 
• ‣ Block Size: 16K 
• Add Hard Disk: ◦Disk Size: 8 G
  
  ◦Storage: rpool-swap
  ◦SSD emulation
  ◦Discard
  ◦Backup haken ? Herausnehmen ? - Backup: ja - Replication: nein 

• Im PVE add ZFS

◦ID: rpool-swap
◦ZFS Pool: rpool/swap ◦Content: Disk Image ◦Thin provision: Haken ◦Block Size: 16K

• PVE Add Hard Disk
  ◦Bus/Device: SCSI
  ◦Storage: rpool-swap
  ◦Disk size (GiB): 8
  ◦SSD emulation: Haken
  ◦Discard: Haken
  ◦Backup: Haken - auf jedenfall bei Linux - Windows braucht die Partition nicht, bei
  
  Replication: nein, Backup: ja 
• Nach neuer Hardware suchen - Evtl. Bug - Hotswap - bei SCSI Controller VirtIO SCSI
  
  würde er ihn direkt erkennen
  ◦Neuer Speichercontroller gefunden 
• Neues Laufwerk a: oder b: # Niemand braucht a: oder b: mehr 
• Auslagerungsdatei auf a: ändern und c: herausnehmen ◦Checkliste Platz
  
  ‣ 

• Linux in crontab /sbin/fstrim -av - für Linux VM

◦crontab -e
‣ 0 0 * * * /sbin/fstrim -a

◦fstrim -av # muss eine Ausgabe bringen - sonst vm falsch konfiguriert \
  • VM Platten auf SSD und Discard umstellen

◦Wenn 8k und RAID 5 —> neuer datastore 16k und move disk
◦Wenn die in vm —> Treiber rein, runter fahren deatach, attach mit ssd / discard >

Optimierungen

◦Page file wie oben erklärt
◦Dann daily optimieren, Platz wird nach spätestens nach 3 Monaten frei, optional snapshot

löschen
◦Optional vacuum auf Datenbanken

28.09.2023

Workshop 2023-09-28 • Platten replacement

◦Artikel von ProMox - ist nicht ganz korrekt: https://pve.proxmox.com/wiki/ZFS_on_Linux

◦zpool set autoexpand=on rpool # Erweiterung des Pools, wenn alle Platten getauscht ◦sgdisk /dev/sdb -R /dev/sda #

Partitionstabelle kopieren
◦

cfdisk /dev/sda # Partition vergrößern

sgdisk -G /dev/sda # EFI: neuer Fingerabdruck, damit EFI zu recht kommt 
proxmox-boot-tool format /dev/sda2 # format die Bootpartition (Partition 2) - Windows

Dateisystem (vat)
◦

proxmox-boot-tool init /dev/sda2
proxmox-bool-tool status
◦proxmox-boot-tool clean # wirft Platten heraus, \
  die er nicht mehr kennt
update-initramfs -u # alte Variante - wegen aktuellen \
  Bug - nur eine Platte bootet über status ◦apt install systems-boot # systemd-boot fehlt nach Update von 7.x auf 8.x
zpool replace rpool ata-INTEL-...-part3 ata-ST2000...-part3 \
  # „alte Platte“ „neue Platte“ ◦zpool status
zpool status 1

◦Im Einspielvorgang resilver Vorgang

• ‣ ZFS interessiert das nicht - Hardware RAID böse !!! 
• ‣ Nach dem Reboot geht das Einspiegeln weiter ... ◦Zweite HDD in freien Slot stecken 

‣ Nach dem Booten können die Festplatten einen anderen Buchstaben bekommen haben, so

wie er sie erkannt hat
◦

sgdisk /dev/sdb -R /dev/sdd
sgdisk -G /dev/sdd
zpool status
proxmox-boot-tool format /dev/sdd2
proxmox-boot-tool init /dev/sdd2
proxmox-boot-tool status
zpool status

◦Cockpit ZFS nur zum schauen - kein two Factor !! - aus Postinstall Proxmox - Achtung neuer

Link

• ‣

  wget \    https://raw.githubusercontent.com/bashclub/proxmox-zfs-postinstall/main/install-cockpit-zfs-manager 
  bash install-cockpit-zfs-manager

  ‣ https://<ip>:9090

• root user kann sich nicht per Passwort einloggen
  ◦Temporär in der /etc/ssh/ssd_conf ändern # keine Empfehlung ◦Key muss irgendwo hinterlegt werden # nur zum lernen !!!

• z.B. für das zum Zurückspielen einer VM - VM muss vorher im Proxmox gestoppt werden
  
  ◦

  zpool replace ... # löscht Platte !!! zpool attach rpool ata-... # neue Platte erst hinzufügen zpool detach ... # Schublade - Backup zpool attach rpool ata-INTEL-SSD..-part3 ata-ST2000...-part3 # hängt die HDD hinter die SSD ◦zpool status # 3 Platten im mirror-0 !!!

  
  

  ◦SSD HDD Hard herausziehen und anschließend detach der Platte
  

zpool status
zpool detach rpool ata-INTEL-SDD...-part3
proxmox-boot-tool status 
proxmox-boot-tool clean
proxmox-boot-tool status
zpool status # rpool hat jetzt 1.82 TB - Pool vergrößert
arcstat
vi /etc/modprobe.d/zfs.conf
proxmox-boot-tool refresh # in den Images wird der Cache auf den neuen Wert gesetzt, ZFS

muss das vor wissen bevor es boot, zfs.conf liegt auf ZFS • Windows kaputt machen - Trojaner

◦Netwerkkarte disablen durch Trojaner
◦VM herunterfahren
◦Entwicklung der Größe der snapshot‘s - als Indikator ◦Rollback snapshot über Cockpit oder über command Line

• Cache

zpool add -n rpool cache ata-intense..
zpool add -nf rpool cache ata-intense.. # wenn schon Daten auf der Platte ◦zpool add -f rpool cache ata-intense..
zpool iostat -v 3
zpool iostat -v 1 # 1 sec

• Proxmox Cluster
◦GUI - Cluster - create cluster ◦pvecm create „clustername“ ◦GUI - Cluster - „add Cluster“ ◦pvecm add clusterserver1 ◦Kein Cluster mehr

‣ https://pve.proxmox.com/wiki/Cluster_Manager#_remove_a_cluster_node

• Goto: First, stop the corosync and pve-cluster services on the node:◦

cd /etc/pve

‣ storage.cfg

• ‣ qemu-server/*.conf

• ‣ lxc/*.conf

• ‣ nodes/... # Ordner mit den Cluster Member
  ```

  top 
  ps aux 
  ps aux | grep qm # Herstellung aller Maschinen anhand dieser Ausgabe 
  
  
  

• ‣ Login in Cluster funktioniert nach Fehlschlag nicht mehr

service pveproxy restart

cd /rpool/pveconf 
zfs list -t snapshot rpool/ROOT/pve-1 

zfs rollback -r rpool/ROOT/pve-1@zfs-auto-snap_hourly-2023-09-28-1017 # panic Variante und Stromkabel nach 2 s

dd if=/dev/zero of=/dev/sda2 bs=1M count=511 
dd if=/dev/zero of=/dev/sdd2 bs=1M count=511 
proxmox-boot-tool status 

zpool import -f -R /mnt rpool
zfs list # Chris im Video

zpool import -f -R /mnt rpool
◦zfs list # Chris im Video

mount -o rbind /proc /mnt/proc
mount -o rbind /sys /mnt/sys
mount -o rbind /dev /mnt/dev
mount -o rbind /run /mnt/run
chroot /mnt /bin/bash
# Partitionstabelle eines anderen ProxMox Systems anschauen 
sgdisk /dev/sdd -R /dev/sdb # muss resized werden
cfdisk /dev/sdb

sgdisk /dev/sdb -R /dev/sdc
sgdisk -G /dev/sdb
sgdisk -G /dev/sdc

Reboot
zpool import -fa
exit # reboot vom ProxMox 
zpool status ◦proxmox-boot-tool status

zfs list # Ziel Backup Disk - Pool Backup
zfs create backup/repl -o com.sun:auto-snapshot=false 
zfs set com.sun:auto-snapshot=false backup 
Bash-club-zfs-push-pull # auf Ziel

wget -O /usr/local/bin/checkzfs https://raw.githubusercontent.com/bashclub/check-zfs-replication/main/checkzfs.py  
chmod +x /usr/local/bin/checkzfs 
checkzfs --sourceonly 
checkzfs --filter rpool/data/ --replicafilter backup/repl --threshold 75,90 
checkzfs --filter rpool/data/ --replicafilter backup/repl --threshold 75,90 --columns 
+message 

zfs snapshot rpool/data/vm-100-disk-0@snap1 # snapshot auslösen - evtl. nicht komplettes Command

zfs send rpool/data/vm-100-disk-0@snap1 | zfs recovery -dvF backup/repl # local 
zfs send rpool/data/vm-100-disk-0@snap1 | ssh rot@zielip zfs recovery -dvF

ssh root@sourceip zfs send rpool/data/vm-100-disk-0@snap1 | zfs recovery -dvF backup/repl # pull

checkzfs --filter rpool/data/ --replicafilter backup/repl \
--threshold 75,90 --columns+message --output mail