Nach den Benchmarks unter Windows 11 war der nächste Schritt, das Asrock X99 sinnvoll einzurichten.
Der Plan war eine 1:1 Migration vom bestehenden TrueNAS Scale Server. Also habe ich 3 Tage gewartet, bis eine 10€ teure 128GB m.2 SSD eingetroffen ist. Die m.2 Schnittstelle auf dem Asrock Board deaktiviert einen SATA Port bzw. PCIe Slot wenn sie benutzt wird, bringt also keinen zusätzlichen Anschluss, spart aber Platz. Da TrueNAS nur 16GB braucht, ist eine kleine m.2 hierfür ausreichend. Die Installation ging wie erwartet flott und bald war ein zweiter TrueNAS im Heimnetzwerk. Eine kleine SSD lag noch herum, die wurde gleich als Pool und Dataset eingerichtet. Für den ersten Virtualisierungstest habe ich zunächst einen SMB Share eingerichtet, auf den ich ein Ubuntu ISO Image kopiert habe. Parameter für die VM waren schnell gesetzt. Beim ersten Start gabs leider gleich eine hässliche Fehlermeldung, die sich auch nach einiger Recherche und Konfigurationsänderungen als sehr hartnäckig herausgestellt hat. Auf weitere Frickelei hatte ich keine Lust, also bin ich zu Plan B übergegangen.
Der Star der Virtualisierungslösungen aktuell ist Proxmox. Also habe ich mir das Image auf einen USB Stick kopiert und damit das Asrock neu gestartet. Die Installation und Boot von Proxmox geht noch schneller als TrueNAS. Der Vorteil ist, man kann den Restplatz der Bootdisk für Proxmox VMs nutzen. Für Proxmox gibt es eine Vielzahl von Youtube Videos für alle erdenklichen VMs, so auch TrueNAS (macht Sinn, weil Proxmox Virtualisierungsplattform ist und nicht direkt als NAS arbeitet). Also habe ich TrueNAS als VM mit reichlich Cores und Memory installiert. Unter Proxmox kann man Disks als Passthrough VMs zuweisen (also wie wenn sie physikalisch an der VM angeschlossen sind). Das habe ich gleich mit der SSD gemacht und konnte den Pool mit allen Daten vom ersten Versuch importieren. Das wird mir später auch erlauben, die Disks vom aktuellen TrueNAS direkt am Asrock weiterzunutzen, ohne eine Datenmigration machen zu müssen. In der TrueNAS VM kann ich natürlich keine VMs nutzen, dafür aber die Apps (habe ich gleich mit Emby probiert). Das hat den Vorteil, dass später Plex, COPS, Audiobookshelf, etc. direkt auf die Dateien zugreifen können.
Auf einer 128GB Disk kann man aber nicht allzuviele VMs ablegen. Ich hatte noch eine 500GB m.2 SSD, die mit ihrem PCIe v4 Interface aber leider nicht vom Asrock erkannt werden wollte. PCIe v3 m.2 NVME Karten sind aber rar geworden, also habe ich noch eine 1TB SSD gekauft und die als Bootdisk für Proxmox verwendet. Vor der Neuinstallation von Proxmox habe ich auch nochmal mit diversen Anleitungen die BIOS Einstellungen optimiert (vielleicht kriege ich sogar GPU Passthrough hin). Bei der Gelegenheit musste ich nur feststellen, daß Asrock im BIOS leider keine PCIe Bifurcation unterstützt, also kann ich keine PCIe Adapter mit 2 oder 4 m.2 NVME nutzen, bin also auf die 9 SATA Anschlüsse plus 3 PCIe Slots mit je einem NVME Adapter limitiert, falls ich nicht einen 16 Port SATA HBA kaufe (kostet ca. 90€). Aber für die jetzige Migration habe ich sogar Ports frei.
Nach der Neuinstallation von Proxmox habe ich direkt die nächsten VMs installiert. TrueNAS lief als erstes, dann Roon Rock (Musikserver mit eigenem Linux von Roon, läuft schlanker als die bisherige Linux Installation unter Ubuntu), Windows 11 (mit schicken Clone bzw. Snapshot Optionen wie VMware Workstation, sehr flüssig), Ubuntu Server (später für InfluxDB, Grafana und Webradio) und zuletzt MacOS (leider funktioniert GPU Passthrough auch im zweiten Versuch nicht, deshalb ist die Oberfläche im VNC recht träge, Final Cut Pro wird kaum benutzbar sein) [Nachtrag: auch im dritten Versuch hat das GPU Passthrough nicht funktioniert, offenbar eine Variable im BIOS, die ich bei Asrock nicht ändern kann. Leider gibts dafür auch kein Custom BIOS, also bei der nächsten Version des Servers auf solche Sachen achten].
Nun kam der spannende Moment, nach einer Datensicherung das alte TrueNAS herunterzufahren und die Hardware umzubauen. Das Asrock X99 WS wird als EATX bezeichnet, ist aber genauso breit wie ein ATX Board, nur etwas tiefer. Daher hat es in das alte Gehäuse gepasst, nur hinten habe ich sicherheitshalber das Blech isoliert, damit die Kontakte nicht dagegen kommen. Für den untersten Slot gibt es keine Aussparung (kein 7 Slot Gehäuse), also habe ich vom NVME Adapter das Slotblech abgeschraubt, passt auch so. GPU und 10GbE Adapter waren kein Problem. Erstmal habe ich ohne weitere SSDs/HDDs gebootet. Dummerweise lief mit den beiden neuen Karten (Ethernet und NVWE) Proxmox nicht los, sondern blieb nach der Einrichtung der RAM Disk stehen. Lösung war auf die Schnelle nicht verfügbar, also habe ich Proxmox nochmal neu aufgesetzt mit den eingesteckten Karten. Das ging dann einwandfrei, nur waren natürlich die VMs weg. Dann habe ich alle Disks eingebaut, das Gehäuse geschlossen und am alten Ort wieder in Betrieb genommen.
Am wichtigsten war die Wiederinbetriebnahme von TrueNAS. Die VM dafür war kein Problem, hatte ja schon geübt. Alle Disks wurden per Passthrough der VM zugewiesen und wieder eingelesen. Statt einem Restore der TrueNAS Konfiguration habe ich schnell die User und Shares angelegt. Auch die Apps starteten ohne Probleme. TrueNAS lief also wieder innerhalb einer Stunde.
Dann hat die Zeit noch für die VM mit Ubuntu Server gereicht. Da sich Home Assistant über das Fehlen von InfluxDB beschwert hat, kam das als erste Anwendung wieder auf Ubuntu. Nachdem ich die Credentials (Token und Organization) in Home Assistant geändert habe, wurden die Daten wieder geschrieben. Nur das Restore der alten Daten in die neue InfluxDB hat irgendwie nicht funktioniert. Es wurde zwar eingelesen, aber die früheren Buckets und die letzten Daten werden nicht angezeigt. Wahrscheinlich hätte ich die alte Instanz mit Daten wiederherstellen müssen. Vielleicht finde ich da noch eine Lösung [Nachtrag: Lösung steht natürlich in der Onlinehilfe von InfluxDB, aber etwas weiter unten. Das Restore habe ich dann nochmal mit einer Testinstanz erfolgreich geübt, die Daten aber nicht zusammengeführt], aber so wichtig sind die Detaildaten auch nicht. Zum einen habe ich sie noch als Deye Export, zum anderen sind sie auch im Home Assistant sichtbar. Grafana, Webserver und Webradio kommen auch noch auf die Ubuntu VM. Optimal wäre natürlich gewesen, die VM von TrueNAS auf Proxmox zu migrieren, aber da gibt es kein Patentrezept.
Nachtrag: alle VMs sind soweit eingerichtet.
Auf dem Ubuntu Server läuft neben InfluxDB wieder Grafana, Lighttpd und IceCast2.
Roon hat seine eigene VM mit Roon Optimized Core Kit (ROCK).
Dann gibt es noch eine volle Win11 VM mit den wichtigsten Apps, falls man doch vom Tablet aus mal schnell eine PowerPoint oder Excel bearbeiten muss.
Ausserdem gibts eine schlanke Win11 VM, auf der man mit Snapshot mal schnell eine neue App ausprobieren kann oder die nur als zeitlich limitierte Testversion läuft. Die hat auch für Tablet den Firefox mit Youtube Adblocker, daß man dort keine Werbung schauen muss.
Schliesslich läuft noch eine VM mit kaum benutzbarem (wg. fehlender Grafikbeschleunigung) MacOS als Demoobjekt.
Natürlich langweilen sich die 14 Cores meistens (knapp 5% im Mittel) und das Memory ist trotz ZFS Cache nur zu 38% ausgelastet, aber endlich gibt es mal hinreichend Reserven auf dem System (war bei 4 Cores ohne HT und 16GB bzw. später 32GB ganz anders).