Wie konfiguriere ich HiveOS so, dass es bei einem GPU-Absturz automatisch neu startet? (Stabilität)

Verständnis des GPU-Absturzverhaltens in HiveOS

1. GPU-Abstürze in HiveOS-Umgebungen äußern sich typischerweise in einem plötzlichen Abbruch des Mining-Prozesses, der Erkennung von Treiberhängen oder NMI-Interrupts auf Kernel-Ebene, die durch Hardware-Watchdog-Timeouts ausgelöst werden.

2. Die Systemprotokolle erfassen diese Ereignisse in /var/log/syslog mit Mustern wie „NVRM: Xid (PCI:0000:xx:00.0): 79“ für NVIDIA oder „amdgpu: GPU-Fehler erkannt“ für AMD-Geräte.

3. HiveOS behandelt GPU-Abstürze standardmäßig nicht als schwerwiegende Systemausfälle. Stattdessen basiert es auf einer benutzerdefinierten Wiederherstellungslogik innerhalb der Mining-Service-Schicht.

4. GPU-Resets auf Kernel-Ebene können automatisch erfolgen, wenn nvidia-smi --gpu-reset in der Treiberkonfiguration aktiviert ist. Dies erfordert jedoch eine explizite Aktivierung und Root-Rechte.

5. Anhaltende Abstürze hängen oft mit instabilen Übertaktungsprofilen, unzureichender PCIe-Stromversorgung oder thermischer Drosselung von mehr als 95 °C über einen Zeitraum von mehr als 60 Sekunden zusammen.

Kernkonfigurationsdateien für die Auto-Restart-Logik

1. Der primäre Kontrollpunkt befindet sich in /hive-config/user-config.yaml , wo der Watchdog- Abschnitt Absturzerkennungsintervalle und Neustartschwellenwerte definiert.

2. Das Bearbeiten von /etc/systemd/system/hive-miner.service ermöglicht die Anpassung von Restart=on-failure , RestartSec=15 und StartLimitIntervalSec=300 , um Endlosschleifen bei anhaltenden Fehlern zu verhindern.

3. Das Skript gpu-health-check.sh in /hive/sbin/ wird alle 45 Sekunden ausgeführt und löst einen Hive-Neustart aus, wenn nvidia-smi -q -d MEMORY | grep 'Gebraucht' | awk '{print $3}' gibt dreimal hintereinander null oder ungültige Werte zurück.

4. Benutzerdefinierte Hooks können über /hive-config/hooks/post-gpu-fail.sh eingefügt werden und ermöglichen Aktionen wie das Überschreiben der Lüftergeschwindigkeit, das Zurücksetzen der Kernuhr oder den temporären Poolwechsel vor dem Neustart.

5. Mit der HiveOS-Firmware-Version 0.6-218 wurde GPU_WATCHDOG_ENABLED=true in /etc/default/hiveos eingeführt, wodurch alle 8 Sekunden eine Low-Level-PCI-Busabfrage aktiviert wird, um das Verschwinden von Geräten zu erkennen.

Wiederherstellungsmechanismen auf Hardwareebene

1. Die BIOS-Einstellungen des Motherboards müssen PCIe ASPM L1 Substates aktivieren und Fast Boot deaktivieren, um eine ordnungsgemäße GPU-Neuaufzählung nach dem Zurücksetzen sicherzustellen.

2. Netzteile mit einer Bewertung unter der 80 PLUS Gold-Zertifizierung können während der GPU-Wiederherstellungssequenzen häufig vorübergehende Lastspitzen von über 300 W nicht aushalten, was zu sekundären Systemneustarts führt.

3. Bei Multi-GPU-Rigs wirkt sich die Zuweisungsreihenfolge der PCIe-Steckplätze im BIOS auf die Reset-Isolation aus – Steckplätze, die mit separaten CPU-PCIe-Root-Komplexen verbunden sind, ermöglichen eine unabhängige Wiederherstellung.

4. NVIDIA-Rechenzentrums-GPUs erfordern NVreg_RegistryDwords='EnableMSI=0' in /etc/modprobe.d/nvidia.conf, um MSI-Interrupt-Stürme während schneller Neustartzyklen zu verhindern.

5. Bei Karten der AMD RX 7000-Serie muss amdgpu.gpu_recovery=1 zu den Kernel-Boot-Parametern in /etc/default/grub hinzugefügt werden, um hardwaregestützte Wiederherstellungspfade zu aktivieren.

Verifizierungs- und Diagnoseverfahren

1. Simulieren Sie einen kontrollierten Absturz mit echo 1 > /sys/bus/pci/devices/0000:xx:00.0/remove, gefolgt von echo 1 > /sys/bus/pci/rescan, um den Zeitpunkt des Neustarts und die Genauigkeit der Protokollerfassung zu validieren.

2. Überwachen Sie „journalctl -u hive-miner.service -n 100 --no-pager“ auf Einträge, die „GPU-Gesundheitsprüfung fehlgeschlagen“ und nachfolgende Meldungen „Miner-Dienst wird neu gestartet“ enthalten.

3. Bestätigen Sie die erfolgreiche Wiederherstellung auf Hardwareebene, indem Sie lspci -vv -s 0000:xx:00.0 | überprüfen Die Ausgabe von grep 'LnkSta:' zeigt nach dem Neustart eine stabile Geschwindigkeit von 16 GT/s und eine Breite von x16 .

4. Überprüfen Sie die Temperaturstabilität nach der Wiederherstellung mit hive-stats -f gpu_temp, um sicherzustellen, dass innerhalb der ersten 120 Sekunden nach der Wiederaufnahme des Betriebs kein thermisches Durchgehen auftritt.

5. Vergleichen Sie die Zeitstempel von /var/log/hive/gpu-watchdog.log mit dmesg | grep -i 'nvidia|amdgpu', um die Übereinstimmung zwischen Softwareerkennung und Kernel-Ereignisprotokollierung zu bestätigen.

Häufig gestellte Fragen

F: Funktioniert die automatische Neustartfunktion von HiveOS mit ASIC-Minern? A: Nein. Die Logik für den automatischen Neustart ist ausschließlich für GPU-basierte Mining-Stacks konzipiert. ASIC-Controller arbeiten unabhängig und erfordern externe Watchdog-Hardware oder poolseitige Failover-Mechanismen.

F: Kann ich in einem Multi-GPU-Rig unterschiedliche Neustartverzögerungen pro GPU konfigurieren? A: Nicht nativ. HiveOS wendet einheitliche Neustartrichtlinien für alle erkannten GPUs an. Das Timing pro Gerät erfordert benutzerdefinierte Systemd-Überschreibungen, die an einzelne PCI-Adressen gebunden sind.

F: Bleibt beim automatischen Neustart mein Übertaktungsprofil nach der Wiederherstellung erhalten? A: Ja. HiveOS lädt die aktive /hive-config/oc-profile.yaml bei jedem Neustart des Miner-Dienstes neu und behält dabei alle Spannungs-, Speicher- und Kerntakteinstellungen bei.

F: Besteht das Risiko einer Dateisystembeschädigung während des erzwungenen Zurücksetzens der GPU? A: Minimal. HiveOS verwendet schreibgeschützte Root-Dateisystem-Mounts und schreibt während Absturzwiederherstellungssequenzen nur in flüchtige /run- und Journalpuffer.