Comment configurer HiveOS pour qu'il redémarre automatiquement en cas de crash du GPU ? (Stabilité)

Comprendre le comportement de crash du GPU dans HiveOS

1. Les pannes de GPU dans les environnements HiveOS se manifestent généralement par un arrêt soudain du processus d'exploration de données, une détection de blocage de pilote ou des interruptions NMI au niveau du noyau déclenchées par des délais d'attente du chien de garde matériel.

2. Les journaux système capturent ces événements dans /var/log/syslog avec des modèles tels que « NVRM : Xid (PCI :0000:xx :00.0) : 79 » pour NVIDIA ou « amdgpu : défaut GPU détecté » pour les appareils AMD.

3. HiveOS ne traite pas par défaut les pannes de GPU comme des pannes système fatales ; au lieu de cela, il s'appuie sur une logique de récupération définie par l'utilisateur au sein de la couche de service minier.

4. Les réinitialisations du GPU au niveau du noyau peuvent se produire automatiquement si nvidia-smi --gpu-reset est activé dans la configuration du pilote, mais cela nécessite une activation explicite et des privilèges root.

5. Les pannes persistantes sont souvent corrélées à des profils d'overclocking instables, à une alimentation PCIe insuffisante ou à une limitation thermique dépassant 95 °C pendant plus de 60 secondes.

Fichiers de configuration de base pour la logique de redémarrage automatique

1. Le point de contrôle principal réside dans /hive-config/user-config.yaml , où la section de surveillance définit les intervalles de détection des pannes et les seuils de redémarrage.

2. La modification de /etc/systemd/system/hive-miner.service permet la personnalisation de Restart=on-failure , RestartSec=15 et StartLimitIntervalSec=300 pour éviter les boucles infinies en cas de panne persistante.

3. Le script gpu-health-check.sh situé dans /hive/sbin/ s'exécute toutes les 45 secondes et déclenche le redémarrage de la ruche lorsque nvidia-smi -q -d MEMORY | grep 'Utilisé' | awk '{print $3}' renvoie des valeurs nulles ou invalides trois fois consécutives.

4. Des hooks personnalisés peuvent être injectés via /hive-config/hooks/post-gpu-fail.sh , permettant des actions telles que le remplacement de la vitesse du ventilateur, la restauration de l'horloge principale ou la commutation temporaire de pool avant le redémarrage.

5. La version 0.6-218 du micrologiciel HiveOS a introduit GPU_WATCHDOG_ENABLED=true dans /etc/default/hiveos , qui active l'interrogation du bus PCI de bas niveau toutes les 8 secondes pour détecter la disparition du périphérique.

Mécanismes de récupération au niveau matériel

1. Les paramètres du BIOS de la carte mère doivent activer les sous-états PCIe ASPM L1 et désactiver le démarrage rapide pour garantir une réénumération correcte du GPU après la réinitialisation.

2. Les blocs d'alimentation classés en dessous de la certification 80 PLUS Gold ne parviennent souvent pas à supporter des pics de charge transitoires de plus de 300 W pendant les séquences de récupération du GPU, provoquant des redémarrages secondaires du système.

3. Pour les plates-formes multi-GPU, l' ordre d'attribution des emplacements PCIe dans le BIOS affecte l'isolation de la réinitialisation : les emplacements connectés à des complexes racine PCIe de processeur distincts permettent une récupération indépendante.

4. Les GPU des centres de données NVIDIA nécessitent NVreg_RegistryDwords='EnableMSI=0' dans /etc/modprobe.d/nvidia.conf pour éviter les tempêtes d'interruptions MSI lors des cycles de redémarrage rapides.

5. Les cartes AMD RX série 7000 nécessitent l'ajout de amdgpu.gpu_recovery=1 aux paramètres de démarrage du noyau dans /etc/default/grub pour activer les chemins de récupération assistée par matériel.

Procédures de vérification et de diagnostic

1. Simulez un crash contrôlé en utilisant echo 1 > /sys/bus/pci/devices/0000:xx:00.0/remove suivi de echo 1 > /sys/bus/pci/rescan pour valider le timing de redémarrage et la précision de la capture du journal.

2. Surveillez journalctl -u hive-miner.service -n 100 --no-pager pour les entrées contenant « Échec de la vérification de l'état du GPU » et les messages ultérieurs « Redémarrage du service mineur » .

3. Confirmez la réussite de la récupération au niveau matériel en vérifiant lspci -vv -s 0000:xx:00.0 | La sortie grep 'LnkSta:' affiche une vitesse stable de 16 GT/s et une largeur x16 après le redémarrage.

4. Validez la stabilité de la température après la récupération à l'aide de hive-stats -f gpu_temp pour garantir qu'aucun emballement thermique ne se produit dans les 120 premières secondes suivant la reprise du fonctionnement.

5. Référence croisée des horodatages /var/log/hive/gpu-watchdog.log avec dmesg | grep -i 'nvidia|amdgpu' pour confirmer l'alignement entre la détection logicielle et la journalisation des événements du noyau.

Foire aux questions

Q : La fonctionnalité de redémarrage automatique de HiveOS fonctionne-t-elle avec les mineurs ASIC ? R : Non. La logique de redémarrage automatique est exclusivement conçue pour les piles de minage basées sur GPU. Les contrôleurs ASIC fonctionnent de manière indépendante et nécessitent un matériel de surveillance externe ou des mécanismes de basculement côté pool.

Q : Puis-je configurer différents délais de redémarrage par GPU dans une plate-forme multi-GPU ? R : Pas nativement. HiveOS applique des politiques de redémarrage uniformes sur tous les GPU détectés. La synchronisation par périphérique nécessite des remplacements systemd personnalisés liés aux adresses PCI individuelles.

Q : Le redémarrage automatique préservera-t-il mon profil d'overclocking après la récupération ? R : Oui. HiveOS recharge le /hive-config/oc-profile.yaml actif lors de chaque redémarrage du service mineur, en conservant tous les paramètres de tension, de mémoire et d'horloge principale.

Q : Existe-t-il un risque de corruption du système de fichiers lors d’une réinitialisation forcée du GPU ? R : Minime. HiveOS utilise des montages de système de fichiers racine en lecture seule et écrit uniquement dans les tampons volatiles /run et de journal pendant les séquences de récupération après incident.