WhisperX GitHub erklärt: Sprecheruntertitel auf Wortebene auf lokaler Hardware

whisperX von m-bain: https://github.com/m-bain/whisperX WhisperX ist eine Open-Source-Speech-to-Text-Pipeline, die einen kontinuierlichen Audiostream in Timing-Daten auf Wortebene und sprecherbeschriftete Untertiteldaten umwandelt. In dieser Übersicht wird erklärt, warum Vanilla Whisper bei langen Aufnahmen driften kann, und anschließend wird der lokale Workflow von WhisperX über Sprachaktivitätserkennung, schnellere Flüstertranskription, erzwungene Ausrichtung und Pyannote-Diarisierung abgebildet. Es deckt außerdem NVIDIA-GPU-Anforderungen, Python 3.10, FFmpeg, isolierte Umgebungen, CUDA-angepasstes PyTorch, geschlossene Hugging-Face-Modelle, schreibgeschützte Zugriffstokens, Downloads von Modellen für die erste Ausführung, Speicheroptimierung und VAD-Schwellenwertanpassungen ab. Das Ergebnis sind strukturierte Untertiteldaten für private Bearbeitung, Archive und automatisierte Medienworkflows. Zeitstempel: 0:00 Von chaotischer Wellenform zu ausgerichteten Wörtern 0:14 Warum das Timing von Vanilla Whisper abweichen kann 0:33 Mit privaten Sprechern gekennzeichnete Untertitel 1:02 Hostanforderungen: NVIDIA GPU, Python 3.10 und FFmpeg 1:23 Isolierte Umgebungen und CUDA-angepasstes PyTorch 2:18 Diarisierungsmodelle und Hugging Face-Zugriff 3:04 Der WhisperX-Ausführungsbefehl und die Architektur 3:14 VAD, Transkription, erzwungene Ausrichtung und Sprecher-Tags 3:37 Worthervorhebung und Downloads von Erstmodellen 3:59 Speicheroptimierung für kleinere GPUs 4:18 VAD-Schwellenwert-Fehlerbehebung 4:35 Untertitelausgaben und Sprecher-Tags auf Wortebene 5:06 Wiedergabe, Präzision und private Medien-Workflows 5:16 Strukturierte Daten für die automatisierte Inhaltsproduktion 🎙️ Timing auf Wortebene und Sprecherdiarisierung ⚙️ VAD, schnelleres Flüstern und erzwungene Ausrichtung 🔒 Private lokale Verarbeitung mit geschlossenem Modellzugriff 🧩 Untertitelexporte für Bearbeitungs- und Medienworkflows Für Zuschauer, die lokale Sprach-zu-Text-Tools evaluieren, ist der Hauptkompromiss klar: WhisperX fügt Ausrichtung, Diarisierung und Untertitelstruktur rund um Whisper hinzu, während GPU-Speicher, Modelldownloads, Zugriffstoken und VAD-Einstellungen den Lauf prägen. Verwenden Sie das Repository als nächste Referenz für Implementierungsdetails. Dieses Video dient als Architekturüberblick. #WhisperX #SpeakerDiarization #WordLevelSubtitles