Whisper-NPU: Spracherkennung auf Intel NPU mit minimalem Stromverbrauch

Einleitung

Der Whisper-NPU Docker Container ermöglicht Spracherkennung (Speech-to-Text) auf der Intel NPU mit extrem niedrigem Stromverbrauch. Perfekt für 24/7 Betrieb am Heimserver.

Was ist Whisper?

Whisper von OpenAI ist ein Modell für automatische Spracherkennung (ASR). Es transkribiert Audio-Dateien in Text und unterstützt viele Sprachen, darunter Deutsch.

Warum auf der Intel NPU?

Die Intel NPU (Neural Processing Unit) bietet entscheidende Vorteile:

Extrem niedriger Stromverbrauch: Deutlich weniger als eine GPU
Integriert im Prozessor: Keine zusätzliche Grafikkarte nötig
Optimiert für Inferenz: Effiziente Ausführung neuronaler Netze

Getestet auf Intel Ultra 5 245K und Ultra 7 155H.

Features

Intel NPU Beschleunigung: Whisper auf der integrierten NPU
OpenVINO optimiert: INT8 quantisiertes Modell
OpenAI-kompatibel: /v1/audio/transcriptions Endpoint
Automatische Modell-Konvertierung: Modell wird automatisch heruntergeladen
CPU-Fallback: Funktioniert auch ohne NPU

Verfügbare Whisper-Modelle

Von HuggingFace: whisper-tiny (39M), whisper-base (74M), whisper-small (244M), whisper-medium (769M), whisper-large (1550M).

API Endpoints

Endpoint	Methode	Beschreibung
/v1/audio/transcriptions	POST	OpenAI-kompatibel
/asr	POST	Vereinfachter Endpoint
/health	GET	Statusabfrage

API-Beispiel

curl -X POST http://localhost:9000/v1/audio/transcriptions \
  -F "file=@audio.wav"

Antwort: { "text": "Transkribierter Text...", "language": "de" }

Umgebungsvariablen

Variable	Default	Beschreibung
WHISPER_MODEL	openai/whisper-base	HuggingFace Modell
DEVICE	NPU	NPU oder CPU
MODEL_CACHE	/model_cache	Persistenter Modell-Speicher

Integration mit OpenClaw

Der Whisper-NPU Container funktioniert mit dem OpenClaw Gateway. Sprachnachrichten von Telegram werden automatisch transkribiert.

Installation auf UNRAID

curl -o /boot/config/plugins/dockerMan/templates-user/nevrion-whisper-npu.xml https://raw.githubusercontent.com/nevrion/whisper-npu/main/unraid-template.xml

Der erste Start dauert 5-10 Minuten für die Modell-Konvertierung. Nachfolgende Starts sind instant.

Fehlerbehebung

NPU nicht erkannt: BIOS-Einstellungen prüfen, NPU-Treiber installieren.
Langsam: Kleineres Modell probieren oder DEVICE=CPU setzen.

Automatische Updates

Docker Image wird bei neuen Releases automatisch neu gebaut.

Nevrion.de