LLM
Local LLM (MLX)
Lokales LLM auf Apple Silicon via MLX mit Gemma-4-, Qwen3.5- und LFM2.5-Modellen. Kein API-Key erforderlich.
Über
Local LLM (MLX) verarbeitet Prompts vollständig auf deinem Mac. Umschreibungen, Zusammenfassungen, Übersetzungen und eigene Prompt-Workflows funktionieren ohne Cloud-Upload. Es ersetzt das bisherige Gemma-4-Plugin. Empfohlen bleiben die dichten Modelle Gemma 4 E2B (4-bit) und Gemma 4 E4B (4-bit). Neu sind zwei kleinere, experimentelle Modelle für Macs mit wenig Arbeitsspeicher: Qwen3.5 2B und LFM2.5 2.6B.
Features
- Vollständig lokale Prompt-Verarbeitung auf dem Gerät via MLX
- Gemma-4-, Qwen3.5- und LFM2.5-Modelle in einem Plugin
- Regler für die Generation Temperature zwischen präziser und kreativer Ausgabe
- Optionaler HuggingFace-Token für höhere Download-Rate-Limits
- Validierung des HuggingFace-Tokens vor dem Speichern
- Download-, Lade-, Abbrechen- und Entladen-Zustände für lokale Modelle
- Sichtbare experimentelle Modelle mit klaren Warnhinweisen
- Kein API-Key für den lokalen Basis-Workflow erforderlich
Verfügbare Modelle
| Modell | Download-Größe | Empfohlener RAM | Status |
|---|---|---|---|
| Gemma 4 E2B (4-bit) | ~3.6 GB | 8 GB+ | Empfohlen |
| Gemma 4 E4B (4-bit) | ~5.2 GB | 16 GB+ | Empfohlen |
| Gemma 4 E4B (8-bit) | ~8 GB | 16 GB+ | Experimentell |
| Gemma 4 26B-A4B (4-bit, MoE) | ~15.6 GB | 32 GB+ | Experimentell |
| Qwen3.5 2B (4-bit) | ~1.8 GB | 8 GB+ | Experimentell |
| LFM2.5 2.6B (4-bit) | ~1.6 GB | 8 GB+ | Experimentell |
Welches Modell?
- Gemma 4 E2B oder E4B liefert die zuverlässigsten Ergebnisse beim Bereinigen, Übersetzen und Umstrukturieren.
- Qwen3.5 2B braucht etwa halb so viel Arbeitsspeicher wie Gemma 4 E2B und bereinigt Diktate gut, übersetzt und strukturiert Text aber weniger zuverlässig.
- LFM2.5 2.6B denkt vor der Antwort nach, daher dauert jedes Ergebnis einige Sekunden. Es steht unter der LFM Open License, die kommerzielle Nutzung nur unter 10 Mio. USD Jahresumsatz kostenlos erlaubt.
Konfiguration
- Generation Temperature - Steuert, ob die Ausgabe eher präzise oder kreativer ausfällt.
- HuggingFace Token - Optional. Erhöht Download-Rate-Limits und wird vor dem Speichern validiert. Du kannst ihn unter
huggingface.co/settings/tokenserstellen. - Modell - Wähle, welches Modell heruntergeladen und geladen werden soll. Die 4-bit-Modelle Gemma 4
E2BundE4Bsind der empfohlene Pfad.
Einrichtung
- Öffne
TypeWhisper > Einstellungen > Integrationen. - Finde das Plugin
Local LLM (MLX)und öffne seine Konfiguration. - Füge optional einen HuggingFace-Token ein und speichere ihn nach erfolgreicher Validierung.
- Wähle ein Modell und klicke auf
Laden & Aktivieren. Experimentelle Modelle startest du mitTrotzdem versuchen. - Sobald das Modell geladen ist, wähle
Local LLM (MLX)als LLM-Anbieter in deinem Prompt-Workflow.
Hinweise
- Wenn du noch das bisherige Gemma-4-Plugin installiert hast, installiere Local LLM (MLX), lade dein Modell erneut herunter und entferne danach das Gemma-4-Plugin. Workflows und Prompts, die Gemma 4 genutzt haben, wechseln zu Local LLM (MLX), sobald das alte Plugin entfernt ist.
- Größere Gemma-4-Varianten sind weiterhin experimentell und können je nach Hardware oder aktuellem App-Build fehlschlagen.
- Ein HuggingFace-Token ist optional, kann Downloads aber durch höhere Rate-Limits stabiler machen.