Ein Sprachmodell auf dem eigenen Rechner

Die naheliegende Frage bei jedem KI-Werkzeug lautet: Wohin geht der Text, den man dort eintippt? Bei einem Dienst im Netz lautet die ehrliche Antwort: zu einem fremden Anbieter, unter dessen Bedingungen. Für einen Entwurf ist das egal. Für einen Arbeitsvertrag oder eine Offerte eher nicht.

Wie es funktioniert

LM Studio ist ein Programm für Windows, macOS und Linux, das offene Sprachmodelle herunterlädt und lokal ausführt. Bedient wird es wie ein Chatfenster. Nach dem Herunterladen des Modells braucht es keine Internetverbindung mehr.

Modelle wie die offen veröffentlichten Varianten von DeepSeek stehen dort in verschiedenen Grössen bereit. Kleinere Fassungen laufen auf einem normalen Arbeitsgerät, grössere brauchen eine Grafikkarte mit viel Speicher.

Was dafür nötig ist

• Ein Modell mittlerer Grösse in komprimierter Form belegt grob acht bis zwölf Gigabyte. Es sollte in den Arbeits- oder Grafikspeicher passen, sonst wird es zäh.
• 16 GB Arbeitsspeicher sind die untere Grenze für brauchbares Arbeiten, 32 GB angenehm.
• Ohne Grafikkarte läuft es trotzdem — nur langsamer. Für einen Absatz Text reicht das.

Wofür es taugt — und wofür nicht

Gut: Texte zusammenfassen, umformulieren, übersetzen, Code erklären, Stichworte in ganze Sätze bringen. Also fast alles, was mit vertraulichen Inhalten zu tun hat.

Weniger gut: aktuelle Fakten. Ein lokales Modell kennt nur seinen Trainingsstand und hat keinen Zugriff auf das Netz. Wer Zahlen daraus übernimmt, sollte sie prüfen.

Der eigentliche Punkt

Der Grund für ein lokales Modell ist selten die Qualität — die grossen Dienste sind meistens besser. Es ist die Gewissheit, dass der Text das Haus nicht verlässt. Für manche Unterlagen ist das der einzige Grund, der zählt.