Drei Bedeutungen von „lokal“

Das Wort wird für drei verschiedene Betriebsorte gebraucht. Wer über Datenschutz oder Verträge spricht, sollte vorher klären, welcher gemeint ist.

1. Auf dem eigenen Gerät. Das Modell läuft auf einem Laptop oder Arbeitsplatzrechner. Eingaben und Antworten bleiben auf diesem Gerät, solange keine Funktion nach außen genutzt wird. Ob ein Modell dort überhaupt läuft, hängt vom Arbeitsspeicher und vom Grafikprozessor ab – die Hersteller nennen dazu eigene Werte (Abschnitt „Hardware“ unten).

2. Auf einem eigenen Server im Betrieb. Ein Rechner im eigenen Serverraum stellt das Modell für mehrere Personen im Firmennetz bereit, meist über eine Programmierschnittstelle. Wartung, Zugriffsschutz und Updates liegen beim Betrieb selbst.

3. Auf einem gemieteten Server, etwa in einem Rechenzentrum in der EU. Die Hardware gehört einem Hosting-Anbieter, das Modell aber hat der Betrieb selbst installiert und betreibt es. Das ist kein Dienst eines Modellherstellers mehr, aber auch nicht mehr „im Haus“: Der Hosting-Anbieter ist in der Regel Auftragsverarbeiter im Sinne der DSGVO, mit Vertrag und Standortfragen. Anbieter für Miete und Kauf solcher Server stehen im Verzeichnis unter KI-Server mieten.

Allen drei Formen gemeinsam: Der Modellhersteller ist am laufenden Betrieb nicht beteiligt. Er hat die Gewichte bereitgestellt; was danach mit Eingaben und Antworten geschieht, bestimmt der Betrieb.

Quellen: Verordnung (EU) 2016/679, Art. 4 Nr. 8 (eur-lex.europa.eu, konsolidiert bei buzer.de/4_DSGVO.htm); pontoit.de/ki-server-mieten/ — abgerufen 27.10.2026.

Was „Open-Weight“ heißt

Ein Sprachmodell besteht nach dem Training aus einer großen Datei mit Zahlenwerten, den Gewichten. Wer diese Datei hat, kann das Modell ohne den Hersteller ausführen. „Open-Weight“ bedeutet: Der Hersteller stellt die Gewichte zum Herunterladen bereit, meist über die Plattform Hugging Face. Das ist nicht dasselbe wie „Open Source“ im Sinne offengelegter Trainingsdaten und Trainingsverfahren – darüber sagt der Begriff nichts.

Entscheidend für den Betrieb ist die Lizenz, unter der die Gewichte stehen. Sie regelt, ob gewerbliche Nutzung erlaubt ist, was bei der Weitergabe beizulegen ist und ob es Einschränkungen nach Nutzergruppe oder Region gibt. Die Lizenz kann je Modell desselben Herstellers verschieden sein. Maßgeblich ist immer die Modellkarte des einzelnen Modells, nicht der Name des Herstellers.

Quellen: Modellkarten auf huggingface.co (siehe nächster Abschnitt) — abgerufen 27.10.2026.

Welche Lizenz die Hersteller angeben

Nur, was auf der jeweiligen Modellkarte oder Lizenzseite des Herstellers steht, in alphabetischer Reihenfolge. Keine Bewertung, keine Auswahl der Modelle nach Eignung. Lizenznamen in der Schreibweise des Herstellers.

Alibaba (Qwen). Die Modellkarten von Qwen3.8-27B und Qwen3-8B führen in den Metadaten „apache-2.0“. Einen eigenen Lizenztext zeigen die gelesenen Karten nicht; Einschränkungen über die Apache-Lizenz hinaus: auf den gelesenen Seiten nicht genannt.

DeepSeek. Die Modellkarten von DeepSeek-V4.1-Flash und DeepSeek-V3.2 nennen die MIT-Lizenz für Repository und Gewichte. Weitere Einschränkungen: auf den gelesenen Seiten nicht genannt.

Google (Gemma). Die Modellkarte von Gemma 4 (31B) nennt „Apache 2.0“ mit Verweis auf eine eigene Seite „Gemma 4 license“, die den Text der Apache License 2.0 wiedergibt. Für frühere Gemma-Generationen gelten die „Gemma Terms of Use“ (Stand 1. April 2026); sie binden an eine Liste verbotener Nutzungen, die bei jeder Weitergabe als durchsetzbare Bestimmung weiterzugeben ist. Ob die Terms of Use auch Gemma 4 erfassen, sagt die gelesene Lizenzseite nicht.

Meta (Llama). Llama 4 steht unter dem „Llama 4 Community License Agreement“ (gültig ab 5. April 2025). Es verlangt bei Weitergabe den Hinweis „Built with Llama“ und eine Lizenzkopie; abgeleitete Modelle müssen mit „Llama“ beginnen. Wer am Stichtag mehr als 700 Millionen monatlich aktive Nutzer hatte, braucht eine eigene Lizenz von Meta. Die Nutzungsrichtlinie zu Llama 4 enthält eine EU-Regel: Für die multimodalen Modelle gelten die Rechte aus Abschnitt 1(a) nicht für Personen mit Wohnsitz und Unternehmen mit Hauptsitz in der EU; Endnutzer von Produkten mit diesen Modellen sind laut Richtlinie davon ausgenommen. Vertragspartner für Nutzer im EWR und in der Schweiz ist laut Lizenz Meta Platforms Ireland Limited.

Mistral AI. Die Modellkarten von Mistral Small 4 und Mistral Large 3 nennen „Apache 2.0 License“. Die Übersichtsseite zu Modellgewichten führt daneben ältere Modelle unter zwei weiteren Lizenzen: Codestral unter der „Mistral AI Non-Production (MNPL) License“, Ministral 8B, Mistral Large und Pixtral Large unter der „Mistral Research License“. Welche gilt, steht je Modell.

Nvidia (Nemotron). Die Modellkarte von NVIDIA-Nemotron-3.5-Super-VL-120B-A12B nennt die „OpenMDW License Agreement, version 1.1“; diese Lizenz erlaubt die Nutzung nach eigenem Wortlaut „without restriction“, verlangt bei Weitergabe eine Lizenzkopie und erlischt bei einer Patent- oder Urheberrechtsklage gegen die Modellmaterialien. Daneben hat Nvidia eine eigene „NVIDIA Open Model License“ veröffentlicht (Stand 24. Oktober 2025); dort enden die Rechte automatisch, wenn eingebaute Schutzmechanismen umgangen werden. Welche der beiden für ein Modell gilt, steht auf dessen Karte.

OpenAI (gpt-oss). Die Modellkarten von gpt-oss-20b und gpt-oss-120b nennen „apache-2.0“. Beigelegt ist eine kurze Nutzungsrichtlinie, die die Einhaltung geltenden Rechts verlangt. OpenAI weist zudem darauf hin, dass die Modelle nur mit dem eigenen Antwortformat „harmony“ korrekt arbeiten.

Was die Apache-Lizenz oder die MIT-Lizenz im Einzelnen erlauben, steht im jeweiligen Lizenztext; die Pflicht, Lizenz- und Urheberhinweise bei einer Weitergabe beizulegen, kennen beide. Für den Betrieb heißt das: Wer ein Modell nur intern nutzt, liest die Nutzungsbedingungen. Wer es in ein eigenes Produkt einbaut oder an Kunden weitergibt, liest zusätzlich die Weitergabepflichten.

Quellen: huggingface.co/Qwen/Qwen3.8-27B, huggingface.co/Qwen/Qwen3-8B, huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash, huggingface.co/deepseek-ai/DeepSeek-V3.2, huggingface.co/google/gemma-4-31B-it, ai.google.dev/gemma/docs/gemma_4_license, ai.google.dev/gemma/terms, dev.meta.ai/llama/llama4/license, dev.meta.ai/llama/llama4/use-policy, huggingface.co/mistralai/Mistral-Small-4-119B-2603, huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512, docs.mistral.ai/getting-started/models/weights, huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4, openmdw.ai/license/1-1, nvidia.com/en-us/agreements/enterprise-software/nvidia-open-model-license, huggingface.co/openai/gpt-oss-20b, huggingface.co/openai/gpt-oss-120b (USAGE_POLICY), openai.com/index/introducing-gpt-oss — abgerufen 27.10.2026.

Laufzeitumgebungen: womit ein Modell ausgeführt wird

Die Gewichte allein laufen nicht. Es braucht ein Programm, das sie lädt und Anfragen entgegennimmt – eine Laufzeitumgebung (englisch „inference engine“ oder „runtime“). Die folgenden vier sind beschrieben, wie ihre eigene Dokumentation sie beschreibt, alphabetisch und ohne Rangfolge. Alle vier bieten nach eigener Dokumentation eine Schnittstelle, die sich ganz oder in Teilen wie die Programmierschnittstelle von OpenAI ansprechen lässt; Ollama spricht ausdrücklich von einer Teilmenge („a subset of the OpenAI API“).

llama.cpp ist ein quelloffenes Projekt unter MIT-Lizenz mit dem erklärten Ziel, Modelle mit minimalem Einrichtungsaufwand auf einer großen Bandbreite von Hardware auszuführen. Die Projektseite listet unter anderem Unterstützung für Apple Silicon, Nvidia-, AMD- und Intel-Hardware. Der mitgelieferte llama-server lauscht standardmäßig nur auf dem eigenen Rechner (127.0.0.1, Port 8080) und unterstützt laut Dokumentation Funktionsaufrufe sowie, beim Start mit --tools, eingebaute Werkzeuge mit Zugriff auf das lokale Dateisystem.

LM Studio ist eine Desktop-Anwendung mit grafischer Oberfläche, dazu eine Variante ohne Oberfläche („llmster“). Laut Dokumentation kann sie nach dem Herunterladen der Modelldateien vollständig offline arbeiten und lokale Modelle im Netz bereitstellen. Seit Version 0.3.17 ist LM Studio ein MCP-Host, mit lokalen und entfernten MCP-Servern.

Ollama ist ein Programm für Rechner und Server, das Modelle über die Kommandozeile und eine Programmierschnittstelle bereitstellt. Laut FAQ lauscht es standardmäßig auf 127.0.0.1, Port 11434; über die Umgebungsvariable OLLAMA_HOST lässt es sich im Netz freigeben. Zur lokalen Nutzung schreibt Ollama: „We don’t see your prompts or data when you run locally.“ Daneben bietet Ollama Cloud-Modelle, die auf Ollamas eigener Infrastruktur laufen und in der App am Zusatz :cloud erkennbar sind. Die Cloud-Funktionen lassen sich laut Dokumentation abschalten.

vLLM ist eine Bibliothek für den Serverbetrieb, ursprünglich am Sky Computing Lab der UC Berkeley entwickelt und nach eigener Angabe von einer Gemeinschaft aus Hochschulen und Unternehmen gepflegt. Die Dokumentation nennt Nvidia- und AMD-Grafikprozessoren sowie x86-, ARM- und PowerPC-Prozessoren; weitere Beschleuniger über Erweiterungen. Neben der OpenAI-kompatiblen Schnittstelle nennt sie eine für das Messages-Format von Anthropic.

Quellen: github.com/ggml-org/llama.cpp, github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md, lmstudio.ai/docs/app, lmstudio.ai/docs/app/mcp, docs.ollama.com, docs.ollama.com/faq, docs.ollama.com/cloud, docs.ollama.com/api/openai-compatibility, docs.vllm.ai/en/latest — abgerufen 27.10.2026.

Hardware: was Hersteller und Projekte selbst angeben

Eigene Faustregeln stehen hier nicht. Die Angaben sind die der Hersteller und gelten für die genannte Konfiguration; Kontextlänge, Zahl gleichzeitiger Anfragen und Laufzeitumgebung verändern den Bedarf.

Modelle. OpenAI gibt für gpt-oss-20b an, dass es mit 16 GB Speicher läuft, für gpt-oss-120b einen einzelnen Grafikprozessor mit 80 GB. Google veröffentlicht für Gemma 4 eine Tabelle des Speichers, der allein zum Laden der Gewichte nötig ist – für das 31B-Modell etwa 69,9 GB in 16-Bit-Genauigkeit und 17,5 GB in 4-Bit-Quantisierung (eine verkleinerte Darstellung der Zahlenwerte); der Speicher für das Kontextfenster kommt laut Google hinzu. Nvidia nennt für Nemotron 3.5 Super VL in der NVFP4-Fassung unter anderem einen DGX Spark oder einen H200. Mistral nennt für Mistral Large 3 einen Serverknoten mit acht H200 und schreibt, das Modell könne mit begrenzten Mitteln schwer effizient zu betreiben sein. Für Qwen3.8-27B und DeepSeek-V4.1-Flash nennen die gelesenen Modellkarten keine Hardwareanforderungen.

Laufzeitumgebungen. LM Studio empfiehlt auf dem Mac Apple Silicon mit macOS 14 oder neuer und 16 GB Arbeitsspeicher, unter Windows 16 GB Arbeitsspeicher und mindestens 4 GB eigenen Grafikspeicher; Intel-Macs werden nicht unterstützt. Ollama nennt für Nvidia-Karten Rechenfähigkeit 5.0 oder höher mit Treiberversion 550 oder neuer, für AMD unter Linux den ROCm-v7-Treiber. Für llama.cpp und vLLM stehen auf den gelesenen Seiten Hardwarefamilien, aber keine Mindestwerte.

Quellen: huggingface.co/openai/gpt-oss-20b, openai.com/index/introducing-gpt-oss, ai.google.dev/gemma/docs/core, huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4, huggingface.co/mistralai/Mistral-Large-3-675B-Instruct-2512, huggingface.co/Qwen/Qwen3.8-27B, huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash, lmstudio.ai/docs/app/system-requirements, docs.ollama.com/gpu — abgerufen 27.10.2026.

Was lokal am Datenfluss ändert – und was nicht

Was sich ändert: Die Anfrage an das Modell und seine Antwort verlassen den Rechner oder das Netz des Betriebs nicht. Es gibt keinen Modellhersteller, der Eingaben speichert, für Missbrauchsabwehr aufbewahrt oder über eine Datenregion entscheidet. Die Fragen, die auf Modelle im Überblick je Hersteller beantwortet werden – Vertragspartner, Datenstandort, Training mit Kundendaten –, stellen sich für das lokal laufende Modell selbst nicht.

Was sich nicht ändert: Ein Agent ist mehr als das Modell. Sobald er ein Werkzeug nutzt, gehen Daten dorthin, wo dieses Werkzeug läuft. Eine Websuche schickt die Suchanfrage an einen Suchdienst. Ein entfernter MCP-Server erhält, was der Agent ihm übergibt, und liefert Inhalte zurück, die ins Modell gehen. Eine angebundene Programmierschnittstelle – Postfach, Kalender, Buchhaltung – verarbeitet die Daten bei ihrem Betreiber. Wie das im Einzelnen abläuft und wer Aufrufe freigibt, steht auf Werkzeuge und Schnittstellen.

Die Laufzeitumgebungen dokumentieren solche Verbindungen selbst. Die Websuche von Ollama läuft über Ollamas Server und verlangt ein Konto mit Zugangsschlüssel. Ollamas Cloud-Modelle laufen nicht lokal; zu ihnen schreibt Ollama, Eingaben und Antworten würden verarbeitet, um die Anfrage zu beantworten, nicht gespeichert und nicht zum Training genutzt. LM Studio warnt zu MCP-Servern: „Never install MCPs from untrusted sources.“ Manche könnten laut Dokumentation beliebigen Code ausführen, auf lokale Dateien zugreifen und die Netzverbindung nutzen.

Zwei Punkte betreffen nur den lokalen Betrieb. Erstens die Erreichbarkeit: Ollama und llama-server lauschen standardmäßig nur auf dem eigenen Rechner. Wer sie für Kolleginnen und Kollegen im Netz freigibt, öffnet eine Schnittstelle, die ab dann der Betrieb absichern muss. Zweitens die Werkzeuge mit Dateizugriff: Ein lokal laufender Agent, der Dateien lesen darf, liest sie auf dem Rechner, auf dem er läuft.

Quellen: docs.ollama.com/capabilities/web-search, docs.ollama.com/cloud, docs.ollama.com/faq, lmstudio.ai/docs/app/mcp, github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md; pontoit.de/agenten/schnittstellen/ — abgerufen 27.10.2026.

Welche Pflichten bleiben

KI-Verordnung: Der Betrieb ist Betreiber. Die Verordnung (EU) 2024/1689 definiert in Art. 3 Nr. 4 den Betreiber als Stelle, die ein KI-System „in eigener Verantwortung verwendet“, ausgenommen die persönliche, nicht berufliche Nutzung. Wo das System läuft, spielt für diese Rolle keine Rolle. Wer ein Modell nur intern nutzt, wird dadurch nicht zum Anbieter im Sinne von Art. 3 Nr. 3; diese Rolle beginnt mit dem Inverkehrbringen oder der Inbetriebnahme unter eigenem Namen oder eigener Marke. Ob ein selbst gebautes Agentensystem diese Schwelle überschreitet, ist eine Einzelfallfrage.

KI-Kompetenz (Art. 4). Seit 27. Juli 2026 gilt Art. 4 in der Fassung der Verordnung (EU) 2026/1744 (Digital-Omnibus-Verordnung zur KI). Anbieter und Betreiber ergreifen danach Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen; ein bestimmtes Kompetenzniveau müssen sie für niemanden garantieren. Das gilt für lokal betriebene Systeme wie für jedes andere.

Hochrisiko-Pflichten (Art. 26) nur, wenn einschlägig. Art. 26 regelt die „Pflichten der Betreiber von Hochrisiko-KI-Systemen“. Nach Art. 113 in der geänderten Fassung gelten die Abschnitte 1 bis 3 von Kapitel III für Systeme nach Anhang III ab 2. Dezember 2027, für Systeme nach Anhang I ab 2. August 2028. Ob ein System hochriskant ist, richtet sich nach Art. 6 und den Anhängen I und III, also nach dem Einsatzzweck – der Betriebsort kommt in diesen Kriterien nicht vor. Einzelheiten auf Regeln auf einen Blick.

DSGVO: Die Verantwortung bleibt im Betrieb. Verantwortlicher ist nach Art. 4 Nr. 7 DSGVO, wer über Zwecke und Mittel der Verarbeitung entscheidet. Beim lokalen Betrieb entfällt der Modellhersteller als Auftragsverarbeiter; die Pflichten des Betriebs entfallen nicht – Rechtsgrundlage, Information der Betroffenen, Sicherheit der Verarbeitung, Löschung. Beim gemieteten Server kommt der Hosting-Anbieter als Auftragsverarbeiter (Art. 4 Nr. 8) hinzu, ebenso jeder Dienst hinter einem angebundenen Werkzeug. Mehr dazu auf KI und Datenschutz.

Lizenzpflichten des Modells. Sie kommen zu den gesetzlichen Pflichten hinzu: Nutzungsrichtlinien, Hinweispflichten bei Weitergabe, Namensvorgaben für abgeleitete Modelle, regionale Ausnahmen. Welche das sind, steht im Lizenzabschnitt oben und auf der Modellkarte.

Quellen: Verordnung (EU) 2024/1689, Art. 3 Nr. 3 und 4, Art. 4, Art. 26, Art. 113 in der Fassung der Verordnung (EU) 2026/1744 vom 8. Juli 2026, ABl. L vom 24.07.2026, Erwägungsgründe 40 und 46 (eur-lex.europa.eu/eli/reg/2026/1744/oj; konsolidiert bei buzer.de/3_KI-VO.htm, /4_KI-VO.htm, /26_KI-VO.htm, /113_KI-VO.htm); Verordnung (EU) 2016/679, Art. 4 Nr. 7 und 8 (buzer.de/4_DSGVO.htm) — abgerufen 27.10.2026.

Fünf Fragen vor dem Betrieb

Sie ersetzen keine Prüfung, aber sie zeigen, wo die Antworten stehen müssen.

1. Welches „lokal“ ist gemeint – eigenes Gerät, eigener Server oder gemieteter Server? Davon hängt ab, ob ein Hosting-Vertrag und eine Auftragsverarbeitung hinzukommen.
2. Unter welcher Lizenz steht genau dieses Modell? Nach der Modellkarte des einzelnen Modells, mit Nutzungsrichtlinie und Weitergabepflichten.
3. Welche Funktionen der Laufzeitumgebung gehen nach außen? Cloud-Modelle, Websuche, Updates, entfernte MCP-Server – nach deren eigener Dokumentation.
4. Wer kann den lokalen Dienst erreichen? Nur der eigene Rechner oder das ganze Netz – und wer sichert die Schnittstelle ab, wenn sie freigegeben ist?
5. Welche Pflichten ergeben sich aus dem Einsatzzweck? KI-Kompetenz immer, Hochrisiko-Pflichten nur bei den in der Verordnung genannten Zwecken, DSGVO bei jeder Verarbeitung personenbezogener Daten.

Wie man eine Aufgabe für einen Agenten mit Grenzen und Freigabepunkten beschreibt, zeigen die Aufgabenvorlagen. Begriffe wie Kontextfenster, MCP oder Betreiber erklärt die Seite Begriffe. Wer Hardware mieten oder kaufen möchte, findet Anbieter im Anbieterverzeichnis unter KI-Server mieten.

---

Stand 28. Oktober 2026. Alle Angaben nach Modellkarten, Lizenzseiten und Dokumentation der genannten Hersteller und Projekte sowie nach EUR-Lex, abgerufen am 27.10.2026; Lizenznamen in der Schreibweise der Hersteller. Die genannten Modelle und Laufzeitumgebungen sind Beispiele in alphabetischer Reihenfolge, keine Auswahl nach Eignung. Keine Rechtsberatung. Diese Seite ist redaktionell und unbezahlt; es gibt hier keine Anzeigen und keine Anbieterplatzierungen.

Weitere Seiten der Bibliothek: Agenten-Bibliothek · Aufgabenvorlagen · Was ein Agent kann und was er darf · Regeln auf einen Blick · Modelle im Überblick · Werkzeuge und Schnittstellen · Nachweis und Protokoll · Begriffe · Für KI-Agenten lesbar · KI-Server mieten (Verzeichnis) · KI und Datenschutz (Verzeichnis)