Wer in der EU ein LLM betreibt, trifft auf zwei Regelwerke, die häufig vermischt werden: den AI-Act (Verordnung (EU) 2024/1689), der KI-Systeme und Modelle reguliert, und die DSGVO (Verordnung (EU) 2016/679), die die Verarbeitung personenbezogener Daten reguliert — Prompts und Outputs eingeschlossen.12 Selbsthosten eines Open-Source-Modells befreit von keinem von beiden. Aber es verändert, welche Pflichten gelten und wer sie trägt — häufig zu Ihren Gunsten gegenüber dem Aufruf einer Drittanbieter-API.
Dieser Leitfaden beschreibt den tatsächlichen Rechtsstand am 24. September 2026, einschließlich der Terminänderungen durch den Digital Omnibus on AI. Der ist verabschiedetes Recht — Verordnung (EU) 2026/1744, am 24. Juli 2026 im Amtsblatt veröffentlicht und seit dem 27. Juli 2026 in Kraft — kein Entwurf mehr.3 Jede Artikelnummer und jedes Datum unten ist in den Fußnoten auf Primärquellen belegt.
1. Die Risikopyramide des AI-Act — und wo ein selbst gehostetes LLM landet
| Risikostufe | Rechtsgrundlage | Bedeutung | Selbst gehosteter Chat-/Coding-Assistent |
|---|---|---|---|
| Verboten | Art. 5 | Verbotene Praktiken (Social Scoring, Manipulation, flächige Gesichtserfassung; ab 2.12.2026 zusätzlich NCII/CSAM-Generierung) | Nur bei exotischen Einsatzfällen einschlägig |
| Hochrisiko | Art. 6 + Annex III / Annex I | Volles Kapitel III: Risikomanagement, Data Governance, technische Dokumentation, Protokollierung, menschliche Aufsicht, Konformitätsbewertung, CE, Registrierung | Nur wenn der Anwendungsfall unter Annex III fällt — nicht weil es ein LLM ist |
| Begrenztes Risiko (Transparenz) | Art. 50 | Offenlegung der KI-Interaktion, Kennzeichnung synthetischer Inhalte, Deepfake-Kennzeichnung | Ja — hier lebt Ihr Assistent |
| Minimales Risiko | Übrige Fälle | Keine AI-Act-spezifischen Pflichten (DSGVO gilt trotzdem für die Daten) | Interne Coding-Unterstützung ohne Kontakt zu betroffenen Personen faktisch hier |
Der entscheidende Befund: Der AI-Act klassifiziert nach Verwendung, nicht nach Technologie. Ein General-Purpose-LLM für eine interne Wissensdatenbank oder Code-Vervollständigung ist nicht deshalb hochriskant, weil es ein LLM ist. Hochrisiko-Status entsteht ausschließlich über Artikel 6 — entweder als Sicherheitskomponente eines regulierten Produkts (Annex I) oder über einen dortigen Anwendungsfall (Annex III): Beschäftigung und Arbeitskräftemanagement, Bildung, Kreditwürdigkeitsprüfung, Grundversorgung, Strafverfolgung, Migration, Justiz und Biometrie.1
Ein selbst gehosteter Chatbot für Mitarbeitende oder Kunden ist daher für sich genommen ein Transparenz-System, kein Hochrisiko-System. Dass Sie die Modellgewichte selbst betreiben, verschiebt nichts in der Pyramide.
Wann Ihr Einsatz doch Annex-III-Hochrisiko wird
| Sie richten dasselbe Modell auf … | Annex-III-Punkt (Beispiele) | Folge |
|---|---|---|
| Lebenslauf-Screening, Rekrutierung, Beförderungs-/Kündigungsentscheidungen, Aufgabenverteilung, Mitarbeiterüberwachung | Punkt 4 | Hochrisiko-System; Kapitel-III-Pflichten des Anbieters jenes Systems ab 2.12.2027 |
| Schülervorauswahl, Prüfungsbenotung | Punkt 3 | wie oben |
| Kreditwürdigkeitsprüfung oder Versicherungsprämien | Punkt 5(b) | wie oben |
| Zugang zu wesentlichen öffentlichen/privaten Dienstleistungen | Punkt 5 | wie oben |
Zwei Rollenfallen sind hier entscheidend. Erstens: Wer ein nicht-hochriskantes System — auch ein selbst gehostetes General-Purpose-Modell — in seinem Verwendungszweck so verändert, dass es hochriskant wird, wird gemäß Artikel 25(1)(c) selbst Anbieter dieses Hochrisiko-Systems — mit dem vollständigen Pflichtenkatalog aus Artikel 16 (Risikomanagement, technische Dokumentation, Konformitätsbewertung, Registrierung).1 Dasselbe gilt beim Platzieren unter eigenem Namen (Art. 25(1)(a)) oder bei wesentlicher Änderung (Art. 25(1)(b); „wesentliche Änderung" definiert Art. 3(23)). Interne Nutzung schützt nicht: Nach Artikel 43(4) erfordert eine wesentliche Änderung eine erneute Konformitätsbewertung, auch wenn das geänderte System beim jetzigen Betreiber verbleibt.
Zweitens: Bußgelder für Regelverletzungen erreichen 15 Mio. € bzw. 3 % des weltweiten Umsatzes; Art.-5-Verstöße bis 35 Mio. € bzw. 7 % — jeweils ab dem Datum, ab dem die Regel für Sie gilt. Damit zum Zeitplan.
2. GPAI / Zeitplan — aktueller Rechtsstand (September 2026)
Vieles, was dazu online steht, beschreibt den Digital Omnibus noch als „Vorschlag". Er ist keiner. Die KI-Säule wurde als Verordnung (EU) 2026/1744 verabschiedet (unterzeichnet 8. Juli 2026, ABl. 24. Juli 2026, in Kraft 27. Juli 2026), nach politischer Einigung im Mai und den Kammervotierungen im Juni 2026.3 Die verschobenen Hochrisiko-Daten sind feste Kalenderdaten, nicht Standards-abhängig. Für Sie als Betreiber gilt heute:
| Datum | Was gilt | Stand am 24.09.2026 |
|---|---|---|
| 2.2.2025 | Verbotene Praktiken (Art. 5); KI-Kompetenz-Pflicht (Art. 4) | In Kraft |
| 2.8.2025 | Pflichten für Anbieter von GPAI-Modellen (Art. 51–55); Bußgeldregime | In Kraft — bindet aber den Modellanbieter, nicht Sie |
| 2.8.2026 | Art.-50-Transparenz; allgemeine Anwendbarkeit; Enforcement auf nationaler Ebene und durch das AI Office | In Kraft |
| 2.12.2026 | Maschinenlesbare Kennzeichnung für generative Systeme, die vor dem 2.8.2026 in Verkehr gebracht wurden (neuer Art. 111(4)); zwei neue Art.-5-Verbote (NCII, CSAM) | Verabschiedet, bevorstehend |
| 2.12.2027 | Annex-III-Hochrisiko-Pflichten (vorher 2.8.2026) | Verabschiedet, durch Omnibus verschoben |
| 2.8.2028 | Annex I — eingebettete Hochrisiko-KI (vorher 2.8.2027) | Verabschiedet, durch Omnibus verschoben |
Die Aufsicht über Ihre KI-Kompetenz-Maßnahmen läuft seit dem 3. August 2026 — das Enforcement ist jetzt aktiv.4
Der praktisch relevante Punkt: Die Verschiebung ist ein Aufschub, keine Abschaffung. Berührt Ihr Assistent einen Annex-III-Anwendungsfall, trifft Sie das vollständige Kapitel-III-Regime am 2. Dezember 2027 — eher, als die meisten Dokumentationsprojekte fertig werden. Und Selbsthosten von Open Source ist kein Dokumentationsfenster.
Open-Source-Modelle: Art. 53(2) — eine Ausnahme für den Anbieter, nicht für Sie
Artikel 53(2) nimmt Anbieter von GPAI-Modellen, die unter einer freien Open-Source-Lizenz veröffentlicht sind (Gewichte, Architektur- und Nutzungsinformationen öffentlich zugänglich), von den Dokumentations- und Informationspflichten des Art. 53(1)(a) und (b) aus.5 Diese Ausnahme (a) gilt nie für Modelle mit systemischem Risiko — dort ist die Trainingsrechenleistung von 10²⁵ FLOP gemäß Art. 3(63) die relevante Vermutungsschwelle —, greift (b) nicht für die Urheberrechts- und Trainingsdaten-Zusammenfassungspflichten aus Art. 53(1)(c)/(d) und ist (c) eine Anbieterpflicht. Als Unternehmen, das das Modell * betreibt*, erben Sie diese Pflichten nicht und verlieren durch sie nichts. Im Gegenteil: Bei einer qualifizierenden Open-Source-Veröffentlichung existiert die Transparenzinformation, die Sie für Ihre eigene Compliance-Akte brauchen, meist schon öffentlich.
Wer das Modell nachfeintunigt und das Ergebnis gewerblich als Modell anbietet, kann den Betreiberbereich verlassen und selbst GPAI-Anbieter werden — dann gilt Art. 53(1) (mit der Art.-53(2)-Ausnahme, wenn das Feintuning unter qualifizierender Open-Source-Lizenz erfolgt und die Trainingsrechenleistung unter der Schwelle von Art. 3(63) bleibt).
3. DSGVO: Was Selbsthosten tatsächlich verändert
| Frage | Drittanbieter-API (z. B. US-Anbieter) | Selbst gehostetes Open-Source-LLM |
|---|---|---|
| Wer ist Verantwortlicher für Prompt-/Output-Daten? | Sie sind Verantwortlicher; der Anbieter typischerweise Auftragsverarbeiter (oder eigenständiger Verantwortlicher) | Sie sind Verantwortlicher — Punkt |
| Drittlandtransfer (Art. 44 DSGVO) | Kapitel-V-Instrument nötig: SCC + Transferfolgeabschätzung, wenn der Anbieter Prompts sieht | Kein Transfer zum Modellanbieter — das Modell steht in Ihrem EU-Rechenzentrum; Transfers entstehen nur gegenüber dem GPU-Hoster, falls außerhalb der EU (und selbst EU-Hosting macht die Vertrags-/TIA-Prüfung nicht überflüssig) |
| Art.-28-Auftragsverarbeitungsvertrag | Mit dem API-Anbieter erforderlich | Nicht mit Modellanbieter; stattdessen AV-Vertrag mit dem Hosting-/Colocation-Anbieter, soweit dieser Zugriff auf personenbezogene Daten haben kann |
| Art. 32 technische und organisatorische Maßnahmen | Zertifizierungen des Anbieters (SOC 2 / ISO 27001) — weitgehend außerhalb Ihrer Kontrolle | Ihre Perimeter: Ihr Rechenzentrum, Ihre Verschlüsselung, Ihr Zugriffmanagement — vollständig auditierbar (ISO 27001, C5 attestierbar) |
| Modellverhalten / Protokollierung | Intransparent | Volle Kontrolle über Aufbewahrung von Prompts, Redaktion, Logging |
| Umsetzung von Art.-17-Löschanfragen | Kaum beeinflussbar | Sie entscheiden: Entfernen aus Verlauf und Vektorspeicher; modellinterner Zustand nach EDPB-Vorgaben bewerten |
Die Spalten erzählen die Compliance-Geschichte: Selbsthosten wandelt ein Fremdvertrauens- in ein Konfigurationsproblem. Sie brauchen kein vertragliches „Zertifikat' mehr dafür, dass ein US-Inferenzanbieter aus den Prompts Ihrer Beschäftigten keine Profile baut. Ihre Prompts sind personenbezogene Daten, sobald sie eine identifizierbare Person betreffen — eine Entwicklerin, die ein Kundenschema in den Coding-Assistenten einfügt, ist das Standardbeispiel —, und alle DSGVO-Grundsätze greifen: Rechtmäßigkeit (Art. 6 — typischerweise Vertrag oder berechtigtes Interesse, jeweils mit dokumentierter Dreistufenprüfung nach EDPB-Stellungnahme 28/2024), Zweckbindung (Art. 5(1)(b)), Datenminimierung (Art. 5(1)(c)), Speicherbegrenzung, Integrität und Rechenschaftspflicht.62
Zwei Punkte verdienen Präzision:
- Ihr GPU-Hoster kann Auftragsverarbeiter sein. Können Infrastruktur-Mitarbeitende auf Daten zugreifen, gilt Art. 28(3) DSGVO (Vertrag, Weisungsrecht, Kontrollrechte). Liegt die Infrastruktur in der EU, verlagert sich die Transferanalyse in eine Provider-Prüfung — die AV-Vertrag bleibt.
- Prompt-Aufbewahrung fürs Feintuning ist eine neue Zwecksetzung. Die Weiterverwendung von Chat-Protokollen zum Nachtrainieren ist von der ursprünglichen Art.-6-Rechtsgrundlage nicht gedeckt — ohne dokumentierte Verträglichkeitsprüfung nach Art. 6(4) oder eine neue Interessenabwägung; beides funktioniert, wenn es dokumentiert ist.
4. Transparenz (Art. 50) und KI-Kompetenz (Art. 4) — jetzt geltendes Recht
Artikel 50 gilt seit dem 2. August 2026 und wurde vom Omnibus nicht verschoben.73 Für den typischen selbst gehosteten Assistenten:
- Art. 50(1) — interagiert das System direkt mit natürlichen Personen (Kundenchatbot, KI-Agent, der E-Mails schreibt), sind die Nutzer bei der ersten Interaktion darüber zu informieren, dass sie mit KI interagieren, sofern nicht offenkundig. Das bindet Sie als Anbieter Ihres hauseigenen Systems.
- Art. 50(2) — maschinenlesbare Kennzeichnung synthetischer Inhalte; für ab dem 2.8.2026 in Verkehr gebrachte Systeme sofort, für davor in Verkehr gebrachte Systeme bis zum 2.12.2026 (neuer Art. 111(4)).3 Bei rein internen Assistenten, deren Outputs nie gegenüber Dritten „veröffentlicht" werden, ist die Pflicht wohl nicht ausgelöst — aber diese Bewertung schriftlich festhalten, nicht annehmen.
- Art. 50(3)/(4) — Betreiberpflichten für Emotionserkennung, biometrische Kategorisierung und Deepfakes; beim Coding-Assistenten meist außerhalb des Anwendungsbereichs, ab dem Moment, in dem Sie generierte Medien nach außen freigeben, innerhalb.
- Die Kommissionsleitlinien (angefertigt am 20. Juli 2026) und der freiwillige Verhaltenskodex für Transparenz KI-generierter Inhalte des AI Office bieten den praktischen Umsetzungspfad; die Unterzeichnung schafft Konformitätsvermutungs-Comfort für die Kennzeichnungspflichten.7
KI-Kompetenz (Art. 4) gilt seit dem 2. Februar 2025 — verifiziert; die Aufsicht über die Maßnahmen läuft seit dem 3. August 2026. Zwei Korrekturen zu gängigen Zusammenfassungen: Der Omnibus hat weder das Datum noch das Bestehen der Pflicht verschoben; das verabschiedete Recht formuliert Art. 4 neu als Pflicht zu Maßnahmen zur Förderung der KI-Kompetenz der Mitarbeitenden, die KI-Systeme betreiben — niedrigere Hürde als das ursprüngliche „Gewährleisten eines ausreichenden Niveaus", aber Datum und Existenz der Pflicht sind unverändert.3 Für ein Selbsthoster-Unternehmen ist das ein Schulungsdeck und eine rollenbasierte Unterlage — günstig, und die erste Frage, die eine Aufsichtsbehörde stellt.
5. Checkliste: Ein belastbarer Selbsthoster-Stack
| ✓ | Punkt | Rechtsanker |
|---|---|---|
| ☐ | Bestimmungszweck des Assistenten schriftlich dokumentieren und nur bewusst ändern | Art. 6, 25(1)(c) |
| ☐ | Anwendungsfälle vor dem Einsatz gegen Annex III prüfen — bevor das Modell auf HR-, Kredit- oder Ausbildungsdaten zeigt | Art. 6(2) + Annex III |
| ☐ | Bei Annex-III-Anwendungsfall: Kapitel-III-Projekt jetzt starten (Risikomanagement, technische Dokumentation, Protokollierung, menschliche Aufsicht) — Stichtag 2.12.2027, nicht abgesagt | Kapitel III |
| ☐ | Art.-28-Auftragsverarbeitungsvertrag mit GPU-Hoster / Rechenzentrumsbetreiber inkl. Unterauftragsverarbeiter-Klauseln | Art. 28(3) DSGVO |
| ☐ | Standort des Hostings dokumentieren; bei Nicht-EU: SCC + Transferfolgeabschätzung pflegen | Art. 44–46 DSGVO |
| ☐ | Schriftliche Art.-6-Rechtsgrundlagen-Bewertung je Anwendungsfall (Vertrag / berechtigtes Interesse inkl. Dreistufenprüfung) | Art. 6(1)(f) DSGVO; EDPB-Stellungnahme 28/2024 |
| ☐ | Aufbewahrungsrichtlinie für Prompts/Outputs: Nachtraining standardmäßig aus, dokumentierte Verträglichkeitsprüfung bei jeder Weiternutzung | Art. 5(1)(b), (e) DSGVO |
| ☐ | Art.-32-Maßnahmen dokumentiert: Verschlüsselung Ruhe/Übertragung, Zugriffskontrolle, vom Inferenznetz isolierte Infrastruktur | Art. 32 DSGVO |
| ☐ | Datenschutzhinweis für nutzende Beschäftigte; Löschumsetzung inkl. Vektorspeicher / RAG-Quellen | Art. 13, 17 DSGVO |
| ☐ | Chatbot/Agent weist KI-Natur bei erster Interaktion aus; maschinenlesbare Kennzeichnung bei veröffentlichten generativen Inhalten | Art. 50(1), (2) |
| ☐ | Modellquellen dokumentiert (Lizenz, Trainingsdaten-Zusammenfassung, Model Card) im eigenen KI-Register | ErwG 102; Art.-53-Kontext |
| ☐ | Rollenbasierte KI-Kompetenz-Schulung durchgeführt und dokumentiert | Art. 4 |
| ☐ | ISO-27001-/C5-Nachweise der Hosting-Plattform auf die Art.-32-Maßnahmen im AV-Vertrag gemappt | Art. 28, 32 DSGVO |
6. Fazit
Der Selbsthost eines Open-Source-LLMs ist unter dem AI-Act in der EU meist die reibungärmste Betriebsform: Transparenzstufe statt Hochrisiko, keine Abhängigkeit von der GPAI-Konformität eines ausländischen Anbieters und eine saubere Verantwortlichenposition in der DSGVO. Regelungsfrei ist er nicht — Art. 50, Art. 4 und das volle DSGVO-Set gelten heute —, aber jede verbleibende Pflicht ist eine, die Sie in Ihrer eigenen Infrastruktur umsetzen, statt sie im Vertrag eines fremden Anbieters zu überwachen.
Für die weiteren technischen Entscheidungen des Stacks lohnt ein Blick auf: Wie LLMs funktionieren, Quantisierung erklärt und KV-Cache erklärt.
Dieser Beitrag ist eine allgemeine Information zum Rechtsstand vom 24. September 2026 und keine Rechtsberatung. Die verbindliche Einordnung Ihres konkreten Systems erfordert eine individuelle Prüfung.
Footnotes
-
Verordnung (EU) 2024/1689 (AI-Act), ABl. L, 12.7.2024. Konsolidierte Fassung einschließlich der Änderungen durch den Digital Omnibus: CELEX 32024R1689 — https://eur-lex.europa.eu/eli/reg/2024/1689/oj ↩ ↩2 ↩3
-
Verordnung (EU) 2016/679 (DSGVO), ABl. L 119, 4.5.2016 — https://eur-lex.europa.eu/eli/reg/2016/679/oj ↩ ↩2
-
Verordnung (EU) 2026/1744 (Digital Omnibus on AI), ABl. L 2026/1744, 24.7.2026, in Kraft seit 27.7.2026 — https://eur-lex.europa.eu/eli/reg/2026/1744/oj (CELEX 32026R1744) ↩ ↩2 ↩3 ↩4 ↩5
-
Europäische Kommission, AI Act Service Desk, „Timeline for the Implementation of the EU AI Act" (unter Berücksichtigung des Digital Omnibus) — https://ai-act-service-desk.ec.europa.eu/en/ai-act/timeline/timeline-implementation-eu-ai-act ↩
-
AI-Act Art. 53(1), (2) — Pflichten für Anbieter von GPAI-Modellen; Open-Source-Lizenzausnahme, Ausnahme für systemische Risiken: https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-53 ↩
-
EDPB-Stellungnahme 28/2024 zu bestimmten Datenschutz-Aspekten der Verarbeitung personenbezogener Daten im Kontext von KI-Modellen, angenommen am 17. Dezember 2024 — https://www.edpb.europa.eu/our-work-tools/our-documents/opinion-board-art-64/edpb-opinion-282024-certain-data-protection-aspects_en ↩
-
Europäische Kommission, „Transparency obligations under Article 50 of the AI Act" (FAQ) sowie Kommissionsleitlinien vom 20. Juli 2026 — https://digital-strategy.ec.europa.eu/en/faqs/transparency-obligations-under-article-50-ai-act ↩ ↩2