# KI-Governance für den Mittelstand > KI-Governance im Mittelstand: Richtlinien, Rollen, Freigabeprozesse, EU-AI-Act-Pflichten, Dokumentation und Human-in-the-loop praxisnah erklärt. Quelle: https://www.ki-automatisierung-mittelstand.de/ki-governance-mittelstand/ Zuletzt geprüft: 2026-08-05 - [Start](https://www.ki-automatisierung-mittelstand.de/) - KI-Governance Mittelstand Steuerung # KI-Governance für den Mittelstand KI im Unternehmen einzusetzen heißt, sie zu steuern: mit klaren Richtlinien, definierten Rollen, nachvollziehbaren Freigaben und einer Dokumentation, die vor Prüfungen und dem EU AI Act besteht. Diese Seite zeigt, wie mittelständische Unternehmen KI-Governance schlank und wirksam aufsetzen – ohne bürokratischen Überbau. Von [Christoph Herting](https://www.ki-automatisierung-mittelstand.de/autoren/christoph-herting/), Geschäftsführer, KI-Beratung Deutschland · Veröffentlicht am 5. August 2026 · Zuletzt geprüft am 5. August 2026 Datenstand: August 2026 [Erstgespräch vereinbaren](https://cal.com/ki-beratung-deutschland-7wpx1v/30min) [Schulungsangebot ansehen](https://www.ki-automatisierung-mittelstand.de/ki-kompetenz-ai-act-mittelstand/) ## Was umfasst KI-Governance im Mittelstand? KI-Governance umfasst Richtlinien, Rollen, Freigabeprozesse, Dokumentation und die menschliche Kontrolle (Human-in-the-loop) über KI-Systeme. Sie erfüllt die Pflichten des EU AI Act und begrenzt Risiken. Verstöße gegen verbotene Praktiken können mit bis zu 35 Mio. € oder 7 Prozent des Jahresumsatzes geahndet werden – ein starkes Argument für klare Regeln. Warum Governance nötig ist ## KI-Governance schafft Sicherheit statt Bürokratie Sobald mehrere Mitarbeitende KI-Werkzeuge nutzen, entstehen Fragen: Welche Daten dürfen eingegeben werden? Wer haftet für ein KI-generiertes Angebot? Wie wird verhindert, dass sich Fehler unbemerkt fortpflanzen? KI-Governance beantwortet diese Fragen einmal grundsätzlich – und schafft damit Handlungssicherheit für alle Beteiligten, statt jede Situation neu zu diskutieren. Governance ist dabei kein Selbstzweck und kein Papierberg. Im Mittelstand bewährt sich ein schlanker Rahmen: eine verständliche KI-Richtlinie, klare Zuständigkeiten und ein einfacher Freigabeprozess. Diese Seite beschreibt den Aufbau dieses Rahmens. Die gesetzlichen Grundlagen im Detail erläutert der Ratgeber [EU AI Act für den Mittelstand](https://www.ki-automatisierung-mittelstand.de/ratgeber/eu-ai-act-mittelstand/), die verpflichtende Befähigung Ihrer Mitarbeitenden deckt unser [Schulungsangebot zur KI-Kompetenz nach Art. 4](https://www.ki-automatisierung-mittelstand.de/ki-kompetenz-ai-act-mittelstand/) ab. Wer Governance früh aufsetzt, spart später Aufwand: Neue Use Cases lassen sich schneller freigeben, weil Kriterien und Verantwortlichkeiten stehen. Das beschleunigt eine [KI-Prozessautomatisierung](https://www.ki-automatisierung-mittelstand.de/ki-prozessautomatisierung-mittelstand/) ebenso wie den Betrieb eines [Unternehmens-GPT](https://www.ki-automatisierung-mittelstand.de/unternehmens-gpt-mittelstand/). - **KI-Richtlinie:** Verständliche Regeln zur zulässigen Nutzung von KI im Unternehmen - **Rollen & Verantwortung:** Wer entscheidet, wer betreut, wer gibt frei? - **Freigabeprozess:** Jeder neue Use Case durchläuft eine definierte Prüfung - **KI-Register:** Übersicht aller eingesetzten KI-Systeme mit Risikoeinstufung - **Human-in-the-loop:** Menschliche Kontrolle bei relevanten Entscheidungen - **Dokumentation:** Nachweise für Prüfungen und den EU AI Act *Abbildung: Rollen- und Freigabemodell mit Geschäftsführung, KI-Verantwortlichem, Fachbereichen sowie Datenschutz und IT* Rollen und Freigaben: Geschäftsführung, KI-Verantwortliche, Fachbereiche sowie Datenschutz und IT. EU AI Act ## Welche Pflichten der EU AI Act mit sich bringt Der EU AI Act klassifiziert KI-Systeme nach Risiko und knüpft daran gestufte Pflichten. Für den Mittelstand ist vor allem relevant: verbotene Praktiken sind seit dem 2. Februar 2025 untersagt, seit demselben Datum gilt die verpflichtende KI-Kompetenz nach Art. 4 für alle, die KI-Systeme einsetzen oder betreuen. Hochrisiko-Anwendungen unterliegen zusätzlich strengen Dokumentations- und Aufsichtspflichten. Die Bußgeldrahmen sind erheblich: Bei verbotenen Praktiken drohen bis zu 35 Mio. € oder 7 Prozent des weltweiten Jahresumsatzes, bei sonstigen Verstößen bis zu 15 Mio. € oder 3 Prozent. Governance ist damit nicht optional, sondern Teil der unternehmerischen Sorgfalt. Wie sich die Anforderungen mit dem Datenschutz verzahnen, zeigt die Seite zur [DSGVO-konformen KI-Automatisierung](https://www.ki-automatisierung-mittelstand.de/dsgvo-konforme-ki-automatisierung/) sowie der Ratgeber zu [DSGVO und KI-Tools](https://www.ki-automatisierung-mittelstand.de/ratgeber/dsgvo-ki-tools-mittelstand/). - Klassifikation der eingesetzten KI-Systeme nach Risikostufe (minimal, begrenzt, hoch) - Nachweisbare KI-Kompetenz nach Art. 4 EU AI Act für alle beteiligten Personen - Transparenz- und Kennzeichnungspflichten bei Chatbots und generierten Inhalten - Bei Hochrisiko-Systemen: Risikomanagement, technische Dokumentation, menschliche Aufsicht - Führen eines KI-Registers als Grundlage für Nachweise und Audits *Abbildung: Risikoklassen des EU AI Act von minimalem über begrenztes und hohes Risiko bis zu verbotenen Praktiken mit Bußgeldrahmen* Risikoklassen des EU AI Act und der zugehörige Bußgeldrahmen. Human-in-the-loop ## Menschliche Kontrolle über KI-Entscheidungen sichern Human-in-the-loop bedeutet, dass ein Mensch relevante KI-Ergebnisse prüft und freigibt, bevor sie wirksam werden – etwa bei Angeboten, Buchungen oder Kundenkommunikation. Der begleitende Aufbau der nötigen Dokumentation (DSFA, AVV, EU-AI-Act-Nachweise) liegt im Mittelstand typischerweise bei 2.000–6.000 € einmalig. Kein KI-System sollte im Mittelstand unkontrolliert Entscheidungen mit Außenwirkung treffen. Human-in-the-loop verankert die menschliche Kontrolle an den richtigen Stellen: Die KI bereitet vor, schlägt vor, verdichtet – ein Mensch prüft und gibt frei. Der Grad der Kontrolle richtet sich nach dem Risiko: Bei internen Zusammenfassungen genügt Stichprobenkontrolle, bei verbindlichen Angeboten oder Personalentscheidungen ist eine explizite Freigabe zwingend. Damit dieser Rahmen belastbar ist, gehört die Dokumentation dazu: eine Datenschutz-Folgenabschätzung wo nötig, Auftragsverarbeitungsverträge mit Anbietern und die EU-AI-Act-Nachweise. Den Aufbau dieser Dokumentation kalkulieren wir im Mittelstand mit 2.000 bis 6.000 Euro einmalig, abhängig von Anzahl und Risikostufe der Use Cases. Die passende Schulung, um die Anforderungen im Team zu verankern, liegt zwischen ab 2.400 € und 9.800 Euro; das Komplettpaket inklusive KI-Richtlinie und Dokumentation startet ab 9.800 €. Governance und Kompetenz greifen ineinander: Erst wenn Mitarbeitende die Regeln verstehen, werden Freigaben verlässlich gelebt. Deshalb verbinden wir den Aufbau der Governance eng mit der Befähigung des Teams – Details dazu finden Sie im Ratgeber zur [KI-Strategie für den Mittelstand](https://www.ki-automatisierung-mittelstand.de/ratgeber/ki-strategie-mittelstand/) und im Leitfaden, wie Sie [ChatGPT im Unternehmen sicher einsetzen](https://www.ki-automatisierung-mittelstand.de/ratgeber/chatgpt-im-unternehmen-sicher-einsetzen/). - **Risikoabhängige Freigabe:** Kontrolltiefe richtet sich nach Wirkung und Risiko - **KI-Richtlinie:** Regelt zulässige Nutzung, Tabus und Meldewege - **DSFA & AVV:** Datenschutz-Folgenabschätzung und Auftragsverarbeitung wo nötig - **KI-Register:** Alle Systeme mit Zweck, Risikostufe und Verantwortlichem - **Regelmäßige Überprüfung:** Governance wächst mit neuen Use Cases mit Aufbau in Stufen ## So bauen Sie KI-Governance schrittweise auf KI-Governance muss nicht auf einen Schlag stehen. Bewährt hat sich ein stufenweiser Aufbau, der mit den ersten Use Cases wächst. Die folgende Übersicht zeigt die typischen Bausteine mit Aufwand und Ergebnis. | Baustein | Umfang | Investition | Ergebnis | | --- | --- | --- | --- | | Führungskräfte-Briefing | 90 Minuten | ab 1.500 € | Rollen & Verantwortung geklärt | | Inhouse-Workshop KI-Grundlagen | halbtägig, bis 25 Personen | ab 2.400 € | Basiskompetenz nach Art. 4 | | Komplettpaket inkl. KI-Richtlinie | bis 100 Personen | ab 9.800 € | Richtlinie & Dokumentation | | Compliance-Dokumentation | je Use Case | 2.000–6.000 € | DSFA, AVV, AI-Act-Nachweise | Nutzen ## Was Sie konkret davon haben ### Handlungssicherheit Klare Regeln und Zuständigkeiten geben Mitarbeitenden Sicherheit im täglichen KI-Einsatz. ### AI-Act-Konformität Risikoklassifikation, KI-Kompetenz und Dokumentation erfüllen die Pflichten des EU AI Act. ### Schnellere Freigaben Steht der Rahmen, lassen sich neue Use Cases zügig prüfen und produktiv setzen. ### Menschliche Kontrolle Human-in-the-loop stellt sicher, dass relevante Entscheidungen geprüft und verantwortet werden. Weiterführend ## Passende Themen [KI-Kompetenz nach EU AI Act Schulung und Nachweise nach Art. 4](https://www.ki-automatisierung-mittelstand.de/ki-kompetenz-ai-act-mittelstand/) [Ratgeber: EU AI Act Gesetzliche Grundlagen im Detail](https://www.ki-automatisierung-mittelstand.de/ratgeber/eu-ai-act-mittelstand/) [DSGVO-konforme KI-Automatisierung Datenschutz und KI verzahnen](https://www.ki-automatisierung-mittelstand.de/dsgvo-konforme-ki-automatisierung/) [Ratgeber: KI-Strategie Governance in die Strategie einbetten](https://www.ki-automatisierung-mittelstand.de/ratgeber/ki-strategie-mittelstand/) Häufige Fragen ## Antworten auf die wichtigsten Fragen **Braucht ein mittelständisches Unternehmen wirklich KI-Governance?** Ja, sobald mehrere Personen KI-Werkzeuge nutzen. Ohne Regeln entstehen Risiken bei Datenschutz, Haftung und Qualität. Governance muss im Mittelstand aber schlank sein: eine verständliche Richtlinie, klare Zuständigkeiten und ein einfacher Freigabeprozess reichen als Fundament und wachsen mit den Use Cases mit. **Wie hoch sind die Bußgelder bei Verstößen gegen den EU AI Act?** Bei verbotenen Praktiken drohen bis zu 35 Mio. € oder 7 Prozent des weltweiten Jahresumsatzes, je nachdem welcher Betrag höher ist. Bei sonstigen Verstößen liegt der Rahmen bei bis zu 15 Mio. € oder 3 Prozent. Diese Größenordnung macht Governance zu einem Thema der unternehmerischen Sorgfalt. **Was unterscheidet Governance vom Schulungsangebot?** Governance ist der organisatorische Rahmen – Richtlinien, Rollen, Freigaben und Dokumentation. Das Schulungsangebot zur KI-Kompetenz befähigt Ihre Mitarbeitenden, diesen Rahmen zu leben und die Pflicht aus Art. 4 EU AI Act zu erfüllen. Beide gehören zusammen: Regeln wirken nur, wenn das Team sie versteht und anwendet. **Was kostet der Aufbau der KI-Dokumentation?** Der Aufbau der nötigen Compliance-Dokumentation – Datenschutz-Folgenabschätzung, Auftragsverarbeitungsverträge und EU-AI-Act-Nachweise – liegt im Mittelstand typischerweise zwischen 2.000 und 6.000 Euro einmalig. Die Höhe hängt von Anzahl und Risikostufe der Use Cases ab. Bei mehreren Hochrisiko-Anwendungen steigt der Aufwand entsprechend. **Was bedeutet Human-in-the-loop konkret?** Human-in-the-loop bedeutet, dass ein Mensch relevante KI-Ergebnisse prüft und freigibt, bevor sie wirksam werden. Die Kontrolltiefe richtet sich nach dem Risiko: Bei internen Zusammenfassungen genügt eine Stichprobe, bei verbindlichen Angeboten oder Personalentscheidungen ist eine explizite Freigabe erforderlich. So bleibt die Verantwortung nachvollziehbar beim Unternehmen. Quellen ## Quellen & weiterführende Informationen - [Verordnung (EU) 2024/1689 über Künstliche Intelligenz (AI Act) – insb. Art. 4 „KI-Kompetenz“](https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX%3A32024R1689) EUR-Lex / Amt für Veröffentlichungen der EU - [EU AI Act – Digital Strategy](https://digital-strategy.ec.europa.eu/de/policies/regulatory-framework-ai) Europäische Kommission - [BSI – Künstliche Intelligenz: Sicherheitsempfehlungen](https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/kuenstliche-intelligenz_node.html) BSI ## Bereit für KI-Automatisierung mit klarem ROI? Im 30-minütigen Erstgespräch identifizieren wir die zwei bis drei Prozesse mit dem größten Hebel in Ihrem Unternehmen – inklusive Aufwand, Nutzen und konkretem Fahrplan. [Erstgespräch vereinbaren](https://cal.com/ki-beratung-deutschland-7wpx1v/30min) [Schreiben Sie uns](https://www.ki-automatisierung-mittelstand.de/kontakt/)