Hochrisiko-KI im Unternehmen – Pflichten und Risiken nach dem EU AI Act 

Ein neuer Rechtsrahmen für kritische KI-Anwendungen 

Sind Ihre KI-Systeme bereit für die strengen Anforderungen des EU AI Acts? Hochrisiko-KI-Systeme unterliegen besonders strengen Vorgaben. Je größer das Risiko für Menschen und Gesellschaft, desto strenger die Anforderungen. Fehler oder Versäumnisse können nicht nur hohe Bußgelder, sondern auch massive Reputationsverluste nach sich ziehen. Für Anbieter und Betreiber solcher Systeme ist es daher entscheidend, ihre Pflichten genau zu kennen und rechtzeitig umzusetzen. In diesem Beitrag erfahren Sie, welche KI-Anwendungen als hochriskant gelten, welche Pflichten auf Sie zukommen und wie Sie rechtssicher agieren. 

 Was bedeutet Hochrisiko-KI laut EU AI Act? 

Hochrisiko-KI umfasst Systeme, die erhebliche Auswirkungen auf Grundrechte, Sicherheit oder das Leben von Menschen haben können. Dazu zählen beispielsweise: 

• KI-gestützte Bewerberauswahl im Personalwesen 

• Diagnosesoftware im Gesundheitswesen 

• Risikobewertungen im Strafjustizsystem 

• Automatisierte Kreditwürdigkeitsprüfungen im Finanzsektor 

Entscheidend ist nicht, ob die Technologie öffentlich sichtbar ist oder im Hintergrund arbeitet. Auch interne Tools fallen in diese Kategorie, wenn sie Entscheidungen vorbereiten oder beeinflussen, die für Einzelpersonen gravierende Folgen haben. Unternehmen sollten daher prüfen und dokumentieren, welche Systeme sie betreiben und ob diese als Hochrisiko-KI eingestuft werden müssen. Diese Dokumentation ist essenziell für Nachweise gegenüber Behörden. 

Die zentralen Compliance-Pflichten 

Wenn Ihre KI-Systeme als Hochrisiko eingestuft werden, gelten umfassende Pflichten: 

• Technische Dokumentation: Die Dokumentation beschreibt Zweck, Funktionsweise, Architektur und Trainingsmethoden des KI-Systems. Sie muss stets aktuell gepflegt und versioniert sein. 

• Datenqualität: Trainings-, Validierungs- und Testdaten müssen repräsentativ, fehlerarm und auf Verzerrungen geprüft sein. Herkunft und Nutzung der Daten sowie Bias-Testergebnisse müssen nachweisbar sein. 

• Menschliche Aufsicht: Ein Mensch muss das System überwachen und eingreifen können. Dazu gehören technische Eingriffsmöglichkeiten, klare Verantwortlichkeiten und geschultes Personal. 
• Protokollierung: Systemaktivitäten sind lückenlos und manipulationssicher zu protokollieren. Logs müssen für Prüfungen durch Aufsichtsbehörden jederzeit zugänglich sein. 

Rollen und Zuständigkeiten im Unternehmen 

Der EU AI Act unterscheidet zwischen verschiedenen Akteursrollen, die jeweils unterschiedliche Pflichten nach sich ziehen. Der „Provider“ entwickelt oder trainiert die KI und ist in der Regel für die technische Dokumentation und die Konformitätsbewertung verantwortlich. Der „Deployer“ setzt das System im Geschäftsbetrieb ein und muss sicherstellen, dass es konform genutzt wird und Nutzer über wesentliche Eigenschaften informiert sind. Der „Distributor“ vertreibt oder vermittelt die Technologie und trägt die Verantwortung dafür, dass diese ordnungsgemäß gekennzeichnet ist. Der „Importer“ bringt Systeme aus Drittstaaten in die EU und darf dies nur tun, wenn deren Konformität bereits nachgewiesen ist. Nicht selten erfüllt ein Unternehmen mehrere dieser Rollen zugleich, weshalb eine klare interne Zuordnung von Verantwortlichkeiten unerlässlich ist. 

Konsequenzen bei Nichteinhaltung 

Wer diese Vorgaben ignoriert oder verspätet umsetzt, riskiert empfindliche Konsequenzen:  

• Verstöße gegen die Hochrisiko-Pflichten können mit Geldbußen von bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes geahndet werden.  

• Bei verbotenen Praktiken bis zu 35 Millionen Euro oder 7 % des Umsatzes 

• Bußgelder in Millionenhöhe bei fehlerhaften oder verweigerten Auskünften an die Behörden  

• Gefahr von unangekündigten Audits, die zu einer temporären Abschaltung des Systems führen können  
• Erhebliche Reputationsschäden durch öffentliche Verstöße  

Audit-Bereitschaft als Wettbewerbsvorteil 

Eine lückenlose und gut strukturierte Nachweisführung ist das beste Mittel gegen Bußgelder und Betriebsunterbrechungen. Halten Sie alle relevanten Nachweise bereit: 

• Klassifikationsunterlagen 

• vollständige technische Dokumentation 

• Datenqualität- und Bias-Testberichte 

• Regelungen zur menschlichen Aufsicht 

• Protokolle der Systemaktivitäten. 

Interne Probeläufe für Audits stärken das Compliance-Bewusstsein, signalisieren Aufsichtsbehörden Ihre Professionalität und können formale Beanstandungen vermeiden. 

Fazit: Rechtssicherheit als Chance nutzen  

Hochrisiko-KI ist das Kernstück der strengsten Bestimmungen des EU AI Acts. Für Unternehmen bedeutet das: Technologische Innovationskraft muss mit juristischer Präzision einhergehen. Frühes Engagement in den Bereichen Dokumentation, Datenqualität und menschliche Aufsicht schützt Sie vor hohen Bußgeldern und Betriebsrisiken. Gleichzeitig schafft es Vertrauen bei Kunden, Partnern und Investoren. In einer zunehmend regulierten digitalen Wirtschaft ist dieses Vertrauen ein entscheidender Wettbewerbsvorteil. 

________________________________________________________________________________________________________________________________

Mehr über die Auswirkungen des EU AI Acts: Unsere Blog-Reihe für Sie im Überblick (bald online): 

• Teil 1 - EU AI Act: Der Gamechanger für KI-Compliance
• Teil 2 - Klassifizieren oder scheitern: So knacken Sie den KI-Risikocode im EU AI Act
• Teil 4 - Über die EU AI Act Colmpliance hinaus: KI-Ethik, Rechtliche Risiken und Vertragsgestaltung
• Teil 5 - KI-Compliance-Strategie: So etablieren Unternehmen und Kanzleien zukunftssichere KI-Governance 

Laden Sie unsere kostenlose Checkliste herunter und prüfen Sie, ob Ihre Systeme den Anforderungen entsprechen.