KI im Unternehmen einführen: Was Unternehmen vor der Freigabe prüfen sollten

Dies ist der erste Beitrag einer zweiteiligen Serie zum Thema, was zu beachten ist bei der Einführung neuer oder veränderter Künstlicher Intelligenz (KI)-Systeme und deren Nutzung im Unternehmen. Dieser Beitrag konzentriert sich auf die Anforderungen für die Einführung neuer oder veränderter KI-Systeme. Im zweiten Teil werden wir darstellen, was bei der Nutzung von KI im Arbeitsalltag zu beachten ist. Mit den Anforderungen rund um KI haben wir uns in unserem Blog bereits mehrfach beschäftigt. Dort findet ihr unter anderem Beiträge zur KI-Kompetenz und zu verbotenen Praktiken, zu Bußgeldern der KI-Verordnung sowie zur Frage, wann beim Einsatz von KI eine Datenschutz-Folgenabschätzung erforderlich sein kann.

KI ist ein schnell wachsender Markt

KI ist heute einer der am schnellsten wachsenden Technologiemärkte weltweit. Neue Anbieter, Modelle und Anwendungen tauchen in rasantem Tempo auf. Was heute noch als Innovation gilt, kann schon innerhalb weniger Monate zum Standard werden.

Von der Textgenerierung und -übersetzung bis hin zur Datenanalyse und Prozessautomatisierung versprechen KI-Systeme erhebliche Effizienzsteigerungen. Gleichzeitig sind die Einführung oder wesentliche Änderung dieser Systeme mit zahlreichen rechtlichen, organisatorischen und technischen Anforderungen verbunden. Deshalb stehen Unternehmen vor der Herausforderung, die Chancen dieser Entwicklung zu nutzen, ohne dabei die Anforderungen in Bezug auf Datenschutz und Sicherheit aus den Augen zu verlieren.

Wenn ihr ein neues KI-System einführt oder ein bestehendes System anpassen möchtet, solltet ihr nicht nur die technischen Möglichkeiten und Einsatzszenarien berücksichtigen. Wir empfehlen, von Anfang an auch die gesetzlichen Vorgaben, den Datenschutz, die Informationssicherheit und die Anforderungen der KI-Verordnung zu prüfen. So erkennt ihr frühzeitig, welche Aspekte für den konkreten Einsatz relevant sind.

Was ist was

Die Begriffe werden derzeit teilweise noch vermischt. Wir erklären kurz und einfach, was was ist:

• KI-Modell: Die technische Grundlage einer KI. Es verarbeitet Eingaben und erzeugt Ausgaben.
• KI-System: Die fertige Lösung, die ein oder mehrere KI-Modelle nutzt und für Anwender nutzbar macht.
• KI-Anwendung: Der konkrete Einsatzzweck eines KI-Systems, zum Beispiel die Erstellung von Texten oder die Analyse von Dokumenten.

Oder noch einfacher:

Ein KI-Modell ist das „Gehirn“ der KI. Ein KI-System ist das fertige Produkt, das dieses Gehirn nutzt.

Das Gesetz definiert ein „KI-System“ in Art. 3 Nr. 1 KI-VO etwas trockener und sperriger als wir es oben gemacht haben, und zwar wie folgt:

Für die Zwecke dieser Verordnung bezeichnet der Ausdruck „KI-System“ ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Vereinfacht lässt sich sagen: KI-System = Eingabe -> Datenverarbeitungsprozess mehr oder weniger autonom -> Ausgabe.

Die KI-Anwendung ist der konkrete Einsatz im Arbeitsalltag, zum Beispiel für die Erstellung von Texten, Übersetzungen oder Dokumentenzusammenfassungen.

Der Verwendungszweck ist entscheidend

Wir empfehlen euch, bereits vor der Implementierung festzulegen, für welche Aufgaben ihr die KI einsetzen möchtet, und welche Daten dabei verarbeitet werden sollen.

Anwendungen, die Auswirkungen auf Beschäftigte, Einstellungsverfahren, Kunden oder andere betroffene Personen haben können, erfordern besondere Aufmerksamkeit. Je nach Anwendungsbereich können zusätzliche gesetzliche Anforderungen entstehen oder der Einsatz sogar unzulässig sein.

Prüft auch Änderungen an bestehenden Systemen sorgfältig. Wenn ihr den Einsatzzweck erweitert, neue Daten verarbeitet oder der KI zusätzliche Funktionen hinzufügt, solltet ihr eine erneute Bewertung durchführen.

Welche Rolle euer Unternehmen hat

Analysiert deshalb frühzeitig, welche Rolle euer Unternehmen im Zusammenhang mit dem jeweiligen KI-System einnimmt.

In dieser Hinsicht kann es beispielsweise Unterschiede geben, je nachdem, ob ein Unternehmen:

• ein KI-System selbst entwickelt,
• ein externes KI-System nutzt,
• ein KI-System an seine eigenen Bedürfnisse anpasst oder anpassen lässt,
• ein System anderen Unternehmen oder Einzelpersonen zur Verfügung stellt oder
• KI-Ergebnisse in seine eigenen Entscheidungen und Prozesse integriert.

Diese Rolle kann Einfluss auf die rechtlichen und organisatorischen Anforderungen haben, die zu berücksichtigen sind.

Wir betrachten in diesem Beitrag die Einführung von KI aus Sicht des sogenannten „Betreibers“. Ein Betreiber ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet. Davon ausgenommen ist die Nutzung im privaten und nicht beruflichen Bereich.

Die Risikokategorie des KI-Systems

Die KI-Verordnung unterscheidet zwischen verschiedenen Risikoklassen. Die zusätzlichen Pflichten eines Unternehmens hängen von dieser Einstufung ab.

Prüft insbesondere,

• ob der Einsatz eine gesetzlich verbotene KI-Praxis darstellt,
• ob es sich um ein Hochrisiko-KI-System handelt,
• ob, beziehungsweise welche Transparenz- oder Kennzeichnungspflichten bestehen,
• welche weiteren regulatorischen Anforderungen gelten.

Führt diese Bewertung möglichst frühzeitig und vor einem Kauf oder Vertragsabschluss durch.

Datenschutz von Anfang an berücksichtigen

KI-Systeme können auch personenbezogene Daten verarbeiten. Daraus ergeben sich zusätzliche Anforderungen. Je nach konkretem Anwendungsfall müsst ihr daher insbesondere folgende Punkte berücksichtigen:

• Rechtmäßigkeit der Verarbeitung personenbezogener Daten
• ob ein Auftragsverarbeitungsvertrag erforderlich ist inklusive der Frage, ob die Nutzung der verarbeiteten Daten durch den Anbieter zu KI-Trainingszwecken ausgeschlossen ist
• Erstellung oder Anpassung von Datenschutzhinweisen gemäß 13 und/oder 14 DSGVO
• Aktualisierung des Verzeichnisses von Verarbeitungstätigkeiten
• Durchführung einer Schwellwertanalyse und einer gegebenenfalls daran angeschlossenen Datenschutz-Folgenabschätzung, siehe hierzu auch unseren Artikel Wann ist eine Datenschutz-Folgenabschätzung (DSFA) durchzuführen?
• Umgang mit den Rechten der betroffenen Personen gemäß der 12 bis 22 DSGVO
• Datenminimierung

Gerade bei neuen oder komplexen KI-Systemen kommt es häufig vor, dass Datenschutzthematiken erst in einer sehr späten Phase erkannt werden. Dies kann zu Verzögerungen oder zu einer zeitaufwändigen Überarbeitung führen. Dabei ist nicht nur die unmittelbare Nutzung des KI-Systems relevant. Auch vor- und nachgelagerte Prozesse können datenschutzrechtliche Fragen aufwerfen.

KI-Anbieter prüfen

Beim Einsatz von KI-Systemen spielen die Anbieter dieser Systeme ebenfalls eine wichtige Rolle. Wie auch bei anderen Systemeinführungen ist auf die Auswahl des Anbieters ein besonderes Augenmerk zu legen. Je nach Anbieter können sich die Systeme, deren Sicherheitsmaßnahmen und Nutzungsbedingungen deutlich unterscheiden.

Prüft deshalb vor der Einführung sorgfältig, wer hinter dem Angebot steht, welche Modelle der Anbieter einsetzt und welche Daten wie verarbeitet werden. Ferner lässt die Transparenz des Anbieters Rückschlüsse auf die Vertrauenswürdigkeit zu. Achtet hierfür darauf, ob ausreichende Informationen zu Datenschutz, Informationssicherheit und rechtlichen Rahmenbedingungen zur Verfügung gestellt werden.

Die sorgfältige Prüfung der Anbieter hilft, Risiken frühzeitig zu erkennen und einen sicheren sowie rechtskonformen Einsatz von KI zu unterstützen.

Verträge im Zusammenhang mit Auftragsverarbeitung prüfen

Viele KI-Lösungen werden von Drittanbietern als Cloud-Dienste bereitgestellt. In solchen Fällen werden personenbezogene Daten in der Regel im Auftrag des Unternehmens verarbeitet. Wie komplex die Anforderungen an die Prüfung und Kontrolle von Auftragsverarbeitern und die zu schließenden Verträge sind, haben wir in diversen Beiträgen bereits dargestellt (siehe dazu auch Auftragsverarbeitungsverträge – Kontrollpflichten von Verantwortlichen bei der Auftragsverarbeitung, Kontrollpflichten bei (Ketten)-Auftragsverarbeitung und Fehlender Auftragsverarbeitungsvertrag begründet Schadenersatzanspruch.

Besondere Aufmerksamkeit muss in diesem Zusammenhang der Frage gewidmet werden, ob der Anbieter die bereitgestellten Daten für eigene Zwecke nutzt. Dies kann beispielsweise der Fall sein, wenn die Daten zur Verbesserung oder zum Training von allgemeinen KI-Modellen verwendet werden. Prüft daher, welche vertraglichen Bestimmungen gelten und ob ihr die entsprechende Nutzung der Daten ausschließen könnt. Wenn diese Möglichkeit besteht, solltet ihr die Nutzung der Daten für eigene Zwecke vertraglich ausschließen.

Prüft außerdem, ob der Anbieter weitere Dienstleister oder Unterauftragsverarbeiter einbezieht und welche Datenverarbeitungsvorgänge diese übernehmen.

Drittlandübermittlungen bei KI

Prüft darüber hinaus besonders sorgfältig, ob personenbezogene Daten in Drittländer übermittelt werden. Viele KI-Anbieter haben ihren Sitz außerhalb der EU/EWR oder nutzen technische Infrastruktur in Drittländern. Eine Übermittlung in ein Drittland kann bereits dann vorliegen, wenn personenbezogene Daten auf Servern außerhalb des EWR verarbeitet oder auch nur gespeichert werden.

Prüft daher vor der Einführung eines KI-Systems insbesondere:

• in welchen Ländern personenbezogene Daten verarbeitet werden,
• mit welchen Garantien ( 44 ff. DSGVO) diese Übermittlung in ein Drittland abgesichert wird, also ob Angemessenheitsbeschlüsse oder Standardvertragsklauseln vorliegen oder ob zusätzliche Garantien erforderlich sind,
• ob ein Transfer Impact Assessment (TIA) durchgeführt werden muss (siehe dazu auch unseren Blog-Beitrag Sind Drittstaatenübermittlungen aktuell überhaupt rechtssicher möglich?

Das Fehlen von Regeln zur Auftragsverarbeitung und zur Datenübermittlung in Drittländer oder eine unzureichende Überprüfung solcher Regeln gehören zu den häufigsten Schwachstellen bei der Implementierung von KI-Systemen. Daher sollte vor Vertragsabschluss eine gründliche Prüfung durchgeführt werden und nicht erst während des Betriebs des Systems.

Datenquellen, Konnektoren und Erweiterungen dürfen nicht vergessen werden

Viele moderne KI-Systeme arbeiten nicht isoliert. Sie greifen auf Dokumente, E-Mails, Wissensdatenbanken oder externe Systeme zu.

Bewertet daher nicht nur die KI selbst. Prüft auch,

• welche Datenquellen angebunden sind,
• welche Konnektoren verwendet werden,
• welche Erweiterungen und Agenten integriert sind,
• und welche Zugriffsrechte bestehen.

Häufig gehen die Risiken nicht vom KI-System selbst aus, sondern von dessen Verbindung zu vertraulichen Unternehmensdaten.

Transparenz- und Kennzeichnungsanforderungen

Prüft je nach konkretem Anwendungsfall, ob ihr den Einsatz von KI offenlegen oder KI-generierte Inhalte entsprechend kennzeichnen müsst.

Dies gilt insbesondere für bestimmte Arten von Chatbots, automatisierte Interaktionen und bestimmte KI-generierte Inhalte. Berücksichtigt diese Anforderungen bereits in der Planungsphase.

KI-Kompetenz als Pflichtaufgabe

Der rechtskonforme Einsatz von KI setzt voraus, dass die beteiligten Personen über ausreichende KI-Kompetenz verfügen. Dies betrifft nicht nur die späteren Nutzer, sondern auch diejenigen, die über die Einführung, Auswahl oder Freigabe von KI-Systemen entscheiden. Insbesondere auf Entscheidungsebene ist ein Verständnis der Funktionsweise und Grenzen der eingesetzten KI-Systeme erforderlich. Berücksichtigt darüber hinaus die Risikoeinstufung nach der KI-Verordnung, Transparenzpflichten, Datenschutz, Informationssicherheit, den Schutz von Geschäftsgeheimnissen sowie die unternehmensinternen Freigabe- und Kontrollprozesse.

Fazit

Die Einführung eines KI-Systems ist weit mehr als die bloße Auswahl eines neuen Tools. Unternehmen müssen zahlreiche rechtliche, organisatorische und technische Aspekte berücksichtigen. Dazu gehören insbesondere die Risikoklassifizierung, datenschutzrechtliche Anforderungen, die Überprüfung von Verträgen, Transparenzpflichten, die Dokumentation sowie die erforderlichen KI-Kompetenzen.

Wer sich frühzeitig mit diesen Fragen auseinandersetzt, legt den Grundstein für einen nachhaltigen, sicheren und vorschriftsmäßigen Einsatz von KI. Etabliert die Rolle der Entscheider im Unternehmen für diese komplexen Prüfungen. So stellt ihr sicher, dass nicht jeder potenzielle Nutzer diese Prüfungen selbst durchführen muss. Vermittelt diesen Entscheidern die erweiterten Kenntnisse, die sie für die Auswahl der Systeme benötigen. Maßgeblich unterstützen kann dabei eine Richtlinie für Entscheider, die konkrete Anleitungen enthält.

Solltet ihr bei der Einführung von KI-Systemen oder der Etablierung von Richtlinien hierfür Unterstützung benötigen, meldet euch gerne bei uns.