KI-Anbieter prüfen: Datenschutz, Sicherheit, Vertrag und Betrieb

Ein Vertriebsteam testet einen KI-Assistenten, der E-Mail-Verläufe zusammenfasst. Die Demo überzeugt, das Modell liefert gute Antworten, der Preis passt. Zwei Fragen werden dabei fast nie gestellt: Wo landen die Kundendaten, die in den Chat kopiert werden – und was passiert, wenn du den Anbieter in zwei Jahren wieder verlassen willst? Genau diese Lücke ist das Thema dieses Artikels.

Dieser Artikel richtet sich an Geschäftsführung, Operations, IT und Fachbereich in KMU, die einen KI-Anbieter – ob Chat-Tool, API-Zugang oder eingebettetes KI-Feature in bestehender Software – produktiv einsetzen wollen. Er beantwortet die Kernfragen der Anbieterprüfung: welche Unterlagen nötig sind, wie man Datenverwendung prüft, welche Sicherheitsnachweise zählen, wie man Lock-in bewertet und wer am Ende genehmigt. Zum übergeordneten Themen-Cluster geht es unter KI-Governance.

Das Problem: Modellqualität schlägt Datenstandort

In den Auswahlprozessen, die ich in KMU begleite, läuft die Entscheidung fast immer gleich ab: Jemand testet ein Tool, das Modell überzeugt inhaltlich, der Preis ist überschaubar – und dann wird gekauft oder ein kostenloser Zugang ausgeweitet. Die Fragen, die eigentlich zuerst kommen müssten, werden nachgelagert oder gar nicht gestellt: Wo werden die Daten verarbeitet? Wer ist Auftragsverarbeiter? Was passiert, wenn wir wieder raus wollen?

Das ist verständlich – Modellqualität ist sichtbar und lässt sich in einer Demo erleben, Vertragsbedingungen und Datenstandort nicht. Aber genau umgekehrt liegt das eigentliche Risiko: Modelle unterscheiden sich für die meisten KMU-Anwendungsfälle inzwischen weniger stark, als der Markt suggeriert. Was sich massiv unterscheidet, ist, was mit den Daten passiert, die durch das System laufen, und wie leicht (oder schwer) ein späterer Wechsel ist. Ein Anbieter, der dein Unternehmen über AGB-Änderungen, geschlossene Exportformate oder unklare Trainingsnutzung faktisch an sich bindet, ist teurer als jede Lizenzgebühr – nur zeigt sich das erst später.

Begriffe kurz geklärt

• KI-Anbieter meint hier jeden Dritten, der ein KI-System oder eine KI-Funktion bereitstellt, die dein Unternehmen einsetzt – vom eigenständigen Chat-Tool über eine API bis zum KI-Feature in einer bestehenden Software. Die Prüfpflichten unterscheiden sich im Detail, das Grundprinzip nicht.
• Auftragsverarbeitung (AVV) ist der Vertrag nach Artikel 28 DSGVO, der regelt, dass der Anbieter personenbezogene Daten nur nach deiner Weisung verarbeitet. Ohne AVV darfst du keine personenbezogenen Daten an den Anbieter geben.
• Verantwortlicher vs. Auftragsverarbeiter: Sobald dein Unternehmen entscheidet, wofür ein KI-System personenbezogene Daten verarbeitet, bist du der datenschutzrechtlich Verantwortliche – nicht der Hersteller. Die Datenschutzkonferenz stellt in ihrer Orientierungshilfe klar, dass Hersteller:innen und Entwickler:innen typischerweise in den frühen Phasen (Design, Entwicklung) Verantwortliche sind, die einsetzende Stelle aber in Einführung und Betrieb bestimmt, welche Daten zu welchen Zwecken verarbeitet werden. Die Verantwortung wandert also mit dem Einsatz zu dir.
• Lock-in bezeichnet die faktische Bindung an einen Anbieter – durch Vertragslaufzeit, aber auch durch fehlende Exportmöglichkeiten, proprietäre Formate oder Prozesse, die zu eng auf ein einzelnes Tool zugeschnitten sind.

Welche Unterlagen braucht man?

Für eine Prüfung, die mehr ist als ein Bauchgefühl, brauchst du vier Dokumente, bevor ein Anbieter produktiv geschaltet wird:

1. Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO, mit klarer Angabe, wo die Verarbeitung stattfindet (EU, Drittland mit Angemessenheitsbeschluss, Drittland mit Standardvertragsklauseln). Ohne diesen Vertrag ist der Einsatz für personenbezogene Daten nicht zulässig.
2. Ein Sicherheitsnachweis, der sich nicht auf Marketingaussagen stützt: ein ISO-27001-Zertifikat, ein Prüfbericht nach dem BSI-Kriterienkatalog C5 oder – bei US-Anbietern verbreitet – ein SOC-2-Bericht. Details dazu im Abschnitt zu Sicherheitsnachweisen.
3. Eine Beschreibung der Datenverwendung, insbesondere ob Eingaben zum Training des Modells genutzt werden, wie lange Chatverläufe und hochgeladene Dokumente gespeichert bleiben und ob Unterauftragsverarbeiter (Subunternehmer, z. B. Cloud-Infrastruktur) eingesetzt werden.
4. Die Vertragsbedingungen zu Laufzeit, Kündigung und Datenexport. Was passiert bei Kündigung mit deinen Daten, in welchem Format bekommst du sie zurück, und wie lange hast du dafür Zeit?

Was in der Praxis oft fehlt, ist nicht das Bewusstsein für diese vier Punkte, sondern die Konsequenz, sie vor der Einführung einzufordern – nicht erst, wenn ein Auditor oder eine Aufsichtsbehörde fragt. Das BSI empfiehlt in seinem Management-Blitzlicht zu generativer KI genau das: vor der Anbieterwahl eigene Kriterien für Transparenz und Serverstandort zu entwickeln und erst danach Firmenaccounts mit datensparsamer Konfiguration anzulegen.

Wie prüft man Datenverwendung?

Die wichtigste Einzelfrage lautet: Werden die Eingaben, die dein Team in das System tippt oder hochlädt, zum (Nach-)Training des Modells verwendet? Bei vielen Consumer-Zugängen ohne separaten Firmenaccount ist die Antwort standardmäßig ja – bei Business- oder API-Zugängen meist nein, aber eben nur meist, und nur, wenn du es aktiv konfigurierst und nicht nur den Marketingtext liest.

Konkret solltest du drei Dinge prüfen und dokumentieren:

• Trainingsnutzung: Ist sie ausgeschlossen, standardmäßig oder nur nach Opt-out? Für Firmendaten sollte sie grundsätzlich deaktiviert sein – das BSI nennt das Verbieten der Trainingsnutzung als konkrete Konfigurationsmaßnahme für Firmenaccounts.
• Speicherdauer und Löschfristen: Wie lange bleiben Chats, Prompts und Dokumente gespeichert, und lassen sich Löschfristen konfigurieren? Das betrifft sowohl die vertragliche Zusage als auch die technische Umsetzung.
• Zugriffs- und Berechtigungskonzept: Welche internen Systeme und Datenbanken darf das KI-System überhaupt lesen, und ist dieser Zugriff auf das Nötige beschränkt? Die Datenschutzkonferenz verankert das im Grundsatz der Datenminimierung: Verarbeitete Daten müssen dem Zweck angemessen und auf das notwendige Maß beschränkt sein.

Für personenbezogene Daten gelten zusätzlich die üblichen DSGVO-Pflichten: eine Rechtsgrundlage für die Verarbeitung, erfüllte Informationspflichten nach Art. 13/14 DSGVO gegenüber Betroffenen und – bei absehbar hohem Risiko für die Rechte und Freiheiten natürlicher Personen – eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO. Das ist keine Formalität für Großkonzerne: Sobald ein KI-System z. B. Bewerbungen vorsortiert oder Kundendaten in großem Umfang verarbeitet, kann diese Pflicht auch ein zehnköpfiges Unternehmen treffen. (Stand Juli 2026, keine Rechtsberatung – im Zweifel gehört das zur Datenschutzbeauftragten oder externen Rechtsberatung.)

Welche Sicherheitsnachweise sind relevant?

„Wir nehmen Datenschutz ernst” auf einer Anbieter-Website ist kein Nachweis. Relevant sind strukturierte, extern geprüfte Nachweise:

• ISO 27001 ist der international verbreitetste Standard für Informationssicherheits-Managementsysteme und ein guter erster Filter.
• BSI C5 (Cloud Computing Compliance Criteria Catalogue) ist ein deutscher Kriterienkatalog speziell für Cloud-Anbieter, der über 120 Kriterien in mehr als einem Dutzend Themenfeldern umfasst. Das BSI empfiehlt Kunden ausdrücklich, den C5-Report des jeweiligen Anbieters anzufordern, ihn – idealerweise jährlich wiederholt – zu analysieren und darauf aufbauend eine eigene Risikobewertung vorzunehmen. Wichtig dabei: Das BSI selbst prüft weder Auditoren noch Berichte, die Verantwortung für die Bewertung und das verbleibende Restrisiko liegt beim Kunden.
• SOC 2 ist das US-amerikanische Pendant, das bei vielen internationalen Anbietern zusätzlich oder anstelle von C5 vorliegt.
• Model Cards oder vergleichbare Dokumentation sind bei eingekauften oder Open-Source-Modellen relevant, wenn dein Anbieter fremde KI-Komponenten integriert statt ein eigenes Modell zu betreiben. Das BSI empfiehlt hier zusätzlich, die Lieferkette (Supply Chain) der eingesetzten KI-Komponenten nachzuvollziehen und nur vertrauenswürdige Bausteine zu verwenden.

Ein Zertifikat allein reicht nicht: Prüfe auch das Ausstellungsdatum (Zertifikate haben eine begrenzte Gültigkeit) und den Geltungsbereich (bezieht sich das Zertifikat auf genau den Dienst, den du einsetzt, oder nur auf die Infrastruktur darunter?). Ein C5-Testat für die Cloud-Plattform sagt nichts über die Sicherheit der KI-Anwendung aus, die darauf läuft.

Wie bewertet man Lock-in?

Lock-in wird meist erst beim Ausstieg sichtbar – deshalb muss er vor dem Einstieg bewertet werden. Drei Ebenen sind relevant:

Vertraglich: Kündigungsfrist, automatische Vertragsverlängerung, Mindestlaufzeit. Seit dem 12. September 2025 gilt für Datenverarbeitungsdienste (dazu zählen viele Cloud-basierte KI-Anbieter) der EU Data Act mit verbindlichen Wechselregeln, die auch für bestehende Verträge greifen: Eine Wechselankündigung darf den Anbieter höchstens zwei Monate zur Vorbereitung binden, die Übergangsphase zum neuen Anbieter ist standardmäßig auf 30 Kalendertage begrenzt (bei technisch komplexen Fällen bis zu sieben Monate, aber begründungspflichtig), und Daten müssen nach dem Wechsel mindestens weitere 30 Tage abrufbar bleiben. Zusätzliche Wechselentgelte über die unmittelbaren Wechselkosten hinaus sind schon jetzt eingeschränkt und entfallen ab dem 12. Januar 2027 vollständig. Das ist ein echter Hebel bei Vertragsverhandlungen – frag aktiv nach, ob und wie der Anbieter diese Pflichten umsetzt.

Technisch: In welchem Format bekommst du deine Daten zurück – offen (CSV, JSON) oder proprietär? Gibt es eine dokumentierte Exportfunktion oder nur eine Zusage auf Anfrage?

Prozessual – der am meisten unterschätzte Punkt: Selbst mit fairem Vertrag und offenem Format kann der eigentliche Lock-in im eigenen Unternehmen entstehen, wenn Prompts, Automatisierungen und Teamwissen zu eng auf ein einzelnes Tool zugeschnitten sind. Wer eine Kernfunktion (z. B. Angebotsentwürfe) komplett um ein spezifisches Tool herum baut, ohne die Logik zu dokumentieren, hat sich unabhängig vom Vertrag selbst gebunden. Ich rate deshalb, zentrale Prompts und Workflows außerhalb des Tools zu dokumentieren – das kostet wenig und macht den späteren Wechsel deutlich planbarer.

Wer genehmigt?

Eine Freigabe ohne festen Prozess ist entweder zu langsam (jede Anfrage landet bei der Geschäftsführung) oder zu lax (jeder Fachbereich schließt selbst ab). In der Praxis funktioniert eine dreistufige Aufteilung gut:

• Fachbereich: meldet den Bedarf und den konkreten Anwendungsfall an – nicht „wir brauchen KI”, sondern „wir wollen Tool X für Aufgabe Y einsetzen”.
• IT/Datenschutz: prüft die vier Unterlagen aus dem ersten Abschnitt, ordnet den Anbieter in ein bestehendes KI-Tool-Verzeichnis ein und entscheidet, ob eine Datenschutz-Folgenabschätzung nötig ist.
• Geschäftsführung: gibt frei, insbesondere wenn personenbezogene oder sensible Geschäftsdaten betroffen sind, wenn die Kosten eine vorher definierte Schwelle überschreiten oder wenn der Anbieter außerhalb der EU sitzt.

Bei hohem Risiko – etwa wenn ein System Entscheidungen über Menschen vorbereitet (Bewerbungen, Kreditvergabe, Leistungsbewertung) – gehört die Datenschutzbeauftragte oder der Datenschutzbeauftragte von Anfang an in den Prozess, nicht erst zur Unterschrift am Ende. Das deckt sich mit der Kompetenzpflicht aus Artikel 4 des AI Act: Sie verlangt von Anbietern und Betreibern von KI-Systemen, seit dem 2. Februar 2025 sicherzustellen, dass Personal, das mit den Systemen arbeitet, über ausreichende KI-Kenntnisse verfügt – risikobasiert und ohne feste Zertifizierungspflicht, aber mit interner Dokumentation der Maßnahmen. Wer KI-Anbieter genehmigt, ohne die Genehmigenden selbst geschult zu haben, erfüllt diese Pflicht nur auf dem Papier.

Umsetzung: der Prüfprozess in der Praxis

In meiner Arbeit hat sich ein einfacher Ablauf bewährt, der ohne große Governance-Struktur auskommt:

1. Anfrage dokumentieren. Fachbereich beschreibt Tool, Zweck und betroffene Daten in wenigen Sätzen – das allein filtert schon einen Teil unklarer Anfragen heraus.
2. Unterlagen anfordern. AVV, Sicherheitsnachweis, Beschreibung der Datenverwendung, Vertragsbedingungen. Fehlt eines davon vollständig, ist das ein erstes Warnsignal, kein automatisches Aus.
3. Gegen die Checkliste prüfen (siehe unten) und Ergebnis in ein zentrales KI-Tool-Verzeichnis eintragen – genehmigt, abgelehnt oder mit Auflagen genehmigt.
4. Freigabe erteilen und Konfiguration setzen, bevor der Zugang produktiv genutzt wird: Trainingsnutzung deaktivieren, Löschfristen setzen, Berechtigungen einschränken.
5. Wiedervorlage terminieren. Anbieterprüfungen sind kein einmaliger Akt – AGB, Sicherheitszertifikate und Funktionsumfang ändern sich. Eine jährliche Wiedervorlage, wie sie das BSI für C5-Reports empfiehlt, ist ein realistischer Rhythmus für die meisten KMU.

Aus meiner Erfahrung dauert eine gründliche Erstprüfung eines Anbieters zwischen wenigen Stunden – bei einem etablierten Anbieter mit vorliegendem AVV und aktuellem C5- oder ISO-Nachweis – und mehreren Tagen, wenn Unterlagen fehlen, nachgefragt werden muss oder der Anbieter außerhalb der EU sitzt. Das ist eine grobe Einschätzung aus Projekten, keine feste Zusage; wie viel Aufwand es bei dir konkret ist, hängt stark davon ab, wie kooperativ der Anbieter auf Anfragen reagiert.

Risiken & Grenzen

Eine ehrliche Anbieterprüfung hat Grenzen, die du kennen solltest:

• Ein Zertifikat ist eine Momentaufnahme, kein Dauerzustand. ISO-27001- und C5-Nachweise werden zu einem Prüfzeitpunkt erteilt oder bestätigt – sie sagen nichts darüber, ob der Anbieter in sechs Monaten noch dieselben Standards einhält. Deshalb die Wiedervorlage, nicht die einmalige Prüfung.
• Die Prüfung verlagert Verantwortung nicht, sie verteilt sie. Auch mit AVV und Sicherheitsnachweis bleibt dein Unternehmen datenschutzrechtlich Verantwortlicher für den Einsatz. Ein sauberer Vertrag schützt vor Haftungsrisiken, nicht automatisch vor jedem operativen Fehler.
• Kleine Anbieter sind nicht automatisch unsicherer, aber oft schwerer zu prüfen. Ein etabliertes Start-up ohne C5-Testat kann technisch solide sein, liefert aber selten die strukturierten Nachweise großer Anbieter. Hier hilft nur eine ehrliche Auflage: Nutzung nur mit reduziertem Datenumfang, bis die Nachweise nachgereicht sind.
• Diese Checkliste ersetzt keine Rechtsberatung. Insbesondere bei Hochrisiko-Einsatzfällen im Sinne des AI Act oder bei besonderen Kategorien personenbezogener Daten (Gesundheits-, Gewerkschafts- oder biometrische Daten) reicht eine interne Prüfung allein nicht – hier gehört die Frage vor eine Datenschutzbeauftragte oder externe Rechtsberatung.
• Der AI Act ist noch nicht vollständig anwendbar. Die Verordnung gilt gestuft: Verbote und Kompetenzpflicht seit Februar 2025, Regeln für Basismodelle seit August 2025, weitgehend vollständige Anwendung ab August 2026, mit Übergangsfristen für bestimmte Hochrisiko-Systeme bis 2027/2028 (Stand Juli 2026, keine Rechtsberatung). Was heute als „ausreichend geprüft” gilt, kann sich mit schärferer Aufsicht ändern.

Checkliste: Vendor-Due-Diligence für KI-Anbieter

Eine strukturierte Prüfmatrix für den eigenen Freigabeprozess. Jede Zeile sollte vor der produktiven Nutzung mit Ja/Nein/Auflage beantwortet sein – „unbekannt” ist keine gültige Antwort.

Kategorie	Prüfpunkt	Worauf achten
Unterlagen	AVV liegt vor (Art. 28 DSGVO)	Verarbeitungsort explizit genannt
Unterlagen	Sicherheitsnachweis vorhanden und aktuell	ISO 27001, BSI C5 oder SOC 2, Ausstellungsdatum prüfen
Datenverwendung	Trainingsnutzung von Eingaben ausgeschlossen	Firmenaccount statt Consumer-Zugang, aktiv konfiguriert
Datenverwendung	Speicher- und Löschfristen dokumentiert	Konfigurierbar, nicht nur zugesagt
Datenverwendung	Unterauftragsverarbeiter offengelegt	Insbesondere bei Drittlandbezug
Sicherheit	Zugriffs- und Berechtigungskonzept vorhanden	Zugriff des Systems auf interne Daten begrenzt
Sicherheit	Herkunft integrierter KI-Komponenten dokumentiert	Model Card oder vergleichbar bei Fremdmodellen
Vertrag/Lock-in	Kündigungsfrist und Mindestlaufzeit bekannt	Automatische Verlängerung geprüft
Vertrag/Lock-in	Datenexportformat und -frist geklärt	Offenes Format, keine reine Kulanzzusage
Vertrag/Lock-in	Data-Act-Wechselregeln (falls anwendbar) bekannt	Gilt für Datenverarbeitungsdienste seit 12.9.2025
Governance	Zuständigkeiten für Prüfung und Freigabe benannt	Fachbereich, IT/Datenschutz, Geschäftsführung
Governance	Wiedervorlagetermin gesetzt	Empfehlung: jährlich, analog C5-Reportprüfung
Governance	Genehmigende Personen zur AI-Kompetenzpflicht geschult	Dokumentation nach Art. 4 AI Act ausreichend

Eigene Vendor-Due-Diligence-Checkliste Philogic Labs, entwickelt aus Beratungsprojekten und den zitierten BSI- und DSK-Empfehlungen.

Wenn du diese Matrix für den ersten Anbieter durchgehst und merkst, dass mehr als zwei Punkte offen bleiben: Das ist normal beim ersten Mal, aber ein guter Anlass, die Prüfung nicht nebenbei, sondern einmal strukturiert aufzusetzen – inklusive eines zentralen KI-Tool-Verzeichnisses für alle künftigen Anfragen. Wenn du dabei Unterstützung willst: Unser Beratungsangebot hilft beim Aufbau von KI-Inventar, Richtlinien und einem sicheren Freigabeprozess, und ein kostenloses Erstgespräch klärt in 45 Minuten, ob und wo das für dich passt.