Künstliche Intelligenz (KI) hat das Potenzial, die Effizienz und Geschwindigkeit von Entscheidungsprozessen erheblich zu steigern. In Zeiten des Fachkräftemangels kann KI dazu beitragen, die personellen Engpässe im öffentlichen und privaten Sektor zu kompensieren. Sie kann eine erhebliche Erleichterung dadurch schaffen, dass bestimmte Tätigkeiten auf sie ausgelagert oder interne Prozesse mittels KI-Unterstützung effizienter gestaltet werden. Die KI steht daher zunehmend im Fokus der aktuellen Beschaffungsaktivitäten der öffentlichen Hand.
Bei KI-Systemen gelten besondere Anforderungen, die sich im Wesentlichen aus der jüngst in Kraft getretenen KI-Verordnung (EU) 2024/1689 (KI-VO) ergeben. Mit dieser Verordnung wird ein Rechtsrahmen für den Betrieb und das Inverkehrbringen von sog. KI-Systemen geschaffen. Bei der Beschaffung solcher KI-Systeme haben Auftraggeber die sich aus dieser Verordnung ergebenen Betreiber- und gegebenenfalls auch Anbieterpflichten zu berücksichtigen.
Einsatzfelder von KI-Systemen
Die Funktionsweise von KI-Systemen im Vergleich zu klassischen Softwareprogrammen zeichnet sich dadurch aus, dass menschliches Handeln nachgebildet werden soll. Zentrale Merkmale solcher Systeme sind autonomes Handeln, Anpassungsfähigkeit, Verfolgen expliziter oder impliziter Ziele, eigenständiges Ableiten von Ergebnissen und die Einflussnahme auf die Umgebung. Daher ist der Einsatz künstlicher Intelligenz überall dort denkbar, wo traditionell menschliche kognitive Fähigkeiten benötigt werden.
Die Einsatzfelder sind vielfältig. Sie können beispielsweise im Rahmen der Automatisierung von Routineaufgaben liegen, wie die zeitaufwendige Dateneingabe- und -pflege oder der Vorsortierung und Verteilung von E-Mails oder physischer Eingangspost. KI-Systeme können auch zur Verbesserung der Dienstleistungsqualität eingesetzt werden, zum Beispiel indem sie amtliche Schreiben (vor)formulieren oder zur Entscheidungsunterstützung herangezogen werden. Auch können sie den aktuellen und zukünftigen Bedarf im Personen- und Güterverkehr analysieren, die medizinische Diagnostik unterstützen oder in Form von Chatbots die Interaktion mit Bürgerinnen und Bürgern verbessern, indem Anfragen effizient und schnell bearbeitet werden. Nicht zuletzt können sie Verwaltungsprozesse mittels Datenanalyse optimieren.
Exkurs: KI-System
Ein KI-System ist ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können (Art. 3 Nr. 1 KI-VO).
Pflichten beim Betrieb eines KI-Systems
Bei der Beschaffung hat der Auftraggeber zu berücksichtigen, dass er die Betreiberpflichten aus der KI-VO mit der Inbetriebnahme des KI-Systems übernimmt. So sieht Art. 50 KI-VO eine Reihe an Transparenzpflichten vor. Kern dieser Pflichten ist es, dass natürliche Personen, die mit KI-Systemen interagieren (z.B. Chatbots) oder denen ein KI-Erzeugnis gezeigt wird (z.B. KI-erzeugte Bilder oder Texte), hierüber informiert werden müssen.
Für die Inbetriebnahme von Hochrisiko-KI-Systemen gelten ab dem 02.08.2026 besondere Anforderungen. Diese umfassen unter anderem die Betriebsüberwachung des KI-Systems, die Aufbewahrung automatisch erzeugter Protokolle, Informationspflichten bei schwerwiegenden Vorfällen und die Durchführung einer Grundrechte-Folgenabschätzung (Art. 26, 27 KI-VO). Der Betreiber hat hierbei vor der ersten Anwendung eine umfangreiche Abschätzung der möglichen Auswirkungen der Verwendung des Systems auf die Grundrechte anzustellen. Es wird dabei relevant sein, dass der Auftraggeber zumindest ein grundlegendes Verständnis über das einzusetzende KI-System hat. Anbieter von Hochrisiko-KI-Systemen haben dem System zudem eine Betriebsanleitung beizufügen. Der Betreiber ist verpflichtet, geeignete technische und organisatorische Maßnahmen zu treffen, um sicherzustellen, dass das Hochrisiko-KI-System entsprechend der dem System beigefügten Betriebsanleitung verwendet wird.
Exkurs: Hochrisiko-KI-System
Die Einstufung als Hochrisiko-KI-System bemisst sich nach Art. 6 KI-VO. Im Wesentlichen soll ein KI-System als Hochrisiko-KI-System gelten, das erhebliche schädliche Auswirkungen auf die Gesundheit, die Sicherheit und die Grundrechte von Personen in der Europäischen Union haben kann. Ein solches System kommt beispielsweise in den Bereichen der Biometrie, Strafverfolgung, Rechtspflege oder Bildung in Betracht. Die Einordnung als Hochrisiko-KI-System erfolgt stufenweise ab dem 02.08.2026 bzw. 02.08.2027.
Auftraggeber werden bei der Beschaffung sicherzustellen haben, dass sie ihren Betreiberpflichten mit der Inbetriebnahme des Systems nachkommen können. So werden sie gut beraten sein, als Anforderung zu formulieren, dass das KI-System von sich aus in der Lage ist, die erforderlichen Informationen mitzuteilen, damit der Auftraggeber seinen Informationspflichten nachkommt. Bei Hochrisiko-KI-Systemen müssen sie vor allem beachten, dass die Betriebsanleitung des Systems den vom Auftraggeber beabsichtigten Verwendungszweck zulässt.
Beschaffung eines entwickelten KI-Systems
Für den Auftraggeber kann es in Frage kommen, ein bereits entwickeltes KI-System zu beschaffen. Er hat hierbei zu entscheiden, ob es sich um einen Softwarekauf oder eine Softwaremiete handeln soll und welche weiteren Verträge (z.B. Pflege- oder Serviceverträge) geschlossen werden müssen. Es ist auch zu berücksichtigen, dass der Auftraggeber mit der Inbetriebnahme des KI-Systems in die Betreiberpflichten nach der KI-VO eintreten wird.
Für die Beschaffung eines entwickelten KI-Systems gelten keine besonderen vergaberechtlichen Regularien. Die Beschaffung eines KI-Systems ist allerdings mit komplexen technischen und rechtlichen Fragestellungen verbunden, sodass regelmäßig ein Bedürfnis bestehen wird, mit den Bietern in Verhandlungen zu treten. Daher dürften die Wahl des Verhandlungsverfahrens oder der Verhandlungsvergabe in Frage kommen können. Im Rahmen von Teststellungen kann sich der Auftraggeber zudem über die Einhaltung der Anforderungen und die Qualität des angebotenen Systems versichern.
Es ist gleichwohl erforderlich, den zu vergebenden Auftragsgegenstand so eindeutig und erschöpfend wie möglich zu beschreiben. Dabei kann der Auftraggeber die Anforderungen an das System auch funktional beschreiben, sodass unterschiedliche technische Lösungsansätze zugelassen sind. Auftraggeber werden hierbei die Funktionalitäten des KI-Systems und vor allem auch zu bestimmen haben, ob es sich um ein Hochrisiko-KI-System handelt und gegebenenfalls welchen Anforderungen die Betriebsanleitung genügen muss.
Beauftragung zur Entwicklung eines KI-Systems
Sind auf dem Markt keine KI-Systeme verfügbar, die den spezifischen Bedürfnissen des Auftraggebers entsprechen, kann der Auftraggeber ein solches System nach dessen Bedürfnissen entwickeln lassen. Es handelt sich insoweit um eine klassische Softwareentwicklung, bei der allerdings die Anforderungen der KI-VO zu beachten sind. Es ist daher zunächst zu berücksichtigen, dass der Auftraggeber mit der Inbetriebnahme des KI-Systems in die Betreiberpflichten nach der KI-VO eintreten wird.
Bei einer solchen Beschaffung besteht zudem die Besonderheit, dass der Auftraggeber mit der Inbetriebnahme auch in die Anbieterpflichten nach der KI-VO eintreten kann. Dies ist bereits der Fall, wenn der Auftraggeber das KI-System entwickeln lässt und im eigenen Namen in Betrieb nimmt. Die Inverkehrbringung des Systems ist nicht erforderlich.
Exkurs: Anbieter
Nach Art. 3 Nr. 3 KI-VO ist ein Anbieter eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt.
Als Anbieter eines KI-Systems hat der Auftraggeber sicherzustellen, dass das KI-System bestimmte Informationspflichten erfüllt (Art. 50 KI-VO). Bei Hochrisiko-Systemen hat er zudem ab dem 02.08.2026 insbesondere sicherzustellen, dass ein Konformitätsbewertungsverfahren durchgeführt wird, ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreicht ist, bestimmte Dokumentations- und Aufsichtspflichten erfüllt werden können und eine Betriebsanleitung bereitgestellt wird (Art. 16 KI-VO). Dieses Pflichtenprogramm wird der Auftraggeber wohl in der Regel vertraglich an den Entwickler des KI-Systems weitergeben.
Auch für die Beschaffung über die Entwicklung eines KI-Systems gelten keine besonderen vergaberechtlichen Regularien. Auftraggeber dürften einen solchen Auftrag aufgrund der technischen und rechtlichen Komplexität im Wege des Verhandlungsverfahrens oder der Verhandlungsvergabe vergeben und daher mit den Bietern in Verhandlungen treten können. In Betracht kann auch die Vergabe im Wege einer Innovationspartnerschaft kommen. Sie zielt auf die Entwicklung und anschließende Beschaffung einer innovativen Liefer- oder Dienstleistung.
Eigenentwicklung eines KI-Systems
Der Auftraggeber kann sich auch dazu entscheiden, das KI-System selbst zu entwickeln. Hierbei kann es erforderlich sein, auf externe Kapazitäten zurückzugreifen, zum Beispiel bei der Programmierung. Die vollständige Eigenentwicklung eines KI-Systems ist sehr komplex und aufwendig. Sie dürfte daher in der Regel nicht in Frage kommen. Eine wesentliche Rolle dürfte zukünftig aber die Beschaffung von KI-Modellen (vereinfacht gesagt: Vorstufe von KI-Systemen) oder des (temporären) Zugangs zu großer Rechenleistung zum Training der vorhandenen KI-Systeme spielen. Den Auftraggeber können im Falle der Eigenentwicklung sowohl die Betreiber- als auch die Anbieterpflichten treffen.
Beschaffung von Datensätzen
Anders als klassische Softwaresysteme lernt das KI-System aus Informationen, die ihm im Rahmen seiner Entwicklung und gegebenenfalls während der Nutzung eingespielt werden. Die benötigte Datenmenge hängt von der Komplexität des KI-Systems ab. Für die Entwicklung, aber auch für das
stetige Verbessern von KI-Systemen müssen diese mit Trainingsdaten versorgt werden. Verfügt der Auftraggeber nicht selbst über diese Daten, muss er sie sich beschaffen. Dafür bedarf es etwa IT-Dienstleistungen zur Aufbereitung bereits vorliegender Daten oder des Einkaufs fremder Datensätze. Die Qualität des KI-Systems selbst ist von der Qualität der Daten abhängig. Auftraggeber werden daher auf die Datenqualität großen Wert legen (müssen).
Der Auftraggeber muss für die Beschaffung von Datensätzen vertragliche Vorkehrungen treffen. Die deutsche Rechtsordnung kennt kein Eigentum an Daten bzw. Datensätzen. Vielmehr müssen Zugangsrechte zwischen demjenigen, der die Daten nutzen will, und demjenigen, der die tatsächliche Kontrolle über die Daten hat, vereinbart werden. Liegen die fraglichen Daten bereits vor, werden diese üblicherweise in Datenräumen bereitgestellt und der Auftragnehmer kann auf diese zugreifen. Die Herausforderung dabei ist, diese Daten konkret zu bezeichnen. Werden die gewünschten Daten erst noch erzeugt (z.B. laufend erzeugte Verkehrsdaten), muss klar sein, welche Daten aus welchen Sensoren geschuldet sein sollen.
Vertragsmuster für die Beschaffung von KI-Systemen
Spezielle Vertragsmuster für die Beschaffung von KI-Systemen stehen bislang nicht zur Verfügung. Die EVB-IT-Vertragsmuster dürften zwar eine gewisse Grundlage bilden, allerdings vor allem im Hinblick auf die Betreiber- und Anbieterpflichten sowie Updates, Trainingsdaten und Haftungsfragen erheblich anzupassen sein. Als weitere Hilfestellung können die Vorschläge der Europäischen Kommission für Standardvertragsklauseln dienen, die sie im Februar 2025 aktualisiert hat.
Die Klauseln sind hier abrufbar. Die „Light“-Version enthält Vertragsklauseln für nicht Hochrisiko-KI-Systeme und die „High-Risk“-Version enthält Vertragsklauseln für Hochrisiko-KI-Systeme
Ausblick auf die Beschaffung von künstlicher Intelligenz
Die Beschaffung von KI ist angesichts der Besonderheiten von KI-Systemen und der Anforderungen aus der KI-VO ausgesprochen anspruchsvoll. Auftraggeber sind gut beraten, sich hiermit im Rahmen der Vorbereitung des jeweiligen Beschaffungsvorgangs sorgfältig auseinanderzusetzen.
Autoren: Frederic Delcuvé, Fachanwalt für Vergaberecht und Sascha Vogel, Rechtsanwalt, beide von Becker Büttner Held PartGmbB
Das könnte Sie auch interessieren
Dies ist ein Beitrag aus der KOINNOmagazin-Ausgabe 01/25. Lesen Sie hier das vollständige Magazin.