13. März 2024 Beschaffung sicherer AI – Ein praktischer Leitfaden

In den kommenden Jahren werden KI-basierte Systeme allgegenwärtig und in alltäglichen Anwendungen eingesetzt werden. Neben all den dadurch entstehenden neuen Möglichkeiten, werfen diese Systeme jedoch auch einige sicherheitsrelevante Probleme auf, vor allem im Hinblick auf die mangelnde Transparenz.

Der AI-Act definiert daher die zukünftige Strategie der Europäischen Union in Hinblick auf den Einsatz von AI in einem breiten Spektrum von Anwendungen als auch mit einem besonderen Fokus auf Anwendungen in kritischen Bereichen und damit verbundenen Anforderungen an Risikobewertung und Abwendung. Bei vielen gängigen Algorithmen ist jedoch nicht klar, wie die im AI-Act geforderten Transparenz- und Sicherheitsanforderungen überhaupt gewährleistet werden können. Außerdem ist es nicht trivial, die Grenzen dessen zu definieren, was KI genau ausmacht.

Doch selbst für Methoden, die unbestreitbar in den Bereich der KI gehören, ergeben sich Herausforderungen beim Testen auf Sicherheitslücken durch die vergleichsweise hohe Komplexität gegenüber "klassischen" Algorithmen, selbst wenn alle wesentlichen Informationen zu Trainingsdaten, Auswertungsdaten, Algorithmen und Modellen verfügbar sind. Gerade bei der Nutzung vortrainierter Modelle, eines Trainings durch Dritte, oder aber reiner externer Black-Box-Lösungen, die mittels API angesteuert werden, ergeben sich neue Aspekte bezüglich der Verfügbarkeit dieser Informationen, gleichzeitig erlauben diese neuen Methoden den niederschwelligen Einsatz von AI ohne weiteres Expertenwissen. In diesem Zusammenhang wird nicht nur die IT-Sicherheit zum Problem, sondern auch (oft fälschlicherweise) in den Daten verankerte Vorurteile, der sogenannte "Bias". Daher werden diese Themen auch in der Beschaffung immer wichtiger.

Speziell beim Einsatz von KI-basierten Systemen, haben wir eine Reihe offener Forschungsfragen in Bezug auf Sicherheit und Sicherheitstests identifiziert, die sich nicht auf aktuelle Technologien und Anwendungen beschränken, sondern auch Bedenken einschließen, die sich aus absehbaren Entwicklungen ergeben. Da die Entwicklung im Bereich der KI derzeit sehr schnell voranschreitet, müssen diese Fragen bereits bei laufenden Beschaffungen berücksichtigt werden. Darüber hinaus ergab die Untersuchung klassischer Ansätze im Bereich der Sicherheitsprüfung, insbesondere der Penetrationstests, und der verwendeten Strategien und Techniken, wie z. B. Fuzzy-Tests, eine Reihe sehr spezieller Probleme bei der Anwendung auf viele moderne Algorithmen, insbesondere aus dem Bereich des sog. Reinforcement Learnings, die zusätzliche Forschung erfordern.

Um klassischen KMUs einen Leitfaden für den Kauf möglichst sicherer KI zur Verfügung stellen zu können, haben wir einen Fragenkatalog entwickelt, der es ermöglicht, festzustellen, (i) ob ein Produkt auf grundlegenden Sicherheitsüberlegungen basiert, (2) wie wesentliche Fragen wie Kontrolle über Daten und Modelle, Patching u.ä. gehandhabt werden und (3) ob ein geeigneter Ansprechpartner zur Verfügung steht, der solche Fragen sinnvoll und korrekt beantwortet. Auf diese Weise kann der Beschaffungsprozess in der ersten Auswahlphase, aber auch in einer späteren Evaluierungsphase, wesentlich schlanker und effizienter gestaltet werden und ungeeignete Systeme bzw. Ansprechpartner können frühzeitig aus dem Auswahlprozess ausgeschlossen werden.

Der Leitfaden ist in so genannte "Aspekte" gegliedert, die sich auf einen bestimmten Bereich konzentrieren, der für eine bestimmte Anwendung relevant sein kann oder auch nicht, und sich auf eine Reihe von Indikatoren beziehen. Dazu gehören Themen wie Datenschutz, Audit und Control oder Kontrolle über den Quellcode. Für jeden Aspekt wird eine Reihe von Fragen mit Unterfragen bereitgestellt, die wichtige sicherheits- und kontrollbezogene Aspekte abdecken und während eines Interviews oder beim Entwurf einer Ausschreibung verwendet werden können. Abbildung 1 zeigt einen Teil eines solchen Fragenblocks, der sich auf die Verfügbarkeit des Quellcodes und/oder die Reproduzierbarkeit des kompilierten Programms konzentriert.

Der Leitfaden steht natürlich kostenlos und ohne finanzielles Interesse unter www.secureai.info zum Download bereit. Derzeit arbeiten wir an einer neuen Version, die bereits viele zusätzliche Informationen enthält, die aufgrund der zunehmenden Fähigkeiten von Chatbots und anderen neuen Anwendungen sowie der regulatorischen Entwicklungen wichtig wurden. Da sich der AI-Act derzeit noch im Entwurfsstadium befindet, erwarten wir für die Zukunft noch einige Änderungen in diesen Abschnitten.

Autoren

Peter Kieseberg, Simon Tjoa