Künstliche Intelligenz (KI) und die öffentliche Verwaltung: In diesem Duo steckt enormes Potenzial, behördliche Arbeit zu beschleunigen, zu verbessern und Innovationen zu ermöglichen. Dennoch müssen Technologie und ihre Macher sowie die Behörden als Nutzer noch besser zusammenfinden. Sopra Steria hilft bei der Annäherung, beispielsweise indem wir bei der Ideen-Bewertung für den Einsatz von Large Language Models (LLMs) wie GPT-4 und ChatGPT unterstützen. Hier erfahrt ihr, was es damit auf sich hat.
„Künstliche Intelligenz – und speziell Large Language Models (LLMs) – lässt sich verantwortungsvoll einsetzen.“ Das war unser zentrales Takeaway bei der solutions: 2023 im September in Hamburg. In einem gemeinsamen Workshop mit dem Artificial Intelligence Center Hamburg (ARIC) konnten wir zusammen mit Teilnehmenden aus der öffentlichen Verwaltung Ideen für den Einsatz von LLMs generieren. Die gewonnenen Use Cases haben wir auf mögliche Herausforderungen für einen verantwortungsvollen Einsatz abgeklopft.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Klarer Tenor ist mittlerweile: Die neusten technologischen KI-Ausbaustufen wie das Modell von Aleph Alpha, das die Stadt Heidelberg für ihren virtuellen Assistenten und das Land Baden-Württemberg als Text-Assistenten einsetzt, machen generative KI endgültig auch für die Verwaltung in Deutschland attraktiv. Die KI-Generation von heute schafft zwei spezielle Mehrwerte, die Behörden in früheren Ausbaustufen noch vermissten:
- echte Entlastung auf Tastendruck. LLM-basierte Lösungen liefern nun Ergebnisse, die Mitarbeitende der Verwaltung unmittelbar für ihre Arbeit nutzen können: Die KI kann Gesetzestexte zusammenfassen, einen Vermerk für eine Kabinettsvorlage verfassen, Informationen recherchieren oder eine Textgliederung erstellen.
- KI-Hilfe bei dünner Datenlage. Der Public Sector hat wenig Zeit und Mittel, um KI-Lösungen aufwändig mit Trainingsdaten und passenden Beispielen zu versorgen, damit die Technik zu verlässlichen Ergebnissen kommt. Die neue KI-Generation mit vortrainierten KI-Modellen wie LLMs benötigen in der Anwendung kaum Beispiele und liefern dennoch gute Ergebnisse. Der Aufwand für die Datenaufbereitung für einen Use Case hat sich signifikant verringert. LLMs ermöglichen somit das Aufdecken von Betrug oder das Extrahieren von Informationen sowie das Kategorisieren von Dokumenten, ohne dass zuvor viele Daten für das Training einer KI gesammelt werden müssen.
Die Herausforderungen für ein verantwortungsvollen Einsatz von LLMs
Eigentlich also alles bereit für einen breiten Einsatz von ChatGPT und Co. in der öffentlichen Verwaltung? Nicht ganz: Die Messlatte für alle Anwendungen ist der verantwortungsvolle Umgang mit dem mächtigen Instrument generative KI. Bei unserem solutions:-Workshop bekamen wir einen tiefen Einblick in unterschiedliche Herausforderungen, auf die öffentliche Verwaltungen stoßen.
Drei Top-Hürden sind das Bias von Trainingsdaten, das Halluzinieren von Generative-KI-Lösungen sowie die Rechtssicherheit im Einsatz. Ein Bias – oder kurz gesagt systematische Prognosefehler – ist für viele Behörden oder Kommunen ein Showstopper, weil die öffentliche Verwaltung eine besondere Verantwortung trägt. So muss sie streng überparteilich agieren und auf Gleichheit achten. Zudem kann sich keine Behörde erlauben, dass eine KI-Lösung Ergebnisse produziert, die zwar kreativ, aber schlicht falsch sind. Darüber hinaus sollten Behörden noch stärker als Unternehmen transparent gegenüber den Bürgerinnen und Bürgern sein. Ergebnisse von KI-Lösungen müssen rechtlich wasserdicht sein – was für Unternehmen auch zutrifft, aber für die Verwaltung eben noch mehr.
Es gibt noch eine Reihe weiterer Herausforderungen. Sie lassen sich in acht Prinzipien unterteilen. Diese zeigen auf, worauf Behörden achten müssen, um KI verantwortungsvoll zu nutzen.
8 Typen von Herausforderungen beim Einsatz von LLMs in der öffentlichen Verwaltung
Bias und Halluzination müssen keine Showstopper für KI sein
Die dargestellten Herausforderungen lassen sich im Grunde alle meistern. Bei der solutions: konnten wir mit den Workshopteilnehmenden verschiedene Maßnahmen – technisch, organisatorisch und regulatorisch – erarbeiten, um den spezifischen Hürden bei einzelnen Anwendungsfällen zu begegnen. Auf das Trainingsdaten-Bias gibt es beispielsweise eine Reihe technischer Antworten. So können Behörden ein Modell finetunen, um das darin enthaltene Bias in ihrem Sinne anzupassen. Denkbar und möglicherweise angemessen, aber auch deutlich aufwändiger wäre die Entwicklung eines eigenen Modells.
Mögliche Inkonsistenzen der KI-Ergebnisse erfordern andere Maßnahmen, unter anderem Melde- und Korrekturprozesse oder eine regelmäßige Validierung durch automatische Tests. Eine weitere Herausforderung ist die durch KI ggf. erzeugte Verstärkung bestehender Machtdynamiken. Um dem entgegenzuwirken, braucht es unter anderem genauere Regeln für den KI-Einsatz in der öffentlichen Verwaltung.
Ideensteckbrief als PDF zum Download
Aufgrund der Vielfalt der Herausforderungen und der jeweiligen Handlungsoptionen lohnt es sich, das Vorgehen bei der Bewertung von KI-Anwendungen zu systematisieren. Auf der solutions: im September in Hamburg konnten Workshopteilnehmende ein von Sopra Steria und ARIC entwickeltes Template nutzen, mit dem für konkrete LLM Use Cases die jeweiligen Risiken und Herausforderungen methodisch erfasst werden können, inklusive der risikospezifischen Maßnahmen. Allein die Systematik half weiter, so das Feedback. Sie sorgte für Übersicht über die zu berücksichtigenden Prinzipien und die zu adressierenden Herausforderungen für einen verantwortungsvollen LLM-Einsatz.
Öffentliche Verwaltungen sind mit diesem Steckbrief in der Lage, Ideen für LLM-Lösungen wie ChatGPT zu validieren und speziell die Bedingungen für einen verantwortungsvollen Einsatz von LLMs systematisch zu bewerten. Nutzende können auf Basis des Templates einschätzen, unter welchen Bedingungen eine LLM-Lösung nützlich und verantwortungsvoll umsetzbar ist, und so die Grundlage für strategische Entscheidungen schaffen.
Wer das Template für eigene LLM-Ideen nutzen möchte, kann es sich kostenfrei herunterladen.
___________
Noch etwas mehr Werbung in eigener Sache – Quick Check digitale Ethik
Sopra Steria und ARIC wollen das Vertrauen in LLMs und generell in KI stärken. Wir haben deshalb zusammen den Quick-Check digitale Ethik entwickelt. Er hilft Organisationen, den eigenen Reifegrad beim Thema KI und digitale Ethik zu ermitteln bzw. einen Einstieg in das Thema zu finden. Mehr dazu auf unserer Webseite Digitale Ethik.
