AI Cloud Plattform im öffentlichen Dienst

Ziel des Projekts war der Aufbau einer modernen, sicheren und skalierbaren Cloud-Plattform zur Bereitstellung von Large Language Models (LLMs) für eine Einrichtung der öffentlichen Verwaltung. Die Plattform sollte es ermöglichen, generative KI-Anwendungen wie GPT-basierte Assistenten, Recherche-Tools oder Textgenerierungslösungen nutzerfreundlich und regelkonform in bestehende Arbeitsprozesse zu integrieren.
Gleichzeitig mussten strenge Anforderungen an Datenschutz, Informationssicherheit und Compliance berücksichtigt und mit bestehenden Strukturen des öffentlichen Dienstes abgestimmt werden.

Umsetzung:
Die Lösung wurde vollständig in Microsoft Azure realisiert und mit Terraform als Infrastructure-as-Code automatisiert bereitgestellt. Für den sicheren Betrieb generativer KI-Dienste kam Azure OpenAI zum Einsatz. Es wurden unterschiedliche Applikationsmuster entwickelt, darunter semantische Suche, Textzusammenfassungen und GPT-gestützte Eingabehilfen.

Ein zentraler Bestandteil war der Aufbau eines rollenbasierten, Self-Service-fähigen Onboarding-Prozesses, mit dem neue Organisationseinheiten und Fachverfahren strukturiert an die Plattform angebunden werden konnten.
Die Umsetzung erfolgte unter Einhaltung aller relevanten Richtlinien für Cloud-Nutzung im öffentlichen Dienst sowie in enger Abstimmung mit IT-Betrieb, Datenschutz und Informationssicherheit. Zusätzlich wurden umfangreiche Maßnahmen für Logging, Monitoring und rollenbasierte Zugriffskontrolle integriert.