1 / 2 · State-of-Research-Dashboard der Forschungsfragen
Kurzvideo
Animation pausiert (reduzierte Bewegung aktiv).
Übersicht
Ziel
Die rund 204 vordefinierten Forschungsfragen der Stadt Wien kartieren und ihre KI-Eignung anhand einer 4D-Rubric bewerten, geliefert als Web-Dashboard, PDF und CSV.
Geschichte
Pilotprojekt für die Stadt Wien: die im Forschungskatalog 2025 vordefinierten Forschungsfragen systematisch aufbereiten.
Begründung
Eine strukturierte, nachvollziehbare KI-Eignungs-Bewertung der vordefinierten Forschungsfragen gab es vorher nicht.
Projekt-Narrative
AI-Factory Summary
•Zweck: Die AI Factory erstellt ein Forschungsfragen-Mapping mit State-of-Research-Überblick und KI-Eignungs-Bewertung für rund 204 Forschungsfragen aus dem Forschungskatalog 2025 der Stadt Wien.
•Aktueller Status: Das Projekt ist live; Phase 0 sowie die Pilot-Foundation in Phase 1 sind abgeschlossen, der weitere Scale- und Delivery-Umfang ist noch offen.
•Jüngste Highlights: Abgeschlossen wurden 204 Frage-Stubs, 9 Cluster, Schemas, CI, 523 Tests sowie 3 Goldstandard-Entwürfe, 18 Quellen, Methodik v1.1, Source-Catalog v1 und AI-Rubric v1.1.
•Belegte Kennzahlen/Fakten: Der kanonische Katalog umfasst rund 204 Forschungsfragen über 9 Cluster; die Validierungs-Suite zählt 523 grüne Tests, die Methodik liegt in v1.1 und die KI-Eignungs-Rubric in v1.1 vor.
•Nächster Schritt: Das Pilot-Restset mit 12 Forschungs-Briefen ist in Vorbereitung und wartet auf eine Rückmeldung.
Überblick
Wien Forschungsfragen Klima ist ein Forschungsfragen-Mapping der AI Factory. Es ordnet rund 204 Forschungsfragen aus dem Forschungskatalog 2025 zu neun Clustern und verbindet für jede Frage ein State-of-Research-Mapping mit einer Bewertung der KI-Eignung. Vorgesehen sind Ausgaben als Web-Dashboard, PDF und CSV.
Das Projekt ist ausdrücklich kein Klima-Daten-Dashboard und nicht auf die Visualisierung laufender Klimadaten ausgerichtet. Der Schwerpunkt liegt auf der strukturierten Aufbereitung von Forschungsfragen, Quellen, Forschungsständen und methodischen Bewertungen.
Der Schaufenster-Status ist live.
Jüngste Entwicklungen
Die Foundation- und Hardening-Phase ist abgeschlossen. In diesem Schritt wurden 204 Frage-Stubs, neun Cluster, Schemas, CI-Mechanismen und 523 Tests eingerichtet. Ebenfalls abgeschlossen ist die Pilot-Foundation mit Goldstandards: Drei Goldstandard-Beispiele wurden ausgearbeitet, ergänzt durch 18 Quellen, eine Methodik v1.1, einen Source-Catalog v1 und eine AI-Rubric v1.1.
Für den Pilotbetrieb wurde ein Manual-First-Workflow festgelegt. Dieser Pivot stellt qualitätsgesicherte manuelle Arbeitsschritte, Source-Whitelists und Checklisten vor stärker automatisierte Skalierung. Ein weiteres Amendment beschreibt einen Standards-First-Ansatz für die Quellenqualität.
Der nächste vorbereitete Schritt ist ein Pilot-Set-Rest mit zwölf Forschungs-Briefen. Dieser Schritt ist laut Projektdokumentation vorbereitet, aber noch von einer externen Rückmeldung abhängig. Die Skalierungs- und Delivery-Phasen sind in der Planung noch nicht abschließend festgelegt.
Architektur
Die Architektur folgt einem filesystem-first Ansatz. Markdown, YAML und Git bilden in Phase 1 die maßgebliche Datenbasis; ein Datenbank-Layer ist in dieser Phase nicht vorgesehen. Der kanonische Index liegt als YAML-Katalog vor und umfasst die 204 Fragen über neun Cluster. Daraus werden eine lesbare Katalogfassung, Frage-Dateien und ein Reverse-Index als Build-Artefakte erzeugt.
Die inhaltlichen Einheiten sind als einzelne Markdown-Dateien organisiert. Quellenmaterial, Cluster-Übersichten, Schemas, Skripte, Prompts, Tests und Dokumentation sind getrennt abgelegt. Für die Validierung werden Zod-Schemas und TypeScript eingesetzt. Skripte unterstützen unter anderem Stub-Erzeugung, Katalog-Generierung, Konsistenzprüfungen und Reverse-Index-Aufbau.
Die Qualitätssicherung umfasst Frontmatter-Validierung, Wikilink-Prüfungen, Workflow-Status-Checks, Cross-Document-Drift-Checks, TypeScript-Checks, Vitest-Tests und Playwright-Smoke-Tests. Eine Acceptance-Prüfung bündelt diese Schritte mit den Generierungsläufen. Die CI-Pipeline führt Validierung, Build und Acceptance als verpflichtende Gates für Merges aus; lokale Pre-Commit-Prüfungen spiegeln einen Teil dieser Kontrollen.
Für spätere Retrieval-Erweiterungen sind Adoption-Gates dokumentiert. Das bedeutet: Erweiterungen wie ein Retrieval-Layer werden nicht vorausgesetzt, sondern an definierte Kriterien gebunden.
Risiken & Offenes
Mehrere Punkte sind noch offen oder bewusst zurückgestellt. Die Skalierungsphase und die Delivery-Phase sind als TBD markiert. Auch die Lizenz ist noch nicht abschließend geklärt. Ein möglicher englischer Bedarf ist in der Projektdokumentation als offene Frage festgehalten.
Ein operatives Risiko liegt in der Abhängigkeit von externer Rückmeldung für das vorbereitete Pilot-Set mit zwölf Forschungs-Briefen. Solange diese Klärung aussteht, kann dieser Teil nicht finalisiert werden.
Architektonisch ist der Verzicht auf einen Datenbank-Layer in Phase 1 eine bewusste Vereinfachung. Sie passt zum aktuellen Single-Editor- und Git-basierten Workflow, begrenzt aber zugleich die technische Ausbaustufe. Für spätere Retrieval- oder Skalierungsfunktionen sind daher explizite Gates vorgesehen, um Erweiterungen kontrolliert einzuführen.
Vier weitere Forschungsfragen wurden vollständig als Forschungs-Briefe aufbereitet, gestützt auf zwölf neue Quellen.
Die Methodik wurde weiterentwickelt, unter anderem um ein Muster für rechtlich-behördliche Quellen und um Hinweise zum Datenschutz.
Qualitätsstand: alle geprüften Quell-Links funktionierten, und der Freigabe-Check für den Kunden-Versand wurde vollständig bestanden.
Deep #16
13.05.2026
Erste Welle der ausführlich aufbereiteten Forschungs-Briefe: drei Goldstandard-Briefe mit Methodik, Einordnung der wissenschaftlichen Belastbarkeit und klar benannten Grenzen.
Elf neue Quellen ergänzt und zwei offene Grundsatz-Entscheidungen abgeschlossen.
Qualitätsstand verbessert: Anteil fehlerhafter Quell-Links von 5 auf 2 Prozent gesenkt, Freigabe-Check für den Kunden-Versand vollständig bestanden.
Deep #15
13.05.2026
Pfad-β-Reframe + Pilot + Roll-Out + CI-Fix
12.05.2026
Deep #14
12.05.2026
Mehrstufige automatische Prüfung aller Quellen-Links auf Erreichbarkeit, inklusive Rückgriff auf Archiv-Versionen, wenn eine Originalseite nicht mehr abrufbar ist.
Strengere Formatprüfung wissenschaftlicher Kennungen (DOI), damit Quellenangaben einheitlich und korrekt bleiben.
Der Status jeder Quelle (erreichbar, fehlerhaft, hinter Bezahlschranke, manuell freigegeben) ist nun direkt im Dashboard sichtbar.
v0.1.0
08.05.2026
Learnings
Entscheidungen
4
KI-Eignungs-Score: harte Override-Caps schlagen die Punktsumme
Der KI-Eignungs-Score je Forschungsfrage wird aus vier Dimensionen gebildet: Datenverfügbarkeit (D1), Aufgabentyp (D2), Methoden-Reife (D3) und Ethik/Recht (D4). Jede Dimension liefert 0 bis 3 Punkte, die Summe (0 bis 12) mappt auf none/low/medium/high. Eine reine Summe reicht aber nicht, weil sie kategorische Sperren verwischen würde.
Deshalb gelten zwei harte Override-Caps, die unabhängig von der Summe greifen:
D1 = 0 oder D2 = 0 deckelt auf "none". Ohne nutzbare Daten oder ohne übersetzbaren KI-Aufgabentyp ist ein KI-Verfahren schlicht nicht anwendbar, egal wie reif die Methode oder wie unkritisch die Domäne ist.
D4 = 0 deckelt auf maximal "medium". Eine Hochrisiko-Domäne (etwa Sozialleistungs-Zuteilung) bleibt vorsichtig eingestuft, selbst bei dichter Datenlage.
Eine zweite Sicht, der Positiv-Count (eine Dimension zählt ab Score 2 als positiv), dient nur der Plausibilisierung. Bei Widerspruch gewinnt die Summenregel. Ein dokumentierter Divergenzfall macht das konkret: eine Frage mit den Werten D1=2, D2=1, D3=2, D4=1 ergibt Summe 6 und damit "low". Der Positiv-Count sieht zwei positive Dimensionen (D1 und D3) und würde "medium" nahelegen. Hier gewinnt die Summe, weil zwei Dimensionen mit Wert 1 gemeinsam ein klares Dämpfungs-Signal senden, das die binäre Schwelle der Plausibilisierungs-Sicht nicht abbildet. Solche Grenzfälle nahe einer Phasen-Schwelle werden im Review besonders kritisch geprüft.
Der Effekt ist Reproduzierbarkeit: zwei Bewerter mit denselben vier Dimensions-Werten kommen zwingend zum selben Score, und kategorische Ausschlüsse bleiben sichtbar statt in einer Summe unterzugehen.
PDF-Export als ausgelagerter HTTP-Service statt Inline-Browser
Das Dashboard exportiert Synthesen als PDF. Statt einen Headless-Browser direkt in die Next.js-Anwendung einzubetten, läuft der Export über einen separaten HTTP-Service (ein Wrapper um eine etablierte Konvertier-Engine). Die Anwendung rendert die Seite zu HTML und schickt diesen per POST an den Service, der das PDF zurückliefert.
Der Hauptgrund ist die Service-Grenze. Ein inline eingebetteter Browser zieht ein rund 300 MB grosses Chromium-Binary in die Abhängigkeiten der Anwendung, belastet den Build-Cache und verlangsamt den Cold-Start. Der ausgelagerte Service hält den Anwendungs-Build schlank, bringt gehärtete Defaults (deaktiviertes JavaScript, Cache-Clear je Request, Sandbox, Speicher-Limit) ab Werk mit und ist über das eine Feature hinaus wiederverwendbar. Multi-Seiten-Bündel entstehen über einen nativen Merge-Endpoint, ohne eigene PDF-Bibliothek.
Zwei betriebliche Fallstricke sind dokumentiert:
Beim Start prüft die Anwendung den Health-Endpoint des Service mit kurzem Timeout. Ist der Service nicht erreichbar, zeigt die Oberfläche einen klaren Hinweis statt eines harten 502-Fehlers.
Der Konvertier-Endpoint ist strikt bei der Benennung. Sowohl der Formularfeld-Name als auch der Dateiname der hochgeladenen HTML-Datei müssen exakt "index.html" lauten, sonst antwortet der Service mit HTTP 400. Dieser Fallstrick wurde beim ersten Test mit einem abweichenden Dateinamen real ausgelöst und ist deshalb als Konstante im Client festgeschrieben, abgesichert durch einen Test, der den 400-Fehler bei abweichendem Namen reproduziert.
Der Trade-off ist ein laufender Zusatz-Service und ein Netzwerk-Hop, beides vernachlässigbar bei lokalem Betrieb. Als Rückfall-Option bleibt der inline eingebettete Browser dokumentiert, falls die Service-Anbindung in einer Umgebung mehr Aufwand als Nutzen bringt.
Ablauf-Daten und Inhalte werden getrennt gehalten
Als der Review-Prozess mit mehreren Personen begann, brauchte er eine kleine Datenhaltung für veränderliche Ablauf-Daten: Zugänge der Reviewer, eingereichte Bewertungen, der Verlauf von Status-Änderungen und ein Veto-Fenster vor der automatischen Freigabe. Dafür kam eine schlanke lokale Datenbank zum Einsatz, ausdrücklich nur für diese Ablauf-Daten. Die eigentlichen Inhalte bleiben als versionierte Dateien die verbindliche Quelle. Das frühere Vorgehen, Zugänge über Konfigurationswerte zu verwalten, skalierte für eine Gruppe von fünf bis acht Reviewern nicht mehr.
Inhalte liegen in versionierten Dateien, nicht in einer Datenbank
Die Forschungs-Briefe, Quellen und Fragen werden als einfache Textdateien mit strukturiertem Kopf versioniert abgelegt und nicht in einer Datenbank gehalten. Der Grund ist Nachvollziehbarkeit: Redaktion, Review, Dashboard und Export greifen alle auf dieselbe Quelle zu, und die Versionierung liefert Verlauf, Änderungsvergleich und Freigabe ohne zusätzliche Infrastruktur. Der strukturierte Kopf jeder Datei ist der einzige verbindliche Vertrag zwischen Ablage und allen Konsumenten. Für diese Projektphase ist eine Datenbank für die Inhalte bewusst ausgeschlossen.
Probleme
1
KI-Synthese-Agents haben halluzinierte Quellen erzeugt
Bei einer Stichprobe fielen Quellen mit plausiblem Titel und plausiblen Autoren auf, deren Kennung nicht auflöste, deren Verweis ins Leere zeigte und für die sich keine unabhängigen Belege fanden. Die wahrscheinliche Ursache: Parallel arbeitende KI-Helfer hatten Quellen-Platzhalter erzeugt, ohne dass die Publikation wirklich existiert. Vier davon waren bereits in Briefen für den Kundenversand zitiert. Die Konsequenz war eine vollständige Prüfung aller damals erfassten Quellen sowie eine neue Pflicht: Jede neue Quelle muss gegen eine unabhängige Datenbank abgeglichen werden, sonst wird sie zurückgehalten. Lehre: KI-generierte Quellenangaben müssen verifiziert werden, bevor sie in ein Lieferergebnis gehen.
Lehren
2
Public-Read plus noindex statt Login-Gate für den Pilot
Für den Walkthrough mit der Kundin wäre ein Login eine Hürde gewesen: Sie sollte die Adresse einfach öffnen können, ohne vorab Zugangsdaten zu erhalten. Das Dashboard blieb deshalb öffentlich lesbar, der Verwaltungsbereich blieb rollenbasiert geschützt. Das Risiko war, dass noch nicht freigegebenes Material dauerhaft in Suchmaschinen landet. Die Lösung war ein Ausschluss aus dem Suchindex auf drei Ebenen: im Seiten-Kopf, in den Antwort-Kopfdaten für reine Datei-Downloads wie CSV und PDF sowie ein bewusstes Zulassen für Suchmaschinen, damit diese die Seite überhaupt abrufen und den Index-Ausschluss sehen können. Ein pauschales Sperren hätte den Ausschluss unsichtbar gemacht und die Adresse trotzdem auffindbar gelassen.
Naming-Hygiene: Forschungsfragen-Mapping ist kein Klima-Daten-Dashboard
Das Projekt wird intern leicht mit einem Klima-Daten-Dashboard verwechselt.
Es ist aber ein Mapping des Forschungsstands je Frage plus KI-Eignungs-
Bewertung, abzugrenzen vom bestehenden klimadashboard.at. Dazu kommt eine
bewusste Drift zwischen Customer-Sprache und Code: nach außen heißt das
Artefakt Forschungs-Brief, im Code bleiben die Identifier auf Synthese
(syntheses/, SynthesisCard, synthesis_word_count). Lehre: bei mehrdeutigen
Projektnamen die Abgrenzung explizit dokumentieren, und ein späteres
Customer-Rename nicht in den Code durchziehen, wenn es nur Churn erzeugt.
Interesse an einem dieser Prototypen?
Schreiben Sie uns — wir zeigen den aktuellen Stand, klären Zugänge zu geschützten Demos und besprechen, ob sich Ihr Anwendungsfall als AI-Factory-Projekt eignet.