Fallstudie · Code öffentlich auf GitHub
KI für Stromlaufpläne: Störungssuche mit Beleg
Wenn eine Maschine steht, sucht die Instandhaltung dasselbe Bauteil in Plan, Stückliste, Klemmenplan, SPS-Programm und Handbuch. stromlauf-ai beantwortet solche Fragen und belegt jede Aussage mit Datei und Fundstelle.
Ausgangsproblem: Störungssuche in Plänen und Dokus
Steht eine Maschine, sucht die Instandhaltung in einem Stromlaufplan, einer Stückliste, einem Klemmenplan, einem SPS-Programm und einem Handbuch nach demselben Bauteil, unter vier Schreibweisen (-K1, -X3:1, E0.0, /3.8). Ein Chatbot, der nur Text sucht, rät dabei leicht: Er erfindet Spalten, Klemmen und Seiten.
Quelle: README, Abschnitt „Fallstudie“ (öffnet in neuem Tab)
Was die Demo kann: Fragen an Stromlaufpläne mit Quellenangabe
- Ein Index über alle Dokumente. Beim Hochladen entsteht ein Kennzeichen-Index über Stromlaufplan, Stückliste, Klemmenplan, SPS-Programm (STEP 7 AWL) und Handbuch, dazu ein Signalgraph.
- Erst lesen, dann fragen. Was sich deterministisch aus den Dokumenten lesen lässt (Signalweg, Befundkarte, Lückenliste, Maschinenmodell), kommt ohne Modellaufruf.
- Antworten mit Beleg. Das Sprachmodell antwortet nur über Werkzeuge und muss jede Aussage mit Datei und Ort belegen; ein Zitat-Resolver prüft die Belege gegen die Fundstellen.
- Dokumenttext ist Daten. Text aus Dokumenten gilt im Prompt als Daten, nicht als Anweisung (Schutz vor Prompt Injection).
Eingesetzte Technik
Die Live-Demo folgt, sobald das Hosting steht. Der Code ist öffentlich.
Demo-Daten: die Beispielmaschine FB-01
Die Demo arbeitet mit der Beispielmaschine FB-01, einem Förderband. Ihre Dokumente sind frei erfunden, ohne Herstellerbezug. Es sind Demo-Daten, keine Kundendokumente.
Messwerte: Trefferquote auf 20 Testfragen
Agentenlauf mit 20 Fragen je Modell, gleiche Dokumente, gleicher Agent und derselbe Prompt, Lauf vom 2. Oktober 2026. Die Bewertung kommt ohne KI als Richter aus: Fakten, Quellen und Zitate werden regelbasiert gegen die Fragenliste geprüft.
| Modell | Fakten | Quellen | Zitate gültig | voll bestanden (von 20) | USD je Antwort | Sekunden je Antwort |
|---|---|---|---|---|---|---|
| claude-sonnet-5-5 | 0,988 | 0,95 | 0,991 | 18 | 0,046 | 12,2 |
| openai:gpt-6.1-sol | 0,872 | 0,90 | 0,947 | 10 | 0,012 | 12,6 |
| openai:gpt-5.4-mini@none | 0,820 | 0,95 | 0,721 | 11 | 0,004 | 5,5 |
| ollama:qwen35-4b-32k (lokal) | 0,524 | 0,60 | 0,350 | 5 | 0 | 6,4 |
Die Ingestion liest auf dem Beispielplan FB-01 (Text-PDF, 7 Seiten) Betriebsmittel, Klemmen und SPS-Adressen mit je 1,00 Recall und Precision, Querverweise mit 0,95. Auf dem Voll-Scan mit lokaler OCR sind es 0,99 für Betriebsmittel, 0,81 für Klemmen und 1,00 für SPS-Adressen.
Quellen: README, Abschnitt „Fallstudie“ (öffnet in neuem Tab), eval/results/vergleich_2026-10-02.md (öffnet in neuem Tab) und eval/README.md (öffnet in neuem Tab)
Grenzen dieser Messung
- Die Zahlen stammen aus selbst erzeugten Beispielplänen, nicht aus Kundendokumenten.
- Es sind 20 Fragen je Modell. Die Tabelle zeigt vier der neun gemessenen Modelle; claude-opus-5-5 lief nicht (Guthaben erschöpft).
- Drei Signalweg-Fragen verfehlten im Lauf alle Modelle: Der deterministische Hauptweg endete an der Meldeleuchte statt am Motor. Das liegt laut Vergleich an den Daten, nicht am Modell.
- Lokale Modelle erfinden Belege: qwen35-4b erreicht nur 0,350 gültige Zitate.
- Beim Voll-Scan mit lokaler OCR sinkt die Trefferquote bei Klemmen auf 0,81.
Fragen an Ihre eigene Doku?
Im kostenlosen Doku-Check stelle ich zehn echte Fragen an eines Ihrer Handbücher. Ergebnis als PDF.