Deinen Wissensassistenten verlässlich machen

Vom Experiment zum Werkzeug

Mission 4 hat funktioniert — jetzt kommt die Frage, die über den Dauereinsatz entscheidet: Wie verhindere ich, dass mein Assistent mich selbstbewusst anlügt? Die Antwort sind vier Betriebsregeln. Sie gelten für jedes RAG-Werkzeug, von LM Studio bis zu den Spezialisten wie AnythingLLM oder GPT4All.

Regel 1: Quellenpflicht im Systemprompt

Verankere die Quellenpflicht dauerhaft (Baustein für deine systemprompts.md aus KM4):

Antworte nur auf Grundlage der bereitgestellten Dokumente. Nenne zu jeder Aussage die Fundstelle (Dokumentname, wenn möglich Abschnitt). Wenn die Dokumente eine Frage nicht beantworten, sage genau das — ergänze fehlendes Wissen nicht aus deinem Gedächtnis, ausser ich bitte ausdrücklich darum.

Der letzte Halbsatz ist der wichtigste: Er zieht die Grenze zwischen «steht in meinen Unterlagen» und «meint das Modell» — die zwei Wissenssorten, die du nie vermischen willst.

Regel 2: Unsicherheit sichtbar machen

Ergänze: «Wenn Fundstellen einander widersprechen oder unvollständig wirken, weise ausdrücklich darauf hin.» Ein guter Assistent sagt «Dokument A nennt 30 Tage, Dokument B 14 — bitte prüfen» statt stillschweigend eines auszuwählen. Teste das mit zwei absichtlich widersprüchlichen Textdateien — ein Fünf-Minuten-Experiment, das dir zeigt, wie dein Werkzeug mit Konflikten umgeht.

Regel 3: Dokumentenhygiene

Die Suche findet, was da ist — auch Veraltetes. Deshalb:

• Ein Wissensordner, bewusst befüllt. Nicht «alles rein»: Jedes zusätzliche irrelevante Dokument verwässert die Suche.
• Veraltetes raus oder markieren. Alte Versionen löschen oder mit Präfix (ALT_...) kennzeichnen und den Assistenten anweisen, solche Dateien zu ignorieren.
• Sprechende Dateinamen (Mietvertrag_Musterstrasse_2024.pdf statt scan_final2.pdf) — sie sind oft Teil der Metadaten, die die Suche und die Quellenangabe nutzt.
• Gescannte PDFs prüfen: ohne Textebene (OCR) sind sie für RAG unsichtbar — der Markiertest aus Mission 4.

Regel 4: Aktualisierungsroutine

Wissensbestände leben. Lege einen einfachen Rhythmus fest: Neue Dokumente in den Wissensordner → Index des Werkzeugs aktualisieren (je nach Programm automatisch beim Anhängen oder per «Re-Index») → eine Stichprobenfrage zu den neuen Inhalten. Drei Minuten, die verhindern, dass du wochenlang gegen einen veralteten Index fragst.

Vertiefung: Wann lohnt ein RAG-Spezialwerkzeug?

Der Dokumenten-Chat in LM Studio ist für Einzeldokumente und schnelle Fragen gebaut. Spezialisten wie AnythingLLM oder GPT4All verwalten dauerhafte Wissensräume: ganze Ordner, getrennte Themenbereiche, einstellbare Embedding-Modelle, sichtbare Fundstellen. Wechsle, wenn du regelmässig denselben Bestand befragst — die Betriebsregeln dieser Lektion nimmst du unverändert mit. (Werkzeugprofile: Technologiekatalog.)

Kurz geprüft

3 Fragen zum Festigen — Feedback kommt sofort.

Dein Assistent beantwortet eine Frage, obwohl deine Dokumente dazu nichts enthalten. Welche Regel greift?

Regel 1: Quellenpflicht — er hätte «steht nicht in den Dokumenten» sagen müssen.Die Grenze zwischen Dokumentwissen und Modellmeinung ist die wichtigste überhaupt.Regel 4: Der Index war veraltet.Ein veralteter Index liesse Inhalte fehlen — hier wurde Wissen dazugedichtet.

Zwei Dokumentversionen nennen verschiedene Kündigungsfristen. Was soll der Assistent tun?

Den Widerspruch offenlegen und beide Fundstellen nennen.Regel 2 — und danach räumst du per Regel 3 die alte Version weg.Die neuere Zahl nehmen und schweigen.Stille Auswahl ist genau das Verhalten, das du ihm abtrainierst.

Warum verschlechtert «einfach alles in den Wissensordner» die Antworten?

Irrelevante und veraltete Chunks konkurrieren in der Suche mit den richtigen.Die Suche liefert die ähnlichsten Stellen — je mehr Rauschen, desto öfter gewinnt das Falsche.Die Vektordatenbank verweigert ab 100 Dateien den Dienst.Technisch skaliert sie weit — die Qualität leidet trotzdem am Rauschen.

Das kann ich jetzt

• Ich verankere Quellenpflicht und Unsicherheitsmarkierung im Systemprompt.
• Ich halte meinen Wissensordner sauber: bewusst befüllt, Veraltetes markiert, Scans mit OCR.
• Ich habe eine Aktualisierungsroutine — und weiss, dass RAG findet, nicht prüft.

Nächster Schritt: Kernmodul 6 — vom Assistenten, der antwortet, zum Agenten, der handelt.