Was ist RAG und warum verbindet man ein Modell mit einer Wissensdatenbank?

RAG (Retrieval-Augmented Generation) heißt: Das Modell sucht zuerst passende Abschnitte in Ihren eigenen Dokumenten und schreibt die Antwort erst dann, auf Grundlage dieser Abschnitte. Statt sich nur auf das zu verlassen, was es im Training gelernt hat, bekommt es aktuelles, konkretes Material in den Prompt.

Ein typischer Aufbau hat drei Schritte:

• die Dokumente werden in Abschnitte zerlegt und indexiert, meist als Vektoren (Embeddings);
• zu jeder Frage holt ein Retriever die wenigen Abschnitte, die am besten passen;
• das Modell antwortet aus diesen Abschnitten und kann sie zitieren.

Warum ein Modell mit einer Wissensdatenbank verbinden? Trainingsdaten haben einen Stichtag und enthalten weder interne Dateien noch Preislisten oder Handbücher. Mit RAG aktualisiert man die Datenbank, nicht das Modell, und jede Antwort kann auf ihre Quelle verweisen, sodass Fehler leichter auffallen. Beschrieben wurde das Verfahren 2020 von Patrick Lewis und Kollegen (Facebook AI Research, UCL, NYU). RAG senkt das Risiko erfundener Antworten, beseitigt es aber nicht: Holt die Suche den falschen Abschnitt, ist auch die Antwort falsch.