Erinnerung ohne Cloud-Paywall

Ein KI-Modell hat ein begrenztes Gedächtnis, und das ist trivial. Entscheidend ist die Konsequenz daraus: In einem laufenden System verdrängt Neues fortwährend das Alte. Der Agent vergisst nicht auf einen Schlag alles, aber frischer Inhalt schiebt älteren aus dem Blickfeld. Wer möchte, dass eine Entscheidung von vor drei Monaten heute noch greift, muss sie verankern, also dauerhaft ablegen und gezielt wieder auffindbar machen. Diese Verankerung nennt sich Agent-Memory.

Die übliche Annahme lautet: Damit ein Agent gut verankert und zuverlässig abruft, braucht er das große Cloud-Modell. Das trifft nur zur Hälfte zu, denn Agent-Memory besteht aus zwei Teilen, und nur einer davon ist das große Modell.

Erst suchen, dann formulieren

Wenn ein Agent eine Wissensfrage beantwortet, läuft das in zwei Teilen ab. Zuerst sucht das System: Aus tausenden Notizen zieht es die wenigen heraus, die zur Frage passen. Danach formuliert es: Aus diesen Funden schreibt es eine Antwort, die ihre Quellen nennt und offen sagt, wo die Notizen die Frage nicht abdecken. Das große Modell sitzt im zweiten Teil. Über den ersten entscheidet das Embedding-Modell, und gerade daran scheitern viele deutsche Bestände.

Sucht das Modell Bedeutung oder Wörter?

Ein Embedding ordnet jedem Textbaustein einen Vektor zu, und die Suche liefert die Bausteine, deren Vektoren der Frage am nächsten liegen. Das Versprechen lautet, dass dabei die Bedeutung verglichen wird und nicht der Wortlaut: Wer nach „Datenverschlüsselung im Ruhezustand" fragt, soll auch die Notiz finden, die von „at-rest encryption" spricht.

Dieses Versprechen hält aber nur, soweit das Modell die Bedeutung gelernt hat. Wo es das nicht hat, fällt die Ähnlichkeit auf die Oberfläche zurück, und das Modell vergleicht gleiche Wörter statt gleicher Bedeutung. Genau das geschieht auf Deutsch, weil die meisten Embedding-Modelle auf Englisch trainiert sind. Über Sprach- und Fachgrenzen hinweg vergleichen sie dann Wortformen und nicht Inhalt, sodass die Suche zwar läuft, aber das Falsche liefert.

Die deutsche Trefferschwäche ist deshalb kein Randproblem, sondern der Beweis: Ein Embedding ist nur so semantisch wie sein Training. Der richtige Hebel besteht nicht darin, den Bestand ins Englische zu übersetzen, sondern darin, ein mehrsprachiges Modell einzusetzen, das die Bedeutung tatsächlich kennt; bei uns ist das bge-m3. Damit stieg die deutsche Trefferquote in unserem Test von kaum brauchbar auf verlässlich, und zwar ohne Cloud.

Muss die Antwort aus der Cloud kommen?

Den zweiten Teil, die belegte Antwort, haben wir gemessen. Wir haben ein lokales Modell der 30-Milliarden-Klasse gegen ein Cloud-Frontier-Modell antreten lassen, beide auf demselben deutschen Bestand, wobei wir das lokale Modell zu einem festen, maschinell prüfbaren Antwortformat mit Quellenliste gezwungen haben. Das lokale Modell erreichte rund 89 Prozent der bewerteten Qualität, es belegte seine Aussagen mit echten Dokumenten statt mit erfundenen Quellen, und es war dabei schneller als der Cloud-Aufruf und pro Frage kostenlos.

Damit wir es nicht schönreden: Der Bewerter war selbst eine KI, die Stichprobe war klein, und bei den schwersten Fragen lag die Cloud vorn. Die Konsequenz lautet deshalb nicht, dass die lokale Variante die Cloud schlägt, sondern dass sie der Standard sein sollte und die Cloud die Eskalation für den Ausnahmefall bleibt. Wer es so baut, bezahlt die Cloud nur noch für die Ausnahme und nicht mehr für jede Routinefrage.

Was das ändert

Sobald beide Teile lokal laufen, ändern sich vier Dinge auf einmal. Die Inhalte und die Fragen dazu bleiben im Haus, und gerade die Fragen verraten oft mehr als die Dokumente. Es fällt keine Abrechnung pro Anfrage mehr an. Deutsch wird zur ersten Klasse und ist nicht länger der Beifang eines englischen Stacks. Und der Hardwarebedarf bleibt überschaubar: Das Embedding-Modell belegt ein bis zwei Gigabyte, das 4-bit-quantisierte 30-Milliarden-Modell rund 18 bis 20, sodass eine einzige Grafikkarte mit 24 GB VRAM beides trägt.

Was Creaminds dazu beiträgt

Wir bauen Agent-Memory als Dienst, gehostet ebenso wie souverän beim Kunden betrieben. Den hier beschriebenen Stack — mehrsprachiges Retrieval, lokale Synthese mit erzwungenem Format und die Cloud nur als Eskalation — setzen wir selbst ein und richten ihn auf den Bestand des Kunden aus. Wenn Sie davorstehen, einen Agenten zuverlässig auf Ihr internes Wissen zugreifen zu lassen, auf Deutsch, im Haus und ohne Kosten pro Anfrage, dann sprechen Sie uns an.