
Ich habe ein 0,8B-LLM für RAG in 20 Sprachen nachtrainiert: Trefferquote 74 % → 94 %, 7 Sekunden pro Frage auf der CPU
Ich wollte ein mehrsprachiges Modell für RAG, das auf der CPU läuft. Man gibt ihm einen Text und stellt eine Frage; es soll die Antwort aus dem Text finden. Falls der Text keine Antwort enthält, soll es nichts erfinden, sondern sagen, dass es keine Antwort gibt. Also habe ich Qwen3.5 mit 0,8B (800 Millionen Parametern) nachtrainiert. Für 20 Sprachen.
Vorab das Fazit.
- Die Trefferquote stieg von 73,8 % auf 93,8 %. Damit liegt es, bei nur einem Fünftel der Größe, bis auf einen Punkt am nicht nachtrainierten Qwen3-4B (94,7 %) dran.
- Am stärksten wirkte sich aus, dass das Erfinden von Antworten behoben wurde. Das ursprüngliche 0,8B-Modell gab bei langen Texten ohne Antwort in fast 40 % der Fälle dennoch irgendeine Antwort.
- Eine Frage dauert auf der CPU 7 Sekunden. Einschließlich des Lesens eines Textes mit etwa 2.500 Tokens und der Antwort. Mit 4B dauert es 60 Sekunden.
- Über 95 % kam ich nicht hinaus. Auch mit Variationen bei Lernrate, Epochen und Datenmenge blieb es bei rund 94 %. Das scheint eine Größenbeschränkung von 0,8B zu sein.
Was wurde gemessen?
Ich habe Aufgaben aus Wikipedia-Artikeln in 20 Sprachen erstellt, darunter Japanisch, Englisch, Chinesisch, Kroatisch und Hindi. Pro Frage erhielt das Modell vier verschiedene Textarten.
- Absatz: Ein kurzer Absatz, der die Antwort enthält
- Langer Kontext: Ein mehrere Tausend Tokens langer Text, in den der Absatz mit der Antwort zwischen irrelevante Artikel gemischt wurde
- Keine Antwort (kurz/lang): Ein Text ohne Antwort. Konnte das Modell korrekt sagen, dass es keine Antwort gibt, zählte das als richtig.
Den Mittelwert dieser vier Kategorien nenne ich „Trefferquote“. Die Aufgaben wurden mit Qwen3-32B erstellt und bewertet. Um zu prüfen, ob die Bewertung nicht zugunsten von Qwen verzerrt ist, habe ich sie auch mit dem andersartigen gpt-oss-120b erneut bewerten lassen. Die Abweichung lag innerhalb von 0,5 Punkten.
Außerdem habe ich andere Aufgabentypen geprüft.
- XQuAD: Versionen in 8 Sprachen von von Menschen geschriebenen Fragen
- hr0: Ein kroatischer Test, den ich zuvor mit einem anderen Modell erstellt hatte
Nur Aufgaben zu verwenden, die genauso erstellt wurden wie die Trainingsdaten, würde nicht erkennen lassen, ob das Modell lediglich an dieses Format gewöhnt ist.
Das ursprüngliche 0,8B erfindet Geschichten, wenn keine Antwort vorhanden ist
Vor dem Nachtraining ergab Qwen3.5-0.8B Folgendes (Mittelwert über 20 Sprachen):
| Absatz | Langer Kontext | Keine Antwort, kurz | Keine Antwort, lang |
|---|---|---|---|
| 68,9 | 71,0 | 87,9 | 63,2 |
Bei langen Texten ohne Antwort gab es in fast 40 % der Fälle dennoch irgendeine Antwort. Für Hindi waren es nur 15 Punkte. Das ist für RAG ein Problem.
Was ich ausprobiert habe
Das Training lief auf einer bei vast.ai gemieteten RTX PRO 6000 (96 GB).
1. LoRA mit RAG-Daten in 20 Sprachen
Die Trainingsdaten bestanden aus 20 Sprachen × 500 Fragen. Daraus erstellte ich Beispiele mit vier Textarten, insgesamt 18.025 Beispiele. Die korrekte Antwort bestand aus einem Satz; wenn es keine Antwort gab, verwendete ich eine festgelegte Formulierung für „keine Antwort“ in der jeweiligen Sprache.
Eine Epoche mit LoRA (Rank 64) dauerte 1,7 Stunden.
| Absatz | Langer Kontext | Keine Antwort, kurz | Keine Antwort, lang | |
|---|---|---|---|---|
| Ursprüngliches 0,8B | 68,9 | 71,0 | 87,9 | 63,2 |
| Nach LoRA | 91,7 | 89,0 | 98,4 | 93,4 |
Allein dadurch stiegen die Werte deutlich. Bei „keine Antwort, lang“ ging es von 63 auf 93 – das Erfinden von Antworten war damit fast behoben.
Als ich es zuvor mit 2B ausprobiert hatte, stiegen alle 20 Sprachen, obwohl ich nur mit drei Sprachen trainierte: Kroatisch, Deutsch und Türkisch. Die Schwäche des ursprünglichen Modells lag offenbar nicht bei Wissen oder Leseverständnis, sondern in der Gewohnheit, Anweisungen entsprechend zu antworten oder eine Antwort abzulehnen.
2. Bei von Menschen geschriebenen Fragen lehnt es zu schnell ab
Bei XQuAD mit von Menschen geschriebenen Fragen lehnte das Modell oft ab, obwohl eine Antwort vorhanden war.
Zum Beispiel lautet die Frage: „Wie wird ein Rotor auch genannt?“ Im Absatz steht jedoch nur „rotierende Scheibe“. Bei solchen Aufgaben, bei denen Frage und Absatz unterschiedlich formuliert sind, lehnte das Modell ab.
Die Ursache lag in den Trainingsdaten. Qwen3-32B, das die Fragen erstellt hatte, übernahm häufig die Formulierungen aus dem Absatz direkt in die Frage. Das Modell lernte offenbar: „Wenn ich nicht dieselben Wörter finde, lehne ich ab.“
Daraufhin ließ ich gpt-oss-120b pro Sprache 400 zusätzliche, andersartige Aufgaben erstellen.
- Fragen, die den Absatz anders formulieren
- Abgehackte Fragmente wie aus Suchergebnissen
- Verwirrende Artikel, die thematisch passen, aber nicht die Antwort enthalten
- Lange Kontexte mit 1K bis 8K Tokens
Dadurch stieg bei XQuAD der Wert für Absätze von 79,6 auf 83,6 und für lange Kontexte von 75,5 auf 79,2. Fast ausschließlich diese Ergänzung hatte diesmal Wirkung.
Ab hier trainierte ich übrigens nicht mehr mit LoRA, sondern alle Parameter. Bei denselben Daten waren die Ergebnisse mit beiden Methoden nahezu gleich.
3. Was nicht funktionierte
| Versuch | Ergebnis |
|---|---|
| Dreifache Lernrate (1e-5 → 3e-5) | Der Validierungs-Loss verschlechterte sich deutlich, daher abgebrochen |
| 2 Epochen Training | Der Validierungs-Loss sank, die Trefferquote blieb aber gleich. XQuAD wurde etwas schlechter. |
| Doppelt so viele andersartige Daten | Bei meinen eigenen Aufgaben +0,1. XQuAD und hr0 wurden schlechter. |
| Von Menschen geschriebene Fragen (SQuAD, TyDi QA) ergänzt | Kontraproduktiv. Bei XQuAD fiel „keine Antwort, lang“ von 99,8 auf 91,2. |
Ich dachte, von Menschen geschriebene Fragen würden helfen, aber das Gegenteil war der Fall. XQuAD wird aus SQuAD-Absätzen erstellt. Das Modell lernte offenbar: „Wenn ein Absatz wie SQuAD aussieht, gibt es eine Antwort.“ Daten, die der Evaluation zu ähnlich sind, sind riskant.
4. Quantisierung kostet mit Q4 einen Punkt
Da das Modell auf der CPU laufen soll, habe ich es in das GGUF-Format von llama.cpp konvertiert und quantisiert.
Bei 2B gab es selbst mit Q4_K_M kaum Einbußen. Bei 0,8B sank die Leistung jedoch um etwa einen Punkt. Je kleiner das Modell, desto empfindlicher ist es offenbar gegenüber Quantisierung. Mit Q6_K oder Q8_0 war der Wert wieder da; bei kroatischen Aufgaben erreichte es 95,4.
Ergebnisse
Ich habe die finale 0,8B-Version mit dem ursprünglichen und größeren Modellen verglichen. Alle Werte sind Mittelwerte über die vier Kategorien; 0,8B und 2B wurden in der für die CPU gedachten Form Q4_K_M verwendet.
| Modell | Größe | Aufgaben in 20 Sprachen | XQuAD (von Menschen geschriebene Fragen) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B (ursprünglich) | — | 73,8 | 74,8 | 72,7 |
| 0,8B (nachtrainiert) | 0,67 GB | 93,8 | 89,9 | 90,0 |
| 2B (auf die gleiche Weise nachtrainiert) | 1,56 GB | 96,4 | 92,4 | 93,5 |
| Qwen3-4B-Instruct-2507 (ohne Nachtraining) | 2,3 GB | 94,7 | 94,0 | 91,2 |
- 0,8B gewinnt 20 Punkte und liegt nur noch einen Punkt hinter 4B. Mit 2B wird 4B übertroffen.
- Bei von Menschen geschriebenen Fragen (XQuAD) liegt es noch vier Punkte hinter 4B. Die Schwäche bei anders formulierten Fragen ist noch nicht vollständig behoben.
- 64 % der Aufgaben, die 0,8B falsch beantwortet, beantwortet 2B richtig. Beim Rest handelt es sich vermutlich um die Größenbegrenzung des Modells. Wenn Genauigkeit wichtiger ist, sollte man 2B wählen.
Geschwindigkeit (CPU eines Laptops)
Gemessen mit 8 Threads auf einem i7-11800H. Da es sich um einen Laptop handelt, dessen Takt bei längerer Last ungefähr auf die Hälfte sinkt, sind die Werte eher langsam.
| Text einlesen (4K Tokens) | Generierung | Eine Frage mit langem Kontext | |
|---|---|---|---|
| 0,8B | 314 tok/s | 53 tok/s | ca. 7 Sekunden |
| 2B | 97 tok/s | 21 tok/s | ca. 25 Sekunden |
| 4B | 42 tok/s | 11 tok/s | ca. 60 Sekunden |
Bei einem Absatz allein dauert es weniger als eine Sekunde.
Kosten
Insgesamt etwa 75 US-Dollar bei vast.ai. Das enthält auch das Training von 2B und die Erstellung von Evaluierungsdaten.
Fazit
- Selbst mit 0,8B lässt sich durch Nachtraining für RAG eine Trefferquote von etwa 94 % erreichen. Insbesondere das Erfinden von Antworten bei fehlender Antwort wird fast vollständig behoben.
- Entscheidend war, die Arten der Trainingsdaten zu erweitern. Menge, Epochen und Lernrate halfen nicht.
- Für Genauigkeit ist 2B besser, für Geschwindigkeit 0,8B. Ich halte beide für praktischer als ein nicht nachtrainiertes 4B-Modell.



