
Afiné un LLM de 0,8B para RAG en 20 idiomas: precisión del 74% al 94% y 7 segundos por pregunta en CPU
Quería un modelo multilingüe para RAG que funcionara en CPU. Le das un texto y le haces una pregunta; responde a partir del texto. Si el texto no contiene la respuesta, no se la inventa y dice que «no hay respuesta». Probé a crearlo afinando Qwen3.5 de 0,8B (800 millones de parámetros). El objetivo fueron 20 idiomas.
Primero, las conclusiones.
- La precisión pasó del 73,8% al 93,8%. Se quedó a solo 1 punto de Qwen3-4B sin afinar (94,7%), teniendo una quinta parte de su tamaño.
- Lo que más mejoró fue que dejó de inventar respuestas. El modelo original de 0,8B respondía algo en casi el 40% de los casos cuando recibía un texto largo sin respuesta.
- 7 segundos por pregunta en CPU. Desde leer un texto de unas 2.500 tokens hasta responder. Con 4B tarda 60 segundos.
- No logró superar el 95%. Aunque ajusté la tasa de aprendizaje, el número de épocas y la cantidad de datos, se quedó en torno al 94%. Parece ser el límite de un modelo de 0,8B.
Cómo lo medí
Creé preguntas a partir de Wikipedia en 20 idiomas (japonés, inglés, chino, croata, hindi, etc.). Para cada pregunta, le di cuatro tipos de texto.
- Párrafo: un párrafo corto que contiene la respuesta.
- Contexto largo: un texto de varios miles de tokens que mezcla el párrafo con la respuesta entre artículos irrelevantes.
- Sin respuesta (corto/largo): textos que no contienen la respuesta. Se considera correcto si responde que «no hay respuesta».
Llamo «precisión» al promedio de estos cuatro casos. Qwen3-32B creó las preguntas y las evaluó. Para comprobar que la evaluación no estuviera sesgada hacia Qwen, también la repetí con gpt-oss-120b, de otra familia; la diferencia fue de menos de 0,5 puntos.
También lo comprobé con problemas de otro tipo.
- XQuAD: versiones en 8 idiomas de preguntas escritas por personas.
- hr0: una prueba en croata que había creado anteriormente con otro modelo.
Si solo se usan preguntas construidas igual que los datos de entrenamiento, no se puede distinguir si el modelo realmente mejoró o simplemente se acostumbró a ese formato.
El 0,8B original inventa cosas cuando no hay respuesta
Al medir Qwen3.5-0.8B antes del ajuste, obtuve esto (promedio de 20 idiomas).
| Párrafo | Contexto largo | Sin respuesta corto | Sin respuesta largo |
|---|---|---|---|
| 68,9 | 71,0 | 87,9 | 63,2 |
Cuando recibe un texto largo sin respuesta, inventa algo en casi el 40% de los casos. En hindi solo obtuvo 15 puntos. Esto es un problema para RAG.
Lo que probé
Entrené con una RTX PRO 6000 (96 GB) alquilada en vast.ai.
1. LoRA con datos RAG en 20 idiomas
Los datos de entrenamiento contenían 500 preguntas para cada uno de los 20 idiomas. A partir de ellas, creé ejemplos con cuatro tipos de texto, para un total de 18.025 ejemplos. La respuesta correcta era una frase; cuando no había respuesta, usaba la fórmula establecida de «no hay respuesta» en ese idioma.
Una época con LoRA (rango 64) tardó 1,7 horas.
| Párrafo | Contexto largo | Sin respuesta corto | Sin respuesta largo | |
|---|---|---|---|---|
| 0,8B original | 68,9 | 71,0 | 87,9 | 63,2 |
| Después de LoRA | 91,7 | 89,0 | 98,4 | 93,4 |
Solo con eso subió de golpe. En «sin respuesta largo» pasó de 63 a 93, así que prácticamente dejó de inventar respuestas.
Por cierto, cuando primero lo probé con 2B, entrenar solo con 3 idiomas (croata, alemán y turco) mejoró los 20 idiomas. La debilidad del modelo original no parecía ser de conocimiento o comprensión lectora, sino de hábitos: responder o rechazar correctamente según las instrucciones.
2. Con preguntas escritas por personas, rechaza demasiado pronto
Al probarlo con XQuAD, que contiene preguntas escritas por personas, había muchos casos en los que decía «no hay respuesta» aunque sí la hubiera.
Por ejemplo, se pregunta «¿Cuál es otro nombre para el rotor?», pero el párrafo solo dice «un disco giratorio». En este tipo de problemas, donde la pregunta y el párrafo usan formulaciones distintas, el modelo rechaza responder.
La causa estaba en los datos de entrenamiento. Qwen3-32B, que creó las preguntas, tendía a reutilizar en la pregunta las mismas expresiones del párrafo. Por eso parece que aprendió a rechazar cuando no encontraba las mismas palabras.
Entonces hice que gpt-oss-120b generara y añadiera 400 preguntas por idioma de un tipo distinto.
- Preguntas con una formulación diferente a la del párrafo.
- Fragmentos entrecortados, como resultados de búsqueda.
- Artículos engañosos relacionados con el tema, pero que no contienen la respuesta.
- Contextos largos de entre 1K y 8K tokens.
Con ello, en XQuAD el resultado de párrafos subió de 79,6 a 83,6, y el de contexto largo de 75,5 a 79,2. Esto fue prácticamente lo único que funcionó esta vez.
A partir de aquí, entrené todos los parámetros en lugar de usar LoRA. Con los mismos datos, los resultados fueron casi idénticos en ambos casos.
3. Lo que no funcionó
| Lo que probé | Resultado |
|---|---|
| Triplicar la tasa de aprendizaje (1e-5 → 3e-5) | La pérdida de validación empeoró claramente y detuve el entrenamiento. |
| Entrenar 2 épocas | Aunque la pérdida de validación bajó, la precisión fue la misma. XQuAD bajó un poco. |
| Duplicar los datos de tipo distinto | +0,1 en mis propias preguntas. XQuAD y hr0 bajaron. |
| Añadir preguntas escritas por personas (SQuAD y TyDi QA) | Contraproducente. «Sin respuesta largo» en XQuAD pasó de 99,8 a 91,2. |
Pensé que las preguntas escritas por personas ayudarían, pero ocurrió lo contrario. XQuAD se creó a partir de párrafos de SQuAD. Así que, al entrenar con SQuAD, parece que aprendió que «si el párrafo parece de SQuAD, hay una respuesta». Los datos demasiado cercanos a la evaluación son peligrosos.
4. Con cuantización Q4 pierde 1 punto
Como debía funcionar en CPU, lo convertí a GGUF de llama.cpp y lo cuantifiqué.
Con 2B, apenas perdió rendimiento incluso con Q4_K_M. Pero 0,8B perdió aproximadamente 1 punto. Cuanto más pequeño es el modelo, más vulnerable parece ser a la cuantización. Con Q6_K o Q8_0 se recuperó, y en los problemas en croata llegó a 95,4.
Resultados
Comparé la versión final de 0,8B con el modelo original y modelos más grandes. Todos los resultados son el promedio de los cuatro tipos; 0,8B y 2B usan el formato para CPU (Q4_K_M).
| Modelo | Tamaño | Problemas en 20 idiomas | XQuAD (preguntas escritas por personas) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B (original) | — | 73,8 | 74,8 | 72,7 |
| 0,8B (ajustado) | 0,67 GB | 93,8 | 89,9 | 90,0 |
| 2B (ajustado del mismo modo) | 1,56 GB | 96,4 | 92,4 | 93,5 |
| Qwen3-4B-Instruct-2507 (sin ajuste) | 2,3 GB | 94,7 | 94,0 | 91,2 |
- 0,8B mejoró 20 puntos y se quedó a solo 1 punto de 4B. Con 2B supera a 4B.
- En preguntas escritas por personas (XQuAD), sigue 4 puntos por debajo de 4B. Todavía no se ha corregido del todo la debilidad ante preguntas con formulaciones distintas.
- El 64% de las preguntas que 0,8B falló las responde correctamente 2B. Creo que el resto es un límite del tamaño del modelo. Si la prioridad es la precisión, usa 2B.
Velocidad (CPU de portátil)
Medí con 8 hilos de un i7-11800H. Como es un portátil cuya frecuencia cae aproximadamente a la mitad tras usarlo durante mucho tiempo, las cifras son algo lentas.
| Lectura del texto (4K tokens) | Generación | 1 pregunta con contexto largo | |
|---|---|---|---|
| 0,8B | 314 tok/s | 53 tok/s | unos 7 segundos |
| 2B | 97 tok/s | 21 tok/s | unos 25 segundos |
| 4B | 42 tok/s | 11 tok/s | unos 60 segundos |
Solo con párrafos tarda menos de un segundo.
Coste
El total fue de unos 75 dólares en vast.ai. Incluye el entrenamiento de 2B y la creación de datos para evaluación.
Resumen
- Incluso con 0,8B, el ajuste para RAG permite alcanzar una precisión de alrededor del 94%. En especial, casi elimina las invenciones cuando no hay respuesta.
- Lo que funcionó fue aumentar la «variedad» de los datos de entrenamiento. La cantidad, el número de épocas y la tasa de aprendizaje no ayudaron.
- Para precisión, 2B; para velocidad, 0,8B. Creo que ambos son más prácticos que un 4B sin ajustar.



