Validación del juez
8Validación del juez LLM
Las dimensiones cualitativas las puntúa un juez LLM. ¿Es fiable? Tres experimentos convergentes dicen que el acuerdo entre familias es bajo: el veredicto del TFM se sostiene en las métricas objetivas y el grounding, no en el juez.
| Experimento | Métrica | Valor | Lectura |
|---|---|---|---|
| Panel de 3 familias (Qwen/Llama/Gemma) | Fleiss κ global | 0,213 | leve |
| Segundo juez (Llama vs Qwen) | κ ponderado global | 0,118 | leve |
| Cribado 3 familias ajenas (Llama/Gemma/DeepSeek) | Krippendorff α global | 0,289 | < 0,50 (no sustituye) |
| DeepSeek vs juez Qwen | κ ponderado global | 0,098 | leve |
Se incorporó deepseek-coder-v2 (familia, arquitectura y datos distintos a Qwen/Llama/Gemma) como
tercer anotador no-Qwen, con su español validado empíricamente. El Krippendorff α sobre las tres familias
ajenas es 0,289: la tercera familia no rescata el acuerdo, lo confirma bajo. Es cribado, no validez
de criterio. Lo confirma el panel humano ya realizado, con su contraste humano-vs-juez.
Ejecuté un panel de diez anotadores humanos (siete programadores y tres docentes) sobre el arnés ya construido, con 6000 puntuaciones a nivel de dimensión. De ahí salen el techo humano-humano (ICC(2,k) 0,831) y el contraste humano-vs-juez: la correlación es baja (Pearson 0,203; Bland-Altman +0,139; solape 33 de 50), de modo que el juez no alcanza la validez de criterio y el veredicto se apoya en las métricas objetivas y el grounding.
9Conclusiones y trabajo futuro
- En el benchmark canónico en distribución (n=50), la augmentación (grafo y/o fine tuning) supera al LLM base de forma significativa; la superioridad del híbrido sobre el afinado es prometedora pero no significativa a n=50. No es un veredicto general: solo vale dentro de la distribución sintética.
- La augmentación por pasajes no gana por sí sola. En la reconstrucción aislada de ablación de
recuperación (Linaje B, juez
qwen2.5:32b, n=10), el RAG por pasajes (ORPO-v2 y ORPO-v3) no supera a la base (3,467 y 3,567 < 3,733); solo el RAG semántico/ontológico por SPARQL (ORPO-v4) la supera (4,233 > 3,733), con la mejora en técnica y sugerencia. La mejora es de recuperación, no de fine tuning (v4 comparte adaptador con v3); hay 2 derrotas (sub_00803,sub_01444); solo 3/10 casos activaron una misconception; n=10 y juez no determinista. - Es una limitación que mido y dejo a la vista: la ventaja en distribución no sobrevive al cambio de dominio, porque el modelo se ajustó a las plantillas y no al razonamiento.
- El camino para cerrar el hueco es datos de entrenamiento reales / destilación de feedback diverso (la vía de "Narrowing the Gap", arXiv:2507.05305), el único modo de que lo afinado generalice.
- El juez LLM se usa como cribado, no como validez de criterio; el veredicto se ancla en métricas objetivas y grounding, inmunes al juez.
Si este trabajo te resulta útil y quieres referenciarlo, esta es la cita recomendada.
Bueno Junquero, A. (2026). Integración de grafos de conocimiento educativos con modelos de lenguaje masivos mediante arquitecturas RAG para evaluación personalizada en la enseñanza de programación. Trabajo Fin de Máster, Máster Universitario en Investigación en Inteligencia Artificial, UNED. Director, José Luis Fernández Vindel.