Integración de grafos de conocimiento educativos con modelos de lenguaje masivos mediante arquitecturas RAG para evaluación personalizada en la enseñanza de programación
Trabajo de Fin de Máster — Máster Universitario en Investigación en Inteligencia Artificial (UNED)
1De un vistazo
Construí un grafo de conocimiento educativo (EKG) del dominio de la programación en Python y lo integré como contexto en un sistema RAG que genera retroalimentación formativa sobre el código de los estudiantes. La hipótesis sostiene que anclar la generación de un modelo de lenguaje en el grafo mejora la calidad del feedback frente al modelo aislado.
skos:exactMatch2Explorar el proyecto
Cada bloque abre la sección correspondiente del sitio, donde los grafos se ven y se manipulan y los datos técnicos quedan a un clic. Toda la información procede de artefactos reales y se reproduce ejecutando los scripts.
El grafo de conocimiento
La Grafoteca interactiva con los diez tipos de grafo, el Turtle, las consultas SPARQL, la validación SHACL y la inferencia. Ahora con agrupación por tema, zoom y búsqueda.
Recursos y herramientas
El mapa de cada recurso de grafos a su uso concreto y las herramientas del proyecto, con sus huecos declarados.
Sistema RAG y fine tuning
La arquitectura GraphRAG, el afinado QLoRA y la curva de entrenamiento que invierte el sobreajuste, de 1,051 a 1,028.
Resultados
El benchmark con n=50, la generalización a código real de Dublin y la fidelidad del recuperador.
Validación del juez
La validez del juez automático, con un acuerdo entre familias bajo (Fleiss 0,213).
Anotación humana
La validación con diez anotadores reales (7 programadores y 3 docentes), con el acuerdo del panel (ICC 0,831) y la validez de criterio frente al juez.
Análisis estadístico
El cuadro inferencial completo, con Friedman y Wilcoxon-Holm por dimensión, tamaños de efecto de Cohen, acuerdo inter-anotador con IC y Bland-Altman frente al juez.
3Los cuatro hallazgos
El híbrido D lidera el acierto de categoría (0,76) y de concepto (0,54); B, C y D superan al modelo base A de forma significativa. La ventaja de D sobre B no es significativa a n=50. Es un resultado en distribución, no un veredicto general: en la reconstrucción de ablación de recuperación (n=10) el RAG por pasajes no bate a la base y solo el RAG semántico por SPARQL (ORPO-v4) la supera (4,233 > 3,733).
En código real de estudiantes (Dublin) el orden objetivo se invierte, con A 0,802 y C 0,733 por delante de B 0,433 y D 0,323. Es sobreajuste a las plantillas, ahora con test formal.
El acuerdo entre familias de jueces es bajo (panel Fleiss 0,213), de modo que el veredicto se sostiene en las métricas objetivas y el grounding, no en el juez. La validez de criterio la evalué frente a un panel de diez anotadores humanos y resultó baja (correlación humano-juez Pearson 0,203; solape 33 de 50).
El nuevo recuperador, con enlace por AST y fusión RRF, eleva la precisión del contexto sobre código real de 0,454 a 0,519.
4Mapa del sitio
El sitio tiene diecinueve páginas de contenido repartidas en cuatro áreas, más la página de material y entregables (material.html), que reúne las descargas y queda fuera del recuento de contenido y del buscador. Esta es la entrada directa a cada una, con una
frase que resume qué encontrarás dentro. Las páginas de detalle también se alcanzan desde su hub correspondiente.
Grafo
El grafo de conocimiento
La Grafoteca interactiva con los diez tipos de grafo, el Turtle, las consultas, la validación y la inferencia, ahora con agrupación por tema, zoom y búsqueda.
La ontología EKG
El diseño del modelo educativo del dominio Python con perfil OWL 2 RL sobrio, SKOS para los conceptos y SHACL para la integridad.
Inferencia y razonamiento
Cómo el razonador OWL 2 RL expande los 1772 triples afirmados a 4786 materializados y qué conocimiento nuevo aparece.
Validación con SHACL
Las formas que garantizan la integridad del grafo, con cero violaciones, y por qué elegí SHACL frente a ShEx.
Consulta con SPARQL
Las consultas que interrogan y administran el grafo, incluida la federación con Wikidata y su salida real.
Enlazado a Wikidata
Los 30 enlaces skos:exactMatch que conectan el EKG con la web de datos y cómo los verifiqué.
Grafos de propiedades
El modelo equivalente en Neo4j y Cypher, con un export listo para cargar.
Sistema
Sistema RAG y fine tuning
La arquitectura GraphRAG, el afinado QLoRA y la curva de entrenamiento que invierte el sobreajuste, de 1,051 a 1,028.
El dataset sintético
Cómo construí los datos de entrenamiento con plantillas deterministas ancladas al grafo y cómo acoté su regularidad.
Fine tuning con QLoRA
El proceso de afinado del Sistema B en español, con sus hiperparámetros y la lectura de la curva.
Evaluación
Resultados
El benchmark con n=50, la generalización a código real de Dublin y la fidelidad del recuperador.
Generalización a código real
La prueba fuera de distribución sobre código de estudiantes, donde la ventaja se invierte, ahora con test formal.
Validación del juez
La validez del juez automático, con un acuerdo entre familias bajo (Fleiss 0,213).
Anotación humana
La validación con diez anotadores reales, con el acuerdo del panel (ICC 0,831) y la validez de criterio frente al juez.
Análisis estadístico
El cuadro inferencial completo, con Friedman y Wilcoxon-Holm, tamaños de efecto y acuerdo inter-anotador con IC.
Proyecto
Portada del proyecto
Esta misma página, con el resumen de un vistazo, los accesos al proyecto, los cuatro hallazgos y este mapa.
Límites
Los límites del trabajo, del alcance RDF de la pila a la validez relativa del juez, explicados con su evidencia.
Recursos y herramientas
El mapa de cada recurso de grafos a su uso concreto y las herramientas del proyecto, con sus huecos declarados.
Buscar en el sitio
El buscador que filtra las dieciocho páginas a medida que escribes, sobre un índice local embebido (títulos, resúmenes y temas de sección), sin conexión a la red.
Si este trabajo te resulta útil y quieres referenciarlo, esta es la cita recomendada.
Bueno Junquero, A. (2026). Integración de grafos de conocimiento educativos con modelos de lenguaje masivos mediante arquitecturas RAG para evaluación personalizada en la enseñanza de programación. Trabajo Fin de Máster, Máster Universitario en Investigación en Inteligencia Artificial, UNED. Director, José Luis Fernández Vindel.