Integración de un grafo de conocimiento educativo con un LLM mediante RAG
Retroalimentación pedagógica de código en español, anclada en un grafo de conocimiento. Trabajo de Fin de Máster — Máster Universitario en Investigación en Inteligencia Artificial (UNED).
1De un vistazo
Construí un grafo de conocimiento educativo (EKG) del dominio de la programación en Python y lo integré como contexto en un sistema RAG que genera retroalimentación formativa sobre el código de los estudiantes. La hipótesis sostiene que anclar la generación de un modelo de lenguaje en el grafo mejora la calidad del feedback frente al modelo aislado.
skos:exactMatch2Explorar el proyecto
Cada bloque abre la sección correspondiente del sitio, donde los grafos se ven y se manipulan y los datos técnicos quedan a un clic. Toda la información procede de artefactos reales y se reproduce ejecutando los scripts.
El grafo de conocimiento
La Grafoteca interactiva con los diez tipos de grafo, el Turtle, las consultas SPARQL, la validación SHACL y la inferencia. Ahora con agrupación por tema, zoom y búsqueda.
Recursos y herramientas
El mapa de cada recurso de grafos a su uso concreto y las herramientas del proyecto, con sus huecos declarados.
Sistema RAG y fine-tuning
La arquitectura GraphRAG, el afinado QLoRA y la curva de entrenamiento que invierte el sobreajuste, de 1,051 a 1,028.
Resultados
El benchmark con n=50, la generalización a código real de Dublin y la fidelidad del recuperador.
Validación del juez
La validez del juez automático, con un acuerdo entre familias bajo (Fleiss 0,213).
Anotación humana
La validación con diez anotadores reales (7 programadores y 3 docentes), con el acuerdo del panel (ICC 0,831) y la validez de criterio frente al juez.
Análisis estadístico
El cuadro inferencial completo, con Friedman y Wilcoxon-Holm por dimensión, tamaños de efecto de Cohen, acuerdo inter-anotador con IC y Bland-Altman frente al juez.
Estado de entrega
Lo hecho y verificado y lo que queda por completar, sin auto-evaluación ni insignias de proceso.
3Los cuatro hallazgos
El híbrido D lidera el acierto de categoría (0,76) y de concepto (0,54); B, C y D superan al modelo base A de forma significativa. La ventaja de D sobre B no es significativa a n=50. Es un resultado en distribución, no un veredicto general: en la reconstrucción de ablación de recuperación (n=10) el RAG por pasajes no bate a la base y solo el RAG semántico por SPARQL (ORPO-v4) la supera (4,233 > 3,733).
En código real de estudiantes (Dublin) el orden objetivo se invierte, con A 0,802 y C 0,733 por delante de B 0,433 y D 0,323. Es sobreajuste a las plantillas, ahora con test formal.
El acuerdo entre familias de jueces es bajo (panel Fleiss 0,213), de modo que el veredicto se sostiene en las métricas objetivas y el grounding, no en el juez. La validez plena queda pendiente de anotadores humanos.
El nuevo recuperador, con enlace por AST y fusión RRF, eleva la precisión del contexto sobre código real de 0,454 a 0,519.
4Mapa del sitio
El sitio tiene diecinueve páginas de contenido repartidas en cuatro áreas, más la versión de página única (proyecto.html). Esta es la entrada directa a cada una, con una
frase que resume qué encontrarás dentro. Las páginas de detalle también se alcanzan desde su hub correspondiente.
Grafo
El grafo de conocimiento
La Grafoteca interactiva con los diez tipos de grafo, el Turtle, las consultas, la validación y la inferencia, ahora con agrupación por tema, zoom y búsqueda.
La ontología EKG
El diseño del modelo educativo del dominio Python con perfil OWL 2 RL sobrio, SKOS para los conceptos y SHACL para la integridad.
Inferencia y razonamiento
Cómo el razonador OWL 2 RL expande los 1772 triples afirmados a 4786 materializados y qué conocimiento nuevo aparece.
Validación con SHACL
Las formas que garantizan la integridad del grafo, con cero violaciones, y por qué elegí SHACL frente a ShEx.
Consulta con SPARQL
Las consultas que interrogan y administran el grafo, incluida la federación con Wikidata y su salida real.
Enlazado a Wikidata
Los 30 enlaces skos:exactMatch que conectan el EKG con la web de datos y cómo los verifiqué.
Grafos de propiedades
La comparación con el modelo de Neo4j y Cypher, declarada como camino no recorrido en este TFM RDF-céntrico.
Sistema
Sistema RAG y fine-tuning
La arquitectura GraphRAG, el afinado QLoRA y la curva de entrenamiento que invierte el sobreajuste, de 1,051 a 1,028.
El dataset sintético
Cómo construí los datos de entrenamiento con plantillas deterministas ancladas al grafo y cómo acoté su regularidad.
Fine tuning con QLoRA
El proceso de afinado del Sistema B en español, con sus hiperparámetros y la lectura de la curva.
Evaluación
Resultados
El benchmark con n=50, la generalización a código real de Dublin y la fidelidad del recuperador.
Generalización a código real
La prueba fuera de distribución sobre código de estudiantes, donde la ventaja se invierte, ahora con test formal.
Validación del juez
La validez del juez automático, con un acuerdo entre familias bajo (Fleiss 0,213).
Anotación humana
La validación con diez anotadores reales, con el acuerdo del panel (ICC 0,831) y la validez de criterio frente al juez.
Análisis estadístico
El cuadro inferencial completo, con Friedman y Wilcoxon-Holm, tamaños de efecto y acuerdo inter-anotador con IC.
Proyecto
Portada del proyecto
Esta misma página, con el resumen de un vistazo, los accesos al proyecto, los cuatro hallazgos y este mapa.
Límites
Los huecos del trabajo declarados, desde las GUI no ejecutadas hasta la validez relativa del juez.
Recursos y herramientas
El mapa de cada recurso de grafos a su uso concreto y las herramientas del proyecto, con sus huecos declarados.
Buscar en el sitio
El buscador que filtra las diecinueve páginas a medida que escribes, sobre un índice local embebido (títulos, resúmenes y temas de sección), sin conexión a la red.
El sitio en una sola página
La versión de página única que reúne todo el sitio en un único fichero de cerca de un megabyte, pensada para leer de corrido, guardar o imprimir sin saltar entre páginas.
Si este trabajo te resulta útil y quieres referenciarlo, esta es la cita recomendada.
Bueno Junquero, A. (2026). Integración de un grafo de conocimiento educativo con un LLM mediante RAG. Trabajo Fin de Máster, Máster Universitario en Investigación en Inteligencia Artificial, UNED. Director, José Luis Fernández Vindel.