%% =========================================================================
%% =========================================================================
\documentclass[journal,compsoc]{IEEEtran}

%% --- Paquetes -------------------------------------------------------------
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage[spanish]{babel}
\usepackage{amsmath}
\usepackage{booktabs}
\usepackage{graphicx}
\usepackage{url}
\usepackage{array}
\usepackage{multirow}
\usepackage{ragged2e}
\usepackage[hidelinks]{hyperref}

\renewcommand{\abstractname}{Resumen}
\renewcommand{\IEEEkeywordsname}{Palabras clave}

\hyphenation{\'op-ti-cas re-des se-mi-con-duc-tor co-no-ci-mien-to}

\begin{document}

\title{Integraci\'on de grafos de conocimiento educativos con modelos de lenguaje masivos mediante arquitecturas RAG para evaluaci\'on personalizada en la ense\~nanza de programaci\'on}

\author{Alumno: Adri\'an~Bueno~Junquero. Director: Prof. Dr. Jos\'e~Luis~Fern\'andez~Vindel%
\IEEEcompsocitemizethanks{\IEEEcompsocthanksitem Este trabajo ha sido elaborado en primer lugar en el marco de la asignatura de Web Semántica y Enlazado de Datos, con la intención de servir de base para el Trabajo de Fin de Máster del M\'aster Universitario en Investigaci\'on en Inteligencia Artificial, Universidad Nacional de Educaci\'on a Distancia (UNED), Madrid, Espa\~na.\protect\\
Correo electr\'onico: abueno166@alumno.uned.es}%
\thanks{Manuscrito entregado en junio de 2026.}}

\markboth{TFM --- M\'aster en Investigaci\'on en Inteligencia Artificial, UNED}%
{Bueno Junquero y Fern\'andez Vindel: Retroalimentaci\'on anclada en ontolog\'ias para la ense\~nanza de la programaci\'on}

\IEEEtitleabstractindextext{%
\begin{abstract}
\justifying
La generaci\'on aumentada con grafos de conocimiento (GraphRAG) y el \emph{fine tuning} eficiente en par\'ametros se promueven como v\'ias para convertir los grandes modelos de lenguaje (LLM) en generadores fiables de retroalimentaci\'on formativa de programaci\'on; sin embargo, la literatura rara vez separa sus contribuciones ni comprueba si las mejoras reportadas se sostienen fuera del banco de pruebas que las produjo. Presentamos \emph{EKG-Python}, un grafo de conocimiento educativo can\'onico para Python introductorio ($157$ conceptos; $1772$ tripletas aseveradas que se expanden a $4786$ bajo un cierre OWL~2~RL; $30$ enlaces \texttt{skos:exactMatch} verificados hacia Wikidata; cero violaciones SHACL), y un canal de retroalimentaci\'on GraphRAG construido en torno a \'el. Mediante un dise\~no factorial $2\times2$ comparamos un LLM base (A), un modelo ajustado con QLoRA (B), GraphRAG (C) y su h\'ibrido (D) sobre un banco de pruebas sint\'etico reservado ($n{=}50$) y sobre entregas reales de estudiantes procedentes de un corpus p\'ublico de reparaci\'on de c\'odigo universitario ($n{=}60$). En distribuci\'on, el h\'ibrido D encabeza las m\'etricas objetivas independientes del juez ($0.76$ de exactitud de categor\'ia, $0.54$ de exactitud de concepto), y el \emph{fine tuning} y el anclaje en el grafo mejoran facetas complementarias y casi ortogonales de la retroalimentaci\'on. Sobre c\'odigo real, la ordenaci\'on objetiva \emph{se invierte}, pues el modelo base A alcanza $0.802$ de relevancia de correcci\'on frente al $0.323$ de D (Friedman $p{=}8.1\times10^{-15}$), un fallo de generalizaci\'on que atribuimos a la homogeneidad intraplantilla medida en los datos sint\'eticos. Un estudio de fiabilidad de las puntuaciones de calidad muestra que un juez LLM tiene una validez de criterio d\'ebil frente a un panel humano de diez personas (Pearson $0.203$, negativa en el eje de la explicaci\'on divulgativa), mientras que el panel \emph{promediado} resulta fiable (ICC(2,$k$)~$=0.831$) pese a la baja concordancia por evaluador (Fleiss' $\kappa{=}0.096$). Concluimos que las ganancias de la aumentaci\'on dependen de qu\'e se recupera y de cu\'an realista es el c\'odigo evaluado, y que los veredictos automatizados de calidad deben anclarse en m\'etricas objetivas inmunes al juez.
\end{abstract}

\begin{IEEEkeywords}
\justifying
Grafo de conocimiento educativo, GraphRAG, generaci\'on aumentada por recuperaci\'on, grandes modelos de lenguaje, retroalimentaci\'on formativa, ense\~nanza de la programaci\'on, OWL~2~RL, \emph{fine tuning} con QLoRA, fiabilidad entre evaluadores, generalizaci\'on.
\end{IEEEkeywords}}

\maketitle
\IEEEdisplaynontitleabstractindextext
\IEEEpeerreviewmaketitle

%% =========================================================================
\section{Introducci\'on}
%% =========================================================================
\IEEEPARstart{L}{a} retroalimentaci\'on formativa es una de las palancas m\'as potentes del aprendizaje del estudiante, pero en la ense\~nanza de la programaci\'on no escala. Las cohortes superan con frecuencia una proporci\'on de cincuenta estudiantes por instructor, mientras que un solo comentario individualizado sobre una entrega exige de quince a veinte minutos de atenci\'on experta. La respuesta cl\'asica, el an\'alisis est\'atico combinado con pruebas unitarias, escala sin esfuerzo pero verifica el comportamiento en lugar de la comprensi\'on, puesto que puede informar de que una prueba ha fallado sin explicar \emph{por qu\'e} el modelo conceptual subyacente es err\'oneo. Una revisi\'on sistem\'atica de la retroalimentaci\'on automatizada para ejercicios de programaci\'on hall\'o que la inmensa mayor\'ia de los sistemas ofrece \'unicamente retroalimentaci\'on diagn\'ostica b\'asica en lugar de la retroalimentaci\'on conceptual y explicativa que la literatura de las ciencias del aprendizaje identifica como eficaz~\cite{keuning2019slr,hattie2007feedback}. Una brecha estructural separa, pues, la retroalimentaci\'on barata de la que ense\~na.

Los grandes modelos de lenguaje (LLM) parecen cerrar esta brecha, pues generan explicaciones individualizadas y fluidas a demanda. Dos t\'ecnicas de adaptaci\'on dominan la pr\'actica. El \emph{fine tuning} eficiente en par\'ametros, ejemplificado por la adaptaci\'on de bajo rango (LoRA) y su variante cuantizada QLoRA, especializa de forma econ\'omica un modelo base hacia un registro de retroalimentaci\'on concreto~\cite{hu2021lora,dettmers2023qlora,yang2025lora}. La generaci\'on aumentada por recuperaci\'on (RAG), en cambio, condiciona el modelo con contexto externo recuperado en tiempo de inferencia y ancla la salida en una fuente autorizada m\'as all\'a de la memoria param\'etrica~\cite{lewis2020rag}. Cuando esa fuente es un grafo de conocimiento (KG) curado~\cite{hogan2021kgsurvey}, el canal GraphRAG resultante puede, en principio, ofrecer una retroalimentaci\'on que es a la vez pedag\'ogicamente enmarcada y trazable hasta conceptos de dominio expl\'icitos~\cite{edge2024graphrag,peng2024graphrag,han2025graphrag}. En un contexto educativo, un grafo de conocimiento puede codificar la estructura de prerrequisitos y las concepciones err\'oneas documentadas de un curr\'iculo, de modo que la retroalimentaci\'on sobre una funci\'on recursiva defectuosa se ancle en el concepto de caso base y sus prerrequisitos~\cite{christou2025ontology,bijl2025skilltrees,qu2024survey}.

La aplicaci\'on directa de los LLM a esta tarea choca, sin embargo, con dos obst\'aculos. El primero es la alucinaci\'on, la producci\'on por los LLM de afirmaciones sin respaldo en fuente alguna, un modo de fallo especialmente da\~nino en la instrucci\'on, donde una explicaci\'on incorrecta deseduca activamente~\cite{ji2023hallucination,huang2023hallucination}. El segundo es un problema de \emph{medici\'on}. Como la evaluaci\'on humana de la retroalimentaci\'on generada es lenta y costosa, el campo delega en buena medida el juicio de calidad en otro LLM que act\'ua como evaluador automatizado ---el paradigma del ``LLM como juez''~\cite{zheng2023judging,li2024judges}---, cuya concordancia con los docentes humanos rara vez se comprueba~\cite{hackl2023gpt4,yamauchi2025judge,li2025scoringbias,chehbouni2025neither}. Si las ganancias reportadas solo las certifica un juez de esta clase, pueden reflejar las idiosincrasias del evaluador m\'as que un valor pedag\'ogico genuino.

Este art\'iculo se organiza en torno a una pregunta principal que el trabajo previo tiende a dejar impl\'icita ---\emph{¿cu\'ando, y bajo qu\'e evaluaci\'on, aumentar un LLM con un grafo de conocimiento o con \emph{fine tuning} mejora la retroalimentaci\'on de programaci\'on?}---, que desglosamos en cuatro cuestiones m\'as concretas. La primera atiende a si puede construirse un grafo de conocimiento educativo validado y enlazado de forma verificable; la segunda, a si cada aumentaci\'on y su combinaci\'on elevan la calidad objetiva frente a un modelo base y si esa ventaja se transfiere al c\'odigo real de estudiantes; la tercera, a la fiabilidad de un juez LLM frente a un panel humano; y la cuarta, a si un panel humano promediado constituye un instrumento fiable y discriminante aun con baja concordancia individual. Abordamos esta agenda con tres compromisos que la literatura combina pocas veces. Primero, separamos las dos aumentaciones en un dise\~no factorial $2\times2$ limpio en lugar de reportar un \'unico ``mejor sistema''. Segundo, evaluamos tanto \emph{en distribuci\'on}, sobre un banco de pruebas sint\'etico reservado, como \emph{fuera de distribuci\'on}, sobre c\'odigo real de estudiantes, y tratamos la transferencia como la prueba primaria de una afirmaci\'on, no como un a\~nadido. Tercero, anclamos cada veredicto comparativo en m\'etricas objetivas de verdad de referencia, inmunes a cualquier juez LLM, y medimos la validez de criterio del juez frente a un panel humano en vez de darla por supuesta.

\paragraph*{Preguntas de investigaci\'on} \textbf{PI1:} ¿Es posible construir un grafo de conocimiento educativo validado con SHACL y cerrado bajo OWL~2~RL que cumpla objetivos estructurales expl\'icitos ($\geq150$ conceptos) y enlace de forma verificable con una base de conocimiento abierta? \textbf{PI2:} ¿Mejoran el anclaje en el grafo, el \emph{fine tuning} y su combinaci\'on la calidad objetiva de la retroalimentaci\'on respecto a un LLM base, y se transfiere alguna ventaja en distribuci\'on al c\'odigo real de estudiantes? \textbf{PI3:} ¿Cu\'an fiable es un juez LLM de esta retroalimentaci\'on frente a un panel humano? \textbf{PI4:} ¿Es un panel humano promediado un instrumento fiable y discriminante incluso cuando la concordancia por evaluador es baja?

\paragraph*{Contribuciones} (i) \emph{EKG-Python}, un grafo de conocimiento educativo can\'onico y cerrado bajo razonamiento para Python introductorio, con enlaces externos verificados y cero violaciones SHACL, junto con la justificaci\'on de dise\~no de su correcci\'on sem\'antica, en particular el uso deliberado de \texttt{skos:exactMatch} en lugar de \texttt{owl:sameAs}. (ii) Un canal de retroalimentaci\'on GraphRAG que combina un vinculador de conceptos basado en el \'arbol de sintaxis abstracta (AST) con un generador de retroalimentaci\'on en espa\~nol ajustado con QLoRA, y una comparaci\'on factorial de cuatro v\'ias que a\'isla cada aumentaci\'on. (iii) Una evaluaci\'on en dos distribuciones que documenta tanto una victoria en distribuci\'on de los sistemas aumentados como una inversi\'on de la ordenaci\'on estad\'isticamente significativa fuera de distribuci\'on, que atribuimos al sobreajuste a las plantillas. (iv) Un estudio de fiabilidad que muestra que el juez LLM \emph{no} es un instrumento absoluto v\'alido, mientras que el panel humano \emph{promediado} es fiable y discrimina los sistemas. De ah\'i se sigue un mensaje metodol\'ogico. En la investigaci\'on sobre retroalimentaci\'on automatizada de programaci\'on, las ganancias de la aumentaci\'on son condicionales y los veredictos de calidad deben descansar en evidencia inmune al juez.

%% =========================================================================
\section{Trabajo relacionado}
%% =========================================================================
Esta secci\'on sit\'ua nuestra propuesta en el cruce de cuatro l\'ineas de investigaci\'on que rara vez se consideran de forma conjunta. Primero repasamos el uso de grafos de conocimiento en la ense\~nanza de la programaci\'on; despu\'es, la retroalimentaci\'on automatizada y basada en LLM; a continuaci\'on, la recuperaci\'on aumentada y su variante sobre grafos junto con sus protocolos de evaluaci\'on; y, por \'ultimo, la validez del paradigma del LLM como juez y la fiabilidad de las puntuaciones. En cada caso se\~nalamos qu\'e tomamos prestado y en qu\'e nos apartamos del trabajo previo.

\subsection{Grafos de conocimiento en la ense\~nanza de la programaci\'on}
Los grafos de conocimiento se han estudiado ampliamente como tecnolog\'ia general, con entidades, relaciones tipadas, esquemas y restricciones ontol\'ogicas sobre RDF ya bien consolidadas~\cite{hogan2021kgsurvey,pan2024unifying}. En educaci\'on, revisiones recientes catalogan aplicaciones que abarcan la construcci\'on de ontolog\'ias, el modelado del aprendiz y la recomendaci\'on de recursos, a la vez que se\~nalan una evaluaci\'on de cara al usuario d\'ebil y una transferencia entre dominios limitada~\cite{qu2024survey,wu2024personalized}. Una l\'inea complementaria modela curr\'iculos y estructuras de competencias de forma expl\'icita mediante ontolog\'ias curriculares~\cite{christou2025ontology} y ``\'arboles de habilidades'' de prerrequisitos~\cite{bijl2025skilltrees}, y la construcci\'on de grafos asistida por LLM es en s\'i misma un tema activo~\cite{bian2025llmkg}. Nos apoyamos en la pila est\'andar RDF/RDFS/OWL/SHACL/SPARQL y en el vocabulario SKOS~\cite{w3c-rdf11,w3c-rdfs,w3c-owl2-overview,w3c-owl2-profiles,w3c-shacl,w3c-sparql11,w3c-skos} en lugar de reinventarla. Frente a este cuerpo de trabajo, EKG-Python se distingue menos por la novedad del vocabulario que por ser un artefacto \emph{validado y cerrado bajo razonamiento}, con objetivos estructurales expl\'icitos y enlaces externos verificados, empleado aguas abajo como sustrato de recuperaci\'on.

\subsection{Retroalimentaci\'on de programaci\'on automatizada y basada en LLM}
Los LLM han acelerado el paso de la calificaci\'on autom\'atica de aprobado/suspenso hacia una retroalimentaci\'on formativa rica. La revisi\'on sistem\'atica de la retroalimentaci\'on automatizada sigue siendo la caracterizaci\'on de referencia de la brecha~\cite{keuning2019slr}, y la teor\'ia de la retroalimentaci\'on subraya que una retroalimentaci\'on eficaz debe abordar el modelo conceptual del aprendiz~\cite{hattie2007feedback}. El trabajo reciente apunta exactamente a esto: revisiones de la calificaci\'on autom\'atica basada en LLM~\cite{eneye2025autograding}, marcos de retroalimentaci\'on pedag\'ogica multifac\'etica~\cite{sahu2025autograder}, generaci\'on de pistas de siguiente paso sin revelar soluciones~\cite{birillo2024onestep,phung2023feedback}, sistemas de retroalimentaci\'on integrados en el aula~\cite{scholz2025partnering}, retroalimentaci\'on para la refactorizaci\'on~\cite{khairnar2025refactoring} y estudios de la implicaci\'on del estudiante con la retroalimentaci\'on generada~\cite{jacobs2025feedback}. Las revisiones de LLM para c\'odigo y de LLM con verificaci\'on formal enmarcan el problema de la evaluaci\'on~\cite{huynh2025codegen,dolcetti2025dual}, y el \emph{fine tuning} de revisi\'on de c\'odigo estructurado por dimensiones est\'a estrechamente alineado con nuestra estructura de tipo de error/concepto/explicaci\'on/sugerencia~\cite{yu2025codereview}. Nuestro generador QLoRA se apoya en el linaje del \emph{fine tuning} eficiente~\cite{hu2021lora,dettmers2023qlora,yang2025lora,jain2023neftune,hui2024qwen25coder}, pero difiere en que no presuponemos la superioridad del sistema ajustado, sino que comprobamos si transfiere al c\'odigo real de estudiantes.

\subsection{RAG, GraphRAG y su evaluaci\'on}
RAG surgi\'o como una forma de anclar la generaci\'on en evidencia recuperada y reducir la alucinaci\'on~\cite{lewis2020rag,ji2023hallucination,huang2023hallucination}. GraphRAG extiende esto a fuentes estructuradas en grafo, y dos revisiones consolidan el \'area, ambas subrayando que los datos en grafo exigen una recuperaci\'on espec\'ifica para grafos~\cite{edge2024graphrag,peng2024graphrag,han2025graphrag}. En educaci\'on, GraphRAG se ha combinado con grafos de doble estructura de conocimiento para la recomendaci\'on de rutas de aprendizaje~\cite{cheng2025graphrag}, y RAG se ha empleado para explicar violaciones SHACL~\cite{publio2025xpshacl}. La evaluaci\'on de RAG ha convergido en m\'etricas sin referencia y orientadas a la fidelidad, como RAGAS~\cite{es2023ragas}, que adoptamos para sondear el anclaje. Nuestro uso de GraphRAG es inusual al emparejarlo con un generador ajustado y al medir el anclaje con una m\'etrica propia de citaci\'on de conceptos y con la fidelidad estilo RAGAS, lo que pone de manifiesto la tensi\'on entre ambas.

\subsection{Validez del LLM como juez y fiabilidad de las puntuaciones}
La fiabilidad de cualquier puntuaci\'on se cuantifica con estad\'isticos establecidos: el $\kappa$ de Fleiss para la concordancia categ\'orica entre muchos evaluadores~\cite{fleiss1971kappa}, el $\alpha$ de Krippendorff para la fiabilidad ordinal~\cite{krippendorff2018content,marzi2024kalpha}, el coeficiente de correlaci\'on intraclase ICC(2,$k$) para la fiabilidad de las puntuaciones \emph{promediadas}~\cite{shrout1979icc,mcgraw1996icc,ruan2024divergent}, el an\'alisis de Bland--Altman para la concordancia entre dos m\'etodos~\cite{bland1986agreement} y las bandas de Landis--Koch para interpretar $\kappa$~\cite{landis1977agreement}. Para comparar varios sistemas sobre los mismos elementos usamos la prueba de Friedman con comparaciones post-hoc siguiendo a Dem\v{s}ar~\cite{demsar2006comparisons}. El paradigma del LLM como juez~\cite{zheng2023judging,li2024judges} se cuestiona cada vez m\'as: hay estudios que miden la consistencia de las puntuaciones~\cite{hackl2023gpt4}, muestran que las decisiones de dise\~no alteran la fiabilidad~\cite{yamauchi2025judge}, cuantifican el sesgo de puntuaci\'on~\cite{li2025scoringbias} y argumentan desde la teor\'ia de la medici\'on que tales jueces fallan tanto en validez como en fiabilidad~\cite{chehbouni2025neither}, con remedios como paneles de jueces disjuntos~\cite{verga2024poll} o una prueba formal de sustituci\'on del anotador alternativo~\cite{calderon2025alttest}. La mayor parte de esta literatura mide la consistencia entre jueces; comparativamente poca mide la validez de criterio juez--humano para una tarea generativa concreta con un panel real, que es lo que reportamos aqu\'i.

%% =========================================================================
\section{El grafo de conocimiento EKG-Python y la arquitectura GraphRAG}
%% =========================================================================
Cuatro artefactos componen el enfoque: el grafo de conocimiento educativo can\'onico, un canal de recuperaci\'on y generaci\'on GraphRAG, un protocolo de \emph{fine tuning} con QLoRA y un dise\~no factorial de cuatro sistemas.

\subsection{Ingenier\'ia de EKG-Python}
EKG-Python, el n\'ucleo sem\'antico del proyecto, contiene \textbf{157} conceptos y \textbf{1772} tripletas aseveradas. Al materializar el cierre OWL~2~RL, el grafo se expande a \textbf{4786} tripletas, a\~nadiendo $3014$ enunciados inferidos. Los $157$ conceptos se organizan como individuos tipados en siete subclases de concepto (principios transversales, paradigmas, estructuras de control, m\'odulos de biblioteca, estructuras de datos, funciones integradas y tipos de datos), junto con temas y concepciones err\'oneas documentadas, sobre un esquema de \textbf{20} clases OWL, \textbf{21} propiedades de objeto y \textbf{7} propiedades de tipo de dato, elaborado siguiendo la pr\'actica establecida de ingenier\'ia de ontolog\'ias en Prot\'eg\'e~\cite{debellis2021protege}. El vocabulario propio \texttt{pyedu:} se reserva para t\'erminos genuinamente espec\'ificos del dominio, mientras que los recursos se acu\~nan bajo \texttt{pyr:} y todo lo dem\'as se toma prestado de vocabularios consolidados. Ning\'un individuo se tipa a mano como \texttt{pyedu:Concepto}, ya que la pertenencia a la clase se propaga \'integramente mediante \texttt{rdfs:subClassOf}, de modo que la consulta diagn\'ostica \texttt{?x~a~pyedu:Concepto} devuelve \textbf{0} filas sin inferencia y exactamente \textbf{157} con inferencia OWL~2~RL. Este contraste $0\!\to\!157$ es la demostraci\'on central de que es el razonamiento, y no la aseveraci\'on manual, lo que puebla la clase de conceptos (Fig.~\ref{fig:d1}).

Una decisi\'on sem\'antica deliberada rige los enlaces externos. Los $30$ enlaces verificados hacia Wikidata~\cite{vrandecic2014wikidata} usan \texttt{skos:exactMatch}, no \texttt{owl:sameAs}. Bajo OWL~2~RL, \texttt{owl:sameAs} fundir\'ia cada entidad externa en la clase de conceptos e inflar\'ia el recuento inferido m\'as all\'a de los $157$ conceptos nativos; \texttt{skos:exactMatch} registra la correspondencia sin fusi\'on de identidad y mantiene el recuento en los $157$ sem\'anticamente correctos. Articulamos adem\'as la jerarqu\'ia con $19$ enlaces \texttt{skos:broader} y modelamos relaciones N-arias por reificaci\'on, en particular la clase \texttt{pyedu:EvaluacionActividad} ($10$ instancias), que registra la procedencia de cada aseveraci\'on evaluativa.

Validamos el grafo frente a diez formas SHACL de nodo y de propiedad~\cite{pyshacl} (todo concepto debe pertenecer a un tema, los valores de dificultad deben caer dentro de rango, los ejercicios deben llevar metadatos obligatorios, entre otras). SHACL reporta \textbf{0} violaciones sobre el grafo can\'onico (\texttt{sh:conforms} verdadero) y, como control negativo, \textbf{6} violaciones sobre un grafo deliberadamente malformado, lo que demuestra que las restricciones tienen un poder discriminante real. Un \texttt{CONSTRUCT} que aplana el cierre transitivo de prerrequisitos produce $340$ tripletas sin inferencia y $356$ con OWL~2~RL, y una consulta federada \texttt{SERVICE} recupera del punto de acceso en vivo de Wikidata las descripciones en espa\~nol de los conceptos enlazados. El grafo se serializa en Turtle y va y vuelve sin p\'erdida a trav\'es de JSON-LD, N-Triples y RDF/XML~\cite{rdflib}. Esto responde afirmativamente a la PI1.

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figs/fig_d1_triple_waterfall}
\caption{Cascada de materializaci\'on de EKG-Python. Las barras siguen el recuento acumulado de tripletas desde los $1772$ enunciados aseverados, pasando por las $+3014$ inferencias a\~nadidas por el cierre OWL~2~RL, hasta las $4786$ tripletas finales; un escal\'on insertado anota el contraste de razonamiento complementario, en el que la consulta diagn\'ostica \texttt{?x a pyedu:Concepto} salta de $0$ a $157$ filas una vez habilitada la inferencia, mientras que las $30$ entidades de Wikidata enlazadas con \texttt{skos:exactMatch} \emph{no} se absorben deliberadamente en la clase de conceptos.}
\label{fig:d1}
\end{figure*}

\subsection{El canal GraphRAG}
Dada una entrega de un estudiante, el canal produce retroalimentaci\'on estructurada en tres etapas. Primero, un vinculador de conceptos analiza el AST de la entrega (el m\'odulo \texttt{ast} de Python) aumentado con m\'etricas de complejidad (\texttt{radon}) y mapea las construcciones de c\'odigo a conceptos de EKG; la vinculaci\'on basada en el AST sustituye a una heur\'istica previa de subcadenas que produc\'ia coincidencias espurias. Segundo, un recuperador indexa los $157$ conceptos con incrustaciones de frase \texttt{nomic-embed-text} (servidas localmente a trav\'es de Ollama) y devuelve un subgrafo de los $k$ mejores (los conceptos coincidentes junto con sus prerrequisitos, conceptos relacionados y concepciones err\'oneas asociadas) expandido mediante SPARQL sobre un almac\'en RDF~\cite{ontotext-graphdb} con razonamiento nativo OWL~2~RL y soporte SHACL. Tercero, el subgrafo recuperado se serializa en el prompt de generaci\'on, y el generador emite retroalimentaci\'on en espa\~nol con una estructura fija de cinco partes: tipo de error, concepto afectado, explicaci\'on divulgativa (popular), explicaci\'on t\'ecnica y una sugerencia accionable. Esta estructura refleja las dimensiones sobre las que la retroalimentaci\'on se punt\'ua despu\'es. Todos los modelos se ejecutan localmente por soberan\'ia de datos y coste marginal nulo.

\subsection{El protocolo de \emph{fine tuning} con QLoRA}
El generador ajustado (el adaptador del Sistema B, reutilizado por el h\'ibrido D) parte de una base \texttt{Qwen2.5-Coder-7B-Instruct}~\cite{hui2024qwen25coder} adaptada con QLoRA, esto es, cuantizaci\'on NF4 de 4 bits de la base congelada con adaptadores de bajo rango (rango $16$, $\alpha{=}32$) entrenados encima~\cite{dettmers2023qlora,hu2021lora}, en una sola NVIDIA RTX~5090. Los datos de entrenamiento proceden de un corpus sint\'etico de retroalimentaci\'on dividido de modo que los esqueletos estructurales quedan fuera del entrenamiento con solapamiento cero, una medida anti-fuga. Una ejecuci\'on sin regularizaci\'on sobreajust\'o, con la p\'erdida de evaluaci\'on en reservado \emph{ascendiendo} \'epoca tras \'epoca ($1.297$, $1.380$, $1.410$). A\~nadir NEFTune ($\alpha{=}5$)~\cite{jain2023neftune} y un dropout de LoRA de $0.1$ invirti\'o la tendencia. La p\'erdida en reservado \emph{desciende} a $1.051$ y luego a $1.028$, con una exactitud de token en reservado que alcanza el \textbf{0.842} (Fig.~\ref{fig:d2}). Se selecciona como can\'onico el punto de control de la segunda \'epoca.

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figs/fig_d2_loss_dumbbell}
\caption{P\'erdida de evaluaci\'on en reservado del generador QLoRA como comparaci\'on de mancuerna conectada a lo largo de las \'epocas de entrenamiento. La ejecuci\'on sin regularizar (marcadores huecos) deriva \emph{al alza} ($1.297\!\to\!1.380\!\to\!1.410$), la firma del sobreajuste, mientras que la ejecuci\'on regularizada con NEFTune $\alpha{=}5$ y dropout de LoRA $0.1$ (marcadores rellenos) desciende a $1.051$ y luego a $1.028$; la separaci\'on entre los extremos emparejados visualiza la generalizaci\'on recuperada. Fuente: registros de \emph{fine tuning} en reservado.}
\label{fig:d2}
\end{figure*}

\subsection{El dise\~no factorial A/B/C/D}
Comparamos cuatro sistemas que cruzan el \emph{fine tuning} con el anclaje en el grafo. \textbf{A} es el LLM base (\texttt{llama3.1:8b})~\cite{grattafiori2024llama3} sin ninguna aumentaci\'on. \textbf{B} es el modelo ajustado con QLoRA sin el grafo. \textbf{C} es GraphRAG sobre el LLM base (anclaje sin \emph{fine tuning}). \textbf{D} es el h\'ibrido, el modelo ajustado con GraphRAG. El dise\~no a\'isla la contribuci\'on marginal del \emph{fine tuning} ($A\!\to\!B$, $C\!\to\!D$), del anclaje ($A\!\to\!C$, $B\!\to\!D$) y de su combinaci\'on ($A\!\to\!D$), y sustenta todos los resultados comparativos que siguen (Fig.~\ref{fig:d3}).

\begin{figure*}[!t]
\centering
\includegraphics[width=0.62\textwidth]{figs/fig_d3_factorial_effects}
\caption{El factorial $2\times2$ como matriz de efectos marginales. Las cuatro celdas contienen la exactitud de categor\'ia sint\'etica de A, B, C y D cruzando el \emph{fine tuning} con QLoRA (filas) con el anclaje en el grafo (columnas); los m\'argenes de fila y columna reportan el efecto principal de cada factor como la media sobre su nivel (el \emph{fine tuning} eleva la media de $0.31$ a $0.73$; el anclaje, de $0.48$ a $0.56$) y dejan expl\'icito que el \emph{fine tuning} es el efecto principal dominante sobre esta m\'etrica objetiva, mientras que el anclaje aporta una elevaci\'on menor y aditiva. Fuente: \texttt{resultados\_abcd\_n50}.}
\label{fig:d3}
\end{figure*}

%% =========================================================================
\section{Dise\~no experimental}
%% =========================================================================
Esta secci\'on detalla el marco emp\'irico con el que ponemos a prueba las preguntas de investigaci\'on. Describimos primero los dos conjuntos de evaluaci\'on (el banco de pruebas sint\'etico en distribuci\'on y el corpus de c\'odigo real fuera de distribuci\'on) junto con la auditor\'ia de diversidad que motiva su uso conjunto, y a continuaci\'on los modelos comparados, el juez automatizado, el panel humano y el protocolo de medici\'on que articula las m\'etricas objetivas, las del juez y las de anotaci\'on humana.

\subsection{Conjuntos de datos y su diversidad}
Usamos dos conjuntos de evaluaci\'on. El banco de pruebas \emph{sint\'etico} reservado ($n{=}50$) se extrae de esqueletos estructurales no vistos durante el \emph{fine tuning}; para cada caso se conocen la categor\'ia de error prevista y el concepto afectado, de modo que las m\'etricas principales se anclan en la verdad de referencia y son independientes de cualquier juez. Una auditor\'ia de diversidad cuantifica una amenaza a la validez. Aunque el corpus subyacente tiene un $53\%$ de cadenas objetivo \'unicas, la similitud coseno media \emph{dentro} de un esqueleto es de $0.962$ frente a una media global de $0.604$, por lo que los objetivos ``\'unicos'' difieren en gran medida en los nombres de variables. Esta homogeneidad intraesqueleto es la causa ra\'iz cuantificada del sobreajuste documentado m\'as adelante, y motiva el segundo conjunto de datos.

El conjunto \emph{real} ($n{=}60$) es una prueba de generalizaci\'on fuera de distribuci\'on extra\'ida del corpus p\'ublico de reparaci\'on ``intro\_prog'' de CS1 de la Dublin City University. Aqu\'i, el diff defectuoso$\to$correcci\'on del docente es la verdad de referencia, y la m\'etrica objetiva \emph{relevancia de correcci\'on} es la fracci\'on de tokens de la correcci\'on real a los que hace referencia la retroalimentaci\'on. Por seguridad, el c\'odigo nunca se ejecuta, y solo se aplican \texttt{ast.parse} y el c\'alculo de diferencias.

\subsection{Modelos, juez y protocolo}
Los sistemas A y C usan \texttt{llama3.1:8b}; B y D usan el adaptador Qwen ajustado. El juez LLM es \texttt{qwen2.5:32b}~\cite{qwen2024qwen25}. Todos los modelos se ejecutan localmente en una sola RTX~5090 bajo Python~3.12, con la semilla aleatoria fijada en $11$. Se\~nalamos, y controlamos, el solapamiento parcial dentro de la misma familia entre el juez (Qwen) y los sistemas B/D, que es una de las razones por las que el veredicto se ancla en m\'etricas objetivas inmunes al juez. Combinamos tres clases de medici\'on. Las m\'etricas \emph{objetivas} se anclan en la verdad de referencia: exactitud de categor\'ia y exactitud de concepto en el conjunto sint\'etico, y relevancia de correcci\'on en el conjunto real. Dos puntuaciones basadas en reglas (identificaci\'on y trazabilidad, $1$--$5$) son recodificaciones af\'ines deterministas de la exactitud de categor\'ia y de concepto, y se reportan como escalas alternativas, no como confirmaciones independientes. Las puntuaciones del \emph{juez} eval\'uan tres dimensiones cualitativas (explicaci\'on divulgativa, explicaci\'on t\'ecnica, sugerencia) en $1$--$5$; la estabilidad del juez se sondea con un panel multifamilia (Qwen, Llama, Gemma). La fidelidad al subgrafo recuperado se mide con una m\'etrica propia de citaci\'on de conceptos y con la fidelidad a nivel de afirmaci\'on y la precisi\'on de contexto al estilo RAGAS~\cite{es2023ragas}.

La anotaci\'on \emph{humana} es el instrumento de criterio. Diez revisores (siete programadores profesionales y tres docentes universitarios, identificados \'unicamente como R01--R10 a petici\'on suya) evaluaron a ciegas la retroalimentaci\'on de los cuatro sistemas sobre los $50$ casos reservados en las mismas tres dimensiones cualitativas, con los sistemas anonimizados y barajados. Cada revisor produjo $200$ filas ($50$ casos $\times$ $4$ sistemas), cada una con tres puntuaciones Likert, para un total de $2000$ filas y \textbf{6000} valoraciones humanas a nivel de dimensi\'on frente a las $600$ celdas del juez. La concordancia se reporta con el $\kappa$ de Fleiss, el $\alpha$ de Krippendorff y el ICC(2,$k$); la validez de criterio humano$\leftrightarrow$juez, con las correlaciones de Pearson y Spearman y el an\'alisis de Bland--Altman, siendo el consenso humano la media por celda de los diez revisores~\cite{fleiss1971kappa,krippendorff2018content,shrout1979icc,bland1986agreement}.

%% =========================================================================
\section{Resultados}
%% =========================================================================
Presentamos los hallazgos en el mismo orden que las preguntas de investigaci\'on. Comenzamos por el rendimiento en distribuci\'on sobre el banco de pruebas sint\'etico, seguimos con la generalizaci\'on al c\'odigo real de estudiantes y la inversi\'on de la ordenaci\'on que all\'i emerge, y cerramos con el estudio de fiabilidad que contrasta la estabilidad del juez LLM con la del panel humano promediado, complementado por una l\'inea de reconstrucci\'on independiente.

\subsection{Banco de pruebas en distribuci\'on (PI2)}
En el banco de pruebas sint\'etico reservado, el h\'ibrido D encabeza las m\'etricas objetivas, con \textbf{0.76} de exactitud de categor\'ia y \textbf{0.54} de exactitud de concepto, por delante de B, C y el base A (Tabla~\ref{tab:syn}). El patr\'on factorial resulta informativo. El \emph{fine tuning} (B) es lo que m\'as mejora la clasificaci\'on del tipo de error (categor\'ia $0.70$), el anclaje en el grafo (C) es lo que m\'as mejora la exactitud de concepto ($0.48$) y la trazabilidad, y el h\'ibrido, que combina ambos, gana o empata en todas las dimensiones. Las dos aumentaciones mejoran, por tanto, dimensiones distintas y en buena medida independientes de la retroalimentaci\'on, sin competir por la misma. El an\'alisis inferencial (Friedman con post-hoc de Wilcoxon corregido por Holm) confirma que todos los sistemas aumentados superan al base A de forma significativa en las m\'etricas objetivas (exactitud de categor\'ia $p<0.001$; IC del $95\%$ por bootstrap para $D-A$ de $[+0.36,+0.64]$), pero la ventaja de D sobre B \emph{no} es significativa con este tama\~no muestral ($p\approx0.18$ para categor\'ia). Un an\'alisis de anclaje a\~nade matices. D es casi el doble de fiel al subgrafo recuperado que C en la m\'etrica propia de citaci\'on de conceptos ($0.65$ frente a $0.35$), aunque cita menos conceptos ($\approx2.5$ frente a $>5$ por caso), mientras que a nivel de afirmaciones at\'omicas la fidelidad estilo RAGAS de C y D es comparable ($0.62$ frente a $0.58$) y la precisi\'on de contexto es id\'entica ($0.375$), lo que se\~nala al recuperador, y no al generador, como el lugar de la mejora.

\begin{table}[!t]
\centering
\caption{Banco de pruebas sint\'etico reservado ($n{=}50$). Las m\'etricas objetivas (categor\'ia, concepto) est\'an ancladas en la verdad de referencia y son independientes del juez; las dimensiones cualitativas son puntuaciones del juez LLM ($1$--$5$). El h\'ibrido D encabeza o empata en todas.}
\label{tab:syn}
\setlength{\tabcolsep}{4pt}\small
\resizebox{\columnwidth}{!}{%
\begin{tabular}{@{}lcccc@{}}
\toprule
M\'etrica & A (base) & B (QLoRA) & C (GraphRAG) & D (h\'ibrido) \\
\midrule
Exactitud de categor\'ia   & 0.26 & 0.70 & 0.36 & \textbf{0.76} \\
Exactitud de concepto    & 0.18 & 0.50 & 0.48 & \textbf{0.54} \\
Identificaci\'on (1--5) & 2.04 & 3.80 & 2.44 & \textbf{4.04} \\
Trazabilidad (1--5) & 1.72 & 3.00 & 2.92 & \textbf{3.16} \\
Expl.\ divulgativa (juez)  & 3.52 & 3.38 & 3.20 & \textbf{3.66} \\
T\'ecnica (juez)   & 3.02 & 3.44 & 2.44 & \textbf{3.62} \\
Sugerencia (juez)  & \multicolumn{4}{c}{$\approx 2.9$ (empate a cuatro)} \\
\bottomrule
\end{tabular}%
}
\end{table}

\subsection{Generalizaci\'on al c\'odigo real de estudiantes (PI2)}
Sobre c\'odigo real de estudiantes la ordenaci\'on \textbf{se invierte} (Tabla~\ref{tab:real}; Fig.~\ref{fig:d4}). El base A alcanza \textbf{0.802} de relevancia de correcci\'on y C alcanza $0.733$, mientras que el ajustado B cae a $0.433$ y el h\'ibrido D a \textbf{0.323}. La inversi\'on es estad\'isticamente robusta. Una prueba de Friedman da $\chi^2{=}68.7$, $p{=}8.1\times10^{-15}$ ($W$ de Kendall $=0.218$), y sobrevive a la deduplicaci\'on a $54$ casos \'unicos ($p{=}7.6\times10^{-14}$). Las comparaciones post-hoc de Wilcoxon corregido por Holm y de Nemenyi coinciden en que A y C superan significativamente a B y D ($A\!\approx\!C$ no significativo). Esta es evidencia directa y confirmada estad\'isticamente de sobreajuste a las plantillas sint\'eticas, dado que la ventaja en distribuci\'on de los sistemas ajustados no se transfiere a los errores reales. Se\~nalamos una salvedad en ambas direcciones. La m\'etrica de relevancia de correcci\'on premia repetir los tokens literales de la correcci\'on, y los B/D ajustados se entrenaron para dar retroalimentaci\'on conceptual en espa\~nol que, por dise\~no, no reproduce nombres de variables, de modo que parte de la brecha refleja el \emph{estilo} de la retroalimentaci\'on m\'as que su correcci\'on. La se\~nal objetiva, con todo, se sostiene y restringe la afirmaci\'on central a ``la aumentaci\'on ayuda en distribuci\'on'', no a ``el h\'ibrido es el mejor en general''.

\begin{table}[!t]
\centering
\caption{C\'odigo real de estudiantes, CS1 de la DCU de Dubl\'in ($n{=}60$). La ordenaci\'on objetiva de relevancia de correcci\'on se invierte respecto al banco de pruebas sint\'etico (Friedman $p{=}8.1\times10^{-15}$).}
\label{tab:real}
\setlength{\tabcolsep}{4pt}\small
\resizebox{\columnwidth}{!}{%
\begin{tabular}{@{}lcccc@{}}
\toprule
M\'etrica & A (base) & B (QLoRA) & C (GraphRAG) & D (h\'ibrido) \\
\midrule
Relevancia de correcci\'on (obj.) & \textbf{0.802} & 0.433 & 0.733 & 0.323 \\
Expl.\ divulgativa (juez)   & 3.72 & 3.18 & 3.45 & 3.17 \\
T\'ecnica (juez)    & 3.03 & 2.40 & 2.68 & 2.47 \\
Sugerencia (juez)   & 1.97 & 2.80 & 2.62 & \textbf{2.92} \\
\bottomrule
\end{tabular}%
}
\end{table}

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figs/fig_d4_rank_inversion}
\caption{Diagrama de flujo de rangos (bump) de la posici\'on de los cuatro sistemas en la m\'etrica objetiva principal a trav\'es de las dos distribuciones. A la izquierda, los sistemas se ordenan por la exactitud de categor\'ia sint\'etica ($D>B>C>A$); a la derecha, por la relevancia de correcci\'on en c\'odigo real ($A>C>B>D$). Las l\'ineas que se cruzan hacen visible el fallo de generalizaci\'on: los sistemas ajustado e h\'ibrido caen de los dos primeros puestos a los dos \'ultimos, mientras que los sistemas base y GraphRAG ascienden. Fuente: \texttt{resultados\_abcd\_n50} y la ejecuci\'on de CS1 de la DCU de Dubl\'in.}
\label{fig:d4}
\end{figure*}

\subsection{Estabilidad del juez y fiabilidad del panel humano (PI3, PI4)}
El juez automatizado resulta poco estable. Un panel de jueces multifamilia (Qwen, Llama, Gemma) muestra una concordancia entre jueces d\'ebil, con un $\kappa$ de Fleiss $=0.213$ a nivel global, pr\'acticamente ausente en las dimensiones divulgativa y t\'ecnica y solo apenas positiva en la dimensi\'on de sugerencia. El juez Qwen es sistem\'aticamente el m\'as estricto ($\approx3.1$) y Llama/Gemma los m\'as indulgentes ($4.1$--$4.3$). Una comprobaci\'on pareada independiente reproduce el $\kappa$ ponderado de Cohen Qwen--Llama en $0.118$. Las puntuaciones cualitativas del juez dependen, por tanto, fuertemente del juez elegido.

La fiabilidad humana ofrece, en cambio, un panorama distinto. Entre los diez revisores, la concordancia categ\'orica por evaluador tambi\'en es d\'ebil ($\kappa$ de Fleiss $=0.096$; $\alpha$ de Krippendorff $=0.318$), pero el panel \emph{promediado} es fiable, con un ICC(2,$k$)~$=\textbf{0.831}$ (IC del $95\%$ $[0.80,0.86]$). Estos estad\'isticos no se contradicen entre s\'i. La granularidad de $1$--$5$ deprime la concordancia categ\'orica entre individuos, mientras que el promediado cancela el ruido idiosincr\'asico. Los humanos concuerdan m\'as en la dimensi\'on t\'ecnica (ICC $0.910$, $\alpha$ $0.507$) y menos en la dimensi\'on de sugerencia (ICC $0.605$, $\alpha$ $0.116$), como muestran la Tabla~\ref{tab:agree} y la Fig.~\ref{fig:d5}.

\begin{table}[!t]
\centering
\caption{Concordancia humana entre anotadores por dimensi\'on (diez revisores, $6000$ valoraciones). Los coeficientes por evaluador son bajos, pero la fiabilidad del panel promediado ICC(2,$k$) es alta.}
\label{tab:agree}
\begin{tabular}{@{}lcccc@{}}
\toprule
Coeficiente & Global & Divulg. & T\'ecnica & Sugerencia \\
\midrule
$\kappa$ de Fleiss         & 0.096 & 0.071 & 0.143 & 0.032 \\
$\alpha$ de Krippendorff  & 0.318 & 0.216 & 0.507 & 0.116 \\
ICC(2,$k$) concord.\ abs.    & \textbf{0.831} & 0.736 & \textbf{0.910} & 0.605 \\
\bottomrule
\end{tabular}
\end{table}

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figs/fig_d5_reliability_amplification}
\caption{Amplificaci\'on de la fiabilidad por promediado del panel. Para cada dimensi\'on, una flecha ascendente conecta el bajo $\kappa$ de Fleiss por evaluador (cola de la flecha) con el alto ICC(2,$k$) del panel promediado (cabeza de la flecha), sobre bandas de interpretaci\'on de Landis--Koch sombreadas. La dimensi\'on t\'ecnica es la m\'as amplificada ($0.143\!\to\!0.910$) y la dimensi\'on de sugerencia la que menos ($0.032\!\to\!0.605$); la flecha global termina en $0.831$. Fuente: \texttt{analisis\_humano}.}
\label{fig:d5}
\end{figure*}

El panel humano promediado distingue los cuatro sistemas en todas las dimensiones, con la prueba de Friedman significativa en todas ($\chi^2{=}122.3$, $137.8$ y $92.6$ para las dimensiones divulgativa, t\'ecnica y de sugerencia; todas $p<0.001$) y los seis contrastes pareados significativos por dimensi\'on bajo pruebas de Wilcoxon corregidas por Holm. Las medias de consenso trazan un perfil interpretable y transversal (Fig.~\ref{fig:d6}). En la dimensi\'on t\'ecnica encabezan los sistemas ajustado e h\'ibrido (D $4.20$, B $3.82$) por encima del base y GraphRAG (A $2.37$, C $2.58$), mientras que en la dimensi\'on divulgativa (C $3.77$, A $3.60$, B $3.02$, D $2.83$) y en la dimensi\'on de sugerencia (C $3.64$, A $3.23$, D $3.03$, B $2.90$) la ordenaci\'on favorece a C y A. Tal comportamiento es el esperable de un instrumento utilizable y confirma la PI4.

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figs/fig_d6_diverging_specialization}
\caption{Especializaci\'on por dimensi\'on de los cuatro sistemas como gr\'afico de barras divergentes. La media de consenso humano de cada sistema se muestra como una desviaci\'on (a izquierda/derecha de la media global del panel por dimensi\'on) para las dimensiones divulgativa, t\'ecnica y de sugerencia; el patr\'on en espejo entre la fila t\'ecnica (B, D positivos) y las filas divulgativa/sugerencia (A, C positivos) es la complementariedad cuantificada del \emph{fine tuning} y el anclaje en el grafo. Fuente: medias de consenso de \texttt{analisis\_humano}.}
\label{fig:d6}
\end{figure*}

La validez de criterio del juez es pobre. Frente al consenso humano, el juez LLM no se valida como instrumento absoluto (Tabla~\ref{tab:valid}; Fig.~\ref{fig:d7}). La correlaci\'on de Pearson global es de solo $0.203$ (Spearman $0.189$). En la dimensi\'on de la explicaci\'on divulgativa es \emph{negativa} ($-0.203$), de modo que all\'i el juez ordena los casos de forma inversa a los humanos, mientras que solo la dimensi\'on t\'ecnica alcanza un moderado $0.363$ y la dimensi\'on de sugerencia es pr\'acticamente nula ($0.041$). El an\'alisis de Bland--Altman da un sesgo medio casi nulo ($+0.139$, humano menos juez) pero unos l\'imites de concordancia de $[-2.19,+2.47]$, que abarcan casi todo el rango $1$--$5$, de modo que el juez y el panel no pueden tratarse como intercambiables a nivel de una celda individual. La correlaci\'on se calcula sobre los $33$ de $50$ casos que tanto los humanos como el juez puntuaron. En la puntuaci\'on absoluta, por tanto, la PI3 recibe una respuesta negativa.

\begin{table}[!t]
\centering
\caption{Fiabilidad y validez de criterio humano$\leftrightarrow$juez. El panel promediado es fiable; la validez de criterio del juez es d\'ebil y en parte negativa.}
\label{tab:valid}
\begin{tabular}{@{}lc@{}}
\toprule
Magnitud & Valor \\
\midrule
$\kappa$ de Fleiss entre jueces (multifamilia) & 0.213 \\
$\kappa$ de Fleiss humano entre evaluadores ($n{=}10$) & 0.096 \\
$\alpha$ de Krippendorff humano (ordinal) & 0.318 \\
ICC(2,$k$) humano, concordancia absoluta & \textbf{0.831} \\
$r$ de Pearson humano$\leftrightarrow$juez & 0.203 \\
\quad dimensi\'on de explicaci\'on divulgativa & $-0.203$ \\
\quad dimensi\'on de explicaci\'on t\'ecnica & $+0.363$ \\
Sesgo de Bland--Altman (humano $-$ juez) & $+0.139$ \\
Casos solapados (humano $\cap$ juez) & 33/50 \\
\bottomrule
\end{tabular}
\end{table}

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figs/fig_d7_criterion_scatter}
\caption{M\'ultiplos peque\~nos de dispersi\'on de validez de criterio: valoraci\'on de consenso humano ($y$) frente a la valoraci\'on del juez LLM ($x$) sobre los $33$ casos solapados, un panel por dimensi\'on cualitativa con un ajuste por m\'inimos cuadrados por dimensi\'on. El panel t\'ecnico tiene pendiente positiva ($r{=}0.363$); el panel divulgativo tiene pendiente \emph{negativa} ($r{=}-0.203$); el panel de sugerencia es plano ($r{=}0.041$). El contraste con una hipot\'etica l\'inea de identidad expone cu\'an lejos est\'a el juez de seguir el consenso humano. Fuente: \texttt{analisis\_humano} (33 casos comunes).}
\label{fig:d7}
\end{figure*}

Conviene situar la prueba del anotador alternativo en su contexto. El procedimiento formal de sustituci\'on Alt-Test~\cite{calderon2025alttest} ($\varepsilon{=}0.15$) devuelve una tasa de victoria global de $1.0$ (probabilidad de ventaja media $0.696$), nominalmente ``sustituci\'on justificada'' (por dimensi\'on $1.0$/$0.6$/$0.7$). Esto \emph{no} contradice la d\'ebil validez de criterio, porque la Alt-Test es \emph{relativa} a un panel que de por s\'i concuerda muy poco ($\kappa$ de Fleiss $=0.096$), de modo que ``igualar a un anotador t\'ipico'' es un list\'on bajo que un juez internamente consistente supera, mientras que ``igualar al consenso'' (validez de criterio) sigue siendo dif\'icil. El $\kappa$ ponderado humano$\leftrightarrow$juez coincide (global $+0.161$, \emph{negativo} en la dimensi\'on divulgativa, $-0.173$). La Alt-Test no rescata al juez como instrumento absoluto; presentamos ambos lado a lado para que el veredicto favorable no se lea de forma aislada.

\subsection{Una l\'inea de reconstrucci\'on independiente}
Un experimento de reconstrucci\'on separado y autocontenido (que no debe confundirse con el estudio can\'onico A/B/C/D) aline\'o el generador con optimizaci\'on de preferencias ORPO sin referencia y volvi\'o a puntuar cuatro variantes sobre diez casos reservados con el mismo juez \texttt{qwen2.5:32b} (Fig.~\ref{fig:d8}). Esto matiza a\'un m\'as la tesis. La recuperaci\'on basada en pasajes \emph{no} supera al base ($3.467$ y $3.567$ frente a $3.733$), y solo la recuperaci\'on sem\'antica quir\'urgica sobre el grafo ontol\'ogico (ORPO-v4, $4.233$) lo supera, a\'un por debajo de un techo humano de $4.463$ y con la mejora atribuible a la recuperaci\'on, no al \emph{fine tuning}. La lectura reconciliada no es ``la aumentaci\'on gana'', sino que su valor depende cr\'iticamente de \emph{qu\'e} se recupera y de \emph{cu\'an real} es el c\'odigo evaluado.

\begin{figure*}[!t]
\centering
\includegraphics[width=\textwidth]{figs/fig_d8_orpo_bullet}
\caption{L\'inea de reconstrucci\'on ORPO independiente como gr\'afico de vi\~neta en la escala $1$--$5$ del juez. Las barras horizontales dan la puntuaci\'on media de cada variante (Base $3.733$; ORPO-v2 $3.467$; ORPO-v3 $3.567$; ORPO-v4 $4.233$); una l\'inea de referencia discontinua marca el nivel base y una l\'inea de objetivo continua marca el techo humano ($4.463$). Solo ORPO-v4, que recupera de forma quir\'urgica sobre la ontolog\'ia, supera el base, y ninguna alcanza el techo humano. Fuente: ejecuci\'on de reconstrucci\'on independiente ($n{=}10$). Este experimento se reporta por separado y nunca se mezcla con las m\'etricas A/B/C/D.}
\label{fig:d8}
\end{figure*}

%% =========================================================================
\section{Discusi\'on}
%% =========================================================================
Interpretamos a continuaci\'on los resultados en dos planos. Primero discutimos bajo qu\'e condiciones la aumentaci\'on (el anclaje en el grafo y el \emph{fine tuning}) mejora la retroalimentaci\'on, conciliando la victoria en distribuci\'on con la inversi\'on observada sobre c\'odigo real. Despu\'es extraemos las implicaciones metodol\'ogicas para confiar en la evaluaci\'on educativa automatizada y el papel que en ella deben tener el juez LLM y el panel humano.

\subsection{¿Cu\'ando ayuda la aumentaci\'on?}
Los dos bancos de pruebas cuentan una historia coherente una vez que se tiene en cuenta la auditor\'ia de diversidad. En distribuci\'on, la aumentaci\'on funciona. El \emph{fine tuning} mejora la clasificaci\'on del tipo de error, el anclaje en el grafo eleva la identificaci\'on de conceptos y la trazabilidad, y el h\'ibrido combina ambos, con todos los sistemas aumentados superando significativamente al LLM base. Fuera de distribuci\'on, la ordenaci\'on se invierte, y la inversi\'on es estad\'isticamente significativa. Lo que reconcilia ambas es la homogeneidad intraesqueleto medida en los datos sint\'eticos de entrenamiento (coseno $0.962$ dentro de los esqueletos frente a $0.604$ a nivel global). El generador ajustado aprendi\'o el \emph{formato} de un peque\~no conjunto de plantillas en lugar de una competencia de retroalimentaci\'on generalizable, de modo que su ventaja se evapora sobre el corpus real heterog\'eneo. Este es un diagn\'ostico de sobreajuste, y probar fuera de distribuci\'on es lo que convierte una sospecha en un resultado medido. La l\'inea de reconstrucci\'on independiente afina la lecci\'on, ya que la recuperaci\'on solo ayuda cuando es \emph{nativa del grafo y quir\'urgica}, no cuando el contexto se inyecta como pasajes planos. En conjunto, ambos hallazgos reformulan la contribuci\'on de GraphRAG en educaci\'on, de ``a\~nade un grafo'' a ``recupera el subgrafo correcto, y demu\'estralo sobre c\'odigo real''.

\subsection{Confiar en la evaluaci\'on educativa automatizada}
El estudio de fiabilidad lleva un mensaje metodol\'ogico que trasciende este sistema. No debe presuponerse v\'alido un juez LLM de retroalimentaci\'on de programaci\'on, pues entre familias es inestable y, frente a un panel humano, su validez de criterio es d\'ebil e incluso negativa en la dimensi\'on m\'as subjetiva. Al mismo tiempo, el fallo no es de la medici\'on humana, sino del suced\'aneo de un \'unico juez; el panel \emph{promediado} de diez personas es un instrumento fiable (ICC(2,$k$)~$=0.831$) que discrimina los sistemas, aunque la concordancia por evaluador sea baja. La recomendaci\'on pr\'actica es doble: anclar los veredictos comparativos en m\'etricas objetivas e inmunes al juez all\'i donde exista verdad de referencia, y tratar las puntuaciones del juez LLM en las dimensiones subjetivas como se\~nales indicativas que han de corroborarse mediante un panel humano \emph{agregado} en lugar de un \'unico evaluador automatizado.

%% =========================================================================
\section{Limitaciones}
%% =========================================================================
Varias limitaciones acotan las afirmaciones. El banco de pruebas sint\'etico es peque\~no ($n{=}50$) y generado a partir de plantillas, por lo que sus cifras absolutas son indicativas, no concluyentes, y la auditor\'ia de diversidad muestra que son homog\'eneas intraplantilla. La m\'etrica objetiva de relevancia de correcci\'on sobre c\'odigo real premia el solapamiento literal de tokens y, por tanto, penaliza en parte el registro conceptual que los sistemas ajustados fueron entrenados para producir; la inversi\'on debe leerse como evidencia en contra de la \emph{transferencia de la ventaja en distribuci\'on}, no como prueba de que el modelo base sea pedag\'ogicamente superior. El juez comparte familia de modelos con los sistemas B y D, raz\'on por la cual el veredicto descansa en m\'etricas inmunes al juez. La correlaci\'on de validez de criterio se calcula sobre los $33$ de $50$ casos puntuados tanto por humanos como por el juez; cerrar este solapamiento a $50/50$ es el \'unico paso pendiente. La retroalimentaci\'on se genera en espa\~nol para un curr\'iculo espec\'ifico, y el panel humano, aunque incluye tres docentes universitarios, es una muestra de conveniencia de diez revisores. Por \'ultimo, los objetivos de la propuesta original del proyecto (p.\ ej., $\geq85\%$ de exactitud diagn\'ostica) no se alcanzan, ya que el mejor sistema llega a $0.76$ de exactitud de categor\'ia en distribuci\'on, y reportamos \'unicamente lo que se midi\'o.

%% =========================================================================
\section{Conclusi\'on}
%% =========================================================================
Presentamos EKG-Python, un grafo de conocimiento educativo validado y cerrado bajo razonamiento para Python introductorio, y un canal de retroalimentaci\'on GraphRAG construido en torno a \'el, y empleamos un dise\~no factorial $2\times2$ para preguntar cu\'ando la recuperaci\'on sobre el grafo de conocimiento y el \emph{fine tuning} mejoran realmente la retroalimentaci\'on de programaci\'on. En distribuci\'on, las dos aumentaciones mejoran aspectos distintos y el h\'ibrido encabeza; sobre c\'odigo real de estudiantes, la ordenaci\'on objetiva se invierte, un fallo de generalizaci\'on estad\'isticamente significativo que se atribuye al sobreajuste a las plantillas. Un estudio de fiabilidad muestra que un juez LLM no es un instrumento absoluto v\'alido, mientras que un panel humano promediado es fiable y discriminante. La contribuci\'on es, por tanto, tan metodol\'ogica como arquitect\'onica. Las ganancias de la aumentaci\'on en la retroalimentaci\'on educativa son condicionales a qu\'e se recupera y a cu\'an realista es la evaluaci\'on, y los veredictos automatizados de calidad deben anclarse en evidencia inmune al juez y corroborarse mediante un juicio humano agregado. El trabajo futuro reemplazar\'a los datos de entrenamiento generados por plantillas con retroalimentaci\'on real diversa, cerrar\'a el solapamiento de casos humano$\leftrightarrow$juez y extender\'a EKG-Python a m\'as curr\'iculos y lenguajes.

%% =========================================================================
\section*{Agradecimientos}
%% =========================================================================
El autor agradece el desarrollo de este Trabajo Fin de M\'aster bajo la direcci\'on del Prof. Dr. Jos\'e Luis Fern\'andez Vindel, por su orientaci\'on sostenida y su lectura cr\'itica a lo largo de todo el proyecto, as\'i como a los diez revisores voluntarios (R01--R10) por su labor de anotaci\'on a ciegas. Este trabajo se realiz\'o en el marco del M\'aster Universitario en Investigaci\'on en Inteligencia Artificial de la UNED.

%% =========================================================================
\section*{Disponibilidad de los datos}
%% =========================================================================
El artefacto EKG-Python (serializaci\'on en Turtle, formas SHACL, consultas SPARQL), el arn\'es de evaluaci\'on, las salidas de evaluaci\'on sint\'etica y real, la configuraci\'on del adaptador QLoRA y los registros anonimizados de anotaci\'on humana est\'an disponibles para el tribunal y la direcci\'on del trabajo previa solicitud, y se planea su dep\'osito en el repositorio institucional de la UNED. Las valoraciones humanas no contienen datos personales y se publican \'unicamente de forma agregada.

%% =========================================================================
\bibliographystyle{IEEEtran}
\bibliography{references}

\end{document}
