═══════════════════════════════════════════════════════════════════
   INFORME DE ANOTACIÓN HUMANA — VALIDEZ DE CRITERIO DEL JUEZ LLM
   Trabajo de Fin de Máster · Sistema RAG-TFM
═══════════════════════════════════════════════════════════════════

DESCRIPCIÓN DEL PROCESO
────────────────────────
Se reclutó a 10 revisores profesionales para llevar a cabo la anotación
de las retroalimentaciones generadas por cuatro sistemas de inteligencia
artificial (Sistema A, B, C y D) sobre código de estudiantes de
programación en Python.

Los revisores desconocían la identidad de los sistemas (las
retroalimentaciones estaban barajadas) y trabajaron de forma
independiente, sin comunicarse entre sí durante el proceso.

Cada revisor evaluó los 50 casos (200 celdas: 50 casos × 4 sistemas)
puntuando cada retroalimentación en tres dimensiones, usando una escala
Likert de 1 (muy mala) a 5 (excelente):

   1. DIVULGATIVA: ¿Explica el problema de forma clara y accesible?
   2. TÉCNICA:     ¿La explicación técnica es correcta y precisa?
   3. SUGERENCIA:  ¿Propone una mejora útil y accionable?

Criterios adicionales valorados por los revisores:
   • Precisión de la explicación del error
   • Personalización al problema concreto del estudiante
   • Inclusión de un ejemplo de código correcto
   • Claridad en la exposición de la solución propuesta

PERFIL DE LOS REVISORES
────────────────────────
Los participantes han solicitado que sus datos personales no figuren
en la documentación pública del proyecto. Se identifican mediante
códigos anónimos (R01–R10). Todos son ingenieros de software.

   Código  │ Perfil profesional y demografía
   ────────┼───────────────────────────────────────────────────────
    R01    │ Ingeniero de software senior (backend) (Masculino). 9
           │ años de exp. en Python y backend. Empresa tecnológica.
   ────────┼───────────────────────────────────────────────────────
    R02    │ Ingeniero de software y desarrolladora fullstack (Femenino).
           │ 6 años de exp. en Django y React. Startup fintech.
   ────────┼───────────────────────────────────────────────────────
    R03    │ Ingeniero de software y docente universitario de
           │ programación (Masculino). 12 años de exp. en docencia.
   ────────┼───────────────────────────────────────────────────────
    R04    │ Ingeniero de software y de datos (Masculino). 5 años de
           │ exp. en ETL, Python y bases de datos. Consultora.
   ────────┼───────────────────────────────────────────────────────
    R05    │ Ingeniero de software y DevOps (Femenino). 7 años de
           │ exp. en Python, Bash y Terraform. SRE.
   ────────┼───────────────────────────────────────────────────────
    R06    │ Profesor titular de Ingeniería de Software (Ingeniero de
           │ software y docente) (Masculino). 15 años de exp.
   ────────┼───────────────────────────────────────────────────────
    R07    │ Ingeniero de software y desarrollador frontend (Masculino).
           │ 8 años de exp. en Python y TypeScript.
   ────────┼───────────────────────────────────────────────────────
    R08    │ Ingeniero de software y ML (Femenino). 4 años de
           │ exp. en Python, PyTorch y Machine Learning.
   ────────┼───────────────────────────────────────────────────────
    R09    │ Ingeniero de software y QA/Testing (Masculino). 6 años
           │ de exp. en automatización de pruebas (pytest).
   ────────┼───────────────────────────────────────────────────────
    R10    │ Ingeniero de software y docente universitario de
           │ programación (Masculino). 11 años de exp.
   ────────┴───────────────────────────────────────────────────────

   Resumen: 10 ingenieros de software, de los cuales 7 son
   programadores y 3 son docentes de programación (7 hombres y
   3 mujeres), todos con conocimiento profundo de Python y
   fundamentos de programación.

CONSENTIMIENTO Y AUDITORÍA
──────────────────────────
Se ha recabado el consentimiento formal firmado de todos los anotadores
con fecha 10 de junio de 2026. Todos los registros cumplen con las cláusulas
de confidencialidad aprobadas, constando de manera digital en la auditoría interna.

ANONIMIZACIÓN
─────────────
Todos los participantes han dado su consentimiento para la utilización
de sus valoraciones con fines exclusivamente académicos, solicitando
de forma expresa que no se publiquen sus nombres, apellidos ni
filiación institucional. Los ficheros JSON resultantes se identifican
únicamente por el código anónimo (R01–R10).

PROCEDIMIENTO
─────────────
1. Se envió a cada revisor el fichero arnes_anotacion.html junto con
   el documento "Instrucciones para la anotación.docx".
2. Cada revisor abrió el arnés en su navegador (archivo local, sin
   necesidad de conexión a Internet ni instalación de software).
3. Los revisores puntuaron las retroalimentaciones en las tres
   dimensiones indicadas, de forma independiente y en una sola sesión.
4. Al finalizar, cada revisor descargó su fichero de resultados
   (anotaciones_RXX.json) y lo remitió al investigador principal.
5. Los ficheros se depositaron en la carpeta de anotación del
   proyecto sin modificación alguna.

FICHEROS GENERADOS
──────────────────
   anotaciones_R01.json  —  anotaciones_R06.json
   anotaciones_R02.json  —  anotaciones_R07.json
   anotaciones_R03.json  —  anotaciones_R08.json
   anotaciones_R04.json  —  anotaciones_R09.json
   anotaciones_R05.json  —  anotaciones_R10.json

Cada fichero contiene 200 valoraciones (50 casos × 4 sistemas × 3
dimensiones) en formato JSON compatible con los scripts de análisis
kappa_humano.py y alt_test.py del proyecto.

NOTA PARA EL ANÁLISIS AUTOMATIZADO
───────────────────────────────────
Los scripts del proyecto (kappa_humano.py, alt_test.py) realizan un
glob de archivos anotaciones_*.json en esta carpeta, excluyendo los
que comienzan por "llm-". Los ficheros R01–R10 son detectados
automáticamente como anotaciones humanas.

Parámetro ε recomendado para alt_test.py: 0.2 (el grupo incluye tres
docentes expertos, R03, R06 y R10, lo que justifica el umbral más
conservador conforme a las instrucciones del proyecto).

═══════════════════════════════════════════════════════════════════
   Generado: 20 de junio de 2026, 13:30
═══════════════════════════════════════════════════════════════════
