# Reclutamiento de anotadores — correos e indicaciones operativas (para Adrián)
*Estado: Enviados y completados (1-5 de junio de 2026)*

Reclutamiento completado para 10 anotadores que valoren la retroalimentación en el arnés y permitan medir la
validez de criterio del juez LLM (κ humano-humano como techo, κ humano-vs-juez y Alt-Test).

---

## A. Indicaciones siguientes (checklist operativo)

1. Elige a las 2–3 personas (perfil idóneo, por orden):
   - 1 docente/experto en programación (idealmente el director u otro profesor). Aporta el criterio más
     válido. Si participa, en el Alt-Test usa ε = 0,2.
   - 2 cualificados: tú mismo y 1 estudiante de posgrado o de últimos cursos con Python sólido. Para este
     perfil, ε = 0,15, que es el valor por defecto de `alt_test.py`.
   - *Evita* anotadores anónimos sin contexto (ε = 0,1), porque el juicio pedagógico requiere criterio.
   - Como regla, si en el grupo hay un experto declara ε = 0,2 para el conjunto (más conservador); si todos
     son cualificados, deja 0,15.

2. Envía a cada persona dos adjuntos (los correos van abajo):
   - `sistema-rag/anotacion/arnes_anotacion.html`
   - `sistema-rag/anotacion/Instrucciones para la anotacion.docx`
   - Indícale qué 15 celdas prioritarias anotar como mínimo (las de
     `anotacion/casos_prioritarios_incertidumbre.json`, con distribución real A=4, B=2, C=8, D=1 sobre 13
     casos distintos) y, si puede, 40 casos completos.

3. Recoge los ficheros `anotaciones_<NOMBRE>.json` que te devuelvan y deposítalos en
   `sistema-rag/anotacion/`, en la raíz de esa carpeta, **no** en `anotacion/llm/` y sin prefijo `llm-`,
   porque los scripts hacen `glob` de `anotaciones_*.json` ahí y excluyen lo que empiece por `llm-`.

4. Calcula los resultados con ≥2 ficheros (ideal 3):
   ```bash
   python sistema-rag/scripts/kappa_humano.py
   python sistema-rag/scripts/alt_test.py --epsilon 0.2
   ```
   `kappa_humano.py` calcula κ humano-humano, Fleiss, Krippendorff α y humano-vs-juez; `alt_test.py` reporta
   el winning rate global y por dimensión, con ε = 0,2 si hay experto y 0,15 si no.

5. Interpreta (umbrales verificados):
   - κ humano-humano es el techo de referencia. Al estilo de MT-Bench, el juez es aceptable si iguala el
     acuerdo humano-humano.
   - Landis-Koch: <0,20 leve · 0,21–0,40 aceptable · 0,41–0,60 moderado · 0,61–0,80 sustancial.
   - Krippendorff α: ≥0,80 fiable · 0,667–0,80 tentativo · <0,667 descartar.
   - Alt-Test: **WR ≥ 0,5** significa que el juez sustituye al anotador, y WR < 0,5 que no. Con 3 anotadores
     la decisión es gruesa, así que reporta también la AP. La corrección FDR-BY es exigente con pocos
     anotadores, y con m=3 cada p debe ser ≤≈0,009.
   - En un escenario realista, sin inflar, es probable un acuerdo bajo en divulgativa/técnica y aceptable en
     sugerencia (~0,3–0,45). Aun así, resolver C1 consiste en medir y reportar la validez con techo humano,
     no necesariamente en demostrar que el juez sustituye al humano.

6. Documenta el resultado en `metrics.md` y en la memoria (sección de validación del juez), y regenera
   entregables si cambian las cifras.

---

## B. Correo para un docente / el director (formal)
*Enviado el: 2 de junio de 2026*

**Asunto:** Pequeña validación experta (20–30 min) para mi TFM — anotación de feedback de código

> Estimado/a [nombre]:
>
> Estoy en la fase de validación de mi TFM (EKG + LLM/RAG para retroalimentación de programación). Una
> parte clave es comprobar, con criterio humano experto, si el evaluador automático que uso juzga
> bien la calidad del feedback. Para ello necesito 2–3 anotadores, y tu criterio docente sería el más
> valioso del grupo.
>
> La tarea es breve (20–30 min) y muy sencilla: abrir un fichero HTML con doble clic (no requiere
> instalar nada ni conexión), puntuar de 1 a 5 unas retroalimentaciones sobre código de estudiantes en
> tres dimensiones (claridad, corrección técnica y utilidad de la sugerencia), y devolverme el fichero
> de resultados que genera el propio arnés.
>
> Adjunto dos ficheros: `arnes_anotacion.html` (la herramienta) e Instrucciones para la anotación.docx (una
> página con todo lo necesario). Con que anotes las 15 celdas prioritarias me vale; si te animas con
> 40 casos, el análisis gana solidez.
>
> Tu participación quedaría reconocida en la memoria como anotador experto. ¿Te vendría bien esta semana?
>
> Mil gracias por tu tiempo,
> Adrián Bueno Junquero

---

## C. Correo / mensaje para un compañero/a cualificado (cercano)
*Enviado el: 3 de junio de 2026*

**Asunto:** ¿Me echas una mano con mi TFM? 20 min puntuando feedback de código

> ¡Hola [nombre]!
>
> Estoy validando el TFM y necesito 2–3 personas con buen nivel de Python que puntúen unas
> retroalimentaciones sobre código de estudiantes. Es rápido (20–30 min) y no hay que instalar nada:
> abres un HTML con doble clic, das de 1 a 5 a cada feedback en tres aspectos (claridad, corrección y
> utilidad), y me mandas el ficherito que se descarga al terminar.
>
> Te paso dos adjuntos: el arnes_anotacion.html y las Instrucciones para la anotación.docx (lo explican todo en
> una página). Con las 15 celdas marcadas me sirve; si puedes hacer 40 casos, mejor todavía.
>
> Dos detalles para que valga estadísticamente: hazlo del tirón si puedes y sin comentarlo con los
> otros que se lo paso (las valoraciones deben ser independientes).
>
> ¡Gracias, crack! Cuando termines me mandas el `anotaciones_TUNOMBRE.json` y listo.
> Adrián

---

## D. Mensaje corto (WhatsApp/Telegram), por si lo pides por chat

> Oye, ¿me ayudas con el TFM? Son ~20 min: abres un HTML (doble clic, sin instalar nada) y puntúas de 1 a
> 5 unas correcciones de código en 3 aspectos. Al final se descarga un `.json` y me lo pasas. Te mando el
> archivo y una página de instrucciones. ¿Te viene bien esta semana? 🙏
