Método psicométrico
En una frase. Cada tarea se analiza con el método que corresponde a su forma de medir (no todas con α), cada puntuación se da con su margen de error, y cada uso que el manual propone (cribar, seguir, identificar) se apoya en una evidencia concreta (American Educational Research Association, American Psychological Association, y National Council on Measurement in Education 2014; Kane 2013).
Mapa del capítulo
| Apartado | Qué responde | Estado |
|---|---|---|
| 5.1 Puntuaciones | Qué número representa a cada tarea y cuándo una sesión no es válida | Familias y medida principal definidas; detectores de sesiones anómalas en prueba |
| 5.2 Fiabilidad | Cuánto error tiene cada puntuación | α de 2021 y estabilidad en parte de las tareas; ω y TRI pendientes |
| 5.3 Validez | Para qué sirve cada puntuación | Validez predictiva frente a la dificultad persistente; criterio externo Woodcock-Muñoz; estructura e invarianza pendientes |
| 5.4 Baremación | Con quién se compara a un niño | Baremos empíricos por momento; continuos pendientes |
| 5.5 Cuánto cambio importa | Cuándo un avance es real e importante | Cambio fiable en letras y velocidad; anclas en desarrollo |
| 5.6 Equidad | Si la tarea mide igual en todos los grupos | Predicción diferencial en la ficha de letras; resto pendiente |
Los análisis que desarrollan estos apartados están en el espacio interno del grupo (acceso restringido).
5.1 Puntuaciones
Una medida principal por tarea, según su familia. Las tareas se agrupan en siete familias según cómo miden: precisión, denominación rápida, fluidez lectora oral, eficiencia con tiempo limitado, decisión con tiempo de respuesta, amplitud y memoria, y comprensión. La familia fija la medida principal, su transformación y el método de fiabilidad (ver Cómo se agrupan las tareas).
Más alto es mejor. En el manual todas las puntuaciones se presentan de modo que un valor alto es bueno y un percentil bajo indica dificultad. Los tiempos se convierten en tasas (estímulos por segundo, palabras por minuto).
Unidades comprensibles. Donde es posible, la puntuación se da también en una unidad que entiende un docente: palabras por minuto, minutos para leer 1.000 palabras o «lee como un niño de…» (ver Baremos por nivel lector).
Validez de la sesión. Con los tiempos por ítem se puede detectar una aplicación anómala: tiempos a cero, unidades distintas, interrupciones, respuestas demasiado rápidas o resultados incongruentes con el propio niño en otros momentos. Ya hay un primer conjunto de reglas fijadas de antemano, probado en las tareas de denominación rápida. La propuesta es que cada puntuación vaya con una marca de sesión fiable o revisar.
- Falta: extender los detectores a todas las tareas y decidir los umbrales.
5.2 Fiabilidad
El método depende de la familia. La consistencia interna (α, ω) solo tiene sentido en tareas de precisión sin tiempo limitado. En las tareas de velocidad, α sobrestima la fiabilidad, y lo adecuado es el test-retest o las formas paralelas.
| Familia | Fiabilidad principal | Complemento |
|---|---|---|
| Precisión, comprensión, amplitud | ω (o KR-20) con las respuestas por ítem | Test-retest; TRI y error típico condicional |
| Denominación rápida, fluidez lectora | Test-retest y formas paralelas | Fiabilidad entre láminas o listas |
| Tiempo limitado, decisión | Test-retest; división en mitades del tiempo | Modelo conjunto de velocidad y exactitud |
Qué hay hoy. De las 110 tareas de evaluación del catálogo, 55 tienen α de 2021 y 33 tienen estabilidad entre aplicaciones sucesivas (ρ); 64 tienen al menos uno de los dos y 46 no tienen ningún dato de fiabilidad todavía. La estabilidad mezcla error de medida y cambio real, así que es una cota inferior.
Error típico y bandas. Cada percentil se acompaña de su banda de confianza al 90 %, calculada con el error típico de medida. Con TRI, el error es condicional: más ancho en los extremos, donde se toman las decisiones de riesgo.
- Falta: ω y TRI con las respuestas ítem a ítem de la plataforma nueva para todas las tareas de clase A y B; test-retest a corto plazo en las tareas de velocidad. Es lo que más clases de calidad puede cambiar.
5.3 Validez
| Fuente de evidencia | Qué se hace | Estado |
|---|---|---|
| Contenido | Descripción de la tarea, ítems y consigna leídos de la plataforma; marco teórico breve por tarea | En las fichas piloto y en 18 marcos por dominio |
| Estructura interna | Factores (precursores, decodificación, fluidez, comprensión) y redes por edad | Redes exploratorias por edad; falta el análisis factorial confirmatorio |
| Invarianza | Por sexo, formato (plataforma, papel, tableta), periodo y región | Equivalencia papel–plataforma de TECLE; resto pendiente |
| Convergente y criterio externo | Correlación con pruebas externas | Fluidez de Woodcock-Muñoz (ver Validez frente a la batería Woodcock-Muñoz) |
| Predictiva y diagnóstica | AUC, sensibilidad, especificidad y valores predictivos frente a la dificultad lectora persistente | Hecho con validación entre cohortes (ver Cómo estimamos el riesgo) |
| Consecuencias | Falsos positivos por grupo; efecto del informe en las decisiones | Pendiente |
El criterio. La dificultad lectora se define con toda la trayectoria del niño de 6 a 11 años, en niveles de certeza (persistente, transitoria, típica…), no con una sola evaluación. Así el criterio es más estable y se reduce el sesgo de espectro. Cuando el criterio contiene la propia tarea, el AUC se presenta solo como acuerdo, no como validez predictiva.
Más allá del punto de corte. La propuesta del manual es dar probabilidades y no solo un corte: razones de verosimilitud por tramos de puntuación y probabilidad posterior según la prevalencia del centro. Los primeros análisis muestran que un modelo bayesiano bien calibrado supera al corte único y que multiplicar razones de verosimilitud sobrestima el riesgo cuando los indicadores están correlacionados.
- Falta: análisis factorial confirmatorio por edad, invarianza por sexo y formato, y acuerdo del grupo sobre los niveles de certeza y el umbral de dificultad grave (p10 frente a −1,5 DT).
5.4 Baremación
La muestra de referencia. Los baremos describen el desarrollo sin intervención: la referencia son los niños de centros que no aplicaron Preleo a su cohorte. Se agrupan todas las cohortes equivalentes, salvo que una se aparte más de 1 DT (ver Decisiones metodológicas).
Por momento, no solo por curso. Con tres evaluaciones por curso, un baremo único por curso marca como «en riesgo» a casi una cuarta parte de los niños en el primer trimestre. Por eso se barema por curso y trimestre, y de 4 a 6 años se afina por edad en meses (ver Baremo por curso o por trimestre).
Normas continuas. El objetivo es sustituir las tablas empíricas por normas continuas en edad (cNORM o GAMLSS), que suavizan los percentiles, permiten baremar a cualquier edad exacta y aprovechan todas las cohortes a la vez.
- Falta: normas continuas de las tareas de clase A, tablas aparte para centros con Preleo, y baremos de 3 años y de las versiones en otras lenguas.
5.5 Cuánto cambio importa
En un sistema de seguimiento, la pregunta clave no es solo dónde está un niño, sino si ha avanzado de verdad y si ese avance importa. El manual responde con tres indicadores complementarios:
- Índice de cambio fiable: si la diferencia entre dos evaluaciones supera lo que cabe esperar por el error de medida. Ya está en las fichas de letras y velocidad.
- Percentil de crecimiento: cuánto ha progresado un niño frente a los que partían del mismo nivel.
- Cambio mínimo relevante: cuánto cambio importa, anclado en criterios externos (el pronóstico lector, el juicio docente, el paso de dificultad transitoria a persistente) (Anvari y Lakens 2021).
- Falta: cerrar las anclas y llevar los tres indicadores a las tareas de lectura de clase A.
5.6 Equidad
Una tarea justa mide lo mismo y comete los mismos errores en todos los grupos. Se comprueba de dos formas: funcionamiento diferencial de los ítems y de las puntuaciones (sexo, nivel socioeconómico del centro, formato, región) y predicción diferencial, es decir, si un mismo punto de corte acierta igual en todos los grupos. En la ficha de letras ya se ha visto que, a igual puntuación, los niños de centros de nivel socioeconómico bajo tienen más riesgo; por eso no se ajusta el corte por nivel socioeconómico.
- Falta: tasas de falsos positivos por grupo en las tareas de cribado.
Reproducibilidad
Todo cálculo se hace con scripts de R en el ordenador del proyecto, que leen los datos completos y exportan solo tablas agregadas. El libro se construye con esas tablas, y el código está en el repositorio. Antes de los estudios confirmatorios, el plan de análisis se registra (ver Cómo se construye cada ficha).
Preguntas para el grupo
- ¿Os parece bien que la fiabilidad dependa de la familia de la tarea y que α no se use en las tareas de velocidad?
- ¿Aceptamos dar probabilidades (razones de verosimilitud y probabilidad posterior) además de puntos de corte?
- ¿Normas continuas (cNORM) para la primera versión, o tablas empíricas por momento y normas continuas en la segunda?
- ¿Qué anclas usamos para el cambio mínimo relevante: el pronóstico lector, el juicio docente o ambos?