A propósito de la ECE 2012

El día dos de abril de 2013 la Ministra de Educación presentó los resultados de la Evaluación Censal de Estudiantes (ECE) 2012, es decir, de la prueba de lectura y matemáticas que se aplica en segundo grado en todo el país desde 2007.

Hay muchas cosas que comentar al respecto: uno podría mencionar lo pobres que siguen siendo los resultados o destacar que se está mejorando poquito a poquito en el promedio nacional aunque las brechas se han incrementado (lo que, aparentemente, empezaría a estar cambiando), etc. En un próximo post me referiré a esos temas, hoy quiero enfocarme en un problema diferente.

¿Han notado que los resultados de la evaluación censal se presentan usando lo que en estadística se llama error estándar? Es decir, se presenta resultados que tienen un margen de error por lo que es necesario indagar si las diferencias son "significativas", es decir, suficientes para decir que son, efectivamente, diferencias. Ahora bien, estos errores son clave para un buen uso de información muestral ya que, efectivamente, una muestra probabilística bien diseñada representa la situación poblacional pero dentro de determinados límites de confianza o probabilidad (por ejemplo, una encuestadora dice que hay un "empate técnico" cuando un candidato tiene 29% de preferencias y otro 30% -la prueba de significancia justamente busca indagar si 30 es, con cierto grado de certeza, más que 29).

¿Resultados censales con errores estándar?

(esto no deja de recordarme mi examen parcial de Estadística Social II en la Universidad, cuando la gran profesora que teníamos nos puso información censal de una manera tal que la mayoría de los estudiantes asumió que era muestral y procedió, equivocadamente, de acuerdo a esto -gracias Ana) 

La explicación de esta situación radica en que quienes conducen las evaluaciones dentro del Ministerio saben bien cómo hacerlo. Es decir, tienen muy claro que la evaluación censal no brinda resultados que se puedan agregar de modo confiable a nivel nacional ya que: (i) la cobertura censal es diferente en distintas partes del país y se presenta lo que se conoce como "sesgo de selección", (ii) no hay garantía de que las pruebas se puedan aplicar de modo equivalente en todas partes, (iii) la información base presenta dificultades para definir el real universo a medir; entre muchas otras razones. Así, durante la "evaluación censal" se evalúa también a una "muestra de control" que es de donde se puede sacar los resultados confiables que se presenta a la comunidad nacional.

Entonces, cabe preguntarse, si la información que se usa viene de una muestra ¿para qué tener un censo?

La respuesta a esta pregunta radica en el origen de la evaluación censal. Esta no se hizo para que podamos saber cómo vamos a nivel país, o de las regiones, sino para que cada padre de familia pueda recibir un informe sobre la situación de su hijo en el entendido que al ver lo mal que están las cosas, éstos tomen un mayor protagonismo y actúen sobre la escuela y sus docentes para que éstos mejoren. Si bien estas razones no están claramente expresadas ni documentadas, algunos actores (especialmente fuera del Ministerio de Educación) lo han tenido siempre muy claro. Es decir, se buscó establecer un mecanismo de rendición de cuentas que dinamizaría la vida escolar. Eso no se puede hacer si la prueba no es censal.

Ahora bien, esta decisión tiene algunos costos: una prueba censal es muy grande y requiere muchos recursos no sólo financieros, sino también profesionales; conducir una prueba censal hace que el Ministerio limite su capacidad de explorar otras cosas que cabría explorar y que la unidad a cargo no puede hacer por la carga de trabajo que implica una evaluación censal.

Por otro lado, más allá de las virtudes de medir competencias básicas en grados tempranos, una evaluación censal en segundo grado limita la información que se puede acopiar: por ejemplo, hay preguntas que permitirían determinar el nivel socio-económico de las familias (variable clave para entender los resultados) que no se puede preguntar a niños de segundo grado.

Es decir, la evaluación censal sirve para informar a los padres (asumiendo que los informes de resultados efectivamente lleguen a éstos), pero nos limita a todos como comunidad nacional en términos de la información que se produce. En 2004, antes de la introducción de la evaluación censal, la evaluación muestral generó mucha más información la que fue muy útil para entender las cosas. Lamentablemente, entre entender y transformar hay un trecho muy importante.

Así, la pregunta es ¿cuánto ganamos con un evento censal? ¿Lo que ganamos compensa lo que perdemos?

En primer lugar, los padres reciben las libretas de notas de sus hijos, así que debemos suponer que ya cuentan con información sobre el desempeño de éstos y que lo hacen de modo regular a lo largo del año escolar. Luego, la información de la evaluación censal sería redundante y extemporánea. Claro está que uno puede objetar y decir que las notas en realidad no informan de modo adecuado sobre los aprendizajes (¿si sólo menos de uno de cada tres niños lee de acuerdo a lo esperado, cómo así la abrumadora mayoría tiene notas aprobatorias?). Si esto es así, lo que tenemos es que los docentes evalúan según quién sabe qué criterio, cuando se supone que deberían evaluar contra los aprendizajes esperados según el curriculum nacional y los curricula regionales. Entonces, ¿debemos tener una evaluación censal sólo por que las notas no sirven? Esta no parece ser una solución muy coherente.

En segundo lugar, tenemos el propósito por el que se estableció la evaluación censal. No sé si yo me he perdido de algo estos años que estuve fuera pero, hasta donde tengo entendido, no hemos presenciado una gran movilización de padres indignados por lo poco que aprenden sus hijos, ¿o sí? Evidentemente, uno podría argüir que los padres no tienen capacidad para movilizarse, pero durante estos mismos años hemos visto que las comunidades se movilizan y, en ocasiones, con mucha vehemencia y capacidad de presión. Un ejemplo muy claro: Conga. A mí esto me sugiere que hay capacidad para actuar y presionar, pero que ésta se moviliza únicamente cuando se trata de algo que le importa a las personas (por cualesquiera sea el motivo). Esto me permite sugerir una hipótesis general: a la población y a sus autoridades (por ejemplo en Cajamarca) les preocupa más la minería que si los niños aprenden a leer o a sumar. Eso sería el caso si, en realidad, se encuentran satisfechos con la educación que tienen, o porque no les parece que sea un problema que amerite el esfuerzo que, por ejemplo, Conga si ameritó. Así, debo imaginar que Conga (u otras casos como éste) es más importante que el aprendizaje de los niños.

Por otro lado, imaginémonos una situación en la que efectivamente la evaluación produzca el resultado que imaginaron quiénes vendieron la idea de tenerla. ¿La movilización de los padres podría, efectivamente, hacer que los niños aprendan lo que no están aprendiendo? La respuesta sería afirmativa si la razón por la que no se enseña de modo efectivo a leer y sumar fuese que los docentes no quieren hacerlo. En ese caso, un poco de presión los podría “motivar”. Pero, ¿es ése el problema? ¿No será más bien que hay muchos docentes que o no saben cómo enseñar o sabiendo hacerlo no cuentan con los medios para hacerlo? La ilusoria e improbable movilización de padres no va a cambiar esto.

Así, la evaluación censal nos brinda menos información de la que necesitamos en aras de producir un resultado que no sólo no se produce (como hemos visto a lo largo de cinco años), sino que no puede producirse.

¿No es tiempo de reevaluar en serio si necesitamos una prueba censal?

¿No sería mejor tener –con los mismos recursos- evaluaciones muestrales que cubran más áreas y en más grados? ¿No cabría tener una evaluación censal cada cierto tiempo, digamos dos o tres años, con el propósito de identificar escuelas que necesitan ser intervenidas/apoyadas de modo decidido? ¿cuál es el lugar de las evaluaciones internacionales en este escenario?