Los resultados de la ECE 2012 y nuestra idea de los tiempos

Me he tomado varias semanas para elaborar un comentario sobre los resultados de le ECE 2012 presentados al país por la Ministra de Educación a inicios de abril. Esto no es un accidente; he estado pensando muchas cosas a propósito de dicha presentación y revisando los resultados con cautela como para dar una opinión que valga la pena desde el punto de vista de contribuir al necesario debate sobre el estado de nuestra educación.

A fin de cuentas, creo que todos tenemos interés en que las cosas mejoren. Por lo mismo, todos tenemos interés en que las políticas públicas sean exitosas y no fracasen y todos tenemos interés en leer y compartir buenas noticias sobre nosotros mismos. Habría que estar muy desorientado para desear que las políticas públicas fracasen.

Una forma de contribuir es, justamente, mediante la formulación de opiniones independientes y técnicamente sólidas. Trabajando en el mundo académico, ésa es justamente la tarea que creo tener y a la que trato de contribuir.

Desde este punto de vista, me interesa destacar algunas cosas respecto de los resultados que tienen que ver con: (i) no pretender que los datos dicen lo que uno quiere, los datos no hablan, son evidencia para construir discursos pero somos nosotros los responsables de esos discursos y de cómo usamos la evidencia; (ii) justamente el uso de la evidencia es algo que me preocupa y ése es el eje alrededor del que gira este comentario.

En primer lugar, ¿cómo leer los datos? Básicamente, hay que leerlos atendiendo a lo que son: resultados muestrales de una prueba en comprensión lectora y matemáticas en segundo grado. Nada más y nada menos. Lo primero (resultados muestrales) supone que la lectura debe tener en cuenta los errores muestrales; obviarlos es simplemente inducir a error. Lo segundo (que son resultados de pruebas en dos materias en un único grado) supone no hacer generalizaciones ni crear fantasmas asumiendo cosas que no tienen sentido. Déjenme explicar estos dos puntos:

Resultados muestrales:

Se dice que un 30.9% de los estudiantes ha logrado, en 2012, un desempeño suficiente en comprensión lectora y un 12,8% en matemáticas. Esto es inexacto ya que ambos números contienen un error que hay que considerar para un tratamiento adecuado de los datos. Estos errores son: .39 en el primer caso y .32 en el segundo. ¿Cómo se usan esos errores? El resultado en comprensión es igual al valor obtenido ± un margen de error que es igual al error estándar mencionado multiplicado por un nivel de certeza buscado. Así, si el nivel de certeza buscado es 95% el resultado será 30.9 ± (1.96 * .39), es decir, el intervalo que va de 30.1 a 31.7. Esto significa que si hubiésemos aplicado la prueba a todas las muestras posibles de mismo tamaño de la muestra que se tomó, en el 95% de los casos obtendríamos valores entre 30.1 y 31.7% en comprensión lectora y entre 12.1 y 13.4% en matemáticas. Parece trivial, pero no lo es y déjenme explicarlo.

Si uno mira los resultados de 2011, encontrará que éstos fueron: entre 28.7 y 30.8% para comprensión lectora y entre 12.4 y 14.1% para matemáticas. Es decir, los intervalos de 2011 y 2012 se superponen. Esta es una situación de, siguiendo la jerga creada por las encuestadoras, “empate técnico.” Con propiedad estadística esto debe entenderse como: no hay evidencia suficiente para afirmar que los resultados de 2012 sean diferentes de los de 2011; por lo que hay que asumir que no lo son. Así, no hay un progreso de 1.1 puntos en comprensión lectora, o una caída de 0.4 puntos en matemáticas como lo sugeriría comparar los valores estimados sin considerar el margen de error. Esto es justamente lo que señala, con absoluto profesionalismo, la presentación de resultados hecha por la Unidad a cargo de las pruebas en el Ministerio.

Por otro lado, la ECE 2012 no es un evento aislado y no se trata únicamente de observar qué pasó en el último año. La ECE se viene aplicando desde 2006 (con resultados válidos desde 2007) y es bueno mirar la serie para entender dónde estamos. La serie completa se presenta en este gráfico:

Elaboración propia a partir de la información disponible en el sitio web del Ministerio de Educación. Las  barras muestran los intervalos de confianza de las estimaciones (azul hacia arriba y rojo hacia abajo)

Antes de leer los resultados, por favor, nótese que en el gráfico la escala va de 0 a 100. Esto es importante por qué si uno corta la escala, amplifica los cambios de modo artificial y esto es muchas veces usado tanto para destacar un aspecto positivo como para agravar un aspecto negativo y es igualmente inválido en ambos casos. Hay circunstancias en las que se puede o debe alterar la escala, pero estas excepciones hay que manejarlas como tales y advertir al lector sobre las mismas y el propósito que sirven.

Como se puede apreciar, en ambos casos, se duplica la proporción de estudiantes que alcanzan el nivel satisfactorio en los primeros años y luego se produce un estancamiento.

Del mismo modo debemos ver los demás cambios (o no cambios) que son documentados por la ECE: el progreso en la reducción de aquéllos que no alcanzan siquiera el nivel mínimo de desempeño (que es un área clave que ha destacado la presentación de la Ministra), la evolución de las brechas, los distintos patrones en las regiones, etc.

Asimismo, habría que revisar con atención algunos comportamientos identificados por el Ministerio pero que no se encuentran documentados por la información disponible: el rendimiento de escuelas estatales y no estatales por distritos de Lima o el rendimiento diferenciado de las escuelas “acompañadas.” Hasta donde sugiere la información disponible, no hay un diseño muestral que permita decir algo sobre estos temas por lo que sería conveniente que el Ministerio documente cuál es la evidencia que respalda estas afirmaciones.

En próximos posts trataré de referirme a varios de estos temas.

Cazafantasmas:

A pocos días de publicados los resultados, Idel Vexler (quien fuera viceministro de educación durante prácticamente toda la década pasada) comentó la presentación y destacó (con total precisión) el patrón de cambios ya anotado (progreso hasta el 2010 y  luego estancamiento). Ahora bien, si bien es posible constatar que el progreso se observó cuando Idel Vexler era viceministro y que el estancamiento coincide con su salida del Ministerio no podemos asumir que esa coincidencia en el tiempo signifique algún tipo de causalidad. Pensar que hay una relación causal entre lo uno y lo otro sólo sobre la base de la simultaneidad es tan absurdo como pensar que Idel Vexler es responsable del terremoto que afectó Ica ya que éste también ocurrió cuando él era viceministro.

De modo exactamente análogo, no se puede pensar que el progreso o estancamiento de los últimos años es resultado de lo que ha hecho o dejado de hacer la gestión actual. Ese simplismo puede llevar a la desesperación por mostrar resultados así como a algunas críticas infundadas. La causalidad en los asuntos humanos en muchísimo más compleja y aún falta mucho pan que rebanar en términos de investigación para entender los cambios, los estancamientos y los distintos procesos en cada región. Debemos tener presente que los resultados educativos de hoy son el fruto no sólo de lo que hacemos hoy, sino también de lo que hicimos y dejamos de hacer en nuestro pasado reciente. Del mismo modo, lo que hacemos hoy se traduce en algo de lo que hoy observamos y en mucho de lo que acontecerá en los años por venir. Por ejemplo, el desempeño de los docentes hoy en servicio (y ésta es una variable clave) es el resultado de decisiones que, entre otras, permitieron que el ingreso a la carrera de educación en las universidades se logré con puntajes ínfimos y que se egrese con un conjunto dudoso de competencias. Menciono este ejemplo sólo por una razón: las universidades son autónomas y la decisión de exigir mucho en medicina y prácticamente nada en educación, no es una decisión de ningún gobierno. Las responsabilidades por el estado actual de la educación peruana se reparten entre un conjunto muy amplio de actores.

Sin embargo, lo que me interesa destacar aquí es la noción de tiempo que necesitamos para abordar en serio los problemas de la educación. Si el rendimiento cambió o no cambió 1 punto en un año, es lo menos importante de los resultados no sólo porque no existe evidencia para afirmar dicho cambio (es decir porque no cambió) sino y fundamentalmente porque necesitamos políticas de largo aliento que aborden problemas que también son de largo aliento.

Para eso necesitamos información y análisis y, lamentablemente, la ECE no nos ayuda mucho justamente por su carácter censal. Como ya anoté (ver post previo) la carga operativa de hacer un censo obliga a centrarse en muy pocas cosas y, por lo tanto, es poco lo que sabemos gracias a la ECE.

La semana pasada se presentó un libro reciente producido por Arlette Beltrán y Janice Seinfeld. El libro levanta muchos temas claves de la educación peruana que hay que abordar. Por su parte, el intercambio de ideas que se desarrolló en la presentación mostró algunos de los problemas que tenemos. Por ejemplo, uno de los comentaristas que es tenido como un experto en educación trató de descalificar el valor de la información generada por la ECE a partir de dos “argumentos”: el primero consistente en decir que no se puede asumir que las dos cosas que mide la prueba (o las tres que mide PISA) son cosas que todos debemos manejar por igual y que son las únicas que importan; como nadie afirma esto, tenemos un argumento retórico simple y fallido: se levanta un fantasma y luego se conquista sonrisas atacándolo. El segundo “argumento” fue la total incomprensión acerca de cómo operan pruebas como la ECE (se dijo que el progreso de los primeros años se explica porque se cambió el fraseo de las preguntas y ahora la prueba es más fácil). Me sentí muy satisfecho como ciudadano de este país al ver a la Ministra defendiendo un bien público y el patrimonio que representa para el país contar con las capacidades para desarrollar este tipo de mediciones.

Voy a seguir sobre estos temas en las próximas semanas.