PISA 2012: Periódico de ayer ("que nadie más, procura ya leer" -TCA)

Como era de esperar, el cacareo en medios a propósito de PISA ha menguado y, al hacerlo, ha cedido terreno ante temas que tienen una presencia más permanente en éstos: en muy pocos días Tilsa le ganó a PISA (bueno, la verdad es que eso me han dicho algunos amigos pues, confieso con profundo orgullo, que no tengo la menor idea acerca de quién es esa señora).

Más allá de lo anterior y lo que esto dice acerca de la importancia relativa que los medios (y sus lectores/oyentes/y televidentes) dan a la educación y cómo ésta está mediatizada por información supuestamente impactante pero inútil, cabe hacerse algunas preguntas de otro tipo: por ejemplo ¿de qué sirve PISA?

El punto de partida obligado para responder esta pregunta es la intención expresa de aquéllos responsables del estudio: según el Secretario General de la Organización para la Cooperación y el Desarrollo Económico (OCDE), la evidencia que produce PISA ...

(...) goes well beyond statistical benchmarking. By identifying the characteristics of high-performing education systems PISA allows governments and educators to identify effective policies that they can then adapt to their local contexts. [OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I), p. 3]

Entonces debemos esperar que PISA sirva para formular políticas efectivas que impacten de modo positivo en los aprendizajes. Por lo mismo, cabe preguntarse ¿qué ha pasado con los aprendizajes en la OCDE desde que se administró la primera ronda de PISA en 2000? ¿cuál es el impacto en los aprendizajes que se ha verificado gracias al esfuerzo desplegado en PISA todos estos años?

PISA 2000-2012: Cambios en el desempeño medio en lectura
(países de la OCDE; promedio de la OCDE; y Perú)

Elaboración propia a partir de la Tabla I.4.3b de OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I). Las barras muestran los intervalos de confianza de la variación; los puntos verdes son el desempeño medio del año 2000 (único valor a ser leído en el eje inferior). Sólo se incluye a los Estados Miembros de la OCDE con información tanto en 2000 como en 2012.

Como muestra el gráfico, cinco países de la OCDE (Polonia, Israel, Chile, Alemania, y Portugal) han visto incrementos en los niveles medios de desempeño lector en PISA entre 2000 y 2012; 17 países no presentan cambios estadísticamente significativos; y cinco países (Australia, Nueva Zelanda, Finlandia, Islandia, y Suecia) muestran deterioros. Por otro lado, la situación de la OCDE contrasta de modo importante con el progreso observado en Perú (por cierto, nadie publica ni comenta este ranking).

Claro está que no es posible establecer una relación causal entre participar en PISA y que haya mejoras, o que no las haya, o que haya deterioro. Este mismo razonamiento también invalida la pretensión de que PISA es una herramienta efectiva de política ya que los datos no toman decisiones, ni son suficientes para ello.

Ante esta falta de progreso en los países de la OCDE uno puede preguntarse varias cosas:

• ¿Será que la política no presta atención a la data?
• ¿Será que la data no dice nada útil?
• ¿Será que sí ha funcionado y que sin PISA estarían peor?

Ninguna de estas preguntas tiene una respuesta fácil o directa; sin embargo cabe hacérselas para motivar una reflexión más profunda sobre PISA.

¿Quién y qué gana con PISA?

Un primer elemento que destaca cuando se publica los resultados de PISA es el cacareo mediático al que ya me he referido y que no es, en lo absoluto, privativo del Perú: el 3 de diciembre de 2013 muchas vestiduras fueron desgarradas en muchas latitudes básicamente de la misma manera y con los mismos resultados que en el Perú. ¿Quién gana con ello? La respuesta es simple:

1. la OCDE logra, gracias al ruido, posicionar su estudio como (para citar las palabras del Secretario General de la OCDE en el lugar antes mencionado) the world’s premier yardstick for evaluating the quality, equity and efficiency of school systems (lo que, por cierto, PISA no permite).
2. la OCDE logra posicionarse a sí misma como la fuente principal de información sobre el desempeño de los sistemas educativos (lo que tampoco es así).
3. La OCDE logra posicionar su discurso ideológico sobre la educación y su sentido: la educación importa por razones instrumentales (creación de capital humano, competitividad), etc, no como valor y derecho humano fundamental.

En este ámbito, los rankings juegan un rol fundamental pues son lo que vende: nadie haría ruido en los medios con un análisis jerárquico lineal acerca de los factores que afectan el desempeño. En un simposio en el que participé en diciembre de 2012, un representante de la OCDE observó, a propósito de mi presentación, que los rankings "sólo ocupan un par de páginas en los informes PISA que comprenden varios volúmenes" lo que es parcialmente cierto (ya que son bastante más que un par de páginas). Sin embargo, son los rankings lo que los autores optan por colocar en la parte frontal de dichos volúmenes, resúmenes ejecutivos y demás.

Lo anterior, además, representa un beneficio para el Consorcio de empresas que hacen PISA. Estas consolidan una posición dominante en el mercado, y consolidan una importante fuente de ingresos. De acuerdo a la OCDE, participar en una ronda de PISA cuesta 182 mil Euros por país en overheads (es decir, lo que se destina a la coordinación y operación del Consorcio). Con 65 países participando en PISA, el overhead total de una ronda sería cercano a los 12 millones de Euros o poco más de 16 millones de Dólares Americanos (a esto, por supuesto, hay que agregar los costos de implementación nacional y cualquier "adicional" que el país desee implementar en términos de módulos o de volúmenes de observaciones -los dos últimos si se traducen en mayores costos "internacionales").

En este marco, no hay que ser ingenuo sobre la manera cómo la OCDE se ha posicionado frente a la International Association for the Evaluation of Educational Achievement (IEA), que es la organización que tiene más de cinco décadas desarrollando estudios internacionales sobre desempeño estudiantil en base a un esquema de cooperación (y no de venta de servicios y control centralizado) entre los países participantes. La IEA opera entendiendo que la información es un bien público, el Consorcio PISA tiene un enfoque distinto que se traduce en diversos elementos de los estudios.

Este tipo de consideraciones está a la base de la manera como, por ejemplo, la OCDE maneja el tema de la participación China y del Municipio de Shanghai en PISA donde no parece primar consideraciones técnicas en lo absoluto. Tom Loveless ha llamado claramente la atención sobre estos problemas en dos textos recientes: el más reciente y el previo. Una de las cosas curiosas sobre las que Loveless llama la atención es el tamaño de la población de 15 años en Shanghai (según los datos de PISA). En efecto, en estos informes se consigna que la población de 15 años en Shanghai es aproximadamente 4,7 por ciento del total de dicha Municipalidad cuando el promedio que se observa en los demás territorios participantes en PISA 2012 es 12,9 por ciento (y 11,9 y 12,3 en Hong Kong y Macao respectivamente). Dicho de otra forma: con una población total similar a la de Shanghai, el Perú señala que tiene 580 mil personas de 15 años mientras que las autoridades chinas reportan que Shanghai sólo tiene un quinto de dicha magnitud. A esto se añade el hecho que en Shanghai se excluye a la población "no elegible" (es decir, a los hijos de migrantes), así este valor resulta llamativamente bajo a lo que también debe agregarse que la muestra final representa sólo a tres de cada cuatro personas en este total que luce (¿artificialmente?) reducido.

No pretendo decir que detrás de PISA hay una maniobra maquiavélica o algo que se le parezca. Sólo que, como es lógico, detrás de los números de PISA hay personas con visiones, intereses y juegos de poder (algunos muy legítimos) lo que, finalmente, lleva a algunos a tratar de maximizar su beneficio. Así, ciertamente, hay ganadores claros en PISA aunque esta ganancia poco o nada tenga que ver con  mejorar los aprendizajes de las personas. Diversos trabajos de Mary Hamilton destacan varios de los problemas que aquí sólo se esbozan. Del mismo modo, hace unos años la Sociedad Europea de Educación Comparada realizó un evento para poner a "PISA under examination"; la publicación contiene un conjunto amplio de consideraciones que es bueno tener en cuenta para evaluar la pertinencia de un estudio como PISA (en particular, el capítulo de David Scott sobre problemas epistemológicos me resulta de capital importancia).

Toda esta reflexión me permite concluir que es tiempo de desafiar cierto consenso ridículo acerca de PISA y pensar mejor qué, para qué y, consiguientemente, cómo queremos medir aprendizajes. No pretendo sugerir que debemos "matar al mensajero" de las malas noticias, sólo quiero subrayar la necesidad de reflexionar en serio sobre estos temas, especialmente porque tenemos opciones como los estudios de la IEA que se basan en un enfoque asociado al curriculum, y en la colaboración entre pares. Al mismo tiempo, es necesario reflexionar acerca de cómo articulamos la participación peruana en estudios internacionales, con las mediciones que se conducen en el país a efectos de maximizar el potencial beneficio de contar con este tipo de información.

El enfoque-comunicativo textual en un mundo ágrafo

En los últimos años, tanto en el Perú como en diversas partes del mundo, se ha difundido y consolidado un enfoque para el desarrollo de competencias comunicacionales (incluyendo la lectura) conocido como el enfoque comunicativo-textual.

Haciendo lo que tal vez sea una sobre-simplificación, este enfoque postula algunas ideas centrales:

1. Lo que es preciso desarrollar son las competencias comunicacionales de las personas. Así, la lectura no es vista en función de las operaciones mecánicas que incluye, sino y fundamentalmente como un acto comunicativo que comparte ese carácter con otras formas de comunicación como la oral, gestual, etc.

2. Este énfasis en la comunicación significa también que la lectura no es un proceso de "absorción" de lo dicho en un texto, sino un proceso de interacción en el que el significado es construido en el proceso que une al que escribe, con el que lee, y con el texto en un contexto comunicativo dado.

3. En este marco, los diversos propósitos, características y situaciones en las que se lee, no son irrelevantes, todo lo contrario, son el corazón del acto comunicativo bajo la forma de lectura (o de escritura).

La tremenda pertinencia de un enfoque como éste es bastante evidente, especialmente si se compara con formas tradicionales de enseñanza de la lectura, en el que el texto es desprovisto de contexto (perdiendo significado) y se sobre-enfatiza la mecánica de la lectura.

En términos prácticos, y de nuevo tremendamente simplificados, esto significa que se debe abandonar estrategias de enseñanza que olvidan la naturaleza comunicativa en favor de la mecánica de la lectura. Por ejemplo, no cabe pensar que la lectura se adquiere de la mejor manera mediante la capacidad para decodificar grafías, unirlas en sílabas y palabras, todas ellas aisaladas y, por lo mismo, desprovistas de contexto que es clave para que tengan significación. Así, no se aprendería a leer "gato" de modo asilado y menos "ga"+"to" (silábicamente) o, peor aún ""g"+"a"+"t"+"o"; sino mediante la interacción de un texto en el que la palabra "gato" sea un componente. Por ejemplo, una pequeña historia en la que un gato juegue un papel central.

Por otra parte, el enfoque comunicativo-textual descansa en el reconocimiento de que el texto escrito es parte de la cultura y, por lo tanto, uno debe tomar en cuenta que las personas están, desde edades muy tempranas, expuestas a textos escritos de donde, las palabras/sílabas/sonidos aislados representan una ruptura con el entorno, digamos, "natural" al que están expuestos los estudiantes.

Todo esto no sólo suena extremedamente razonable, sino que en efecto es de crucial importancia para evitar una disociación perniciosa entre el texto escrito y el significado y, con ello, entre el texto escrito y el mundo.

Biondi y Zapata (1988) mostraron como la disociación entre la forma de enseñanza de la lectura y la realidad del estudiante, conllevaba a profundos problemas vinculados al desarrollo de la capacidad lecto-escritora (de los que las fallas ortográficas son sólo una manifestación) y de percepción del valor del texto escrito.

Al mismo tiempo, sin embargo, hay al menos dos problemas sustantivos a considerar cuando se implementa un enfoque como éste en un país como el nuestro. El primero tiene que ver con las habilidades de los docentes para manejarlo. No voy a entrar en este tema en este post, sin embargo, no es un pregunta trivial.

Este post quiere destacar un segundo elemento que tiene que ver con la realidad del país: ¿cómo opera el enfoque comunicativo-textual en una cultura fundamentalmente oral? ¿cómo opera en un entorno de baja densidad letrada como es una gran parte del país, especialmente, en espacios locales más deprimidos?

Si uno ve, por ejemplo, la información complementaria a las pruebas que produjo un estudio como PISA en 2009, notará que un 30 por ciento de los estudiantes de 15 años de edad matriculados en secundaria declaró tener 10 o menos libros en casa (lamentablemente, no se puede determinar en cuántos casos el valor era cero) al tiempo que un 93% declaraba tener al menos un TV (y 50% dos o más TVs). No es necesraio que detalle estos valores según áreas urbanas  rurales, o según nivel socio-económico ya que es fácil imaginar cómo cambiarían las cosas. A manera de ilustración sólo diré que en Finlandia el porcentaje de estos estudiantes con 10 o menos libros en el hogar es menor al seis por ciento.

El problema que me preocupa es que no es lo mismo plantear un enfoque como éste en un mundo de presencia significativa del material escrito que hacerlo en un país (y en especial en algunas localidades) donde el texto escrito es ajeno. Ilustrando exacerbadamente las cosas, uno podría pensar que la famosa escena entre el Padre Valverde y Atahualpa en la Plaza de Cajamarca ejemplifica lo que significa presentar un texto íntegro a una persona que no ha sostenido relación alguna con el texto escrito a lo largo de su vida.

Guamán Poma de Ayala (1615)
Nueva Crónica y Buen Gobierno. Página 386
Disponible en Det Kongelige Bibliotek

Quisiera una vez más referirme a las investigaciones de Biondi y Zapata (2006) sobre el tema de la oralidad en el Perú. Una cosa que los autores han mostrado con una tremenda sensibilidad y precisión es que el texto escrito en el Perú suele ser una presencia ajena. el libro llegó (si acaso) a los peruanos después de la radio y la TV que tendieron a fortalecer la oralidad del país. Las comunicaciones electrónicas actuales (incluso cuando mediadas por un teclado) se incorporan y fortalecen el caracter instantáneo de la comunicación oral.

No reparar en la profunda oralidad (y casi ausente escribalidad) de la cultura peruana puede tener profundas consecuencias sobre la labor educativa. ¿En qué medida el conocimiento de este atributo de la cultura informa la formación docente y la opción por enfoques pedagógicos para la enseñanza de la lectura? Prefiero dejar esto sólo como pregunta ya que siento que me falta evidencia robusta para afirmar lo que muchos tememos.

Quiero que quede claro que no estoy cuestionando ningún enfoque, sólo digo que ningún enfoque va a funcionar si no toma en cuenta la condición de partida de los estudiantes y las competencias de los docentes para desarrollar dicho enfoque, en contextos específicos y con estudiantes de carne y hueso. La reflexión educativa en el Perú necesita empezar por entender el lugar central de la oralidad y la ajenitud de lo escribal.

Finalmente, una cosa que también me preocupa en este ámbito es la necesidad de buscar "el" enfoque adecuado. ¿No será más bien que, como en cualquier otra profesión, es posible pensar en diversidad de enfoques? ¿No será posible asumir que dada la diversidad de situaciones de los estudiantes, diversos enfoques pueden tener distintos grados de pertinencia y valor? 

A fin de cuentas, algunos aprendimos a leer con enfoques distintos (que reposaban en la transparencia ortográfica del castellano escrito) y no nos fue tan mal en una vida donde el texto escrito es central.

Referencias:

Biondi, J., & Zapata, E. (1988). Ortografía: error o problema? Lima: Universidad de Lima, Facultad de Ciencias Humanas.

Biondi, J., & Zapata, E. (2006). La palabra permanente: verba manent, scripta volant : teoría y prácticas de la oralidad en el discurso social del Perú. Lima: Fondo Editorial del Congreso del Perú.