Más allá de lo anterior y lo que esto dice acerca de la importancia relativa que los medios (y sus lectores/oyentes/y televidentes) dan a la educación y cómo ésta está mediatizada por información supuestamente impactante pero inútil, cabe hacerse algunas preguntas de otro tipo: por ejemplo ¿de qué sirve PISA?
El punto de partida obligado para responder esta pregunta es la intención expresa de aquéllos responsables del estudio: según el Secretario General de la Organización para la Cooperación y el Desarrollo Económico (OCDE), la evidencia que produce PISA ...
(...) goes well beyond statistical benchmarking. By identifying the characteristics of high-performing education systems PISA allows governments and educators to identify effective policies that they can then adapt to their local contexts. [OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I), p. 3]
Entonces debemos esperar que PISA sirva para formular políticas efectivas que impacten de modo positivo en los aprendizajes. Por lo mismo, cabe preguntarse ¿qué ha pasado con los aprendizajes en la OCDE desde que se administró la primera ronda de PISA en 2000? ¿cuál es el impacto en los aprendizajes que se ha verificado gracias al esfuerzo desplegado en PISA todos estos años?
PISA 2000-2012: Cambios en el desempeño medio en lectura
(países de la OCDE; promedio de la OCDE; y Perú)
(países de la OCDE; promedio de la OCDE; y Perú)
 |
| Elaboración propia a partir de la Tabla I.4.3b de OECD (2013) PISA 2012 Results: What Students Know and Can Do (Volume I). Las barras muestran los intervalos de confianza de la variación; los puntos verdes son el desempeño medio del año 2000 (único valor a ser leído en el eje inferior). Sólo se incluye a los Estados Miembros de la OCDE con información tanto en 2000 como en 2012. |
Claro está que no es posible establecer una relación causal entre participar en PISA y que haya mejoras, o que no las haya, o que haya deterioro. Este mismo razonamiento también invalida la pretensión de que PISA es una herramienta efectiva de política ya que los datos no toman decisiones, ni son suficientes para ello.
Ante esta falta de progreso en los países de la OCDE uno puede preguntarse varias cosas:
- ¿Será que la política no presta atención a la data?
- ¿Será que la data no dice nada útil?
- ¿Será que sí ha funcionado y que sin PISA estarían peor?
Ninguna de estas preguntas tiene una respuesta fácil o directa; sin embargo cabe hacérselas para motivar una reflexión más profunda sobre PISA.
¿Quién y qué gana con PISA?
Un primer elemento que destaca cuando se publica los resultados de PISA es el cacareo mediático al que ya me he referido y que no es, en lo absoluto, privativo del Perú: el 3 de diciembre de 2013 muchas vestiduras fueron desgarradas en muchas latitudes básicamente de la misma manera y con los mismos resultados que en el Perú. ¿Quién gana con ello? La respuesta es simple:
- la OCDE logra, gracias al ruido, posicionar su estudio como (para citar las palabras del Secretario General de la OCDE en el lugar antes mencionado) the world’s premier yardstick for evaluating the quality, equity and efficiency of school systems (lo que, por cierto, PISA no permite).
- la OCDE logra posicionarse a sí misma como la fuente principal de información sobre el desempeño de los sistemas educativos (lo que tampoco es así).
- La OCDE logra posicionar su discurso ideológico sobre la educación y su sentido: la educación importa por razones instrumentales (creación de capital humano, competitividad), etc, no como valor y derecho humano fundamental.
Lo anterior, además, representa un beneficio para el Consorcio de empresas que hacen PISA. Estas consolidan una posición dominante en el mercado, y consolidan una importante fuente de ingresos. De acuerdo a la OCDE, participar en una ronda de PISA cuesta 182 mil Euros por país en overheads (es decir, lo que se destina a la coordinación y operación del Consorcio). Con 65 países participando en PISA, el overhead total de una ronda sería cercano a los 12 millones de Euros o poco más de 16 millones de Dólares Americanos (a esto, por supuesto, hay que agregar los costos de implementación nacional y cualquier "adicional" que el país desee implementar en términos de módulos o de volúmenes de observaciones -los dos últimos si se traducen en mayores costos "internacionales").
En este marco, no hay que ser ingenuo sobre la manera cómo la OCDE se ha posicionado frente a la International Association for the Evaluation of Educational Achievement (IEA), que es la organización que tiene más de cinco décadas desarrollando estudios internacionales sobre desempeño estudiantil en base a un esquema de cooperación (y no de venta de servicios y control centralizado) entre los países participantes. La IEA opera entendiendo que la información es un bien público, el Consorcio PISA tiene un enfoque distinto que se traduce en diversos elementos de los estudios.
Este tipo de consideraciones está a la base de la manera como, por ejemplo, la OCDE maneja el tema de la participación China y del Municipio de Shanghai en PISA donde no parece primar consideraciones técnicas en lo absoluto. Tom Loveless ha llamado claramente la atención sobre estos problemas en dos textos recientes: el más reciente y el previo. Una de las cosas curiosas sobre las que Loveless llama la atención es el tamaño de la población de 15 años en Shanghai (según los datos de PISA). En efecto, en estos informes se consigna que la población de 15 años en Shanghai es aproximadamente 4,7 por ciento del total de dicha Municipalidad cuando el promedio que se observa en los demás territorios participantes en PISA 2012 es 12,9 por ciento (y 11,9 y 12,3 en Hong Kong y Macao respectivamente). Dicho de otra forma: con una población total similar a la de Shanghai, el Perú señala que tiene 580 mil personas de 15 años mientras que las autoridades chinas reportan que Shanghai sólo tiene un quinto de dicha magnitud. A esto se añade el hecho que en Shanghai se excluye a la población "no elegible" (es decir, a los hijos de migrantes), así este valor resulta llamativamente bajo a lo que también debe agregarse que la muestra final representa sólo a tres de cada cuatro personas en este total que luce (¿artificialmente?) reducido.
No pretendo decir que detrás de PISA hay una maniobra maquiavélica o algo que se le parezca. Sólo que, como es lógico, detrás de los números de PISA hay personas con visiones, intereses y juegos de poder (algunos muy legítimos) lo que, finalmente, lleva a algunos a tratar de maximizar su beneficio. Así, ciertamente, hay ganadores claros en PISA aunque esta ganancia poco o nada tenga que ver con mejorar los aprendizajes de las personas. Diversos trabajos de Mary Hamilton destacan varios de los problemas que aquí sólo se esbozan. Del mismo modo, hace unos años la Sociedad Europea de Educación Comparada realizó un evento para poner a "PISA under examination"; la publicación contiene un conjunto amplio de consideraciones que es bueno tener en cuenta para evaluar la pertinencia de un estudio como PISA (en particular, el capítulo de David Scott sobre problemas epistemológicos me resulta de capital importancia).
Toda esta reflexión me permite concluir que es tiempo de desafiar cierto consenso ridículo acerca de PISA y pensar mejor qué, para qué y, consiguientemente, cómo queremos medir aprendizajes. No pretendo sugerir que debemos "matar al mensajero" de las malas noticias, sólo quiero subrayar la necesidad de reflexionar en serio sobre estos temas, especialmente porque tenemos opciones como los estudios de la IEA que se basan en un enfoque asociado al curriculum, y en la colaboración entre pares. Al mismo tiempo, es necesario reflexionar acerca de cómo articulamos la participación peruana en estudios internacionales, con las mediciones que se conducen en el país a efectos de maximizar el potencial beneficio de contar con este tipo de información.
Estimado César,me interesa el capítulo de David Scott que mencionas, pero no está en el archivo que acabo de bajar de tu link, ¿hay otra manera de obtenerlo? Por cierto, excelentes tus precisiones y Felices Fiestas
ResponderEliminarEstimado Javier. Acabo de revisar el enlace al libro y noto que no lo baja completo. Gracias por advertirme, voy a buscar si hay otro enlace. En todo caso, una traducción del capítulo de Scott está disponible en http://www.ugr.es/~recfpro/rev172ART4.pdf
EliminarUn abrazo
Mientras que participar en TIMSS 2015 costará EUR 100,000 por cada grado (http://www.iea.nl/timss_2015.html), participar en PISA 2015 -como bien señalaste- costará EUR 182,000 (http://www.oecd.org/pisa/aboutpisa/howtojoinpisa.htm). Dado que conoces muy bien el tema, te agradeceré si nos puedes dar algún alcance adicional para entender dicha diferencia en los costos de participación.
ResponderEliminarY con relación a los estudios de la IEA, si bien es cierto tienen un enfoque distinto al de la OCDE, lo que más se conoce también son los ránking TIMSS y PIRLS; lo poco que se discute sobre los factores asociados en ambas evaluaciones básicamente se da en el circuito académico, igual que con PISA.
Hola. No tengo los detalles de los costos; sin embargo, éstos tienen que ver con coordinación general, procesamiento de datos, etc. Como bien dices, en el caso de TIMSS y PIRLS muchos han enfatizado los rankings; sin embargo, la IEA no hace ningún despliegue mediático enfocado en ello. Al mismo tiempo, cada estudio genera una "Enciclopedia" (no necesariamente un título que atraiga muchos lectores) con análisis detallados por países que resultan ser lo más sugerente. Finalmente, creo que es de capital importancia que la IEA opere como un consorcio de investigación en el que todos colaboran, esto contribuye a construir la información como bien público.
EliminarEstimado César,
ResponderEliminarAcabo de leer los resúmenes y el capítulo 1 del libro que recomendaste y no me queda claro lo del circo mediático desplegado (que se menciona en el prefacio del libro). Me queda claro que para un periodista es noticia quiénes son los ganadores o perdedores de la competencia PISA (ya que ellos lo ven en términos deportivos), no cuáles son los factores asociados que explican las diferencias entre países o al interior de los mismos. Entiendo que en otros países la cobertura mediática es diferente, por ejemplo en Chile donde existen al menos dos o tres centros de investigación educativa comparada y allí he visto reportajes donde analizan los resultados PISA con mayor profundidad.
En segundo lugar, tampoco me queda claro si hay una agenda detrás de ciertos modelos educativos o concepciones sobre los sistemas educativos. Si así fuera, cómo explicar que en PISA 2000-2006 el modelo a seguir era Finlandia, Australia-NZ y los países nórdicos y a partir de PISA 2009 los modelos sean los países y regiones del sudeste asiático. Por cierto, en los ránkings TIMSS y PIRLS, los países y regiones del sudeste asiático también aparecen en los primeros lugares.
Para terminar, traté de replicar (de una manera muy elemental) los resultados presentados por Antonio Luzón y Mónica Torres (Anexo 1 del libro) y busqué en WoS y Scopus por los siguientes términos: PISA * OECD / (TIMSS OR PIRLS) * IEA y encontré que la cobertura académica para ambas pruebas es proporcional (Scopus indiza el doble que WoS):
PISA * OECD
Scopus: 207 estudios
WoS: 116 estudios
(TIMSS OR PIRLS) * IEA
Scopus: 31 documentos
WoS: 15
Estimado Carlos,
EliminarLa OCDE hace un esfuerzo muy grande con el lanzamiento de PISA. Este esfuerzo es el que es acogido por los medios en todo el mundo independientemente de la competencia o la torpeza con la que se maneja por esos mismos medios. En diversos lugares hay esfuerzos serios (por ejemplo, el informe hecho por el Ministerio aquí en Perú), pero mi interés era destacar la intensidad de esfuerzos que la OCDE pone en el lanzamiento y en los rankings.
Por otra parte, el tema de la agenda que menciono se refiere más a la parte política (el lugar de la OCDE) y al enfoque general sobre la educación (instrumental), no veo que nadie estañé "vendiendo" modelos en una forma más específica (el asiático, el nórdico, etc.)
Por último, si uno ve la p.50 del volumen de tendencias de PISA 2009, uno encuentra una buena ilustración del contraste con la idea de los capítulos nacionales de la "Enciclopedia" de TIMSS o PIRLS. En esa página se dice que el Perú hubiese mejorado más en lectura, pero que eso no fue así pues las condiciones socio-económicas de los estudiantes peruanos de 2009 eran peores que la de los estudiantes de 2001. Hay que ignorar mucho lo que pasó en Perú para poder escribir algo así.
Estimado César,
ResponderEliminarEs muy difícil encontrar un análisis de contexto con la profundidad que encontramos en las enciclopedias TIMSS y PIRLS: casi 1,100 páginas repartidas en 2 volúmenes que equivalen a 10-15 páginas de análisis por cada país participante. Definitivamente, no hay punto de comparación.
Permíteme regresar al tema mediático. En el primer capítulo del libro "PISA under examination" el profesor Lundgren señala que ellos no esperaban el impacto que tuvo el primer informe PISA: "When the first results came they got an impact that was not expected, not even dreamed of." (p. 27). Sin embargo, dado que PISA se perfila como la competencia de TIMSS/PIRLS, una vez que vieron el impacto de la publicación del informe, está claro que le han dado más peso a la resonancia en medios informativos que al análisis profundo de lo que ocurre en cada país.
De otro lado, señalas que además de PISA tenemos alternativas como las pruebas de la IEA, con un enfoque más curricular y orientado a la colaboración entre pares. No cabe duda que es una alternativa muy interesante para nuestro país, pero me parece que hay por lo menos un tema pendiente (que ojalá nos los puedas aclarar). Me explico, en el capítulo 1 del libro "PISA under examination", el profesor Lundgren menciona que el matemático danés Hans Freudenthal (1975) había cuestionado la validez de contenido de las evaluaciones internacionales con enfoque curricular, señalando que había problemas con los ítemes de matemáticas. Por esa y otras razones, de acuerdo con el profesor Lundgren, los creadores de PISA optaron por un enfoque de competencias más que de contenidos curriculares.
Cabe mencionar que la crítica del profesor Freudenthal ha sido citada 16 veces en Scopus y 97 en Gooogle Académico. Sin embargo, el profesor danés ni siquiera es mencionado en el sitio web de TIMSS y PIRLS: site:timssandpirls.bc.edu Freudenthal (https://www.google.com.pe/#q=site%3Atimssandpirls.bc.edu+Freudenthal).
Freudenthal, Hans (1975). Pupil's achievements internationally compared- the IEA. Educational Studies in Mathematics, 2(6), 127-186.
No conozco el texto de Freudenthal (voy a buscarlo) pero noto que es de 1975. Los primeros estudios de la IEA (desde inicios de los 60 hasta los 90) enfrentaron un conjunto muy amplio de desafíos por el hecho de ser pioneros. Al inicio no existía, por ejemplo, las guías de la ITC sobre estudios comparables en diferentes lenguas y culturas. Las versiones actuales de los estudios de la IEA se estabilizaron en los años 90, de donde es posible que la crítica de 1975 no considere aspectos esenciales de las versiones actuales de los estudios de la IEA.
EliminarPor otra parte, hay diferentes formas de ver el tema curricular y, por supuesto, varias dificultades asociadas a esto. Sin embargo, el enfoque curricular da un referente directo de una variable clave de intervención en política y por eso resulta potencialmente muy pertinente. Incluso en el caso de PISA (inicialmente pensado de modo independiente de la escolaridad y se usó a las escuelas sólo como forma de llegar a la población), se busca reportar información asociada a variables educativas como, por ejemplo, el grado cursado: según la OCDE un año de educación se traduce en 39 puntos en la escala de lectura (cosa que me parece sencillamente medio difícil de estimar con muestras que no representan grados y me parece curioso -por usar una expresión suave- que coincidentemente sea lo mismo en matemáticas cuando son escalas no conmensurables).
En todo caso, mi comentario está dirigido a fomentar una reflexión más detenida y crítica sobre la participación y el desempeño del Perú en PISA y a pensar en opciones que pueden ser potencialmente mejores aunque, seguramente, no exentas de dificultades.
César,
ResponderEliminarTampoco he podido leer el texto de Freudenthal, pero me pareció raro que en la web de TIMSS/PIRLS no respondieran (o mencionaran) dichas críticas. Buscando en la red encontré un referencia de Jeremy Kilpatrick, profesor de educación matemática de la Universidad de Georgia, quien el año 2009 señaló que las evaluaciones de la IEA no habían resuelto el problema de construir evaluaciones que tomaran en cuenta las diferencias idiomáticas (http://www.maa.org/sites/default/files/pdf/pubs/febmar09pg4-7.pdf):
"Over 30 years ago, the Dutch mathematician Hans Freudenthal noted that the IEA had not solved the problem of constructing assessments that are internationally equivalent yet take local circumstances, including language differences, into account. That judgement is equally valid today."
Volviendo al debate PISA, en esta dirección están traducidos al español los textos del libro que recomendaste, incluyendo los dos anexos: http://www.ugr.es/~recfpro/?p=1382
Además he encontrado abundantes críticas a la metodología de puntuación, construcción de ítems... de la prueba PISA. Creo que la lectura del libro publicado por la CESE es un buen comienzo para tener una visión crítica de PISA, sólida y bien fundamentada.
Para terminar, consideras útil explotar la data PISA para hacer un estudio sobre el desempeño del Perú y otros países latinoamericanos en dicha prueba. Porque después de SERCE es (hasta donde tengo conocimiento) la otra prueba que te ofrece la posibilidad de analizar los factores asociados al rendimiento educativo.
Cada estudio tiene sus propias limitaciones y conocerlas es una condición para poder usar sus resultados con rigor. PISA no escapa a esa regla. Así, considero que hay muchas cosas que se pueden hacer con estos datos, aunque no tantas como las que quisiera (no por "errores", sino y fundamentalmente por el enfoque: al no controlarse trayectorias escolares y no tenerse información curricular es poco lo que realmente se puede decir sobre la relación entre los resultados y las escuelas). Un ejercicio está en el artículo que hicimos Alejandra Villanueva y yo sobre cómo los cambios socio-económicos en los países de América Latina explican una fracción importante de los cambios en PISA entre 2000 y 2009 (http://www.up.edu.pe/revista_apuntes/SitePages/ver_articulos_web.aspx?idsec=470&idnum=72).
EliminarKaren Coral me hizo llegar este comentario que, por alguna razón, ella no pudo publicar directamente. Mi agradecimiento por el mismo.
ResponderEliminarOtro aspecto relacionado con PISA: ¿qué papel cumple en ese sistema de medición la lectura literaria?
Aquí un extracto de un texto que pone alertas sobre PISA desde la búsqueda de una formación general (El texto, aunque la versión que comparto es del 2009, fue publicado en alemán en 2003):
"...la visión de PISA al respecto se hace evidente en la “bisección” realizada en la “competencia en lectura”. En los tests de PISA, los textos literarios ―si llega a aparecer alguno― se leen puramente como formatos. Su interpretación se orienta constantemente a la univocidad. Se pierde así ―aun aceptando toda la relevancia que pueda tener tal tipo de compresión de textos― la dimensión estrictamente literaria de los mismos, que es la que suscita (en los términos de Robert Musil) la aparición, al lado del “sentido de realidad”, de un “sentido de posibilidad”. Este último se refiere a la fuerza imaginativa por medio de la cual los seres humanos trascienden, a través de la fantasía y el accionar simbólico simulativo, una situación real dada y la llenan de sentido subjetivo, penetrando así en el experimento mental de un espacio (poético) posible (EIBL, 1978, 135). Este modo significativo y estético de observar los fenómenos ha sido calificado por Rumpf (1998, 96 y ss.) como componente irrenunciable de toda cultura lectora a nivel escolar."
En este link se puede descargar el artículo: http://www.redalyc.org/articulo.oa?id=56711798003
Estimada Karen,
EliminarMil gracias por estar en contacto y por el comentario.
Una cosa interesante es que, a diferencia de PISA, otro estudio internacional (Progress in International Reading Literacy -PIRLS) conducido por la IEA en estudiantes de grados 4 a 6 de primaria sí incluye en la habilidad lectora la experiencia literaria. El marco de evaluación de PIRLS se encuentra disponible en: http://timss.bc.edu/pirls2011/framework.html
Me parece muy importante destacar esta diferencia entre el esfuerzo de la IEA y el de la OCDE ya que obedece a una manera muy diferente de abordar el tema de la lectura.
César,
ResponderEliminarRegresando a las pruebas de la IEA, luego de leer algunos capítulos del libro que recomendaste, he observado dos cosas:
a) Varios investigadores y expertos que participaron en las evaluaciones de la IEA (TIMSS y PIRLS) también participaron en PISA, al menos en las rondas iniciales.
b) IEA fue uno de los tres postores que concursó cuando la OCDE decidió "tercerizar" los instrumentos de recolección y análisis de PISA, cuando ya se sabía que PISA tenía una orientación hacia competencias y no hacia los contenidos curriculares. Los otros dos fueron, ACER y una agencia francesa.
Lo que me queda claro es que parte de la comunidad académica de la IEA no veía mal el proyecto PISA, al menos teniendo en cuenta los dos hechos antes mencionados.
A lo mejor tienes más datos que corroboren lo que digo o me permitan ver que mi interpretación no es la correcta.
No puedo especular acerca de las razones que pueda haber tenido el secretariado de la IEA para postular a las licitaciones para algunos subproductos de PISA. Lo que sí puedo decir es que:
Eliminar1. No es un mundo en el que abunden postores posibles que puedan operar a esa escala. Además, los equipos nacionales son casi siempre los mismos. Por ejemplo, ahora que el Perú ha de participar del estudio de ciudadanía de la IEA, el equipo responsable del Ministerio seguramente será el mismo que maneja PISA:
2. El Centro de Procesamiento de Datos de la IEA brinda servicios a distintas instituciones y procesar datos no tiene porque afectar la perspectiva.
3. La IEA es una asociación que se financia por la contribución de sus miembros y, por lo mismo, ganar una licitación importante es algo potencialmente necesario para ellos.
En cualquier caso, como en cualquier otra área de actividad humana, hay diversas perspectivas y no cabe esperar una separación cuasi religiosa entre los que están en uno u otro "bando". Lo clave, me parece, es notar que todos los informes de PISA empiezan diciendo que la mejor forma de medir es lo que ellos hacen y, de cierta forma, tratan de descalificar a los que miden aprendizajes asociados a grados y curricula. Asimismo, muchas de las personas que lideran la IEA han hecho innumerables observaciones a las limitaciones de PISA.
Más allá de cuán lejos o cerca estén las personas, lo clave es que hay dos perspectivas distintas que no tienen porque traducirse en conflicto (aunque, en ocasiones eso pasa). Para nosotros, en todo caso, lo que me parece fundamental es evaluar en qué medida cada enfoque nos ayuda y a qué. ¿Qué ganamos participando en PISA? ¿qué ganaríamos participando en TIMSS/PIRLS? ¿qué ganaría participando de ambos?
César,
ResponderEliminarMuchas gracias por la detallada aclaración, ahora entiendo mejor cómo operan estos consorcios. Hay cosas de sentido común que a veces olvidamos tener en cuenta.
Por cierto, no soy un defensor de PISA, a partir de estos intercambios y las lecturas recomendadas, cada vez conozco más de sus limitaciones. Como bien señalaste, es fundamental conocerlas si uno desea analizar la data de forma seria.
Pienso que ganaríamos participando en PISA, TIMSS y PIRLS (aunque no sé si haya presupuesto para eso), porque tan importante como la orientación hacia el currículo es la orientación hacia las competencias que deben tener los futuros ciudadanos. De hecho, entiendo que SERCE y TERCE están enfocadas hacia el currículo.
Lo que me llama la atención es porqué tan pocos países de la región han participado en TIMSS 2007-2011 y PIRLS 2006-2011. Salvo Colombia, Chile y Honduras que alguna vez participaron, no he visto datos de los demás países latinoamericanos.