tag:blogger.com,1999:blog-6212640258087725856.post734636783790774543..comments2022-03-25T02:10:54.801-05:00Comments on Satyagraha: PISA 2012: Periódico de ayer ("que nadie más, procura ya leer" -TCA)César Guadalupehttp://www.blogger.com/profile/07780793090762626494noreply@blogger.comBlogger15125tag:blogger.com,1999:blog-6212640258087725856.post-4270699739082796242014-01-10T14:05:40.426-05:002014-01-10T14:05:40.426-05:00César,
Muchas gracias por la detallada aclaración...César,<br /><br />Muchas gracias por la detallada aclaración, ahora entiendo mejor cómo operan estos consorcios. Hay cosas de sentido común que a veces olvidamos tener en cuenta.<br /><br />Por cierto, no soy un defensor de PISA, a partir de estos intercambios y las lecturas recomendadas, cada vez conozco más de sus limitaciones. Como bien señalaste, es fundamental conocerlas si uno desea analizar la data de forma seria.<br /><br />Pienso que ganaríamos participando en PISA, TIMSS y PIRLS (aunque no sé si haya presupuesto para eso), porque tan importante como la orientación hacia el currículo es la orientación hacia las competencias que deben tener los futuros ciudadanos. De hecho, entiendo que SERCE y TERCE están enfocadas hacia el currículo.<br /><br />Lo que me llama la atención es porqué tan pocos países de la región han participado en TIMSS 2007-2011 y PIRLS 2006-2011. Salvo Colombia, Chile y Honduras que alguna vez participaron, no he visto datos de los demás países latinoamericanos.<br /><br />Carlos Vílchez-Románhttps://www.blogger.com/profile/11053065038768050249noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-19342667557644141692014-01-10T01:08:03.320-05:002014-01-10T01:08:03.320-05:00No puedo especular acerca de las razones que pueda...No puedo especular acerca de las razones que pueda haber tenido el secretariado de la IEA para postular a las licitaciones para algunos subproductos de PISA. Lo que sí puedo decir es que:<br />1. No es un mundo en el que abunden postores posibles que puedan operar a esa escala. Además, los equipos nacionales son casi siempre los mismos. Por ejemplo, ahora que el Perú ha de participar del estudio de ciudadanía de la IEA, el equipo responsable del Ministerio seguramente será el mismo que maneja PISA:<br />2. El Centro de Procesamiento de Datos de la IEA brinda servicios a distintas instituciones y procesar datos no tiene porque afectar la perspectiva.<br />3. La IEA es una asociación que se financia por la contribución de sus miembros y, por lo mismo, ganar una licitación importante es algo potencialmente necesario para ellos.<br />En cualquier caso, como en cualquier otra área de actividad humana, hay diversas perspectivas y no cabe esperar una separación cuasi religiosa entre los que están en uno u otro "bando". Lo clave, me parece, es notar que todos los informes de PISA empiezan diciendo que la mejor forma de medir es lo que ellos hacen y, de cierta forma, tratan de descalificar a los que miden aprendizajes asociados a grados y curricula. Asimismo, muchas de las personas que lideran la IEA han hecho innumerables observaciones a las limitaciones de PISA.<br />Más allá de cuán lejos o cerca estén las personas, lo clave es que hay dos perspectivas distintas que no tienen porque traducirse en conflicto (aunque, en ocasiones eso pasa). Para nosotros, en todo caso, lo que me parece fundamental es evaluar en qué medida cada enfoque nos ayuda y a qué. ¿Qué ganamos participando en PISA? ¿qué ganaríamos participando en TIMSS/PIRLS? ¿qué ganaría participando de ambos?César Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-5905796402485778442014-01-10T00:57:30.555-05:002014-01-10T00:57:30.555-05:00Estimada Karen,
Mil gracias por estar en contacto ...Estimada Karen,<br />Mil gracias por estar en contacto y por el comentario.<br />Una cosa interesante es que, a diferencia de PISA, otro estudio internacional (Progress in International Reading Literacy -PIRLS) conducido por la IEA en estudiantes de grados 4 a 6 de primaria sí incluye en la habilidad lectora la experiencia literaria. El marco de evaluación de PIRLS se encuentra disponible en: http://timss.bc.edu/pirls2011/framework.html<br />Me parece muy importante destacar esta diferencia entre el esfuerzo de la IEA y el de la OCDE ya que obedece a una manera muy diferente de abordar el tema de la lectura.César Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-15802622476897405462014-01-09T13:50:10.894-05:002014-01-09T13:50:10.894-05:00César,
Regresando a las pruebas de la IEA, luego ...César,<br /><br />Regresando a las pruebas de la IEA, luego de leer algunos capítulos del libro que recomendaste, he observado dos cosas: <br />a) Varios investigadores y expertos que participaron en las evaluaciones de la IEA (TIMSS y PIRLS) también participaron en PISA, al menos en las rondas iniciales.<br />b) IEA fue uno de los tres postores que concursó cuando la OCDE decidió "tercerizar" los instrumentos de recolección y análisis de PISA, cuando ya se sabía que PISA tenía una orientación hacia competencias y no hacia los contenidos curriculares. Los otros dos fueron, ACER y una agencia francesa.<br /><br />Lo que me queda claro es que parte de la comunidad académica de la IEA no veía mal el proyecto PISA, al menos teniendo en cuenta los dos hechos antes mencionados.<br /><br />A lo mejor tienes más datos que corroboren lo que digo o me permitan ver que mi interpretación no es la correcta.Carlos Vílchez-Románhttps://www.blogger.com/profile/11053065038768050249noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-29043123847427218952014-01-09T13:05:43.976-05:002014-01-09T13:05:43.976-05:00Karen Coral me hizo llegar este comentario que, po...Karen Coral me hizo llegar este comentario que, por alguna razón, ella no pudo publicar directamente. Mi agradecimiento por el mismo.<br /><br />Otro aspecto relacionado con PISA: ¿qué papel cumple en ese sistema de medición la lectura literaria? <br />Aquí un extracto de un texto que pone alertas sobre PISA desde la búsqueda de una formación general (El texto, aunque la versión que comparto es del 2009, fue publicado en alemán en 2003):<br />"...la visión de PISA al respecto se hace evidente en la “bisección” realizada en la “competencia en lectura”. En los tests de PISA, los textos literarios ―si llega a aparecer alguno― se leen puramente como formatos. Su interpretación se orienta constantemente a la univocidad. Se pierde así ―aun aceptando toda la relevancia que pueda tener tal tipo de compresión de textos― la dimensión estrictamente literaria de los mismos, que es la que suscita (en los términos de Robert Musil) la aparición, al lado del “sentido de realidad”, de un “sentido de posibilidad”. Este último se refiere a la fuerza imaginativa por medio de la cual los seres humanos trascienden, a través de la fantasía y el accionar simbólico simulativo, una situación real dada y la llenan de sentido subjetivo, penetrando así en el experimento mental de un espacio (poético) posible (EIBL, 1978, 135). Este modo significativo y estético de observar los fenómenos ha sido calificado por Rumpf (1998, 96 y ss.) como componente irrenunciable de toda cultura lectora a nivel escolar." <br />En este link se puede descargar el artículo: http://www.redalyc.org/articulo.oa?id=56711798003César Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-9166125162533839062014-01-01T18:45:52.287-05:002014-01-01T18:45:52.287-05:00Cada estudio tiene sus propias limitaciones y cono...Cada estudio tiene sus propias limitaciones y conocerlas es una condición para poder usar sus resultados con rigor. PISA no escapa a esa regla. Así, considero que hay muchas cosas que se pueden hacer con estos datos, aunque no tantas como las que quisiera (no por "errores", sino y fundamentalmente por el enfoque: al no controlarse trayectorias escolares y no tenerse información curricular es poco lo que realmente se puede decir sobre la relación entre los resultados y las escuelas). Un ejercicio está en el artículo que hicimos Alejandra Villanueva y yo sobre cómo los cambios socio-económicos en los países de América Latina explican una fracción importante de los cambios en PISA entre 2000 y 2009 (http://www.up.edu.pe/revista_apuntes/SitePages/ver_articulos_web.aspx?idsec=470&idnum=72).César Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-16550552611412927462014-01-01T11:22:39.605-05:002014-01-01T11:22:39.605-05:00César,
Tampoco he podido leer el texto de Freuden...César,<br /><br />Tampoco he podido leer el texto de Freudenthal, pero me pareció raro que en la web de TIMSS/PIRLS no respondieran (o mencionaran) dichas críticas. Buscando en la red encontré un referencia de Jeremy Kilpatrick, profesor de educación matemática de la Universidad de Georgia, quien el año 2009 señaló que las evaluaciones de la IEA no habían resuelto el problema de construir evaluaciones que tomaran en cuenta las diferencias idiomáticas (http://www.maa.org/sites/default/files/pdf/pubs/febmar09pg4-7.pdf): <br />"Over 30 years ago, the Dutch mathematician Hans Freudenthal noted that the IEA had not solved the problem of constructing assessments that are internationally equivalent yet take local circumstances, including language differences, into account. That judgement is equally valid today."<br /><br />Volviendo al debate PISA, en esta dirección están traducidos al español los textos del libro que recomendaste, incluyendo los dos anexos: http://www.ugr.es/~recfpro/?p=1382<br /><br />Además he encontrado abundantes críticas a la metodología de puntuación, construcción de ítems... de la prueba PISA. Creo que la lectura del libro publicado por la CESE es un buen comienzo para tener una visión crítica de PISA, sólida y bien fundamentada.<br /><br />Para terminar, consideras útil explotar la data PISA para hacer un estudio sobre el desempeño del Perú y otros países latinoamericanos en dicha prueba. Porque después de SERCE es (hasta donde tengo conocimiento) la otra prueba que te ofrece la posibilidad de analizar los factores asociados al rendimiento educativo.<br />Carlos Vílchez-Románhttps://www.blogger.com/profile/11053065038768050249noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-21644600765451231152013-12-31T20:24:00.986-05:002013-12-31T20:24:00.986-05:00No conozco el texto de Freudenthal (voy a buscarlo...No conozco el texto de Freudenthal (voy a buscarlo) pero noto que es de 1975. Los primeros estudios de la IEA (desde inicios de los 60 hasta los 90) enfrentaron un conjunto muy amplio de desafíos por el hecho de ser pioneros. Al inicio no existía, por ejemplo, las guías de la ITC sobre estudios comparables en diferentes lenguas y culturas. Las versiones actuales de los estudios de la IEA se estabilizaron en los años 90, de donde es posible que la crítica de 1975 no considere aspectos esenciales de las versiones actuales de los estudios de la IEA.<br />Por otra parte, hay diferentes formas de ver el tema curricular y, por supuesto, varias dificultades asociadas a esto. Sin embargo, el enfoque curricular da un referente directo de una variable clave de intervención en política y por eso resulta potencialmente muy pertinente. Incluso en el caso de PISA (inicialmente pensado de modo independiente de la escolaridad y se usó a las escuelas sólo como forma de llegar a la población), se busca reportar información asociada a variables educativas como, por ejemplo, el grado cursado: según la OCDE un año de educación se traduce en 39 puntos en la escala de lectura (cosa que me parece sencillamente medio difícil de estimar con muestras que no representan grados y me parece curioso -por usar una expresión suave- que coincidentemente sea lo mismo en matemáticas cuando son escalas no conmensurables).<br />En todo caso, mi comentario está dirigido a fomentar una reflexión más detenida y crítica sobre la participación y el desempeño del Perú en PISA y a pensar en opciones que pueden ser potencialmente mejores aunque, seguramente, no exentas de dificultades.César Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-15147645132451158172013-12-31T16:23:51.825-05:002013-12-31T16:23:51.825-05:00Estimado César,
Es muy difícil encontrar un análi...Estimado César,<br /><br />Es muy difícil encontrar un análisis de contexto con la profundidad que encontramos en las enciclopedias TIMSS y PIRLS: casi 1,100 páginas repartidas en 2 volúmenes que equivalen a 10-15 páginas de análisis por cada país participante. Definitivamente, no hay punto de comparación.<br /><br />Permíteme regresar al tema mediático. En el primer capítulo del libro "PISA under examination" el profesor Lundgren señala que ellos no esperaban el impacto que tuvo el primer informe PISA: "When the first results came they got an impact that was not expected, not even dreamed of." (p. 27). Sin embargo, dado que PISA se perfila como la competencia de TIMSS/PIRLS, una vez que vieron el impacto de la publicación del informe, está claro que le han dado más peso a la resonancia en medios informativos que al análisis profundo de lo que ocurre en cada país.<br /><br />De otro lado, señalas que además de PISA tenemos alternativas como las pruebas de la IEA, con un enfoque más curricular y orientado a la colaboración entre pares. No cabe duda que es una alternativa muy interesante para nuestro país, pero me parece que hay por lo menos un tema pendiente (que ojalá nos los puedas aclarar). Me explico, en el capítulo 1 del libro "PISA under examination", el profesor Lundgren menciona que el matemático danés Hans Freudenthal (1975) había cuestionado la validez de contenido de las evaluaciones internacionales con enfoque curricular, señalando que había problemas con los ítemes de matemáticas. Por esa y otras razones, de acuerdo con el profesor Lundgren, los creadores de PISA optaron por un enfoque de competencias más que de contenidos curriculares.<br /><br />Cabe mencionar que la crítica del profesor Freudenthal ha sido citada 16 veces en Scopus y 97 en Gooogle Académico. Sin embargo, el profesor danés ni siquiera es mencionado en el sitio web de TIMSS y PIRLS: site:timssandpirls.bc.edu Freudenthal (https://www.google.com.pe/#q=site%3Atimssandpirls.bc.edu+Freudenthal).<br /><br />Freudenthal, Hans (1975). Pupil's achievements internationally compared- the IEA. Educational Studies in Mathematics, 2(6), 127-186. Carlos Vílchez-Románhttps://www.blogger.com/profile/11053065038768050249noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-71677745622203323052013-12-31T10:23:18.298-05:002013-12-31T10:23:18.298-05:00Estimado Carlos,
La OCDE hace un esfuerzo muy gran...Estimado Carlos,<br />La OCDE hace un esfuerzo muy grande con el lanzamiento de PISA. Este esfuerzo es el que es acogido por los medios en todo el mundo independientemente de la competencia o la torpeza con la que se maneja por esos mismos medios. En diversos lugares hay esfuerzos serios (por ejemplo, el informe hecho por el Ministerio aquí en Perú), pero mi interés era destacar la intensidad de esfuerzos que la OCDE pone en el lanzamiento y en los rankings.<br />Por otra parte, el tema de la agenda que menciono se refiere más a la parte política (el lugar de la OCDE) y al enfoque general sobre la educación (instrumental), no veo que nadie estañé "vendiendo" modelos en una forma más específica (el asiático, el nórdico, etc.)<br />Por último, si uno ve la p.50 del volumen de tendencias de PISA 2009, uno encuentra una buena ilustración del contraste con la idea de los capítulos nacionales de la "Enciclopedia" de TIMSS o PIRLS. En esa página se dice que el Perú hubiese mejorado más en lectura, pero que eso no fue así pues las condiciones socio-económicas de los estudiantes peruanos de 2009 eran peores que la de los estudiantes de 2001. Hay que ignorar mucho lo que pasó en Perú para poder escribir algo así. César Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-74382759718750834402013-12-31T09:28:00.275-05:002013-12-31T09:28:00.275-05:00Estimado César,
Acabo de leer los resúmenes y el ...Estimado César,<br /><br />Acabo de leer los resúmenes y el capítulo 1 del libro que recomendaste y no me queda claro lo del circo mediático desplegado (que se menciona en el prefacio del libro). Me queda claro que para un periodista es noticia quiénes son los ganadores o perdedores de la competencia PISA (ya que ellos lo ven en términos deportivos), no cuáles son los factores asociados que explican las diferencias entre países o al interior de los mismos. Entiendo que en otros países la cobertura mediática es diferente, por ejemplo en Chile donde existen al menos dos o tres centros de investigación educativa comparada y allí he visto reportajes donde analizan los resultados PISA con mayor profundidad.<br /><br />En segundo lugar, tampoco me queda claro si hay una agenda detrás de ciertos modelos educativos o concepciones sobre los sistemas educativos. Si así fuera, cómo explicar que en PISA 2000-2006 el modelo a seguir era Finlandia, Australia-NZ y los países nórdicos y a partir de PISA 2009 los modelos sean los países y regiones del sudeste asiático. Por cierto, en los ránkings TIMSS y PIRLS, los países y regiones del sudeste asiático también aparecen en los primeros lugares.<br /><br />Para terminar, traté de replicar (de una manera muy elemental) los resultados presentados por Antonio Luzón y Mónica Torres (Anexo 1 del libro) y busqué en WoS y Scopus por los siguientes términos: PISA * OECD / (TIMSS OR PIRLS) * IEA y encontré que la cobertura académica para ambas pruebas es proporcional (Scopus indiza el doble que WoS):<br /><br />PISA * OECD<br />Scopus: 207 estudios<br />WoS: 116 estudios<br /><br />(TIMSS OR PIRLS) * IEA<br />Scopus: 31 documentos<br />WoS: 15<br />Carlos Vílchez-Románhttps://www.blogger.com/profile/11053065038768050249noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-84748249432864879692013-12-30T10:32:33.696-05:002013-12-30T10:32:33.696-05:00Hola. No tengo los detalles de los costos; sin emb...Hola. No tengo los detalles de los costos; sin embargo, éstos tienen que ver con coordinación general, procesamiento de datos, etc. Como bien dices, en el caso de TIMSS y PIRLS muchos han enfatizado los rankings; sin embargo, la IEA no hace ningún despliegue mediático enfocado en ello. Al mismo tiempo, cada estudio genera una "Enciclopedia" (no necesariamente un título que atraiga muchos lectores) con análisis detallados por países que resultan ser lo más sugerente. Finalmente, creo que es de capital importancia que la IEA opere como un consorcio de investigación en el que todos colaboran, esto contribuye a construir la información como bien público.César Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-75118766008327356412013-12-29T20:02:53.064-05:002013-12-29T20:02:53.064-05:00Mientras que participar en TIMSS 2015 costará EUR ...Mientras que participar en TIMSS 2015 costará EUR 100,000 por cada grado (http://www.iea.nl/timss_2015.html), participar en PISA 2015 -como bien señalaste- costará EUR 182,000 (http://www.oecd.org/pisa/aboutpisa/howtojoinpisa.htm). Dado que conoces muy bien el tema, te agradeceré si nos puedes dar algún alcance adicional para entender dicha diferencia en los costos de participación.<br /><br />Y con relación a los estudios de la IEA, si bien es cierto tienen un enfoque distinto al de la OCDE, lo que más se conoce también son los ránking TIMSS y PIRLS; lo poco que se discute sobre los factores asociados en ambas evaluaciones básicamente se da en el circuito académico, igual que con PISA.<br />Carlos Vílchez-Románhttps://www.blogger.com/profile/11053065038768050249noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-44366520077152918042013-12-27T12:34:24.378-05:002013-12-27T12:34:24.378-05:00Estimado Javier. Acabo de revisar el enlace al lib...Estimado Javier. Acabo de revisar el enlace al libro y noto que no lo baja completo. Gracias por advertirme, voy a buscar si hay otro enlace. En todo caso, una traducción del capítulo de Scott está disponible en http://www.ugr.es/~recfpro/rev172ART4.pdf<br />Un abrazoCésar Guadalupehttps://www.blogger.com/profile/07780793090762626494noreply@blogger.comtag:blogger.com,1999:blog-6212640258087725856.post-39929875956827047142013-12-27T11:23:14.875-05:002013-12-27T11:23:14.875-05:00Estimado César,me interesa el capítulo de David Sc...Estimado César,me interesa el capítulo de David Scott que mencionas, pero no está en el archivo que acabo de bajar de tu link, ¿hay otra manera de obtenerlo? Por cierto, excelentes tus precisiones y Felices FiestasJavier Bellina de los Heroshttps://www.blogger.com/profile/02654699649435065241noreply@blogger.com