Mostrando entradas con la etiqueta Educación. Mostrar todas las entradas
Mostrando entradas con la etiqueta Educación. Mostrar todas las entradas

15 mayo, 2019

Aprender a leer sin la ayuda de un adulto

El día de hoy, 15 de mayo de 2019, en Los Angeles (California, USA) se llevó a cabo la ceremonia de premiación correspondiente al Global Learning XPrize.

Esta iniciativa, iniciada hace casi seis años, buscó estimular la generación de una solución informática que permita a niños que no tienen acceso a la escuela (o a quienes dicho acceso no les garantiza aprendizajes mínimos) aprender los fundamentos de la lecto-escritura y de la aritmética, a lo que posteriormente se sumó la producción de códigos para fomentar el pensamiento lógico asociado al pensamiento computacional.

Finalmente, esa solución ha sido producida y probada. Lo más importante es que es una solución abierta con fines no comerciales. Cualquiera que desee puede acceder a ella y usarla. Lógicamente, no se trata de ninguna panacea y hay que tener cuidado con las formas como se usa y posibles efectos colaterales, pero es una herramienta abierta que debemos considerar.

Como mencioné en un post anterior, esta es una potencial innovación radical en el mundo de la educación que ayudará (eso espero) a remecer sus cimientos más básicos y a repensar las cosas y hacerlas mucho mejor.

Ha sido un inmenso privilegio ser parte de esta historia como miembro del Consejo Asesor del premio y estoy muy agradecido por ello.

La ceremonia puede ser vista en: https://youtu.be/adrzCcLcdjE

06 mayo, 2019

La escuela boba (II): Introducción o para qué queremos escuela

Pienso en un niño nacido en estos días y trato de imaginar cómo debería ser la escuela que lo acoja el 2022 (no el 2021 ya que la fecha de referencia de la matrícula señala que debería tener tres años cumplidos al 31 de marzo y hoy es 8 de agosto de 2018–la racionalidad burocrática siempre presente en un sistema educativoa menos que nos atrevamos a pensar en una escuela desgraduada cosa que, por cierto, no es nada descabellada).
Esa escuela debería ser un lugar alegre, acogedor, seguro, cálido, lleno de disfrute y risas. Un lugar que tenga como motto: la letra con alegría entra. Un lugar al que de gusto llegar y del que uno no quisiera nunca salir; así aprenderemos a llevar siempre con nosotros nuestra propia escuela interior; es decir, a cultivar nuestras ganas de aprender siempre. Un espacio abierto al mundo que haga crecer nuestra inherente curiosidad por el cosmos (todo lo que existe, ha existido y existirá) y que, de esa forma, nos ayude a encontrar con candidez nuestro lugar en él. Asimismo, una escuela feliz es una que pone como objetivo central de la experiencia educativa la felicidad de los estudiantes y que la búsqueda que ellos hagan de dicha finalidad a lo largo de sus vidas, no es otra cosa que su florecimiento y el desarrollo de su potencial en armonía con los demás y con el cosmos.
Así, la experiencia educativa habría de definirse como una en que se da el florecimiento general del espíritu de cada uno (así como de su cuerpo), afirmando los principios y propósitos que identifica el párrafo segundo del Artículo 26 de la Declaración Universal de los Derechos Humanos: el pleno desarrollo de la personalidad; el fortalecimiento del respeto a los derechos humanos y a las libertades fundamentales; la comprensión, la tolerancia y la amistad entre todas las naciones y todos los grupos étnicos o religiosos, y la paz. Esto fue certeramente traducido por el Informe Delors en 1996 aunque el proceso de meme-tización de sus cuatro pilares haya llevado a que pierdan contenido (en su versión vulgata) y terminen siendo, muchas veces, menciones rituales carentes de mucho sentido. Así, resulta central recordar que la educación de las personas es, efectivamente, un proceso de desarrollo de la identidad personal (ser), que dicha identidad se fragua en colectividad (vivir juntos), que el aprendizaje nos permite actuar sobre el mundo (hacer), y que, por todo lo anterior, es clave que podamos seguir aprendiendo de modo continuo a lo largo de la vida (aprender).
Evidentemente, lo que dicen estos párrafos es tremendamente general. Por lo tanto, sólo sirve (si acaso) como faro que guíe las reflexiones que necesariamente debemos desarrollar. Todo lo que venga después debería servir para concretar los propósitos insertos en la generalidad de dichos párrafos.
Así, trataré de esbozar algunos elementos respecto de roles o sentidos claves de la escuela enfocándome en la educación básica de menores.

Continúa acá.

La escuela boba (I): Prólogo

Hoy es un día especial para quienes conocimos y gozamos de la generosa vida de
Juan Fernando Vega, el Negro.

Su partida es algo que a muchos nos cuesta procesar. En mi caso, a los pocos días de acontecida, empecé a preparar un texto que es el que ahora publico acá en diez partes. Es un texto pensado a partir de las innumerables conversaciones que tuvimos y las cosas que hicimos. Es, en cierta forma, mi testimonio y mi expresión de afecto, admiración y gratitud, hecho sabiendo que quedará corto para expresar todo lo que muchos quisiéramos expresar.


Empiezo a redactar este texto sin mucha claridad acerca de su destino. Lo hago, quizás, como una forma de empezar a lidiar con la partida de un amigo entrañable a quien, como muchas otras personas, debo mucho en mi vida y a quien considero, como muchos, que fue capaz de llevar una vida plena y feliz como quedó claro a través de las masivas manifestaciones de afecto y gratitud que siguieron a su accidente y posterior deceso.

Hace más de dos décadas, este amigo (bajo inspiración sanmartinense, imagino) juntó a un grupo de personas muy diversas que no sólo empezamos a trabajar juntos, sino que, al hacerlo, consolidamos amistades previas o desarrollamos nuevas de un modo que devino en la conformación de un pequeño núcleo al que nuestro amigo hoy ausente llamó “Los Bobos” (ése es el nombre que lleva nuestro grupo de chat, algo para lo que otros prefieren nombres más elevados como, por ejemplo, “mototaxi”).


Los Bobos somos un grupo de amigos unidos no sólo por nuestro capitán, sino también por nuestra ignorancia: juntos sumamos inmensos océanos de ignorancia que nos gustaría cruzar y que, a lo largo de nuestras vidas, hemos abordado, con limitadísimo alcance, en diversas playas, fracasando en muchas de ellas y avanzando unos pasos en algunas. Tememos a los sabios ya que desconfiamos profundamente de las decisiones que son tomadas desde la sabiduría pues aquéllos que ya saben ¿qué pueden aprender? Nuestro capitán siempre dio muestras, y eso es parte de lo que nos une, de que la vida tenía que estar marcada por un profundo sentido crítico dirigido a todas las cosas, al tiempo que por un profundo amor por todas las personas y los seres vivos.
Asimismo, los Bobos reivindicamos el otium, y no tenemos una relación buena con su negación, el negotium. En ese sentido, el trabajo es algo que hemos encarado como una actividad de disfrute y despliegue de nuestra curiosidad y ánimos internos y, por lo mismo, nos gustaría un mundo en el que cuando a un niño le pregunten ¿En qué trabaja tu p/madre? pueda contestar: él/ella no trabaja, sólo se divierte con sus amigo/as como, efectivamente, afirmó el hijo del Bobo mayor cuando se enfrentó a esa pregunta, en la educación primaria, hace unas tres décadas. En efecto, consideramos que el humor, el buen espíritu, la risa, y también la irreverencia, son elementos que tocan a una vida feliz y rica; por lo mismo, también nos resulta chocante la solemnidad de los sabios. En este orden de ideas, solemos identificarnos como marxistas a la luz de la labor desarrollada por Chico, Harpo, Groucho, Gummo, y Zeppo bajo el liderazgo de su madre, Minnie Marx.
Los Bobos hemos dedicado parte importante de nuestros esfuerzos a aprender un poco sobre el tema educativo. Esto parece obvio ya que, justamente, nos gusta aprender cosas y la educación parecería tener alguna relación con ello. Digo parecería pues lo primero que nos preguntamos es si esto es necesariamente así. De hecho, el sistema educativo peruano parece obedecer a algunas finalidades que no incluyen, justamente, que las personas aprendamos.
En nuestros intentos por abordar las grandes playas de nuestra ignorancia educativa nos hemos encontrado con muchas personas. Algunas de ellas nos preguntan (como si alguna vez hubiésemos tenido una respuesta, o como si alguno de nosotros se aferrase a cualquier atisbo de respuesta que alguna vez hayamos esbozado) ¿cómo debe ser la escuela? ¿cómo será la escuela del futuro?
Evidentemente, no tenemos la menor idea. Como siempre, sólo tenemos algunos principios o guías y muchas preguntas que creemos que nos ayudan a armar las respuestas que, indefectiblemente, se construirán con la acción compleja de las personas y el paso del tiempo y que, con seguridad, serán muy diferentes de lo que podremos imaginar hoy ya que encontraremos otras soluciones y surgirán nuevos problemas.
En esta serie de posts al que he titulado "La Escuela Boba" voy a abordar algunas de estas preguntas. Evidentemente, las cosas que diga serán todas íntegra responsabilidad mía y de ningún otro bobo. Confieso, sin embargo, que me hubiese encantado que el Bobo mayor hubiese revisado este texto antes que me atreva a publicarlo.

Continua acá.

09 abril, 2019

ECE 2018: ni alegrías, ni tristezas; hora de rectificar

Retomo este blog luego de mucho tiempo y lo hago en el contexto de la publicación de los resultados de la versión 2018 de la Evaluación Censal de Estudiantes (ECE). De hecho, ya había pensado tocar este tema y hace varios meses preparé un brevísimo borrador que dice lo siguiente:
En unas semanas más se publicará los resultados de la ECE 2018. Con total seguridad, ésta mostrará tímidos progresos en los grados evaluados; una diferencia en los desempeños entre escuelas del Estado y escuelas no estatales (la misma que desaparece luego de controlar las diferencias socio-económicas); disparidades que afectan negativamente a las zonas rurales; y un ranking de departamentos muy similar a los que se han publicado en las 10 versiones previas de la prueba. Además, los que hagan un análisis posterior más detenido, mostrarán que el sistema educativo peruano presenta muy marcados niveles de segregación social y que, por lo tanto, tiende a reproducir desigualdades.
Es decir, la ECE 2018 no nos dice nada que no sepamos ya.
Sin embargo, ahora que se ha publicado los resultados, este texto funciona bien para todos los grados evaluados menos para segundo de primaria y cuarto grado EIB. ¿Qué pasó? 
Déjenme ser muy claro y directo: no hay una explicación definitiva de estos resultados y difícilmente la tengamos porque no tenemos suficiente evidencia sistemática para tenerla. Lo que podemos plantear son explicaciones plausibles. De eso se trata el resto de este texto. 
Lo primero que quiero mencionar es que una explicación cataclísmica podría dar cuenta de modo parcial de lo observado; pero, difícilmente las cosas se explican sólo por ello. Si bien la huelga de 2017, el fenómeno del niño, y (según algunos críticos) la gestión de Idel Vexler podrían tener un impacto negativo, éste afectaría a todos los grados y no sólo a segundo de primaria. Por lo tanto, hay que buscar una explicación específica para dicho grado. Ciertamente, es posible que algunos de estos eventos hayan tenido un impacto particular en los niños que cursaron segundo de primaria en 2018 (los afectó en primer grado que es un grado potencialmente muy sensible por lo que podría esperarse un efecto diferente de lo observado en grados posteriores), pero la magnitud de los cambios sugeriría que hay algo más en esta historia.
Quienes trabajamos en este tema sabemos que es muy difícil tener evaluaciones estandarizadas que arrojen resultados robustos y comparables (entre personas y en el tiempo) cuando se trabaja con grados tempranos. Los principales promotores de la evaluación en grados tempranos (RTI International) siempre se han opuesto a que se fije estándares comunes (como decodificar 60 palabras por minuto sin importar la lengua y el sistema de escritura), o que se agregue la información como si fuese comparable, y han promovido pruebas administradas de modo individual y con un importante componente oral. Esto obedece a múltiples factores que incluyen, por ejemplo, la influencia de la lectura en una prueba de matemáticas: si un niño tiene dificultad para leer el cuestionario de matemáticas, ¿sus respuestas dan cuenta de una debilidad en matemáticas? Por supuesto que no necesariamente y ése es el problema: al final uno no sabe qué es lo que está midiendo ya que la medida es distorsionada por un factor adicional del que uno puede no ser consciente. 
Esto explica porque, desde que se tomó la decisión, en 2006, de crear las ECE en segundo grado de primaria, la hoy Oficina de Medición de la Calidad de los Aprendizajes (UMC) ha propuesto formas alternativas de evaluar el sistema. En particular, siempre ha buscado tener un plan sistemático de evaluaciones (muestrales) que permita mejor cobertura curricular en un número mayor de grados. Asimismo, diversas voces especializadas en este tema, han señalado lo mismo a todos los ministros desde 2006. Entonces, ¿por qué hay ECE de segundo grado y por qué se mantiene? Este es un tema que amerita un análisis específico que no es motivo de este post.
Con esto en mente, veamos los resultados. No los de 2018 en aislamiento, tampoco los últimos dos años (recordando que la ECE de 2017 fue suspendida), sino toda la serie desde 2007. Asimismo, usemos la información muestral (la ECE 2018 de segundo de primaria fue muestral y todos los años se hizo una “muestra de control” que es la que genera los resultados que pueden considerarse robustos; esto se explica en un post de hace 6 años y disponible acá). Al usar muestras debemos incluir tanto los estimadores (puntos) como el intervalo (marcado con líneas) en que se encuentra el valor poblacional con una certeza conocida (en este caso, del 95 por ciento). Este gráfico muestra el porcentaje de estudiantes con desempeño satisfactorio en matemáticas.
Porcentaje de estudiantes con desempeño satisfactorio en matemáticas.
Evaluación Censal de Estudiantes 2007-2018.

Elaboración propia a partir de la serie de datos publicada por la UMC y disponible en su sitio web (http://umc.minedu.gob.pe) y el informe de resultados de 2018 
Como notará cualquier persona con un mínimo de formación estadística, los datos agregados del sector no estatal son erráticos y no se mueven mayor cosa dentro de los márgenes definidos por el recuadro verde que he añadido. Los resultados agregados en las escuelas estatales tienen una tendencia sostenida (aunque muy tímida y marcada con la línea azul que he añadido) al crecimiento con tres valores que, evidentemente, no se ajustan a esta tendencia (esos tres años también son levemente diferentes en el caso de las escuelas no estatales) ya que muestran un crecimiento muy marcado. Tómese en cuenta, además, que ambos sectores son muy heterogéneos, por lo que las comparaciones entre valores agregados tienen siempre un valor referencial. Mi intención al presentar de modo separado lo estatal y lo no estatal es indagar si cabe postular la existencia de algún factor que afecte de modo diferenciado a las escuelas según su gestión y, claramente, encontramos patrones distintos.
En el caso de lectura, tenemos lo siguiente:
Porcentaje de estudiantes con desempeño satisfactorio en lectura.
Evaluación Censal de Estudiantes 2007-2018.

Elaboración propia a partir de la serie de datos publicada por la UMC y disponible en su sitio web (http://umc.minedu.gob.pe) y el informe de resultados de 2018 
Nuevamente se aprecia un estancamiento en el comportamiento agregado de la educación no estatal y una tendencia al progreso sostenido (más marcada que en matemáticas como muestra la línea azul añadida) en el agregado de las escuelas estatales con los mismos tres datos atípicos (dos de esos tres años sugieren progresos con un patrón similar en el caso no estatal).
Asimismo, hay que considerar que las diferencias entre 2018 y 2016 son mucho más marcadas en matemáticas que en lectura: los puntos de caída en matemáticas representan el 60 por ciento del valor anterior, y 25 por ciento en lectura. Esto va de la mano con que el alza entre 2013 y 2016 también fue mucho mas marcada en esa área (137 por ciento en matemáticas y 61 por ciento en lectura).
Por otra parte, debemos considerar que toda la información adicional que tenemos sobre niveles de aprendizaje (PISA, estudios del Laboratorio Latinoamericano, ECE de otros grados) muestra, a pesar de sus limitaciones, que hay un progreso sostenido (aunque lento) desde al menos 2001. Esto es coherente con las líneas de tendencia antes mostradas y brinda información adicional para preguntarse por la atipicidad de los datos correspondientes al período 2014-2016.
Entonces, hay dos opciones lógicas: o tuvimos una espectacular mejora entre 2014 y 2016 y luego caímos; o los resultados de 2014-2016 están “inflados” por alguna razón y, entonces, son outliers que deben ser descartados y constatar que seguimos en la misma tendencia.
Desde el inicio de las ECE, muchas personas hemos observado (en base a la experiencia y la abundante evidencia disponible) que no eran una buena idea. Las razones siempre han sido éstas:
(i)               una evaluación censal produce menos información y menos confiable que una muestral;
(ii)            una evaluación censal es muy visible y, por lo tanto, puede ejercer una presión indebida sobre el sistema ya que por medir muy pocos aspectos implica el riesgo de estrechamiento curricular (se prioriza lo que está en la prueba y se descuida todo lo demás que está en el currículo), preparación para la prueba, o fraudes, todos elementos que perjudican los aprendizajes; 
(iii)           al contarse con información con este nivel de desagregación, alguien con una comprensión muy limitada de estos temas (y abusando del acceso público a la información) puede elaborar un ranking que, al no controlar condiciones que intervienen, terminan sirviendo únicamente para estigmatizar y reforzar prejuicios.
(iv)           las pruebas estandarizadas son una foto de un proceso complejo que captura una fracción muy limitada de la realidad; por lo mismo, dichas pruebas son útiles para análisis agregados que alimenten políticas y recomendaciones que retroalimenten al sistema, pero potencialmente muy riesgosas y equívocas respecto de situaciones locales o individuales específicas.
Así, una evaluación censal, sólo tendría sentido para: 
(i)        alimentar un esquema de micro-management desde el Ministerio que, además de riesgoso e inoperante, perpetúa las debilidades en las instancias de gestión fuera de éste; 
(ii)          motivar a todos los actores del sistema, aunque esta motivación puede fácilmente ser mal dirigida (a subir puntajes y no a mejorar la educación) y lograrse con menos riesgos por otros medios; e

(iii)       identificar situaciones particularmente críticas que requieren de apoyo urgente, cosa que no ha sido una preocupación consistentemente sostenida en el país. 

Para aprender acerca de cómo estamos y para obtener recomendaciones pedagógicas y de política, las evaluaciones muestrales son infinitamente más útiles y pertinentes, brindan más información y carecen de los riesgos asociados a las censales (rankings, sobrevaluar una medida parcial e imperfecta, asociar instrumentos de gestión a dicha medida, estrechamiento curricular, entrenamiento para la prueba, etc.).
Por ello, la pieza de evidencia más importante que deberíamos considerar al discutir estos temas es la investigación conducida hace más de 40 años y que llevó a la formulaciones de las llamadas Leyes de Campbell. Estas básicamente dicen lo siguiente: cuando uno le da demasiada importancia a un indicador singular produce dos resultados; primero, que la acción de las personas se oriente a alterar el indicador y no la realidad que éste pretende medir; y, segundo y como resultado de lo anterior, el indicador deja de medir lo que se suponía que medía. 
Con estos elementos en mente es posible entender por qué diversas investigaciones conducidas en los últimos años (por ejemplo, este texto de Eduardo León, o éste que hicimos con Luis Eduardo Castillo) y la observación de aula de cualquiera de los que hacemos trabajo de campo regularmente, han coincidido en registrar que diversos gobiernos regionales, órganos de gestión intermedia (UGEL) e instituciones educativas (estatales y no estatales) han tendido a hacer campañas de entrenamiento para la prueba que distorsionan la medición. A esto se ha sumado un conjunto de acciones del propio Ministerio que van desde la producción de materiales que han sido usados para el entrenamiento -los “Kits de evaluación” (más allá de la buena intención con la que se produjeron), hasta vincular de modo compulsivo una parte importante de la gestión a la ECE de segundo grado de primaria, la misma que fue tomada como el supremo e indicutible indicador de “resultados”, y el Bono Escuela que muchos consideramos, desde su planteamiento inicial, un desacierto (el propio Consejo Nacional de Educación publicó, en 2014, un documento crítico que anticipa los problemas que hoy vemos).
A esto debemos agregar que, como sabemos por lo observado en muchos casos, es más fácil entrenar para los "trucos" de una prueba de matemáticas que para leer. Entonces, es esperable que el área con mayor volatilidad  en resultados (mayores subidas entre 2013 y 2016 y mayor caída a 2018) haya sido, justamente, el área matemática.
Así, es perfectamente plausible afirmar que el sistema educativo ha sufrido una fuerte presión alrededor de la ECE de segundo de primaria, especialmente las escuelas del Estado, y que ésta se ha exacerbado durante el período 2014-2016 cuando se introdujo el Bono Escuela, y se sobreenfatizó el valor de estos datos para la gestión. Esto habría producido resultados perfectamente coherentes con las Leyes de Campbell los mismos que se manifiestan, de modo más marcado (pero no exclusivo), en el período 2014-2016. Asimismo, al cambiar el carácter de la evaluación de segundo grado de primaria (pasar a muestral y, por lo tanto, no atar el Bono Escuela a ella) a lo que se suma los cambios en los mensajes que sobre esta evaluación han tenido las últimas gestiones (todas desde diciembre de 2016), esa presión ha tendido a desaparecer.
Así, yo apostaría por este elemento explicativo (recordando que los problemas complejos suelen tener explicaciones múltiples que perfectamente pueden incluir los elementos mencionados al inicio de este texto). Por lo mismo, consideraría que debemos, simplemente, no prestar mayor atención a estos resultados ya que la ECE ha dejado de medir lo que se suponía debía medir o, en el peor de los casos, considerar que tenemos una serie de datos de la que hay que excluir los resultados de 2014 a 2016.
Aunque, en realidad, habría que desechar las evaluaciones censales in toto, y pasar a un sistema más inteligente que se base en evaluaciones muestrales con mayor cobertura curricular (más áreas, más grados, más profundidad), que permita no sólo tener una imagen general del sistema sino también producir recomendaciones pedagógicas; al tiempo que el reforzamiento de la gestión escolar incluye herramientas de autoevaluación que habrían de incorporar (pero no limitarse a) resultados de pruebas que ellas mismas administren (con apoyo del Ministerio) y que, por tanto, no serían comparables y no habría interés en hacerlas lucir mejor de lo que son.
Finalmente, esto supone también plantearse que la producción de información de gran trascendencia e impacto debe estar en manos de unidades que gocen de autonomía técnica para decidir acerca de qué hacer sin que dichas decisiones se vean afectadas por arrebatos presidenciales (como el que creó la ECE en 2006) o visiones ideológicas que se despliegan en la gestión sin contrapeso alguno. Si en vez de contar con una unidad dentro del Ministerio, hubiésemos construido una organización autónoma que reporte a un Consejo Directivo independiente que reúna una diversidad de puntos de vista informados sobre estos temas, nunca hubiésemos tenido una evaluación censal, ni los problemas  (reales o ficticios) que hoy vemos. Es urgente, entonces, pensar en que unidades como la UMC y Estadística debieran salir del Ministerio y contar con una forma institucional que les permita operar de una mejor manera.

26 febrero, 2015

ECE 2014: Eppur si muove

Se acaban de publicar los resultados de la edición 2014 de la Evaluación Censal de Estudiantes del Perú. Esta evaluación mide competencia lectora y habilidad matemática al final del segundo grado de primaria en todas las escuelas del país (con algunas excepciones muy puntuales) y, se conduce anualmente desde 2007.
Los resultados son muy auspiciosos pues se aprecia una importante mejora en el desempeño medio de nuestros estudiantes. Así, por ejemplo, si en 2007 sólo entre 14-15 por ciento de los estudiantes lograba un desempeño satisfactorio en lectura, ese porcentaje había subido a entre 29-32 por ciento para 2013, y en 2014 experimentó un salto que ubica ese valor entre 39-43 por ciento. En el caso de matemáticas, los valores para los mismos años son de 7-8; 15-17; y 24-27 por ciento respectivamente.
(Una nota marginal, nótese que pongo los porcentajes como rango y no como valores puntuales, pues los valores robustos se reportan a partir de una muestra de control y, por lo mismo hay un margen de error; los intervalos que he usado corresponden a un nivel de confianza estadística del 95 por ciento)
Lo primero que me parece importante decir es que son buenas noticias (aunque aún insuficientes) ya que, más allá de los diferentes temas que podemos y debemos discutir, este progreso es consistente con lo que muestran otras fuentes de datos (como el estudio latinoamericano publicado en diciembre pasado, o el estudio de la OECD publicado en diciembre de 2013); todos los estudios apuntan en la misma dirección: los niveles de aprendizaje de los estudiantes peruanos aunque bajos, vienen mejorando de modo sistemático desde hace, por lo menos 14 años (ya que tenemos datos comparables de la prueba de la OECD desde 2001, por lo mismo, no sabemos si la mejoría empezó incluso antes).
Me parece de capital importancia no actuar con mezquindad frente a este hecho. El discurso tremendista que se ha instalado en los últimos años acerca de la educación peruana y graficado en la frase “tenemos la peor educación del mundo” no sólo se basa en la ignorancia, sino también tiene efectos nefastos sobre el debate educativo y sobre las propias realidades educativas. ¿Alguien cree que podremos, por ejemplo, reclutar a los estudiantes más talentosos que egresan de la secundaria como docentes si, al mismo tiempo, les decimos que lo que les espera es trabajar en el peor sistema educativo del mundo? 
Lo segundo que es necesario mencionar tiene que ver con las disparidades internas que la prueba muestra. Como hemos anotado en un texto que preparamos con Juan León y Santiago Cueto con datos de 2007 a 2012 (disponible aquí), las brechas tienden a mantenerse excepto en el caso de las diferencias entre los resultados observados en escuelas estatales y no estatales (donde el éxodo de estudiantes hacia el sector privado es, potencialmente la causa principal de que el promedio de ese segmento disminuya –lo que, por cierto, plantea el problema de hasta dónde los datos son comparables en el tiempo cuando hay variaciones tan importantes en la conformación de las subpoblaciones). En particular las brechas urbano/rural y polidocente completo/multigrado se mantienen muy marcadas; ahora bien, un cambio en este aspecto supondría que la mejora se de a un ritmo mayor en las zonas hoy menos favorecidas.
Lo tercero que me parece central destacar tiene que ver con el problema de atribuciones. Seguramente (lo digo desde la comodidad de no estar en Lima sufriendo este espectáculo) en estos momentos hay más de uno que desea atribuirse la mejora y lo cierto es que es imposible determinar atribuciones con precisión pues el propio diseño de la evaluación no lo permite. Es posible que esta mejora sea el resultado de las mejoras generales en las condiciones de vida de los peruanos (lo más probable es que esto explique una fracción muy importante de los resultados como lo hemos mostrado para el caso de PISA); de políticas educativas nacionales y regionales enfocadas desde hace 20 años en mejorar aprendizajes; de mejoras en las prácticas docentes como resultado de su mejor situación económica (desde 1990 su salario real ha crecido más de cuatro veces y la mayoría de profesores que tenemos han ingresado a trabajar luego de 1990) y de políticas de apoyo a su labor; etc. Asimismo, es posible que parte de los resultados en la prueba se explique por efectos perversos de la misma como, por ejemplo, la cada vez más extendida práctica (que en algunos casos es política educativa regional como en Amazonas en 2013 y en Moquegua desde hace varios años) de preparar a los estudiantes para la prueba. Cualquiera que haya ido a una academia pre-universitaria o se haya preparado para algún examen en particular sabe que la preparación funciona como forma de mejorar el manejo de la prueba misma; así sirve para mejorar los puntajes pero no necesariamente, ni en la misma proporción, para mejorar los aprendizajes.
Este último punto es uno que me preocupa particularmente pues termina (dependiendo de cuán extendida esté esta práctica) desvirtuando la capacidad de la Evaluación Censal para decir algo sobre los aprendizajes y, por supuesto ya invalidó cualquier posibilidad de hacer rankings (que ya eran absurdos por otras razones). El carácter censal de la prueba hace que sus resultados tengan un valor simbólico importante, y si uno asocia a esos resultados retribuciones materiales (como se ha empezado a hacer desde finales del año pasado para lo cual ya se hace un ranking aunque separado por estratos), deriva de modo sistemático en mermar la capacidad de la Evaluación Censal para decir algo relevante. Ya era poco lo que decía antes, ahora, estas prácticas la limitan aún más. Darle demasiada importancia al termómetro deriva en que éste se termine rompiendo.
Es hora de pensar con detenimiento en un sistema nacional de evaluaciones de aprendizajes en serio. Para esto contamos con todas las capacidades profesionales y de visión estratégica (la UMC es, probablemente, una de las áreas más competentes y profesionales de todo el Estado peruano). Un Instituto independiente, cuya autonomía no pueda ser arrasada con decisiones torpes (como la decisión presidencial de crear la ECE que se tradujo en desechar todo el plan de evaluaciones que la UMC tenía entonces) nos puede permitir repensar varias cosas como, por ejemplo, dejar de invertir sumas importantes de recursos en una evaluación tan inútil (desde el punto de vista educativo) como nefasta (desde el punto de vista político) como PISA. Las evaluaciones muestrales de 2013 (cuyos resultados serán publicados muy pronto) cubrieron más áreas (incluso ciudadanía), con mayor profundidad y en más grados. Esta es una muestra de la capacidad con la que contamos para hacer cosas de las que realmente podamos sacar lecciones, y no enfocarnos en cosas que operen como el garrote o la zanahoria que “necesitan” ciertos modelos simplistas de interpretación de los asuntos humanos. 
Hoy que hay mejoras indiscutibles, es un buen momento para repensar el sistema de evaluaciones de modo profesional y no en función de supuestas necesidades de gestión que “necesitan” que cada escuela tenga un termómetro que debe ser verificado por la autoridad central (esa forma de gestión, lo sabemos, es epistemológicamente absurda y políticamente ilusa, así como es capaz de crear más problemas de los que resuelve). En este contexto de mejora, los cambios que se introduzcan en el sistema de evaluaciones no podrían ser tildados de “intentos por ocultar la realidad” como dice la leyenda creada alrededor de la no publicación de los datos de Perú en el primer estudio latinoamericano de 1997 (si se quería ocultar la realidad, entonces, ¿por qué se pidió participar en PISA en el mismo momento? Hoy nadie menciona ese estudio latinoamericano pues hay plena conciencia sobre sus profundas debilidades).

Termino esta nota volviendo al inicio: el sistema educativo está mejorando, aún falta mucho, pero está mejorando. Sin negar los inmensos desafíos que tenemos, generar consenso sobre esta idea es vital para levantar el estigma creado a lo largo de los últimos años y que, simplemente, hace daño. Los niños aprenden cada vez un poquito más, ¿no es eso una buena noticia?

28 agosto, 2014

APPs en educación: ¿privatización?

El pasado 26 de agosto, el Centro de Investigación de la Universidad del Pacífico lanzó “Agenda2014: propuestas para mejorar la regionalización.” Esta iniciativa consiste en un conjunto de documentos breves de política que busca sugerir alternativas y posibilidades para mejorar en aspectos de gobernabilidad; finanzas públicas subnacionales; fideicomisos a nivel regional; gestión de residuos sólidos; fomento de Asociaciones Público Privadas; pesca artesanal; asociatividad empresarial; y educación.

Todos los documentos se encuentran disponibles en el sitio web de la iniciativa Agenda 2014.


El texto específico sobre educación es el resultado de una muy grata colaboración con mi colega Arlette Beltrán y contó con el apoyo de Micaela Chuquilín. Este texto constata una situación muy precisa: en el Perú de hoy, los colegios que operan como Asociaciones Público-Privadas (es decir, los Fe y Alegría y los llamados “Parroquiales en convenio”) logran que sus estudiantes obtengan mejores logros de aprendizaje que sus pares en escuelas estatales y también en escuelas privadas pagadas como se muestra en estos gráficos. 

Resultados de la Evaluación Censal de Estudiantes (ECE) 2007-2012. Nacional. Porcentaje de estudiantes de segundo grado con desempeño satisfactorio en comprensión lectora y matemáticas según gestión (grupos seleccionados).
Nota: Tomado de Beltrán, A & Guadalupe, C (2014) Asociaciones público-privadas en la educación: consideraciones de política y posibilidades para el Perú. Lima: Universidad del Pacífico

A partir de esta situación, y del hecho que estos colegios hoy representan un dos por ciento de la matrícula en educación primaria, el documento se plantea una pregunta simple:¿no cabría plantearse la posibilidad de ampliar este tipo de experiencias? ¿no cabría que los gobiernos sub-nacionales (y por qué no el nacional) exploren el desarrollo más intensivo de este tipo de alianzas?

Existe abundante literatura que muestra por qué los colegios Fe y Alegría son, probablemente, la única educación pública que merezca llamarse tal en el Perú. La educación que brinda el Estado no logra honrar el interés público consistente en garantizar el derecho de las personas a la educación y, por lo mismo, no merece llamarse Educación Pública.

Así, el texto revisa el marco normativo existente sobre APPs y muestra diversas opciones que podrían implementarse, las mismas que van desde lo que el Ministerio de Educación viene promoviendo en este momento (APPs para infraestructura y mantenimiento, es decir, para proveer de insumos materiales del proceso de enseñanza) hasta la prestación total del servicio por parte de agentes no estatales (como es el caso de Beca 18 en la educación superior; es decir, de programas en el que el agente no estatal se encarga de todos los aspectos del servicio educativo y el Estado financia la participación de estudiantes que, de otra forma, no podrían acceder a esos servicios); pasando por modalidades intermedias como es el caso de Fe y Alegría.

La primera pregunta que una propuesta de este tipo suscita es muy simple: ¿están proponiendo privatizar la educación?

La respuesta a esta legítima preocupación tiene varias partes:

1.     La propuesta no brinda una receta única, sólo sugiere que sería bueno explorar opciones. De hecho, las opciones que postulan recetas únicas suelen fracasar y ésta sugiere que las decisiones deben ser el resultado de una reflexión ponderada acerca de diversas opciones y considerando los diversos contextos en los que se ha de implementar una política dada.

2.     ¿Qué es la educación pública? ¿qué significa privatizarla? Como he tratado de explicar en otros post, la educación pública es aquella que garantiza el derecho de las personas a la educación; lo cual puede (o no) hacerse mediante la provisión estatal de servicios educativos. No es quién gestiona el servicio lo que le da un carácter público, sino cuál es el interés que sirve. De hecho, la educación estatal en el Perú es, fundamentalmente, algo diferente de la educación pública ya que no garantiza el derecho de las personas a educarse y, en muchos casos, sólo sirve intereses particulares de individuos o grupos de individuos.

Tal vez dos analogías permitan explicar mejor esta idea: una carretera gestionada por un agente privado no deja de ser una vía pública que facilita que las personas ejerzan su derecho al libre tránsito por el territorio; una carretera “privatizada” sería una en la que el agente privado coactaría ese derecho a su libre discreción. Una empresa de autobuses brinda un servicio público de transporte de pasajeros, éste dejaría de serlo si es que la empresa, a su discreción, dejase de, por ejemplo, detenerse en algunos paraderos, no aceptase estudiantes, o cambiase la ruta que tiene autorizada y esto, en efecto, son cosas que pasan en el país el día de hoy y, en ese sentido, las concesiones de rutas a transportistas no están funcionando adecuadamente.

¿Por qué funciona la concesión en un caso (carreteras) y no en el otro (transporte público de pasajeros)? La respuesta a esta pregunta está directamente vinculada con uno de los problemas fundamentales del país y que atraviesa la reflexión de los distintos documentos de Agenda 2014: institucionalidad, capacidad estatal para garantizar el imperio de la ley (incluyendo los acuerdos suscritos en los contratos de concesión), y la cultura ciudadana asociada a dicha institucionalidad.

Esta situación no hace sino poner sobre el tapete un tema que es clave para el texto que estoy comentando: una APP se basa en alinear intereses privados con intereses públicos mediante los términos en los que se logra el acuerdo (a qué se compromete cada parte) y mediante la capacidad estatal para supervisar y regular. Una APP en educación va a contribuir a asegurar el derecho de las personas a la educación si los intereses privados se alinean con los públicos y si el Estado se encarga de asegurarse que dicho alineamiento se mantenga.

3.     Así, una APP en educación puede ser educación pública, si algunas condiciones se mantienen (y eso es lo que sucede en el caso de Fe y Alegría más por la voluntad y compromiso de la organización que por la capacidad estatal para supervisar) lo que, en el escenario de expandir el universo de APPs no hace sino insoslayable que se fortalezca la capacidad supervisora y reguladora del Estado.

4.     Por lo mismo, el documento plantea claramente cuáles son los principios que una APP debe respetar para ser educación pública y éstos tienen que ver básicamente con la no discriminación y la capacidad para prestar un servicio que asegure aprendizajes.

Muchos de los desafíos que tiene que enfrentar nuestro país se vinculan a que nuestra institucionalidad estatal está muy lejos de ser el poderosísimo monstruo marino del Antiguo Testamento (Leviatán) usado como símil por Hobbes para indicar al Estado como el poder capaz de garantizar la vida civilizada y, más bien, parece (salvo honrosas excepciones que, felizmente, se han ampliado en las últimas dos décadas) un cardumen de pirañas compuesto tanto por ejemplares estatales como no estatales que (re)producen la debilidad estatal y la precariedad de la vida civil.

Las APPs en educación no son sinónimo de privatización o, mejor dicho, no tienen por qué serlo. Lo que sí es sinónimo de destrucción del interés público es la inoperancia estatal y esto no es una especulación, sino la triste realidad que sufren miles de niños diariamente en nuestro país. Por esta razón, tiene sentido hablar de APPs como una opción que es necesario explorar para enfrentar la profunda crisis de aprendizajes en la que nos encontramos.

11 agosto, 2014

Perú: Más recursos para la educación

Hace unos días, mis colegas de la Universidad del Pacífico, me pidieron que haga un breve comentario sobre el anuncio presidencial acerca de una inversión significativamente mayor de recursos públicos en educación.

El comentario es el siguiente video de poco más de cuatro minutos:



03 febrero, 2014

Mitos y miserias de la educación: un mito persistente o una vez más sobre el “6%” del Producto

Una idea que se repite como letanía en el mundo de la educación desde hace más de cinco décadas es que todos los Estados deberían destinar “al menos” el seis por ciento de su producto a la educación.

Una idea como ésta debería, inmediatamente, levantar algunas sospechas, especialmente porque nunca viene asociada a algún argumento que sustente por qué razón seis y no, digamos, 5,7 o 7,3 por ciento; o porque después de 50 años de repetida la monserga es probable que las cosas sean diferentes y habría que, al menos, “actualizar” la recomendación de marras. O, más osadamente, uno podría preguntase por qué la inversión pública en educación debería indexarse a la riqueza y no a otras cosas. Lo cierto es que no hay un solo argumento que sustente este meme que persiste en el mundo de la educación tanto como la gripe en el mundo de la salud. En otra parte, Juan Fernando Vega ha hecho una revisión del éxito de este meme. No voy a repetir nada de lo que él ya dijera y de lo que yo mismo he escrito al respecto en este blog hace casi un año.

Lo que quiero hacer en este post es mostrar un gráfico que me parece ilustrativo sobre el problema del financiamiento estatal de la educación. Si el famoso “6 por ciento” que “al menos” debería destinarse a la educación tuviese algún sentido, cabría esperar que aquéllos que invierten “más” (en estos términos) debieran lograr algo más con ello. Esto es muy fácil hacerlo con estadística internacional, pero me pareció interesante hacerlo mirando hacia dentro del país. Es decir, en vez de pensar en una comparación entre países, ¿por qué no comparamos a las regiones del nuestro?

El siguiente gráfico muestra la (absurda) relación entre el gasto público en educación regional como porcentaje del producto regional y el porcentaje de niños de segundo grado que logra un desempeño satisfactorio en lectura de acuerdo a la Evaluación Censal de Estudiantes (ECE). En ambos casos, se muestra información de 2012.

Los ejes del gráfico (destacados en una línea gris gruesa) se corresponden con los valores medios nacionales y dividen el gráfico en cuatro áreas de posiciones relativas: encima/debajo del promedio nacional en desempeño/gasto.

La línea roja muestra el umbral de famoso 6 por ciento.

Fuentes: Datos de gasto tomados de http://escale.minedu.gob.pe y los de la ECE tomados de la base de datos de la Muestra de Control de 2012 (debido a que la información de gasto agrega Lima Metropolitana, Lima provincias y el callao, se agregó d ela misma manera la información de la ECE)


El gráfico muestra una tendencia que es exactamente opuesta a lo que la “recomendación” sobre el gasto esperaría. Esto no quiere decir que hay que gastar menos (en términos relativos al producto) para lograr mejores resultados, solamente significa que no hay ninguna razón para que estas dos cosas estén relacionadas de alguna forma que tenga sentido como ya se ha explicado en la nota que mencioné arriba. Dado el absurdo, prefiero no hacer comentarios acerca de la triste situación de aquéllos donde, efectivamente, se "ha logrado" gastar "al menos" seis por ciento ... (todos por debajo del mediocre resultado nacional en comprensión lectora).

Lograr que los niños aprendan pasa por gastar, probablemente, más de lo que hoy gastamos en términos absolutos (unos dos mil soles al año por estudiante de primaria) y, sobretodo, por hacerlo mejor como señaló la propia UNESCO en un texto más lúcido (ver los capítulos dos y cuatro) sobre este tema que la famosa “recomendación.” Una idea interesante que cabe preguntarse es qué logran otros en nuestro propio país con dos mil soles al año, es decir, qué pasa con las escuelas privadas pagadas en la que los padres pagan lo mismo que nosotros pagamos vía impuestos por la educación estatal ¿se logra los mismos resultados?


El crecimiento de la matrícula privada experimentado en los últimos años nos debería servir para indagar sobre aspectos como éste y aprovechar de mejor manera el incremento en el gasto por alumno en el sector estatal derivado del crecimiento económico, y de los cambios en la matrícula: hoy tenemos un millón de estudiantes menos en la primaria estatal que en el año 2001 (sobre esto haré un post específico) debido a que, cada año, nacen menos niños, hay menos repetición en primaria, y hay una mayor matrícula no estatal. Aprovechar esta situación para gastar mejor pasa por formularse algunas preguntas incómodas, por ejemplo, ¿por qué si la matricula estatal ha caído en un millón de estudiantes (aproximadamente 28 por ciento) tenemos ocho por ciento más de docentes que entonces?

Abordar el problema del financiamiento estatal de la educación supone elaborar con seriedad (más allá de monsergas carentes de sentido) y preguntarse las preguntas adecuadas.

21 diciembre, 2013

El enfoque-comunicativo textual en un mundo ágrafo

En los últimos años, tanto en el Perú como en diversas partes del mundo, se ha difundido y consolidado un enfoque para el desarrollo de competencias comunicacionales (incluyendo la lectura) conocido como el enfoque comunicativo-textual.

Haciendo lo que tal vez sea una sobre-simplificación, este enfoque postula algunas ideas centrales:

1. Lo que es preciso desarrollar son las competencias comunicacionales de las personas. Así, la lectura no es vista en función de las operaciones mecánicas que incluye, sino y fundamentalmente como un acto comunicativo que comparte ese carácter con otras formas de comunicación como la oral, gestual, etc.

2. Este énfasis en la comunicación significa también que la lectura no es un proceso de "absorción" de lo dicho en un texto, sino un proceso de interacción en el que el significado es construido en el proceso que une al que escribe, con el que lee, y con el texto en un contexto comunicativo dado.

3. En este marco, los diversos propósitos, características y situaciones en las que se lee, no son irrelevantes, todo lo contrario, son el corazón del acto comunicativo bajo la forma de lectura (o de escritura).

La tremenda pertinencia de un enfoque como éste es bastante evidente, especialmente si se compara con formas tradicionales de enseñanza de la lectura, en el que el texto es desprovisto de contexto (perdiendo significado) y se sobre-enfatiza la mecánica de la lectura.

En términos prácticos, y de nuevo tremendamente simplificados, esto significa que se debe abandonar estrategias de enseñanza que olvidan la naturaleza comunicativa en favor de la mecánica de la lectura. Por ejemplo, no cabe pensar que la lectura se adquiere de la mejor manera mediante la capacidad para decodificar grafías, unirlas en sílabas y palabras, todas ellas aisaladas y, por lo mismo, desprovistas de contexto que es clave para que tengan significación. Así, no se aprendería a leer "gato" de modo asilado y menos "ga"+"to" (silábicamente) o, peor aún ""g"+"a"+"t"+"o"; sino mediante la interacción de un texto en el que la palabra "gato" sea un componente. Por ejemplo, una pequeña historia en la que un gato juegue un papel central.

Por otra parte, el enfoque comunicativo-textual descansa en el reconocimiento de que el texto escrito es parte de la cultura y, por lo tanto, uno debe tomar en cuenta que las personas están, desde edades muy tempranas, expuestas a textos escritos de donde, las palabras/sílabas/sonidos aislados representan una ruptura con el entorno, digamos, "natural" al que están expuestos los estudiantes.

Todo esto no sólo suena extremedamente razonable, sino que en efecto es de crucial importancia para evitar una disociación perniciosa entre el texto escrito y el significado y, con ello, entre el texto escrito y el mundo.

Biondi y Zapata (1988) mostraron como la disociación entre la forma de enseñanza de la lectura y la realidad del estudiante, conllevaba a profundos problemas vinculados al desarrollo de la capacidad lecto-escritora (de los que las fallas ortográficas son sólo una manifestación) y de percepción del valor del texto escrito.

Al mismo tiempo, sin embargo, hay al menos dos problemas sustantivos a considerar cuando se implementa un enfoque como éste en un país como el nuestro. El primero tiene que ver con las habilidades de los docentes para manejarlo. No voy a entrar en este tema en este post, sin embargo, no es un pregunta trivial.

Este post quiere destacar un segundo elemento que tiene que ver con la realidad del país: ¿cómo opera el enfoque comunicativo-textual en una cultura fundamentalmente oral? ¿cómo opera en un entorno de baja densidad letrada como es una gran parte del país, especialmente, en espacios locales más deprimidos?

Si uno ve, por ejemplo, la información complementaria a las pruebas que produjo un estudio como PISA en 2009, notará que un 30 por ciento de los estudiantes de 15 años de edad matriculados en secundaria declaró tener 10 o menos libros en casa (lamentablemente, no se puede determinar en cuántos casos el valor era cero) al tiempo que un 93% declaraba tener al menos un TV (y 50% dos o más TVs). No es necesraio que detalle estos valores según áreas urbanas  rurales, o según nivel socio-económico ya que es fácil imaginar cómo cambiarían las cosas. A manera de ilustración sólo diré que en Finlandia el porcentaje de estos estudiantes con 10 o menos libros en el hogar es menor al seis por ciento.

El problema que me preocupa es que no es lo mismo plantear un enfoque como éste en un mundo de presencia significativa del material escrito que hacerlo en un país (y en especial en algunas localidades) donde el texto escrito es ajeno. Ilustrando exacerbadamente las cosas, uno podría pensar que la famosa escena entre el Padre Valverde y Atahualpa en la Plaza de Cajamarca ejemplifica lo que significa presentar un texto íntegro a una persona que no ha sostenido relación alguna con el texto escrito a lo largo de su vida.


Guamán Poma de Ayala (1615)
Nueva Crónica y Buen Gobierno. Página 386
Disponible en Det Kongelige Bibliotek
Quisiera una vez más referirme a las investigaciones de Biondi y Zapata (2006) sobre el tema de la oralidad en el Perú. Una cosa que los autores han mostrado con una tremenda sensibilidad y precisión es que el texto escrito en el Perú suele ser una presencia ajena. el libro llegó (si acaso) a los peruanos después de la radio y la TV que tendieron a fortalecer la oralidad del país. Las comunicaciones electrónicas actuales (incluso cuando mediadas por un teclado) se incorporan y fortalecen el caracter instantáneo de la comunicación oral.

No reparar en la profunda oralidad (y casi ausente escribalidad) de la cultura peruana puede tener profundas consecuencias sobre la labor educativa. ¿En qué medida el conocimiento de este atributo de la cultura informa la formación docente y la opción por enfoques pedagógicos para la enseñanza de la lectura? Prefiero dejar esto sólo como pregunta ya que siento que me falta evidencia robusta para afirmar lo que muchos tememos.

Quiero que quede claro que no estoy cuestionando ningún enfoque, sólo digo que ningún enfoque va a funcionar si no toma en cuenta la condición de partida de los estudiantes y las competencias de los docentes para desarrollar dicho enfoque, en contextos específicos y con estudiantes de carne y hueso. La reflexión educativa en el Perú necesita empezar por entender el lugar central de la oralidad y la ajenitud de lo escribal.

Finalmente, una cosa que también me preocupa en este ámbito es la necesidad de buscar "el" enfoque adecuado. ¿No será más bien que, como en cualquier otra profesión, es posible pensar en diversidad de enfoques? ¿No será posible asumir que dada la diversidad de situaciones de los estudiantes, diversos enfoques pueden tener distintos grados de pertinencia y valor? 

A fin de cuentas, algunos aprendimos a leer con enfoques distintos (que reposaban en la transparencia ortográfica del castellano escrito) y no nos fue tan mal en una vida donde el texto escrito es central.

Referencias:

Biondi, J., & Zapata, E. (1988). Ortografía: error o problema? Lima: Universidad de Lima, Facultad de Ciencias Humanas.


Biondi, J., & Zapata, E. (2006). La palabra permanente: verba manent, scripta volant : teoría y prácticas de la oralidad en el discurso social del Perú. Lima: Fondo Editorial del Congreso del Perú.