Trabajo final de 2° Taller de investigación

Estrategia de recopilación de información

Redacción de la pregunta o preguntas detonantes de la entrevista en profundidad
1 día
Miércoles 29 de octubre 18 hrs. a 20 hrs.
Revisar nuevamente el proyecto de investigación y redactar la pregunta o preguntas detonantes de las entrevistas a profundidad, hasta llegar a su versión final.
Investigadora
Definición del tipo de observación no estructurada que se instrumentará durante la reunión del 7 de noviembre y preparación de diario de campo
1 día
Jueves 30 de octubre 18 a 22 hrs.
Revisión de notas de la revisión de bibliografía sobre la observación hecha con anterioridad. Definir por escrito el tipo de observación a realizar y la estructura del diario de campo
Investigadora
Revisión de bibliografía sobre la historia y evolución de las AEE
8 días

1 y 2 de noviembre 10 a 15 hrs.
3 al 7 de noviembre 19 a 21 hrs.
Lectura de bibliografía seleccionada sobre la historia y evolución de las AEE. Definición de la información al respecto que se incluirá en el reporte final
Investigadora
Realización de entrevistas a profundidad de 3 titulares de AEE

2 días
Entrevista 1: 6 de noviembre 18 hrs.
Entrevista 2: 6 de noviembre 20 hrs
Entrevista 3: 8 de noviembre 9 hrs
Realizar las entrevistas a profundidad a partir de la pregunta o preguntas detonante
Investigadora
Entrevista 1: Titular del Área Estatal de Evaluación del estado de Puebla
Entrevista 2: Titular del Área Estatal de Evaluación del estado de Tabasco
Entrevista 3: Titular del Área Estatal de Evaluación del estado de Colima

Observación de la reunión para la difusión de resultados.
1 día
Descripción: 7 de noviembre 9 a 15 hrs.
Interpretación:
7 de noviembre de 16 a 19 hrs
8 de noviembre de 8 a 14 hrs y 17 a 20 hrs.
Realizar el registro de observación de la reunión de difusión.
Investigadora.
Participantes en la reunión:
Investigadora
Personal del INEE y titulares de las Áreas Estatales de Evaluación de los estados de
Colima, Jalisco, México, Nayarit, Nuevo León, Oaxaca, Puebla, Querétaro, Quintana Roo, Sinaloa, Sonora, Tabasco y Veracruz

Sistematización de información de reportes operativos de las aplicaciones
5 días
10 al 17 de noviembre
19 a 20 hrs
Sistematizar la información de los reportes operativos de las aplicaciones desarrolladas de 2005 a la fecha
Investigadora

Los instrumentos para la recolección de información

Observación
Se empleará la observación no estructurada, concretamente del tipo “participante como observador”, durante la reunión que se efectuará el día 7 de noviembre.
En la observación se empleará como guía las siguientes preguntas:
¿Los titulares de las Áreas Estatales de Evaluación ven como ajeno e impuesto el trabajo que se deriva de los proyectos que el INEE promueve?
¿Formulan propuestas claras y concretas para efectuar la difusión de los materiales en su entidad?
¿Qué tipo de apoyos solicitan del INEE?

Se buscará grabar la reunión y la investigadora llevará un registro descriptivo del desarrollo de la misma.

También fue posible emplear la observación no estructurada en buena parte de la Tercera reunión de Consejo Consultivo del 2008 que se realizó los días 27 y 28 de noviembre de 2008 y en la que se emplearon las siguientes preguntas como guía de observación:

¿Los titulares de las AEE manifiestan dudas o desacuerdos técnicos sobre la información presentada?
¿Los titulares de las AEE manifiestan desacuerdos operativos sobre la información presentada y en su caso proponen alternativas?
¿Las presentaciones por parte del INEE dan lugar a la emisión de opiniones por parte de los titulares de las AEE o en su caso a la discusión tanto en las cuestiones técnicas como en las operativas?

Entrevistas a profundidad

Las entrevistas a profundidad se desarrollarán a partir de la siguiente pregunta detonante:
¿Qué ha representado para el Área Estatal de Evaluación que tú diriges el trabajo que se deriva de los estudios que el INEE promueve?

Asimismo, como orientación a partir de la pregunta detonante se considerarán las siguientes:

¿El personal que integra el AEE ha aprendido cosas nuevas a partir de su participación en actividades relacionadas con los estudios que el INEE promueve?
¿Qué ha representado para ti en lo laboral y en lo profesional tu participación en el Consejo Consultivo del INEE?
¿Cómo ha impactado la información que el INEE genera el conocimiento de los niveles de aprendizaje que presentan los alumnos de educación básica de tu estado?
¿Cuáles serían tus sugerencias para hacer más significativo y útil para el Área Estatal de Evaluación su participación en las actividades relacionadas con los estudios que el INEE promueve?

Análisis de documentos
La información de los reportes operativos de los levantamientos de datos de 2004 a la fecha, será sistematizada con base en el tipo de desviaciones del procedimiento establecido reportadas. A partir de una lista genérica de los problemas operativos más frecuentes en los levantamientos de datos, se sistematizará su incidencia en cada uno de ellos y se comparará el comportamiento de cada categoría a través del tiempo. Se observarán particularmente las incidencias relacionadas con problemas de capacitación de los aplicadores, ya que la capacitación de los mismos ha sido desde siempre una actividad que tienen bajo su responsabilidad las Áreas Estatales de Evaluación.

2. Instrumentos para recopilar información
Resumen de la aplicación de instrumentos


6 de noviembre
18:00 hrs.
Titular de una de las AEE
No fue posible realizar la entrevista por retraso considerable del titular en la hora de llegada de su vuelo.
La entrevista se reprogramó para el 12 de noviembre a las 13:00 hrs., cuando quien será entrevistado estará de nuevo en la ciudad

8 de noviembre
20:00 hrs.
Titular de una de las 32 Áreas Estatales de Evaluación
Sólo estaba dispuesto a ofrecer la entrevista siempre que no fuera grabado
Se hizo la entrevista y sólo se tomaron notas que después fueron transcritas.

7 de noviembre de 2008
9:00 a 14:30 hrs.
Titulares de las AEE que respondieron a al convocatoria para trabajar con los MAPE (Materiales de apoyo a la docencia) editados por el INEE
En cierto momento de la reunión el trabajo se dividió en dos grupos, sólo uno podía ser observado por la investigadora
En uno de los grupos permaneció la investigadora y en otro se puso la grabadora

8 de noviembre
09:00 hrs.
Titular de una de las 32 Áreas Estatales de Evaluación
No fue posible realizar la entrevista porque quien había aceptado ser entrevistado adelantó su regreso y salió de la ciudad, en las primeras horas del sábado.
Se solicitó la reprogramación de la entrevista, pero aún el entrevistado no ha confirmado.
Otras acciones de recolección de información:

1 al 7 de noviembre
Documentación sobre la historia y evolución de las AEE
Se han leído y tomado notas de los documentos que se piensa considerar, incluyendo dos de ellos que no se habían considerado desde un principio:
Minutas de las 10 reuniones ordinarias del Comité Técnico Interestatal de Evaluación (CTIE)
Minutas de las reuniones del Consejo Consultivo del INEE

10 al 17 de noviembre
Sistematizar la información de los reportes operativos de las aplicaciones desarrolladas de 2005 a la fecha.
Se realizó la lectura y análisis de los 5 reportes operativos de levantamientos de datos disponibles.

3. Resultados de la Aplicación (cuadro resumen)

Con la información disponible de 2 entrevistas, la observación de una reunión con 16 entidades y el análisis de 5 informes operativos de los levantamientos de datos realizados por el INEE desde su origen, se ensayó el establecimiento de categorías de análisis, núcleos y ejes temáticos que se establece en el cuadro que aparece a continuación:

El trabajo nacional de evaluación educativa desde la federación
El INEE y las AEE en el trabajo nacional de evaluación educativa
1. Beneficios para el INEE del trabajo conjunto con las Áreas Estatales de Evaluación.
2. Beneficios para las Áreas Estatales de Evaluación del trabajo conjunto con el INEE.
3. Actitudes del INEE que pueden parecer paternalistas.
4. Evidencias de la falta de trabajo colegiado entre las AEE y el INEE

El INEE y su trabajo con las Áreas Estatales de Evaluación
5. Posibilidades reales del INEE para apoyar a las Áreas Estatales de Evaluación en lo que ellas requieran, para el desarrollo del trabajo que el propio Instituto promueve.
6. Respuestas del INEE a propuestas de trabajo conjunto surgidas desde las entidades federativas.
7. Solicitud de las entidades de que, aún al interior de la entidad, el INEE se encargue de las actividades que propone desarrollar con su apoyo.

El trabajo nacional de evaluación educativa desde las entidades federativas
Las AEE y su trabajo con el INEE
8. Compromiso efectivo de seguimiento de las acciones por parte de las entidades federativas.
9. Desarrollo del trabajo estatal de evaluación
10. Evidencias del interés real de las Áreas Estatales de Evaluación en el trabajo conjunto con el INEE.
11. Interés y posibilidades de las Áreas Estatales de Evaluación de relacionarse directamente con los niveles y autoridades educativas de su entidad.
12. Impacto de que el INEE promueva estrategias nacionales únicas para entidades diferentes.
13. Las AEE son instancias más administrativas o más técnicas dependiendo de la entidad.
14. Factores que determinan el carácter más administrativo o más técnico del las AEE. 15. Diseño de estrategias de trabajo uniformes para todo el país sin considerar diferencias estatales u opiniones de las AEE.
16. Heterogeneidad de experiencia y formación del personal de las AEE.
17. Falta de coordinación de acciones entre SEP e INEE, desconcierto de Áreas Estatales de Evaluación.

El trabajo con el INEE ¿impuesto y ajeno?
18. Inconformidad abierta de la entidad por el “centralismo” del INEE (DF o Aguascalientes).
19. Evidencias de respuesta mínima indispensable de las entidades para continuar en buenos términos la relación con el INEE.




4. Análisis de información

El INEE y las AEE en el trabajo nacional de evaluación educativa

La realización de las actividades inherentes a los estudios que el INEE desarrolla, en buena medida puede alcanzar su carácter nacional gracias a la participación de las denominadas Áreas Estatales de Evaluación (AEE).

Los levantamientos de datos, sus correspondientes aplicaciones piloto y la distribución de publicaciones del INEE al público interesado en las entidades federativas, son las actividades en las que se solicita apoyo específico de las AEE, esto les representa una buena inversión de tiempo y esfuerzo del equipo que las conforma.

Desde su conformación a la fecha, el INEE ha realizado 20 levantamientos de datos de los cuales más de la mitad, al tratarse de aplicaciones nacionales y no de piloteos de instrumentos, requirieron de la participación de las AEE de las 32 entidades federativas.

El AEE es responsable a nivel estatal del desarrollo del proceso de aplicación. Cada vez que se realiza alguno de estos eventos el AEE nombra a un Coordinador Estatal del mismo, quien se encarga de labores organizativas previas a la aplicación de instrumentos, de atender incidencias durante su desarrollo y, posteriormente, de efectuar el cierre del proceso hasta que el material aplicado regresa al INEE para su procesamiento. El INEE emite toda la normatividad para la actividad, produce los materiales y aporta los recursos económicos para el desarrollo del levantamiento de datos.

Otro aspecto fundamental para describir el apoyo que las AEE brindan al INEE es el referido a la difusión de las publicaciones del Instituto. El INEE produce un tiraje más o menos amplio, la mayor parte del cual es distribuido de manera proporcional a las AEE para que estos grupos los distribuyan entre el público interesado al interior de la entidad.

Según los documentos normativos, la relación del INEE con las AEE representa la posibilidad de asegurar que los resultados de sus evaluaciones y otros trabajos se utilicen para fundamentar decisiones de mejora, así como la forma de garantizar la cercanía del Instituto con los sistemas educativos estatales (INEE, 2004).

Por su parte las AEE, además de desarrollar el trabajo que ya se ha señalado tienen la posibilidad de efectuar reuniones en sus entidades con autoridades educativas de diverso nivel y de convocar a personal del INEE a las mismas para que presente los resultados o hable del trabajo que se desarrolla en el Instituto.
Es así que el personal de las Áreas Estatales de Evaluación, si bien tiene un buen número de actividades concretas relacionadas con los estudios que el INEE promueve, éstas se centran fundamentalmente en lo operativo mientras el análisis y tratamiento de asuntos técnicos técnica queda de lado.

Según sus documentos normativos, el INEE nunca se ha propuesto potenciar la formación técnica de grupos estatales de evaluación pero sí de apoyarla en alguna medida, sin embargo, resulta ilustrativo el hecho de que además de algunas actividades aisladas concretas con las entidades federativas, sólo en un ocasión en sus 6 años de existencia, el INEE instrumentó una estrategia para trabajar un informe técnico con cada una de las entidades federativas y si bien se logró hacerlo en 30 de las 32, a la fecha no se ha considerado instrumentar ninguna otra estrategia del tipo.

El INEE y su trabajo con las Áreas Estatales de Evaluación

Los documentos normativos del INEE, si bien establecen como uno de sus órganos colegiados al Consejo Consultivo conformado por los titulares de las 32 entidades federativas del país, no le dan funciones específicas más allá de fortalecer la relación entre las autoridades federales y estatales en materia de evaluación educativa (INEE 2002), esta posición ha permeado el trabajo del propio Consejo.

El INEE ha desarrollado a la fecha 16 reuniones de Consejo Consultivo, en general con la participación de los titulares de las 32 entidades del país. La observación de buena parte de la reunión realizada en noviembre de 2008, permite afirmar que en tales eventos poco se da la discusión y mucho la información por parte del INEE hacia los estados, de lo que el Instituto ha hecho o requiere que las AEE hagan en el marco de los estudios que desarrolla.

Desde esta perspectiva la función consultiva del Consejo es muy limitada por razones diversas. Si bien, el INEE ha hecho esfuerzos para dar al Consejo un carácter más participativo primero, con la puesta en la página web del INEE, de una comunidad virtual específicamente diseñada para este órgano y después, con la conformación de grupos de trabajo que se encuentran dedicados a temáticas específicas del trabajo conjunto; estos trabajos no han resultado tan eficientes como potenciadores de la participación. No obstante, mediante los mismos se ha logrado que la normatividad o las demás cosas que el INEE provee para los levantamientos de datos u otras acciones, resulten menos cuestionadas por el pleno del Consejo ya que se presentan ante tal como producto del trabajo de los grupos mencionados.


Por otra parte, en consecuencia con los planteamientos de sus documentos normativos, las posibilidades reales del INEE para brindar apoyo técnico a las entidades federativas y concretamente a las AEE en aspectos concretos de su quehacer es muy limitada. Es cierto que su plantilla de personal no es grande, pero su estructura y en sus planes de trabajo no se considera cabalmente el apoyo a los estados, más allá de lo que ya se ha comentado.


Las Áreas Estatales de Evaluación y su trabajo con el INEE.

Al analizar el único documento que existe sobre las características de las AEE, puede observarse que en efecto la concepción de lo que es un grupo estatal encargado de la evaluación educativa, es muy distinto de una entidad a otra. La gran mayoría de las mismas reportan como actividades estatales de evaluación el desarrollo de exámenes de ingreso o labores más relacionadas con lo administrativo o con el manejo de recursos humanos (DGEE, 2003).

En la actualidad, concretamente en la participación de los titulares de las AEE como miembros del Consejo Consultivo del INEE, se refleja la extrema heterogeneidad que existe entre estos grupos estatales y la importancia que se da desde el estado al trabajo de evaluación más allá de responder al requerimiento de las instituciones federales que desarrollan evaluación educativa.

Las AEE en las que, a juzgar por sus características, la autoridad educativa estatal da menor importancia a la actividad de evaluación, normalmente esperan que sea la federación y cuando se trata de proyectos del INEE este Instituto, quien resuelva los problemas que se enfrentan en el estado para desarrollar tal o cual actividad. Una evidencia de este hecho se observó en la reunión al respecto de los materiales de apoyo a los maestros publicados por el INEE recientemente, donde pudo observarse la expectativa de algunas AEE al respecto de que fuera el Instituto quien acudiera a la entidad a encabezar los eventos propuestos, entre otros mecanismos, para la difusión de estos libros.

Por otra parte, al analizar las actividades de los titulares de las AEE integrados a los grupos de trabajo conformados por el INEE al interior del Consejo Consultivo, la evidencia indica que algunas de las entidades que expresaron su interés por participar, sólo lo hicieron en una o dos reuniones y las que permanecen en el grupo, más que discutir las propuestas concretas del INEE se limitan a validarlas sin demasiada discusión. Los resultados de estos trabajos se llevan al Consejo Consultivo como avalados por las AEE participantes en el grupo de trabajo y la discusión, entonces prácticamente no se da.


El trabajo de las AEE con el INEE ¿impuesto y ajeno?

A pesar de la situación hasta aquí planteada, a 12 años de actividades con la SEP y 6 con el INEE, las AEE han desarrollado experiencia en el trabajo relacionado con la evaluación educativa. A juicio de los entrevistados, la experiencia ha influido de formas diversas dependiendo de las características específicas del sistema educativo estatal y de la propia AEE correspondiente. En general se ha tenido la impresión de no ser considerados como iguales por las instancias que promueven la evaluación desde la federación y eso provoca que en mayor o menor medida, la respuesta sea la mínima indispensable para que el estado no desaparezca de los reportes nacionales de resultados. Y se dice en menor o en mayor medida, porque de nuevo en este aspecto se expresan, como es de esperar, las diferencias en la conformación de las propias AEE y del apoyo que les brinda la autoridad educativa estatal.

Independientemente de este hecho, las observaciones y entrevistas realizadas, así como el análisis de los documentos considerados, permiten afirmar que el trabajo de evaluación promovido desde la federación, en efecto se considera como impuesto y ajeno, pero sólo cuando el AEE por alguna circunstancia particular no logra adaptar la normatividad emitida por el INEE a sus circunstancias particulares, pues el beneficio de que desde la federación se emitan resultados para el estado implica un valor importante para todas las entidades federativas.


5. Conclusiones

INEE y AEE partes fundamentales del trabajo nacional de evaluación

La federación, desde las instancias con que cuenta para promover y desarrollar el trabajo nacional de evaluación educativa, parece tener presente, tanto en el discurso como en muchas de sus iniciativas, que esta tarea sólo puede desarrollarse con la participación de los sistemas educativos estatales y, particularmente, de las Áreas Estatales de Evaluación.

De igual forma, las Áreas Estatales de Evaluación están conscientes que sin su participación, el trabajo nacional de evaluación educativa estaría por demás limitado e incluso muy probablemente, las propias entidades no podrían tener un referente de su situación educativa con respecto al país.

En consecuencia el trabajo nacional de evaluación en México por las propias características del sistema educativo, requiere que tanto la federación como las entidades federativas, se involucren activamente en la tarea de evaluar el sistema educativo nacional y los involucrados están conscientes de eso.
No obstante, pese que podría denominarse un acuerdo general, llevar este acuerdo implícito al quehacer cotidiano ha resultado difícil y complejo.

El INEE como institución federalista

El INEE se ha planteado desde sus documentos normativos, involucrar a las entidades federativas y concretamente a las AEE en su quehacer cotidiano, tan es así que su Consejo Consultivo está conformado por los titulares de cada una de las Áreas Estatales de Evaluación. No obstante, y a pesar de haber dirigido algunos esfuerzos directamente a esta cuestión, no ha logrado que el Consejo Consultivo se erija como tal de manera plena. En algunos de los titulares de las AEE, prevalece la opinión de que como consejeros, no se le consulta, simplemente se le informan las actividades.

El INEE sabe de tales opiniones y se esfuerza por ser consecuente con sus documentos normativos, pero hasta la fecha las acciones que ha emprendido para que así sea han funcionado para limitar las discusiones al interior de las reuniones de Consejo Consultivo, pero aún no para potenciar este consejo como tal.

Las AEE como instituciones federalistas

Para los grupos estatales no ha resultado fácil tampoco insertarse en una dinámica de trabajo auténticamente federalista en el marco de la evaluación educativa.

En algunos casos, si no en la mayoría, la falta de capacitación, infraestructura, presupuesto y auténtico compromiso de la entidad para conformar un grupo técnico que se encargue de la evaluación educativa, ha provocado que tales grupos tengan como única tarea el desarrollo de las acciones vinculadas con la tarea nacional de evaluación. En general tales grupos esperan que sea la federación quien resuelva sus carencias para desarrollar estas tareas o incluso para desarrollar alguna tarea específica de evaluación educativa encargada por sus autoridades.

En otros casos la situación es distinta, pero se le da al AEE tareas extra, más allá de la evaluación, muchas veces de carácter administrativo que las alejan de la tarea evaluativa.

En estas condiciones resulta difícil para los grupos estatales insertarse eficientemente, como participantes activos en un trabajo de evaluación educativa promovido por la federación.


Las actividades de evaluación desde la federación

El INEE y la DGEP son las instancias que desde la federación se encargan del trabajo nacional de evaluación. Tienen asignadas tareas diferentes en cuanto al público al que se destinan los resultados de los proyectos que desarrollan.

La coordinación ha sido difícil y a menudo las tareas operativas relacionadas con levantamientos de datos de una y otra instancia abruman a muchas de las Áreas Estatales de Evaluación, esto obviamente no trabaja a favor de un desarrollo técnico de estos grupos para erigirse en participantes activos y propositivos en las acciones nacionales de evaluación.

Heterogeneidad de las AEE

Por su propia naturaleza las AEE son grupos heterogéneos cuyas características dependen de la situación particular del estado y específicamente de la posición del gobierno estatal hacia la evaluación educativa.

Tal heterogeneidad hace aún más complejo la participación de las AEE al interior del Consejo Consultivo del INEE.

Es un reto para cualquier instancia federal, desarrollar un trabajo concertado con las AEE considerando sus diferencias.

El trabajo con el INEE ¿impuesto y ajeno?

Los titulares de las AEE pueden mostrarse críticos en ciertos momentos, particularmente por no sentir que en realidad son consultados como miembros de un Consejo Consultivo, pero nunca aceptarán explícitamente que el trabajo del INEE les parece impuesto y ajeno. No obstante, y aunque bajo ciertas circunstancias existen evidencias de tal hecho.

La calidad del trabajo en grupos que el INEE ha impulsado recientemente para promover la participación de las AEE en las decisiones, es también una muestra importante de la actitud con las que las AEE han acostumbrado participar en tareas del tipo, opinando sin involucrarse.