Estimad@s colegas y amig@s, esperando se encuentren bien, acá les compartimos las respuestas a las preguntas que quedaron pendientes durante nuestro seminario web realizado durante la Semana de la Evaluación.

Esperamos sean de utilidad para seguir intercambiando y aprendiendo sobre este apasionante tema, así como sumando nuev@s participantes a esta comunidad de práctica y aprendizaje.

Pregunta 1 (Susana Menéndez). El mapeo de actores ¿cómo tiene en cuenta la perspectiva de género y la interseccionalidad?

Respuesta de Olga Nirenberg

Ante todo debo aclarar que no soy especialista en cuestiones de género, por lo cual mis apreciaciones en esta respuesta debieran relativizarse.

La herramienta del mapeo de actores permite tomar conocimiento inicial de quienes se consideran significativos en el escenario donde se llevará a cabo una evaluación. Como se aclara en su introducción, tiene carácter flexible o adaptable a cada contexto específico y según el campo o la temática que aborda la intervención evaluada. O sea que es posible tomar en cuenta o especificar otras dimensiones, como por ejemplo la perspectiva de género, que no se incluye en forma explícita (se aplicó en intervenciones donde las poblaciones objetivo eran mayormente mujeres). En el texto introductorio de la herramienta se aclara que interesa conocer acerca de los actores implicados en relación con la intervención:

• • • las posiciones que ocupan y los roles que desempeñan,
    • su racionalidad o lógica particular de comportamiento,
    • su percepción específica acerca de la realidad,
    • sus intereses,
    • el tipo de recursos que gestionan y/o controlan en torno a la temática específica,
    • su poder relativo para superar los problemas y las necesidades identificadas.

La perspectiva de género podría ser contemplada en cada uno o la mayoría de esos ítems; pero será materia de la evaluación propiamente dicha incluir un enfoque que identifique y explique las causas estructurales de las desigualdades prevalentes entre mujeres y hombres en el particular contexto, así como las líneas de acción que la intervención objeto de la evaluación incluyera para morigerar o mejorar las situaciones de inequidad de género detectadas y los efectos alcanzados; para eso se requieren indicadores, técnicas e instrumentos con preguntas apropiadas para identificar diferencias entre mujeres y hombres en cuanto a la participación, los beneficios y los resultados relacionados con la igualdad en el marco de la intervención evaluada.

El mapeo de actores es una valiosa herramienta inicial que procura una somera descripción sobre las relaciones entre actores en el escenario concreto de una intervención alrededor de una temática específica, pero claramente está muy lejos de ser la evaluación misma. Tal vez sea aconsejable incluir al menos una desagregación por sexo en la matriz síntesis del mapeo, con dos columnas adicionales que identifiquen si los actores implicados son varones o mujeres. Pero sería más conveniente elaborar – adaptar – un mapeo que aluda exclusivamente a la inclusión de la perspectiva de género en la intervención evaluada, con indicadores y preguntas apropiadas.

El mapeo incluye la intersectorialidad así como la multiactoralidad cuando se hace especial referencia a la relevancia de los vínculos que se establecen entre las diferentes áreas gubernamentales, las diferentes organizaciones de la sociedad civil y las del mundo empresarial; también en la matriz síntesis es posible una lectura intersectorial cuando se describe el tipo de actores, las funciones o roles que desempeñan y los recursos que gestionan y/o controlan.

Con relación a si el mapeo indaga acerca de la interseccionalidad, reitero mi aclaración inicial acerca de la escasa profundidad de mis conocimientos acerca de las cuestiones de género; más aún desconozco que haya acuerdos teóricos acerca de la metodología para el análisis interseccional en situaciones concretas. Entiendo que se trataría de un análisis complejo para detectar discriminaciones múltiples o dimensiones que interactúan y se potencian; en otras palabras: identificar la coexistencia de varios motivos de discriminación que operan de forma conjunta en contextos específicos. La herramienta que propongo no da cuenta explícita de eso, sino que describe el tipo de actores, las funciones o roles que desempeñan y los recursos que gestionan y/o controlan en torno al tema que aborda la intervención evaluada en el particular contexto de aplicación. Quienes la utilicen incluirán tales miradas en las situaciones concretas donde actúen, o sea, podrán realizar un mapeo “situado”. Se reitera que es aconsejable adaptar un mapeo que aluda exclusivamente a la inclusión de la perspectiva de género en la intervención evaluada, con indicadores y preguntas apropiadas, incluyendo la interseccionalidad.

Pregunta 2 (Gabriela López). ¿Qué sugerencia dan para evaluadores independientes que asumen evaluaciones externas (de medio término y finales) con criterios, indicadores predeterminados y tiempos bastante cortos para todo el proceso? Si bien algo se incide con las metodologías que se plantean, ¿cómo incidir en los organismos y donantes?

Respuesta de Olga Nirenberg

En la mayoría de las evaluaciones, son los organismos gubernamentales y/o las entidades donantes quienes convocan a los evaluadores independientes; es cierto que sus convocatorias suelen predeterminar las metodologías o enfoques evaluativos (mayormente con énfasis en métodos cuantitativos), las dimensiones e indicadores y los cronogramas de realización (generalmente muy ajustados). Es cierto que eso deja escaso margen para la creatividad y, en especial, para la inclusión de modalidades cualitativas y participativas, que requieren mayores tiempos de trabajo en campo y tal vez más cantidad de recursos (no sólo financieros). Frente a eso, desde mi experiencia, es aconsejable llevar adelante procesos previos de negociación con quienes nos contratan o convocan, tendientes a agregar – no sustituir – en el diseño evaluativo técnicas/herramientas cualitativas, modalidades participativas e indicadores pertinentes; o sea, no tener posturas fundamentalistas, sino negociar el agregado de indicadores y un componente evaluativo con “la perspectiva de los actores”, haciendo hincapié sobre todo en incluir en los diferentes pasos a personas destinatarias de las intervenciones, remarcando el hecho de que son quienes más acertadamente pueden reflejar la calidad de los bienes, servicios o prestaciones que ofrecen las intervenciones que se evalúan. Lo ideal es adoptar enfoques cuanti-cualitativos y modelos evaluativos con la suficiente flexibilidad, que permitan ir ajustándose a lo largo del proceso. Se debe recordar que si la intervención que se evalúa no incluye – o no incluyó – modalidades participativas de gestión, resultará algo más difícil – de ningún modo imposible – encarar la evaluación participativamente.

Resumiendo: antes de iniciar un proceso de evaluación es recomendable sensibilizar a quienes nos convocan sobre la importancia de incluir enfoques metodológicos mixtos y modalidades participativas mediante argumentaciones, ejemplificaciones con otras experiencias evaluativas previas y arduos procesos de negociación; cuando la evaluación culmina, al momento de las conclusiones y recomendaciones, el valor agregado que brindan los enfoques mixtos y participativos se hace más evidente y debe ser enfatizado, para así completar la estrategia de sensibilización de los actores, principalmente de los tomadores de decisión de ámbitos gubernamentales y de agencias de cooperación.

Puedo citar tres ejemplos en evaluaciones que usaron tales metodologías en el marco de importantes agencias de cooperación:

1. 1. En la Fundación W. K. Kellogg, en evaluaciones (ex ante, concurrentes y ex post), en una iniciativa de formación de profesionales de salud en once países de América Latina (cluster de proyectos UNI – 1990 a 1996) y que luego se adecuó para su utilización en varias otras de sus iniciativas posteriores.
   2. En la Organización Panamericana de la Salud (OPS) en las evaluaciones finales de dos iniciativas en países de América Central y Caribe (2014 a 2015).
   3. En UNICEF Argentina (en convenios con CEADEL, 2007 a 2017), en la iniciativa IACE, consistente en autoevaluaciones de la calidad educativa en establecimientos públicos de los tres niveles educativos obligatorios realizadas en siete provincias argentinas. Un resumen puede encontrarse en https://evalparticipativa.net/ en la pestaña de RECURSOS, Experiencias y casos de evaluación participativa: Un método participativo para la Evaluación Escolar: El IACE.

Podría citar otros ejemplos de organismos del gobierno (nacional o provinciales) en Argentina que avalaron tales metodologías evaluativas con enfoques mixtos y participativos.

Respuesta de Pablo Rodríguez Bilella

La problemática que planteas excede largamente la realidad de la evaluación participativa, si bien en ella se agudiza por los regularmente mayores tiempos y muchas veces recursos de distinto tipo necesitados para su desarrollo.  Si las evaluaciones vienen fuertemente pautadas, seguramente el espacio de maniobra para incluir instancias participativas resultará mucho más acotado que si la persona evaluadora o el equipo a cargo puede hacer un planteo de evaluación participativa. Pensando en el caso que señalas (el más difícil!) poco se podrá hacer si no logramos que las personas que solicitan la evaluación vean las ventajas de la participación de los actores en ese proceso. A su vez, contando con su visto bueno y aval, todo resultará mas sencillo y legitimado. Para esto, es fundamental sepamos “vender” las potencialidades y posibilidades que presenta un acercamiento participativo a la evaluación, su relevancia en el logro de resultados validados por los actores locales de los proyectos, su impacto a mediano término en cuanto adopción o recepción de los hallazgos y sugerencias de la evaluación, etc. Vale decir, todo aquello que muestre (y entusiasme) respecto a cuánto se verá beneficiado  el proceso evaluativo con la participación de más actores.

Pregunta 3 (Ericka Valerio). ¿Participan los actores en todas las etapas del proceso de evaluación? ¿Qué metodología participativa utilizan por ejemplo en la elaboración del informe de evaluación?

Respuesta de Carmen Luz Sánchez

En la experiencia del programa SERVICIO PAÍS hemos ido incorporando el enfoque de evaluación participativa de manera progresiva, tanto en la cobertura de intervenciones que son evaluadas como en el nivel de participación que alcanzan los involucrados. Actualmente los diversos actores participan del proceso de diseño, planificación y ejecución de las instancias evaluativas, pero no hemos llegado a incorporarlos en la etapa de sistematización, elaboración de informes de resultados, etc. Proyectamos este año aumentar el nivel de participación para que se alcance este nivel.

Pregunta 4 (Pablo). ¿Cómo afecta o no esta pandemia a la metodología participativa?

Respuesta de Fernanda Arriza

Sin duda, en su mayoría los procesos de evaluación en general, se han visto afectados por esta   pandemia, tanto los tradicionales como los de carácter participativo. En definitiva, en este momento particular afecta su ejecución. No obstante, representa una buena oportunidad para replantear las formas en que se ejecuta y evaluar la viabilidad de incorporar otros implementos (tecnológicos) que le permitan seguir vigente, aún a pesar de la distancia física y/o dificultad del encuentro.

Por otro lado, pensando en lo que viene después de la pandemia, la evaluación participativa, desde su aporte a la redistribución del poder y foco en la rendición de cuenta y toma de decisión informada, cuenta con un terreno fértil para aportar a los procesos de recuperación y empoderamiento local y por tanto, relevar su valor y necesidad de implementación. En tal sentido es importante estar alertas a desarrollos tanto propios como ajenos al campo de la evaluación en lo atinente a instancias de participación creciente en el marco de espacios virtuales. Seguramente el campo educativo tendrá mucho que aportar en tal sentido, de igual modo que instancias particulares de la planificación y ejecución de proyectos y programas sociales con énfasis en la sociedad civil. Atentos al carácter transdisciplinaro de la evaluación, seguramente en los más diversos espacios virtuales podremos encontrar sugerencias, pistas e inspiración para este nuestro campo de interés.

Pregunta 5 (Francisco Bernales):  ¿Qué opinan de la Evaluación Parlamentaria como herramienta de Evaluación Participativa, y de superación del sesgo tecnocrático de las autoridades públicas? ¿Serían los Parlamentos la mejor instancia para facilitar la evaluación participativa? (Con apoyo metodológico externo. Y si ejercen la función evaluadora de modo directo, como apunta el art 24 de la Constitución Francesa)

Respuesta de Pablo Rodríguez Bilella

El rol de los parlamentos en vinculación con la evaluación ha sido un tema largamente impulsado por la iniciativa EvalPartners en su rama EvalParliament, tal como la presentan en su página web. La información no es actual, pero seguramente las personas que ahí aparecen con sus datos han seguido vinculadas a la misma. Sin duda que ha sido un espacio muy relevante para el campo de la evaluación y el control participativo, pero desde mi experiencia ha sido a la vez muy difícil de trabajar de manera coordinada desde distintos ámbitos.

Preunta 6 (Jorge Carbajal): Desde la perspectiva de control democrático de lo público, ¿la evaluación participativa puede ser considerada como una herramienta ciudadana para la rendición de cuentas social?

Respuesta de Pablo Rodríguez Bilella

Vemos en la literatura y en la práctica de la evaluación participativa en la región que la misma enfatiza fuerte y claramente una de las caras de la moneda de la evaluación: el aprendizaje. La otra cara de esa moneda es la rendición de cuenta, la cual ha tenido prevalencia y presencia prioritaria en los más diversos esfuerzos evaluativos. Basta para ello pensar en qué imágenes son las que acuden al imaginario social cuando hablamos de “evaluación”: control, rendición, ponderación, etc.  Como una forma de equilibrar esta balanza tan desbalanceada, la evaluación participativa hace entonces una  opción explícita y abierta por acentuar el componente de aprendizaje, que se convierte en el origen y el destino de su propuesta. Sin embargo, si queremos hacer “evaluación”, la misma no puede dejar de ser esta moneda de dos caras, por lo que el aspecto de rendición de cuenta no debe ser ajeno a ninguna práctica de evaluación participativa. El desafío entonces es pensar en qué instrumentos y qué procesos serían capaces de facilitar la constitución de experiencias de participación en el control democrático de lo público, que como instancias evaluativas tengan los dos componentes mencionados, pero que sin dudas en cuanto ganen calidad de participación, estarán brindando insumos y lecciones aprendidas en el marco de la alta legitimidad que uno espera de dichos procesos.  La investigación evaluativa, como campo de estudio de la teoría y práctica de la evaluación, podría abordar experiencias concretas de control social participativa e intentar dilucidar cuánto hay en las mismas de evaluación. Y desde ahí, poder aportar también el saber propio de la evaluación participativa.

—–

¡Gracias de nuevo por su interés y participación!

Reciban un cordial saludo de Carmen Luz Sanchez (Programa Servicio País), Fernanda Arriaza (TECHO Internacional), Olga Nirenberg (CEADEL), Pablo Rodríguez-Bilella (Programa PETAS) y Juan Carlos Sanz (DEval) moderador del webinar.