Hace un par de meses nos contactamos con Giovanna Montagner, seguidora de nuestra comunidad de práctica, para invitarla a escribir alguna reflexión sobre evaluación y participación.

Ella nos propuso compartir este trabajo, construído en conjunto con el equipo a cargo de la evaluación. Se trata de una adaptación de la cosecha de alcances, desarrolada a lo largo de dos años y realizada de manera muy cercana con el personal del programa. El proceso de evaluación incluyó entrevistas por vía telefónica a todos los líderes de grupos de pequeños productores agrícolas participantes en el programa, visitas a una ‘muestra’ de grupos en campo donde se llevaron a cabo entrevistas, observación y dinámicas grupales. Adicionalmente se realizaron entrevistas semi estructuradas con los demás participantes en el programa (empresas y ONG aliadas). De esta manera se buscó identificar los resultados desde la perspectiva de las personas participantes, algo novedoso para el programa, completando de esta manera una evaluación cuantitativa preexistente. Acá los aprendizajes desde la experiencia.

. . .

Con el fin de contribuir al intercambio de experiencias en esta comunidad de práctica, queremos compartirles el proceso de evaluación que el Centro para el Aprendizaje en Evaluación y Resultados de América Latina y el Caribe (CLEAR LAC) realizó con Fundación Walmart de México y sus organizaciones aliadas para el Programa de Agricultura Inclusiva (PAI), así como nuestras reflexiones sobre el uso de métodos cualitativos para captar las perspectivas de las personas sobre los procesos de cambio en los que participan.

El contexto 

El mercado agrícola en México se caracteriza por la exclusión estructural de los pequeños productores, lo cual contribuye a la persistencia de altos niveles de pobreza rural y a un mercado poco competitivo, caracterizado por grandes desigualdades entre los actores de las cadenas de valor y la dependencia de intermediarios que capturan una parte importante del precio final de los productos.

La intervención

El PAI trabaja para disminuir las brechas en el acceso de pequeños productores de frutas y verduras a estas cadenas de valor ofreciendo servicios integrados de capacitación y vinculación a mercados de grupos organizados en diferentes estados de la república mexicana. Estos servicios buscan incrementar los ingresos de los productores facilitando una mejora productiva en cuanto a calidad y volumen, la formalización de organizaciones productivas y su incorporación a las cadenas de suministro de grandes compradores sin la necesidad de recurrir a intermediarios.

Para ello, el programa, que es operado por TechnoServe desde 2011, trabaja con tres tipos de aliados, quienes coadyuvan a la consecución de sus objetivos:

• • Empresas agroalimentarias y de venta al menudeo de gran tamaño, que se suman al programa realizando compras directas a los grupos de pequeños productores;
  • Intermediarios “sociales”, que gestionan las ventas a un precio justo para los productores que no tienen el interés o las condiciones para organizarse;
  • Organizaciones no gubernamentales y empresas, a quienes el PAI proporciona asesoría y acompañamiento para replicar o adaptar su modelo de intervención.

La evaluación

Entre 2018 y 2020, CLEAR LAC llevó a cabo un proceso de evaluación por etapas del PAI con el fin de acompañar el escalamiento del modelo de intervención del programa con un enfoque de transformación de mercados.

Muy pronto, nos dimos cuenta que los acercamientos tradicionales de evaluación tendrían limitaciones para cumplir con este objetivo y que era necesario necesario trabajar de forma participativa con las personas a cargo de la dirección e implementación del programa. Así, llevamos a cabo un taller para diseñar la agenda y las preguntas de evaluación de manera conjunta, manteniendo asimismo un diálogo constante a lo largo del proceso de evaluación.

Una de las etapas de este proceso fue una evaluación cualitativa de resultados, dirigida a analizar la contribución del programa a la transformación hacia un mercado agrícola incluyente, resiliente y sostenible en México. Para ello, escuchamos las voces de las personas participantes, buscando recoger sus perspectivas sobre los cambios a los que el programa contribuyó, fueran éstos positivos o negativos, intencionales o no intencionales, directos o indirectos.

Utilizando una adaptación del método de cosecha de alcances (outcome harvesting), entrevistamos por vía telefónica a los líderes de grupos de productores participantes acerca de los cambios más significativos que habían experimentado gracias al programa, preguntándoles asimismo sobre cómo había cambiado su percepción sobre sí mismos a nivel individual y grupal, cuál era su visión a cinco años, qué desafíos aún enfrentan y qué apoyos adicionales necesitan. Posteriormente, visitamos en campo a una muestra de cinco grupos de productores para reconstruir sus trayectorias de cambio a través de dinámicas grupales de línea de tiempo con los equipos directivos de los grupos, entrevistas individuales a socios productores y observación no estructurada. A la par, llevamos a cabo entrevistas semiestructuradas con representantes de las organizaciones implementadoras, los intermediarios sociales y las áreas de compras de las empresas participantes en el programa, a quienes preguntamos qué están haciendo de manera distinta y sus reflexiones sobre el modelo de intervención.

De esta manera, fue posible identificar los avances y las áreas de oportunidad del programa desde las perspectivas de los productores y demás actores participantes, y facilitar que éstas fueran consideradas en la toma de decisiones sobre el futuro del programa. Este proceso nos trajo algunas sorpresas.

Por ejemplo, uno de los cambios reportados con más frecuencia por los productores fue el fortalecimiento de sus organizaciones productivas con el apoyo del programa, a pesar de que éste no es un componente formal de la intervención; más bien, consiste en una asesoría de corte informal a cargo del personal de campo. A partir de este hallazgo, dialogamos con el personal del programa sobre cómo sistematizar la experiencia del personal de campo apoyando a los productores a organizarse para institucionalizar un componente especialmente dedicado a esto, lo cual beneficiará a los grupos de productores que se unan al programa en el futuro.

El proceso de evaluación concluyó con una serie de mesas de trabajo para robustecer el modelo de intervención y planear la siguiente etapa del programa con base en los hallazgos y las recomendaciones de la evaluación, en las que participó el personal del programa junto con representantes de organizaciones aliadas.

Esta experiencia nos dejó los siguientes aprendizajes:

1. Abrir espacios de diálogo y escucha puede ser una vía de entrada para la evaluación participativa. Existían limitantes para la participación plena en todas las etapas de la evaluación, pues el programa no opera con una metodología participativa; además, había retos logísticos dada la dispersión de los grupos de productores y problemas de seguridad. Sin embargo, era la primera vez que las voces de los pequeños productores se escuchaban de manera sistemática y se consideraban como base para la toma de decisiones. Lo anterior no sólo tuvo un valor para el programa, sino también para los mismos productores, algunos de los cuales expresaron que valoraban mucho que se hubiera tomado en cuenta su opinión. Lo mismo sucedió al entrevistar a las y los representantes de las organizaciones implementadoras, las empresas compradoras y los intermediarios sociales.

2. Las diferentes perspectivas de los actores son clave para la evaluación de intervenciones complejas y con fines transformadores, ya que dan luz sobre los factores que facilitan u obstaculizan los procesos de cambio en diferentes contextos. De esta manera, es posible identificar oportunidades para construir alianzas y articular modelos de intervención diferenciados.

3. Las metodologías cualitativas son fundamentales en la caja de herramientas de las y los evaluadores, pero a menudo su uso se limita a la extracción de información en la etapa de recolección de datos. Se requiere planear, desde el diseño de la evaluación, los “usos de proceso” y la devolución de los hallazgos de la evaluación a las personas participantes.

4. La evidencia cualitativa resultante de procesos participativos puede servir para explicar los resultados de evaluaciones cuantitativas. Este estudio utilizó los datos y hallazgos de una evaluación de impacto cuantitativa que el programa realizó previamente de manera interna. A partir de ello, pudimos analizar los cambios que experimentaron los grupos de productores con un muestreo analítico riguroso, que nos permitió comprender por qué algunos grupos habían logrado mayores resultados en la mejora de su ingreso, productividad y adopción de buenas prácticas. Los hallazgos derivados del diálogo con los grupos de agricultores permitieron comprender la interacción de diversos factores en sus trayectorias de cambio, que explicaban los resultados diferenciados que se observaron en la evaluación cuantitativa.

5. Finalmente, esta experiencia cambió nuestra perspectiva de cómo evaluar. Nuestra experiencia previa se centraba en la evaluación externa de programas gubernamentales, que en México se realiza a partir de términos de referencia estandarizados, a menudo con limitadas posibilidades para procesos participativos. En cambio, en la evaluación del PAI, CLEAR asumió el papel de “socio de aprendizaje”, acompañando al programa desde la definición de los objetivos y las preguntas de evaluación hasta la apropiación de los hallazgos y las recomendaciones. Esto también permitió que la evaluación tuviera una elevada utilización, ya que el proceso se fue adaptando de manera dinámica a las necesidades del programa.

Esperamos que estos aprendizajes sean de utilidad, y los invitamos a compartirnos sus comentarios y reflexiones en el Foro Virtual o como comentarios a esta nota. En particular, tenemos para ustedes las siguientes preguntas:

¿Qué oportunidades existen para articular los enfoques participativos con otros métodos y enfoques, como por ejemplo la perspectiva de sistemas complejos y las evaluaciones cuantitativas?

En su experiencia, ¿qué potencial tiene la evaluación participativa para facilitar intervenciones transformadoras?

Equipo de evaluación