LA PARTICIPACIÓN COMO NÚCLEO CLAVE EN LA COSECHA DE ALCANCES: APRENDIZAJES DESDE CHILE

por Andrea Peroni Fiscarelli

Evaluaciones homogéneas vs evaluaciones diferenciadas

La evaluación aplicada desde el Estado se ha ido estandarizando a fin de generar fundamento, evidencia y, con base a ello, se ha ido posicionando cada vez más. El problema que persiste es la necesidad de reconocer que no todos los programas públicos comparten las mismas características, por ende, se debería pensar en tipos de evaluaciones diferenciadas.

Basta pensar en programas que están orientados a la entrega de bienes, sin interacción con los beneficiarias/os (como es el caso de subsidios, planes y bonos), y otros que buscan entregar herramientas y/o desarrollar competencias y habilidades orientadas a mejorar la inserción social de las personas, especialmente de las más vulnerables.

Para este tipo de programas, las metodologías de evaluación tradicionales se muestran insuficientes pues solo apuntan a captar el nivel de eficiencia o eficacia, sin lograr capturar la complejidad y riqueza de la realidad, de la práctica y de los resultados. Por otro lado, al tratarse de programas que se orientan al comportamiento humano y social, conlleva reconocer la complejidad de sus contextos.

La metodología de evaluación “Cosecha de Alcances” se presenta como una alternativa viable, novedosa y pertinente para abordar la evaluación de programas que generan capacidades desde el sector público, ya que permite, de manera altamente participativa, identificar los cambios de comportamiento en  proyectos de desarrollo de habilidades y de inserción social.

Según Ricardo Wilson-Grau y Heather Britt, “la Cosecha de Alcances es un método que permite a las y los evaluadores, donantes y gerentes identificar, formular, verificar y entender alcances (efectos); se basa en la definición de alcances como cambio en comportamientos, relaciones, acciones, actividades, políticas o prácticas de un individuo, grupo, comunidad, organización o institución” (Wilson-Grau y Britt, 2012).

La Cosecha de Alcances, diseñada por Ricardo Wilson-Grau[1], es una metodología adecuada para contextos programáticos complejos donde las relaciones de causa y efecto no se presentan claramente, por lo que los objetivos y las formas para lograrlos resultan bastante impredecibles y -por tanto- los objetivos predefinidos y las teorías de cambio se deben modificar al paso del tiempo para responder a cambios en el contexto. Resulta particularmente útil cuando los resultados, e incluso los insumos, actividades y productos, no son específicos, no están definidos cuantitativamente desde la planificación y/o no son medibles de modo suficiente en la evaluación.

Cosechando los alcances en la evaluación

Durante inicios del año 2016, un equipo de profesionales y académicas, integrantes de la Red Chilena de Evaluación, a través de Isónoma Consultorías Sociales Ltda., utilizamos esta metodología para la Evaluación del Programa “Yo Emprendo en Comunidad”, diseñado y ejecutado por el Fondo de Solidaridad e Inversión Social (FOSIS) del Ministerio de Desarrollo Social, Chile.

Dicho programa busca que personas asociadas en una organización formada por ellos/as mismos/as, desarrollen actividades económicas, con el fin de aumentar sus ingresos y mejorar su condición de vida y el contexto en el que desarrollan sus actividades, fomentando así el trabajo asociativo, configurándose como un programa de complejas características por su flexibilidad e incertidumbre.

La evaluación contempló:

      • Caracterización de las organizaciones beneficiadas y de sus actividades productivas.
      • La evaluación del Programa “Yo Emprendo en Comunidad” basada en un enfoque cuantitativo tradicional: se realizó comparando la línea de base con la línea de salida en variables tales como ingresos, ventas, costos de producción, etc., con lo que se buscó evaluar el cumplimiento de los objetivos del Programa.
      • La evaluación cualitativa de procesos, en base a entrevistas individuales y grupales a equipos y encargados/as regionales.
      • La evaluación de una selección de diez proyectos en el norte, centro y sur de Chile mediante la metodología de la “Cosecha de Alcances”, a través de la cual se buscó relevar la participación de las personas integrantes de las organizaciones beneficiadas a la vez que identificar posibles efectos no esperados que escaparan a los indicadores contenidos en las líneas de base y de salida, principalmente resultados vinculados a la asociatividad y cambios en la calidad de vida de las personas.

Cosechando Aprendizajes

El primer aprendizaje fue atrevernos a proponer una metodología no solicitada por el FOSIS y desconocida por la contraparte estatal, lo que fue una propuesta arriesgada “fuera de las Bases”. Lo anterior no nos detuvo, ya que estábamos dispuestas a hacer la evaluación solicitada, y además incluir una metodología participativa a través de la Cosecha de Alcances.

Estábamos empeñadas en visibilizar que los programas sociales son diversos y resaltar que los mismos se desarrollan en contextos complejos y que, si además se orientan al desarrollo de habilidades y capacidades individuales y comunitarias, requerían un enfoque diferente en su evaluación; digamos que hicimos una evaluación paralela “homogénea y también diferenciada”.

De esta manera, la evaluación podía generar dos tipos de resultados: por un lado, el uso tradicional de los hallazgos (eficacia, eficiencia, resultados), y por otro, un ejercicio dialogante de aprendizaje de los funcionario/as y beneficiario/as, del programa, que permitió aprehender a reflexionar e involucrarse unos con otros desde una perspectiva evaluativa participativa. Desde esta perspectiva, se procura involucrar a los actores en el mismo proceso y en conjunto se desarrolla un proceso reflexivo vinculado al uso de la misma evaluación, ya que ellos fueron generadores y usuarios de la misma, representando esto una oportunidad para fortalecer el ejercicio deliberativo de la democracia a nivel local y nacional.

En segundo lugar, comprobamos que el uso de metodologías innovadoras, las que en su mayoría provienen de otros contextos, presenta a su vez el desafío de generar los ajustes necesarios para su uso en el contexto nacional. En términos generales, pese a las grandes diferencias entre los proyectos ejecutados, entre ellos mismos así como en los territorios en los cuáles estos se desarrollaron, la metodología definida funcionó adecuadamente. No obstante, surgieron una serie de dificultades que se describen a continuación:

      • Los actores institucionales claves en algunas ocasiones no conocían con la profundidad requerida los alcances de los proyectos evaluados y por lo tanto no eran informantes idóneos. Esto dificultó en gran medida la definición inicial de alcances de algunos proyectos.
      • La definición del tercer actor[2] clave, que sería detectado en el terreno, fue disímil entre los proyectos, dado que en algunos de ellos no existía un actor clave ajeno a la organización que tuviese conocimiento sobre los proyectos y sus alcances. Esto condicionó que se llegará a prescindir de esta figura en varios proyectos, dificultando tanto el proceso de definición de alcances como su validación.
      • La restricción de tiempo para el levantamiento de los alcances en terreno dificultó este proceso, así como la elaboración de la descripción y la validación de los alcances con la profundidad requerida. Esto sucedió en aquellos proyectos en los cuáles fue más difícil acceder a los participantes de las organizaciones de forma expedita y no fue una dificultad transversal a todos los proyectos.
      • El proceso de validación de los alcances fue muy dificultoso para la totalidad de los proyectos. Si bien se había definido que los alcances serían validados con los actores clave institucionales más el informante clave detectado en el terreno, no fue posible implementar adecuadamente esta etapa del proyecto debido al bajo conocimiento de los informantes seleccionados sobre los proyectos.

Una importante lección aprendida sobre la metodología de los talleres fue la utilización de material didáctico para la representación de conceptos abstractos[3], lo que resultó un valioso facilitador para el trabajo con grupos vulnerables con bajo nivel educacional y de disímil  constitución en términos de edad y género.

La adecuación de este material la realizó el equipo de investigadoras, y resultó exitosamente utilizado en grupos tales como mujeres alfareras de sectores rurales muy aislados geográficamente, grupos de hombres recluidos en centros penitenciarios, grupos de pescadores artesanales, grupos de apicultores de sectores rurales, entre otros. No obstante, existió dificultad en los representantes de las organizaciones participantes para trabajar de forma grupal y autónoma redactando los componentes solicitados en las figuras, debido principalmente a dificultades en el lenguaje y a la existencia de un importante grupo de personas que no cuentan con competencias de lecto-escritura.

Como se observa, la metodología de la Cosecha de Alcances no pudo ser aplicada cabalmente debido a algunas dificultades presentadas en el trabajo de terreno. No obstante, constituyó un aporte para la evaluación y comprensión de los procesos relacionados a cada uno de los proyectos ejecutados, entregando importantes resultados para quienes están encargados de la toma de decisiones con respecto al Programa “Yo Emprendo en Comunidad”.  A su vez, nos demostró que es posible generar este tipo de evaluaciones participativas, a pesar que el Estado en sus solicitudes de evaluación no las considere (inicialmente).

Equipo evaluador: Andrea Peroni F. , Patricia Varela, Cecilia Robayo, Claudia Olavarria. Para conocer más sobre el trabajo, consultar  la ponencia presentada en el Congreso CLAD, 2016, Santiago de Chile, El Uso de Metodologías Innovadoras en la Evaluación de Programas Sociales: El Caso de la “Cosecha de Alcances”.

[1] El método conocido como Cosecha de Alcances fue desarrollado por Ricardo Wilson-Grau con la ayuda de sus colegas Barbara Klugman, Claudia Fontes, David Wilson-Sánchez, Fe Briones Garcia, Gabriela Sánchez, Goele Scheers, Heather Britt, Jennifer Vincent, Julie Lafreniere, Juliette Majot, Marcie Mersky, Martha Nuñez, Mary Jane Real, Natalia Ortiz y Wolfgang Richert. A lo largo de los últimos ocho años, la Cosecha de Alcances se ha utilizado para monitorear y evaluar los logros de cientos de redes, organizaciones no gubernamentales, centros de investigación, grupos de expertos y organizaciones de base de todo el mundo (Wilson-Grau & Britt, 2013).

[2] El primer tipo de actor fue el funcionario público, el segundo tipo de actor fueron los beneficiarios/as (o a la inversa), y el tercer tipo de actor refiere a actores no involucrados directamente en el programa, pero que pueden dar testimonio de los alcances logrados o no, por ejemplo la autoridad local municipal.

[3] En este línea el material didáctico utilizado fue: (1) Recortes de estrellas para ejemplificar los sueños o expectativas de los beneficiarios del proyecto; (2) Recortes de nubes para ejemplificar las dificultades enfrentadas y los alcances negativos; (3) Recortes de fruta para ilustrar los alcances positivos del proyecto; (4) recortes de tuercas  para ilustrar los principales aportes a los procesos; y (5) finalmente se incorporaron ampolletas para ilustrar las contribuciones realizadas por los actores para el éxito del programa.