por Joaquín Navas, Claudia Calderón y Ricardo Ramírez.

El Contexto

Consorcios Regionales de Investigación Agropecuaria (CRIA) es un programa que se viene ejecutando desde el 2016 en Guatemala a fin de fortalecer las capacidades de investigación agropecuaria bajo la modalidad de consorcios inter-institucionales. El programa es financiado por la Secretaría de Agricultura de los Estados Unidos (USDA por sus siglas en inglés) y es ejecutado por el Ministerio de Agricultura, Ganadería y Alimentación (MAGA)  y el Instituto Interamericano para la Cooperación Agrícola (IICA).

Joaquín Navas y Ricardo Ramírez – consultores independientes radicados en Canadá – realizaron la evaluación intermedia del Programa CRIA entre Noviembre de 2018 y Febrero de 2019. Valiéndose de su experiencia al frente de la iniciativa DECI[1] en América Latina, los evaluadores propusieron usar el enfoque de Evaluación Orientada al Uso  (EOU)  propuesto por Michael Patton (2008)[2]. Dicho enfoque demanda el involucramiento de un grupo de usuarios primarios que se comprometen a contribuir al diseño de la evaluación y a utilizar los hallazgos de la misma. En ese sentido, el diseño de la evaluación se hace participativo, ya que son los usuarios primarios quienes definen el propósito y los usos que se le quieren dar a la evaluación. Mediante este proceso, se apropian de la agenda de la evaluación.

En el caso del Programa CRIA, el grupo de usuarios primarios estuvo constituido por representantes del IICA, de USDA (donante), del MAGA, del Instituto de Ciencia y Tecnología Agrícola (ICTA) y de centros universitarios involucrados en el programa. Los usos que se establecieron para la evaluación intermedia del programa fueron:

• Mejoramiento del programa.
• Direccionamiento estratégico.
• Rendición de cuentas (gestión presupuestaria y cumplimiento de objetivos).

Estos tres usos permitieron la organización de las preguntas claves de evaluación, al igual que las decisiones conjuntas sobre cuáles eran las más prioritarias.

Desafíos e innovaciones

El principal desafío fue evaluar un programa altamente complejo cuyo nivel de dificultad no se había plasmado como reto compartido por las partes involucradas, lo cual había generado un ambiente de desánimo e incertidumbre. La carencia de líneas de base contra las cuales poder valorar los resultados alcanzados fue un desafío adicional. CRIA es un programa de cooperación internacional para el cual se esperaría una evaluación de tipo tradicional. Por lo tanto, la mayor innovación fue haber podido utilizar una metodología no convencional con componentes participativos y haber logrado demostrar el rigor de la misma a la hora de recabar evidencias sobre los logros del programa.

El involucrar a los usuarios primarios en el diseño de la evaluación fue importante para que ellos entendieran el origen de los datos recolectados. Esto hizo que las discusiones en torno a dichos datos se convirtieran en un espacio de reflexión que les permitió algunos ver los logros del programa desde una nueva perspectiva.

Una tercera innovación muy enriquecedora fue la realización de un taller para facilitar el uso de los hallazgos. Durante el mismo se discutieron los puntos más relevantes del informe y los usuarios primarios propusieron teorías de cambio para los componentes del programa.  La formulación de teorías de cambio de forma conjunta con los usuarios primarios fue una innovación adicional, ya que a menudo éstas son formuladas por consultores externos y no por los actores responsables de dar seguimiento a las propuestas. 

Resultados  y utilidad de la evaluación

El resultado más importante de la evaluación intermedia del Programa CRIA fue haber animado a los implementadores del programa y a varias de las personas involucradas en el mismo. Otro resultado importante fue el haber logrado identificar y documentar logros no esperados que el marco lógico originalmente propuesto para el programa no permitía apreciar. Un tercer resultado que vale la pena mencionar es que permitió re-direccionar recursos y actividades con base en las evidencias presentadas.

Una de las premisas fundamentales del enfoque EOU es que el mérito de las evaluaciones debe medirse por su utilidad. Entonces, es necesario preguntarse ¿para qué sirvió la evaluación intermedia del Programa CRIA? La respuesta es que gracias a las evidencias recopiladas a través de dicha evaluación:

1. El donante le concedió al Programa dos extensiones de dos años cada una, por lo que en lugar de finalizar en el 2020, continuará hasta junio de 2024 a fin de lograr el 100% de los productos esperados, ampliar el número de beneficiarios y promocionar a nivel de campo las tecnologías validadas. Además, la última de extensión el programa tiene aprobada una partida adicional de 14 millones de dólares, lo cual supera el presupuesto original de 12 millones de dólares que fue desembolsado para la fase inicial del Programa.
2. Se redujo la tensión a nivel de los decisores del Programa y los representantes de las instituciones involucradas, pues existían criterios encontrados sobre los resultados alcanzados, así como sobre los aciertos y desaciertos. Esto conllevó a que mejorara la armonía y la confianza entre el Comité Técnico, los decisores y los Consorcios Institucionales de Investigación.
3. Los decisores del programa pudieron ajustar la estrategia general del Programa. La facilitación del uso de los hallazgos permitió identificar y eliminar actividades y subproductos contemplados en el marco lógico del Programa que habían dejado de ser relevantes, pues además de no contribuir al impacto del mismo, requerirían de tiempo y recursos.
4. Los decisores tuvieron mayor claridad sobre la problemática más seria del Programa: la gestión administrativa. Con base en las recomendaciones de la evaluación, se agilizaron la movilización de recursos y la ejecución presupuestaria. Además se tomaron acciones para remediar algunos vacíos identificados, en especial los relacionados al tema de sostenibilidad.
5. El Programa logró una mayor adaptabilidad para responder a la emergencia de la pandemia causada por el COVID-19. Por ejemplo, se incursionó en el uso de las TICs poder trasladar a los beneficiarios información y tecnologías validadas por medio de los proyectos de investigación.

Conclusiones

La existencia de programas complejos con alcances en gran medida impredecibles es cada vez más frecuente. Ello es resultado de la necesidad de coordinar actividades entre múltiples entidades, cada cual con sus propias obligaciones y sistemas de gobernanza. Sin embargo, los desafíos que enfrenta el sector agropecuario en Centroamérica exige enfoques sistémicos. Una característica del enfoque de sistemas son los cambios emergentes, difícilmente integrados en los esquemas convencionales de planificación.

El desenvolvimiento del programa CRIA tiene estas características y ellos exige sistemas de seguimiento y aprendizaje que se adecuen a esta realidad.  La participación de los usuarios primarios como dueños de la evaluación le permitió apreciar la naturaleza del programa de forma compartida. De esta forma, la evaluación se convirtió en un elemento de ajuste y mejoramiento del mismo.

[1] DECI es una iniciativa financiada por el  Centro Internacional de Investigación para el Desarrollo (CIID/IDRC) que combina la evaluación y la comunicación para apoyar a proyectos de investigación en la recopilación de evidencias sobre sus resultados de manera sistemática, así como a mejorar su estrategia de comunicación a fin de incidir en políticas públicas.

[2] Patton, M.Q. (2008). Utilization-focused evaluation 4th. ed. Sage.