Estimad@s colegas y amig@s de EvalParticipativa, esperamos se encuentren muy bien, encontrando formas de sobreponerse a los condicionantes que nos impone el COVID-19.

Estamos contentos y agradecidos porque siguen llegando contribuciones y aportes a la convocatoria de ‘aprendizajes significativos’ en Evaluación Participativa. En esta ocasión compartimos una valiosa experiencia de la mano de Joaquín Navas, Ricardo Ramírez y Mariana López-Fernández desde la iniciativa DECI. Recuerden que sigue abierta la convocatoria y estamos deseosos de recibir y compartir sus aprendizajes significativos. Saludos!

¿Qué es el DECI?

Las disciplinas de la comunicación y de la evaluación se desarrollan, por lo general, de forma independiente. Sin embargo, ambas comparten elementos comunes a nivel teórico y práctico.

El DECI (Designing Evaluation and Communication for Impact) es un proyecto de acción-investigación financiado por el Centro Internacional de Investigación para el Desarrollo de Canadá (IDRC, por sus siglas en inglés) desde el año 2009, encontrándose hoy en día en su cuarta fase de ejecución. El proyecto DECI combina la evaluación y la comunicación creando un marco para la toma de decisiones que ayuda a los proyectos de investigación, a sus actividades y equipos, a ser más estratégicos y adaptables a situaciones no previstas a fin de maximizar su impacto.

Los objetivos de DECI son:

1. 1. 1. 1. La capacitación de mentores regionales en evaluación y comunicación en África oriental, Asia y América Latina;
         2. La capacitación de personal dentro los proyectos socios en las mismas regiones;
         3. La prestación de servicios de asesoría para desarrollar estrategias de evaluación y comunicación;
         4. La innovación metodológica por medio de la acción-investigación.

Los proyectos socios son estudios, también financiados por el IDRC, que abordan diferentes temáticas que surgieron de la trayectoria de la investigación sobre las tecnologías de la información y comunicación para el desarrollo (TICs), sobre temás tales como: desarrollo abierto, ciencia colaborativa y abierta, derechos digitales, inteligencia artificial para el desarrollo, etc.

A continuación presentamos una breve descripción del enfoque EOU y sus principales diferencias con el enfoque convencional de evaluación. Luego presentamos las particularidades y principios del modelo DECI, para finalmente concluir con los principales aprendizajes y desafíos que hemos observado a partir de nuestra experiencia a lo largo de la implementación del proyecto DECI.

La Evaluación Orientada a los Usos como enfoque metodológico

La Evaluación Orientada a los Usos (EOU, Patton, 2008) es un proceso de toma de decisiones que involucra a un grupo de actores interesados – denominados “usuarios primarios” – en el diseño e implementación de evaluaciones que generen hallazgos útiles sobre los logros de un determinado proyecto. Cabe anotar que desde un punto de vista teórico, la EOU no es un enfoque estrictamente participativo. Sin embargo, ofrece la oportunidad de crear espacios altamente participativos según lo estimen conveniente los usuarios primarios y el evaluador, cuyo rol es más el de un facilitador del proceso.

En el caso específico de DECI, el diseño de las evaluaciones es muy participativo en el sentido que los usuarios primarios son quienes definen los propósitos de la evaluación, los usos que le quieren dar a los hallazgos y  las preguntas de evaluación.

La recolección de datos, el análisis de los mismos y le preparación de informes quedan a cargo del evaluador, aunque siempre hay una validación con los usuarios primarios. Por lo tanto se puede decir que en el caso de DECI la implementación de le evaluación es colaborativa. Estos diferentes niveles de participación a lo largo del proceso de evaluación invitan a la reflexión sobre qué constituye evaluación participativa y qué no. Lo que está claro es que la evaluación orientada a los usos contrasta de forma significativa con la evaluación convencional, como vemos en la siguiente tabla.

Particularidades del modelo DECI

DECI es una iniciativa de capacitación pero a la vez es un proyecto de investigación acerca de cómo desarrollar capacidades en el ámbito de la evaluación y de la comunicación. Esta orientación que combina prestación de servicios con aprendizaje sobre su desempeño nos ha permitido experimentar diferentes formas de generar nuevas perspectivas y principios de trabajo. Las siguientes son las particularidades más relevantes del modelo DECI:

La capacitación a través de un mentor

La capacitación en temas de evaluación  generalmente se ofrece mediante talleres en los cuales los participantes reciben información sobre teorías y métodos de evaluación. Lo mismo es común en la comunicación para el desarrollo en donde usualmente se describen  algunas herramientas convencionales de planificación (Quarry & Ramírez, 2014). En el contexto del proyecto DECI, se abandonó el formato de taller a raíz de experiencias que mostraron un muy limitado nivel de efectividad a nivel de aprendizaje. En contraste, se privilegió un proceso de capacitación por medio de un mentor que apoya “justo a tiempo” (just-in-time mentoring) y acompaña a la persona que ha sido identificada por la organización como facilitador de la evaluación,  al ritmo del desarrollo de cada proyecto. Ello responde a los procesos de aprendizaje experiencial, mediante los cuales los equipos de los proyectos socios aprenden, sobre la marcha, haciendo y reflexionando (Kolb, 1984). Esto permite brindar acompañamiento ajustándose a cada contexto, y compartir conocimiento de forma puntual en los momentos en los que la persona capacitada lo puede aplicar adaptándolo a la necesidad de cada proyecto. Esto resulta más efectivo que  ofrecer recetas pre-establecidas a través de un taller y resulta más costo-efectivo para el socio receptor.

El evaluador como facilitador de proceso

En el enfoque EOU adoptado por DECI, el rol del evaluador no es el de “experto” que interviene al final de un proyecto para emitir juicio sobre los logros del mismo, sino el de un facilitador que guía a un equipo de usuarios a través de una serie de decisiones que deben tomarse a lo largo del proceso de evaluación.

La evaluación como marco para la toma de decisiones

Tradicionalmente la evaluación de los proyectos se hace para responder a las exigencias del donante para verificar el cumplimiento de los objetivos y la ejecución satisfactoria de los recursos.

Sin embargo DECI, gracias a la flexibilidad de IDCR como donante, propone la evaluación como herramienta para la toma de decisiones a lo largo del ciclo de vida de los proyectos evaluados. El enfoque de EOU se presta para estos fines porque propone diseñar e implementar la evaluación desde el inicio del proyecto, y no al final. En el proceso liderado por el evaluador, los usuarios de la evaluación determinan el propósito de la misma y los usos que se le pretenden dar a los hallazgos. Igualmente formulan las preguntas que la evaluación debe responder a fin de que genere hallazgos útiles. Desde este punto de vista, la evaluación no se hace para rendir cuentas a un donante, sino más de bien como herramienta de reflexión colectiva y gestión estratégica que permite generar aprendizaje organizacional.

 La integración de la evaluación y la comunicación dentro de los proyectos

Dado que la planificación de la comunicación y el diseño de la evaluación tienen algunos pasos en común, como proyecto de investigación, DECI ha propuesto esta integración como innovación metodológica. El combinar la evaluación y la comunicación permite afinar no solo la estrategia general de los proyectos, sino también su la estrategia comunicacional. Además invita a reflexionar sobre cómo medir su efectividad.

La sabiduría práctica solo se adquiere a través de la experiencia

A diferencia de las buenas prácticas que sugieren recetas preestablecidas, la sabiduría práctica se refiere a la habilidad de responder a cada escenario de manera única según las particularidades del contexto (Schwartz & Sharpe 2010).

El enfoque de capacitación adoptado por el proyecto DECI apunta a crear espacios para generar sabiduría práctica en evaluación y comunicación – en lugar de buenas prácticas. Hemos aprendido que esto solo se logra a través de la experiencia acumulada y de ensayar estrategias específicas para abordar la evaluación de cada proyecto, prestando especial atención tanto a las singularidades como a los patrones comunes de los diferentes procesos de evaluación que ayudamos a facilitar. Ello nos obliga a la reflexión continua y a la documentación detallada de cada experiencia a través de estudios de caso.

Lecciones aprendidas

La experiencia con DECI nos ha permitido generar aprendizajes significativos, destacándose los siguientes.

La prontitud o disponibilidad de los proyectos: un factor crítico

La prontitud o disponibilidad de los proyectos para recibir capacitación (“readiness” en inglés) no es una herramienta de la evaluación, sino un sondeo del contexto (Ramírez, 2017), y hemos aprendido que es un factor crítico para la implementación del método de capacitación que usamos en DECI. Esta noción proviene del enfoque EOU (Patton, 2008) que establece la importancia de verificar: (i) si existe el personal disponible e interesado para recibir la capacitación; (ii) si los gerentes de la organización aprueban el proceso y aportan recursos; y (iii) si los donantes dan espacio para que la evaluación pueda incluir a los equipos mismos de los proyectos en su diseño y para abordar un abanico de propósitos y usos de la evaluación.

La prontitud también es afectada por el balance de poder entre un donante y el receptor de la financiación; en los mejores casos el donante permite al socio cierta autonomía para al menos participar en el diseño de la evaluación.

Tales condiciones permiten que los proyectos asuman un sentido de propiedad sobre sus evaluaciones, que conlleva a que adquieran una cultura evaluativa (Mayne, 2009).  Lo que hemos aprendido, es que si el contexto no es favorable por no existir alguna de las condiciones arriba mencionadas, es mejor sugerirla al proyecto que opte por otro tipo de evaluación.

La confianza entre el mentor y el evaluador marca la diferencia

Un factor importante para que el modelo de capacitación planteado por DECI arroje los resultados esperados es que el mentor logre generar el suficiente nivel de confianza con el evaluador. Los mecanismos mediante los cuales se genera esta confianza depende mucho del estilo personal de cada mentor y que la lectura que pueda hacer del contexto del proyecto. De igual importancia es el hecho de que el mentor no representa al donante; más bien, comparte las mismas obligaciones de cualquier otro proyecto de investigación financiado por el IDRC. A menudo demanda flexibilidad y paciencia para ajustarse a los tiempos del proyecto y para leer el contexto a fin de apurar el paso del evaluador o darle algo más de tiempo. Las contribuciones más frecuentes que hemos observado entre los mentores del proyecto DECI y que permiten generar confianza con los proyectos socios a lo largo de la capacitación son:

1. 1. 1. 1. Ayudar a simplificar el alcance y las tareas relacionadas a los procesos de evaluación y comunicación.
         2. Ayudar a aclarar lenguaje cuando se hace necesario y a traducir ideas o comentarios en usos o preguntas clave de evaluación.
         3. Ayudar a facilitar las conversaciones del evaluador entrenado y el equipo de usuarios primarios.
         4. Ayudar a que los implementadores del proyecto se enfoque más en alcances de término medio que en el impacto a largo plazo.
         5. Orientar al evaluador para que los esfuerzos de la evaluación sean de utilidad para la toma de decisiones de los usuarios primarios, proveyendo herramientas y estrategias que agreguen valor a lo que el proyecto socio está tratando de lograr.
         6. Aportar un espacio seguro en el cual se pueda ajustar la estrategia del proyecto cuando las condiciones lo exigen.

El valor se ve hacia al final del proceso

El enfoque EOU es difícil de comprender cuando se explica sobre el papel, especialmente en cuanto al valor que puede generarle a un proyecto. Esto es aún más evidente cuando la organización debe asignar personal para que aprenda e implemente el proceso. Sin embargo, la mayoría de organizaciones que se deciden a hacerlo generalmente terminan por convencerse del valor agregado que aporta, lo cual se aprende mediante su aplicación. Más allá de generar hallazgos útiles, las organizaciones aprecian los espacios de reflexión y diálogo interno que con frecuencia llevan a replantear estrategias, revelar supuestos no explícitos, y a confirmar observaciones anteriores. Algunos gerentes además logran aprovecharlo para el desarrollo humano y profesional de las personas que reciben el apoyo del mentor.

Desafíos

Los principales desafíos que hemos observado para la implementación para el tipo de capacitación que impulsamos desde el proyecto DECI son:

Rotación del personal en los proyectos socios

El cambio de personal dentro de un proyecto dificulta la continuidad y en muchos casos obliga a volver a comenzar de cero con una nueva persona que va a recibir la capacitación, lo cual genera esfuerzo doble y atrasos en el trabajo. Solución: paciencia por parte del mentor.

Falta de tiempo por parte del personal de los proyectos socios

Normalmente las personas de los proyectos socios llevan una agenda bastante sobrecargada, la cual les deja poco tiempo para dedicarle a liderar el trabajo de evaluación o la planificación de una estrategia de comunicación. Solución: contar con un proyecto de apoyo con calendario abierto, lo cual permite mayor flexibilidad por parte del mentor y habilidad para dar seguimiento y no perder los momentos de impulso.

Falta de interés por parte de la persona a ser capacitadas

En algunos casos la organización acepta el apoyo de DECI y parece reunir las condiciones mínimas de disponibilidad, pero alguna de las personas a ser capacitadas no tiene interés en aprender. Esto es más frecuente en los casos en los que la persona cuenta con bastante experiencia en materia de evaluación o comunicación. Solución: perseverancia por parte mentor para hacerle ver a la persona que la propuesta de DECI puede aportarle conocimiento nuevo que vale la pena y puede generarle algo útil a la organización.

Integración entre el diseño de la evaluación y el plan de comunicación

La mayoría de organizaciones de una u otra forma hacen comunicación y generalmente cuentan con algún tipo de plan, así no esté documentado. En contraste, cuentan con mucha menos experiencia en materia de evaluación. Hacer que el diseño de le evaluación y el planificación de la comunicación converjan para enriquecer la estrategia de la organización es un desafío que requiere insistencia y seguimiento coordinado por parte de los mentores.

Referencias

Brodhead, D & Ramírez, R. (2014). Readiness & mentoring: Two touchstones for capacity development in evaluation. Paper presented at the CDI Conference: Improving the use of M&E processes and findings. 2021 March. Wageningen, The Netherlands.

Kolb, D. A. (1984). Experiential learning: Experience as the source of learning and development. Englewood Cliffs, NJ: Prentice-Hall.

Mayne, J. (2009). Building an evaluation culture: The key to effective evaluation and results management. Canadian Journal of Program Evaluation 24(2): pp.1-30.

Patton, M. Q. (2008). Utilization-focused evaluation, 4th ed. Los Angeles, London, New Delhi, Singapore: Sage Publications.

Quarry, W. & Ramírez, R. (2014). Comunicación para otro desarrollo: Escuchar antes de hablar. Madrid: Editorial Popular.

Ramírez, R. (2011). Why “utilization focused communication” is not an oxymoron. Communication, media and development policy; BB World Service Trust.

Ramírez, R. (2017). Un marco para la toma de decisiones en evaluación y comunicación: Resumen de investigación y comunicación. Revista de Comunicación y Ciudadanía Digital – COMMONS, Vol. 6 N. 1 pp. 23-44.

Ramírez, R. & Brodhead, D. (2013). Las evaluaciones orientadas al uso: Guía para evaluadores. Penang: Southbound.

Ramírez, R., Quarry, W. & Guerin, F. 2015. Community Note. Can participatory communication be taught? Finding your inner phronēsis. Knowledge Management for Development Journal 11(2): 101-111.

Schwartz, B., & Sharpe, K. (2010). Practical wisdom: The right way to do the right thing. New York: Riverhead Books.