por Ricardo Ramírez y Joaquín Navas
El concepto de ‘readiness’ en inglés es difícil de traducir al español ya que reúne varios temas: preparación, disposición, propensión, prontitud, agilidad, destreza, disponibilidad, y vivacidad . En esta nota usaremos el término ‘disposición’ asumiendo que abarca varios otros temas complementarios.
En el campo de la evaluación, este concepto tiene prominencia en los pasos iniciales en la Evaluación Orientada a los Usos -EOU- (Utilization-focused Evaluation) propuesto por Michael Quinn Patton (2008). El concepto de ‘disposición’ también tiene incidencia en otras áreas, como por ejemplo el diseño de estrategias de comunicación (Ramelan, 2014). Mientras que la EOU tiene como meta la utilización de la evaluación, el engranaje del enfoque depende de una alta participación de los ‘usuarios’ de la evaluación, cuya participación directa les brinda un sentido de propiedad sobre el proceso y sus resultados. En otras palabras, los principios de la EOU se alinean con los enfoques de la evaluación colaborativa (Ramírez & Brodhead, 2020).
En la evaluación convencional el concepto de ‘disposición’ se limita básicamente a la contratación de un evaluador externo, y el control del diseño de la evaluación depende ya sea del financiador o del mismo evaluador. En contraste, en la EOU la valoración de la disposición, tanto del programa como del evaluador, es un paso indispensable para dar inicio al proceso de evaluación. Seguidamente, en la EOU se identifican a los ‘usuarios primarios’ como las personas responsables del diseño de la evaluación, y en particular aquellas encargadas de darle uso a los hallazgos y recomendaciones (Ramírez et al., 2018).
Elementos principales
En la práctica se señalan tres elementos principales de disposición para la evaluación participativa, a saber:
-
- el poder para co-diseñar,
- el deseo y compromiso de aprender, y
- el énfasis sobre reforzar una cultura evaluativa (Ramírez et al., 2018).
El poder para diseñar se manifiesta cuando existe la suficiente disposición para participar en el diseño de un plan de evaluación por parte el personal de un proyecto u organización. Esto además requiere una relación de poder compartido con el financiador para definir el propósito y el alcance (‘scope”) de la evaluación, lo cual suele suceder cuando el financiador percibe un valor agregado en una evaluación diseñada con participación del socio (proyecto u organización beneficiada) como herramienta de aprendizaje. Existen experiencias en las que el donante y el socio colaboraron en el co-diseño de la evaluación (New Economy Development Group, 2014; Ramírez et al., 2017) y varias otras en las que el financiador delegó el papel enteramente sus socios (Ramírez & Brodhead, 2013).
Aunque es fácil asumir que en la mayoría de casos exista el deseo y compromiso de aprender participando en el co-diseño de una evaluación por parte de los implementadores de un proyecto o programa, esto no es la norma. A menudo los implementadores prefieren que sea un evaluador externo quien asuma la responsabilidad por múltiples razones (falta de tiempo, plazos cortos para de entrega de resultados, credibilidad de los hallazgos ante terceros, etc.). Por ello, durante la valoración de la disposición, resulta importante determinar en qué medida hay deseo y compromiso por parte de la organización implementadora para participar en el proceso de evaluación.
Tanto el deseo como el compromiso por aprender por medio de la evaluación se manifiestan cuando los usuarios primarios, con apoyo del evaluador, formulan ‘usos’ o ‘propósitos’ de la evaluación, complementarios a la rendición de cuentas. Estos usos dan cabida a preguntas de evaluación orientadas a aprender el ‘porqué’ y el ‘cómo’ de un proyecto a fin de entender los factores y procesos que permitieron conseguir los alcances u obstaculizaron su trayectoria. Se pueden incluir preguntas relativas a liderazgo, a mecanismos y/o a la calidad del involucramiento de actores, a los logros de estrategias de comunicación, y a procesos de adaptación de las estrategias del programa, entre otras temáticas.
Para crear capacidad interna en EUO en el seno de un proyecto u organización, se requiere una necesidad sentida y un compromiso por reforzar una cultura evaluativa. Durante la ejecución de la EOU es común detectar el uso de los hallazgos preliminares antes de la redacción del informe final. Ello es una señal de una apertura hacia la gestión adaptativa nutrida por la evaluación. Esta dimensión depende en gran medida del liderazgo del proyecto u organización. Aquellos financiadores comprometidos con la EOU tenderán a buscar socios con estas características.
En la siguiente tabla presentamos un resumen de varias dimensiones de la disposición del programa, el evaluador y el financiador, tomando como punta de partida el trabajo de Zaveri et al. (2017).
En resumen, la ‘disposición’ requiere atención desde un inicio de parte de la organización o proyecto, el evaluador y el ente financiador. Si no existe un alto nivel de disposición, el potencial de enfoques participativos de evaluación como la EOU será limitado, sobre todo si el financiador presume ser el único usuario con interés exclusivamente sobre documentar impactos al final de un proyecto.
En la práctica, es común que exista un nivel alto de disposición de parte del personal de un proyecto para la EOU, pero que al pasar el tiempo éste se disminuya debido a otras presiones laborales. Por ello, la disposición requiere de un cuidado constante. Para los evaluadores que practican metodologías participativas, el concepto de disposición merece atención desde el momento en que se analiza una convocatoria.
Herramientas
A continuación compartimos herramientas para abordar el tema de la disposición para la evaluación participativa.
Listado de temas a cubrir para la EOU. En la cuarta edición del libro de EOU de Patton (2008) aparece un listado de temas a cubrir. Los primeros dos pasos se refieren a la disposición del programa y del evaluador.
Herramienta de auto-evaluación de capacidades. La Sociedad Canadiense de Evaluación ha detallado cinco tipos de capacidades necesarias para los evaluadores. En base a ellas, se desarrolló una herramienta de auto-evaluación para que los evaluadores puedan verificar su nivel de experiencia (DECI-4 Project, 2022a y b).
El formulario de auto-evaluación de la disposición. Este formulario permite que un proyecto u organización reflexionen sobre los principales temas relacionados a la disposición para discutirlos con el evaluador. Existen aspectos que son difíciles de cambiar (por ejemplo, la cultura organizacional o un nivel bajo de control sobre los términos de la evaluación), y otros que se pueden remediar (mayor compromiso de parte de la gerencia y adjudicación de fondos).
Referencias y materiales de apoyo
DECI-4 Project (2022a). Utilization-focused evaluation self-assessment tool.
DECI-4 Project (2022b). Competency summary: Findings and analysis of the self-assessment feedback by CPC Partners.
New Economy Development Group. (2014). The evaluation of Research ICT-Africa: A case study.
Patton, M.Q. (2008) Utilization-focused evaluation 4th. Ed. Sage.
Ramelan, V. (2014). Research communication: concepts, steps, readiness, purposes and audiences. Webinar (21.5 minutes).
Ramírez, R. & Brodhead. (2013). Las evaluaciones orientadas al uso: Guía para Evaluadores. Penang: Southbound.
Ramírez, R. & Brodhead. (2013). Utilization-focused evaluation: A primer for evaluators. Penang: Southbound.
Ramírez, R. & Brodhead. (2014). Readiness & mentoring: Two touchstones for capacity development in evaluation. Paper presented at the CDI Conference: Improving the use of M&E and findings. Wageningen, 20-21- March.
Ramírez, R., Kora, G., & Brodhead, D. 2017. Translating project achievements into strategic plans: A case study in Utilization-Focused Evaluation. Journal of MultiDisciplinary Evaluation 13(28): 1-23.
Ramírez, R. & Brodhead, D. 2020. Comparing the validity of two sets of evaluation principles: Adding value to both. pp. 185-211. In: Cousins, B. (Ed). Collaborative Approaches to Evaluation. Sage.
Ramírez, R. & Brodhead. (2021). Readiness: The key to positioning and achieving utilization-focused evaluation. Expert tutorial presented at the Canadian Evaluation Society Conference (on-line).
Ramírez, R.; Brodhead, D. & Quarry, W. (2018). Readiness in evaluation: Three prompts for evaluators. Canadian Journal of Program Evaluation 33(2): 258-267. doi: 10.3138/cjpe.42238
Zaveri, S.; Ramírez, R. & Brodhead, D. (2017). Confirming readiness for collaborative evaluation. Paper presented at the American Evaluation Association Conference, Washington, DC. 10 November.
