por Laura Porrini

Desde hace un tiempo vengo pensando en algunos aspectos clave que, desde mi experiencia, moldean la práctica del Seguimiento, Evaluación y Aprendizaje (MEL, por sus siglas en inglés) en el Sur Global. Es en este marco en el que me he propuesto delinear algunas ideas susceptibles de ser transformadas en criterios prácticos. Una de las ideas sobre las que me he centrado es la tensión existente entre la cada vez más sentida necesidad de hacer oír todas las voces en el proceso evaluador y la existencia –y el uso- de criterios predefinidos de evaluación.

La importancia de la participación durante el proceso evaluador hoy no se discute. No es fácil en la actualidad encontrar unos Términos de Referencia (TdR) sin una mención a la necesidad de llevar a cabo un proceso participativo. Sin embargo, aun cuando la participación es hoy el componente común de una gran variedad de TdR, los criterios de evaluación del Comité de Ayuda al desarrollo (CAD) siguen estando presentes en buena parte de los procesos evaluativos (pertinencia, eficacia, eficiencia, sostenibilidad e impacto), y la coexistencia de ambos requisitos puede conllevar algunas contradicciones que reclaman ser discutidas.

Caroline Heider, ex Directora General y Vicepresidenta del Grupo de Evaluación Independiente del Banco Mundial, al analizar cómo surgieron los criterios de evaluación del CAD a principios de los años 90, destacó que “el supuesto subyacente en ese momento era que la cooperación debía ayudar a los países receptores a lograr resultados positivos en materia de desarrollo. Para ello, la ayuda debía ser pertinente, eficaz, eficiente, con impacto y sostenible”[1]. Hoy en día, el mandato del CAD centra su atención en la promoción del desarrollo, con el objetivo de alcanzar un “crecimiento económico sostenido, inclusivo y sostenible, la erradicación de la pobreza, la mejora del nivel de vida en los países en desarrollo, en un futuro en el que ningún país dependa de la ayuda”[2]. El mundo ha cambiado radicalmente, y también deberían hacerlo los criterios de evaluación para “garantizar que la evaluación incentive las prácticas de desarrollo (…) de los países”[3].

Teniendo en cuenta estas cuestiones, y más allá del enfoque de evaluación elegido, si se hace uso de criterios predefinidos unilateralmente, se reduce la posibilidad de incluir las preocupaciones y preguntas de los diversos actores involucrados en la intervención, lo que se traduce necesariamente en una limitación de las respuestas. En este contexto, en el mejor de los casos podría darse una participación con fronteras claras y definidas: limitada a los intereses de los que hacen las preguntas.

Siguiendo a Heider, los cinco criterios del CAD han sustentado y legitimado la gran mayoría de los sistemas de evaluación en el ámbito del desarrollo internacional. Sin embargo, la adhesión mecánica a ellos en las evaluaciones suele dejar a los lectores con “preguntas sin respuesta”[4]. Y esto se vuelve aún más importante si pensamos en cómo ha cambiado el mundo en las últimas tres décadas: hoy en día, es cuanto menos extraño pensar en una evaluación que no se centre en cuestiones como la articulación o el empoderamiento; sólo por mencionar dos de las muchas cuestiones que escapan a los cinco criterios tradicionales.

El reto hoy en día va más allá de repensar estos criterios -que es un buen primer paso-, para repensar la forma en que seleccionamos los criterios a considerar, y poner el foco de la reflexión en cómo desarrollar procesos evaluativos que respondan a las preguntas específicas de sus actores y no (sólo) a criterios prefijados.

No cabe duda que contar con criterios predefinidos puede tener algunas ventajas y facilitar el camino. Durante el proceso de consulta sobre la necesidad de adaptar los criterios del CAD que tuvo lugar durante 2018-2019, la mayoría de los encuestados “destacó el valor de los criterios para aportar normalización y coherencia a la profesión de la evaluación y a la práctica evaluativa. También quedó claro que era necesario mantener la simplicidad, conservando un conjunto limitado de criterios de evaluación y manteniendo la coherencia de las definiciones” (CAD, 2019). Sin embargo, la oportunidad de abrir la arquitectura de la evaluación a la participación real (entendida como la posibilidad de plantear las preguntas y no sólo de responderlas) no sólo depende de mejorar las definiciones originales de los criterios, añadir un nuevo criterio (coherencia, tal como se propuso en el proceso de consulta) o definir principios rectores. Requiere, principalmente, hacer que las preguntas precedan a los criterios. Si las preguntas de evaluación que guiarán el proceso se construyen colectivamente antes de especificar los criterios de evaluación, se incrementan las posibilidades de potenciar la participación y la respuesta contextualizada del proceso evaluador. En este sentido, la construcción colectiva de una matriz de evaluación basada en preguntas podría facilitar la apertura del proceso de evaluación a más actores, promoviendo una participación real que siente las bases de una evaluación transformadora.

La lógica que subyace a la matriz de evaluación basada en preguntas es que se pueden construir diseños sensibles al caso/contexto si las preguntas se definen colectivamente en primer lugar y los criterios se establecen en una segunda etapa. Privilegiar las preguntas sobre los criterios o métodos puede tener un impacto significativo en la adaptación de los procedimientos de evaluación a cada realidad y en evitar la adhesión mecánica a preceptos predefinidos. Una vez construida esta matriz, la aplicación de los dos principios definidos durante el proceso de consulta sobre los criterios del CAD (2018-2019) puede ser cada vez más sencilla, útil y sensible al contexto.

Primer principio. Los criterios deben aplicarse cuidadosamente para apoyar una evaluación útil y de alta calidad. Deben ser contextualizados, es decir, entendidos en el contexto de la evaluación individual, de la intervención que se evalúa y de las partes interesadas. Las preguntas de la evaluación (lo que se intenta averiguar) y lo que se pretende hacer con las respuestas, deben informar sobre cómo se interpretan y analizan específicamente los criterios.

Segundo principio. El uso de los criterios depende del objetivo de la evaluación. Los criterios no deben aplicarse de forma mecánica. Por el contrario, deben abarcarse en función de las necesidades de las partes interesadas y del contexto de la evaluación. Se puede dedicar más o menos tiempo y recursos al análisis evaluativo de cada criterio en función del objetivo de la evaluación. La disponibilidad de datos, las limitaciones de recursos, el calendario y las consideraciones metodológicas también pueden influir en cómo (y si) se utiliza un criterio concreto.

[1] Caroline Heider (2018). Rethinking Evaluation- Tracing the Origins of the DAC Evaluation Criteria. Retrieved from: https://ieg.worldbankgroup.org/blog/rethinking-evaluation-tracing-origins-dac-evaluation-criteria

[2] The DAC mandate. Retrieved from: https://www.oecd.org/dac/development-assistance-committee/

[3] Caroline Heider (2018). Rethinking Evaluation- Tracing the Origins of the DAC Evaluation Criteria. Retrieved from: https://ieg.worldbankgroup.org/blog/rethinking-evaluation-tracing-origins-dac-evaluation-criteria

[4] Caroline Heider (2017). Rethinking Evaluation – Have we had enough of R/E/E/I/S? Retrieved from: https://ieg.worldbankgroup.org/blog/rethinking-evaluation