por Ana Manzano
El artículo comienza examinando términos participativos típicos, centrándose en las diferencias y similitudes para mejorar la claridad conceptual. Posteriormente, se exploran los enfoques participativos utilizados en estudios de evaluación realista a través de una revisión de la literatura exploratoria de las estrategias metodológicas participativas más comunes en este marco evaluativo. Esta exploración identifica tres modelos principales de participación: impreciso, dirigido e integrado. Seguidamente, comparo el enfoque de evaluación realista con las evaluaciones colaborativas, participativas y de empoderamiento, señalando que en la mayoría de las evaluaciones realistas el evaluador está a cargo y determina el diseño del estudio y los métodos de recolección de datos, lo que conduce a un desequilibrio de poder. El artículo concluye que el propósito principal de los estudios de evaluación realista (incluso aquellos en el espectro más avanzado de participación) es establecer cómo funciona el programa en diferentes contextos, persiguiendo consecuentemente un objetivo de evaluación enfocado en asesorar la eficacia del programa y no el empoderamiento de los usuarios que contribuyen a evaluarlo.
La evaluación realista
Popularizada a finales del siglo XX, la evaluación realista, impulsada por Pawson y Tilley en Europa (1997) y por Henry et al. en EE. UU. (1998), es un enfoque evaluativo basado en la teoría (Chen, 2012) que se caracteriza por examinar la causalidad en políticas, programas e intervenciones sociales complejos. Lo hace investigando cómo interactúan los resultados y los mecanismos en diferentes contextos. Las evaluaciones realistas no responden a la típica pregunta evaluativa: “¿Funciona este programa?”.
Este enfoque evaluativo hace explícitas las “teorías del programa” (supuestos y expectativas, hipótesis sobre su funcionamiento, etc.), permitiendo una mejor comprensión de las complejidades de su implementación. Adicionalmente, la evaluación realista también integra en su análisis teorías sustantivas de las ciencias sociales para aumentar la rigurosidad de la evaluación.
No obstante, a medida que la evaluación realista ha comenzado a incorporar elementos participativos en sus diseños y métodos de recolección de datos, ha surgido una falta de claridad conceptual que plantea desafíos significativos. La distinción entre la participación como un medio para recoger datos, por un lado, y la participación como un fin para empoderar a las comunidades evaluadas, por el otro, no siempre está claramente definida.
Modelos de participación ciudadana en la evaluación realista
La evaluación colaborativa, participativa, de empoderamiento, coproducción, y la investigación-acción son algunos de los enfoques evaluativos que incluyen participación ciudadana. La premisa de este tipo de enfoque consiste en involucrar a los ciudadanos y partes interesadas en el programa no solo como sujetos de estudio sino como colaboradores activos en el proceso evaluativo. Sin embargo, la participación de los ciudadanos en la práctica evaluativa ha generado un amplio debate. Mientras que algunos ven en la participación una vía para democratizar la evaluación y hacer que los programas sociales sean más útiles y relevantes para las comunidades, otros cuestionan la efectividad y la imparcialidad de los resultados obtenidos a través de métodos participativos.
En mi artículo publicado en LIEPP SciencePo realizo una revisión de la literatura exploratoria de las estrategias metodológicas participativas dentro del enfoque de evaluación realista, revelando tres modelos principales de participación: impreciso, dirigido e integrado. Cada uno de estos modelos representa diferentes grados y formas de involucrar a los ciudadanos en el proceso evaluativo. En el modelo impreciso, la participación de ciudadanos en las evaluaciones es limitada y no está claramente definida, lo que a menudo resulta en una inclusión superficial de sus perspectivas. En cambio, en el modelo dirigido, aunque se incorporan ciudadanos para participar en la evaluación en fases específicas de la evaluación, el control sobre el diseño de la evaluación, el proceso de investigación, el análisis y los métodos de recolección de datos sigue estando en gran medida controlados por los evaluadores. Finalmente, en el modelo integrado, que es el que presenta menos estudios, existe una colaboración genuina entre evaluadores y usuarios, con esfuerzos conjuntos en la definición de métodos, recolección e interpretación de datos.
Contraste de enfoques: Evaluación Realista y Métodos Evaluativos Participativos Convencionales
Al contrastar la evaluación realista con enfoques evaluativos participativos convencionales como las evaluaciones colaborativas, participativas y de empoderamiento, se hace evidente que, en la mayoría de los estudios, la evaluación realista mantiene al evaluador en una posición de autoridad, decidiendo los métodos de recolección de datos y análisis.
Esta dinámica contrasta con metodologías que buscan colocar a los ciudadanos en el centro del proceso evaluativo, promoviendo no solo la efectividad y relevancia de la evaluación sino también su empoderamiento. Mi artículo revela una tensión inherente en la evaluación realista entre el deseo de algunos estudios de incorporar la participación ciudadana y su aplicación práctica, que a menudo no se centra en el empoderamiento, aunque se incluyan ciudadanos en las evaluaciones.
En conclusión, la evaluación realista ofrece un marco valioso para comprender las complejidades de los programas y políticas sociales, y puede incorporar a los ciudadanos en su diseño evaluativo. Sin embargo, su potencial para fomentar una participación ciudadana genuina y empoderadora aún está en proceso de ser plenamente realizado. El desafío radica en cómo los evaluadores realistas pueden adoptar enfoques más inclusivos y equitativos sin comprometer la rigurosidad que caracteriza a la investigación evaluativa.
referencias
Chen, H. 2012. Theory-driven evaluation: Conceptual framework, application and advancement. Evaluation von Programmen und Projekten für eine demokratische Kultur. R. Strobl, Lobermeier, O., Heitmeyer, W. Wiesbaden, Springer VS
Dossou, J.P. and Marchal, B., 2020. Evaluación realista. Evaluación de las Intervenciones Sanitarias en Salud Global.
Fetterman, D., Rodríguez-Campos, L., Wandersman, A., O’Sullivan, R.G. 2014. Collaborative, participatory, and empowerment evaluation: Building a strong conceptual foundation for stakeholder involvement approaches to evaluation (A response to Cousins, Whitmore, and Shulha, 2013). American Journal of Evaluation, 35(1): 144-148
Henry, G. T., Julnes, G., Mark, M.M. 1998. Realist evaluation: an emerging theory in support of practice. New Directions for Evaluation 78: 1-109.
Manzano, A., 2024. User and Stakeholder Involvement in Realist Evaluation. LIEPP SciencePo
Pawson, R., Tilley, N. (1997). Realistic Evaluation. London, Sage.