Por Osvaldo Néstor Feinstein

La evaluación participativa (EP) permite la incorporación de la perspectiva de la población sobre los procesos y resultados de políticas, programas y/o proyectos, limitando o evitando el sesgo tecnocrático. Además, promueve la apropiación (“ownership”) del proceso evaluativo y sus resultados, lo cual contribuye al uso de la evaluación. Estas son dos de las razones para apoyar la EP.

Por otra parte, la EP ha sido criticada con el argumento de que no es un enfoque riguroso, debido a sus procedimientos cualitativos con los que se captan “impresiones”, anécdotas pero que no aportan evidencias rigurosas, cuantitativas. A veces se toma como ejemplo de rigor la evaluación en base a “ensayos controlados aleatorios” (ECAs, “random control trials”, RCTs).

Pero ni la utilización de RCTs garantiza que una evaluación sea rigurosa, ni tampoco es inevitable que una evaluación participativa sea exclusivamente cualitativa y no rigurosa. Los RCTs son útiles para llegar a conclusiones válidas en contextos muy específicos y para determinado tipo de intervenciones que son compatibles con la aplicación de este enfoque.

En cambio, la generalización de dichos resultados para otros contextos es problemática. Frecuentemente dicha generalización o extrapolación de resultados se hace a la ligera, sin ningún rigor. En estas situaciones la utilización de RCTs genera tan solo una ilusión de rigor. Se privilegia la “validez interna”, en la cual se concentran los esfuerzos y sin rigor se supone la “validez externa”, generalizando los resultados correspondientes a un contexto específico.

Volviendo a la EP, un ejemplo real puede servir para ilustrar cómo se puede aumentar el rigor de este tipo de evaluación y convertirla en un instrumento valioso tanto para la rendición de cuentas como para el aprendizaje.

Hace unos años tuve la oportunidad de realizar una evaluación en la India de un programa de desarrollo rural en el cual una ONG desempeñaba un papel importante en la formación de grupos de mujeres a los que se otorgaba créditos.

En las primeras reuniones con la ONG su director, un carismático líder muy reconocido tanto en la India como internacionalmente, argumentaba que el problema central del proyecto era que el gobierno insistía en trabajar con metas y que esto afectaba negativamente los resultados porque los grupos que se formaban no llegaban a ser suficientemente sólidos o consolidados y, por lo tanto fracasaban. En consecuencia lo que recomendaba era eliminar las metas.

Pero esta recomendación no era factible porque esa es la forma de trabajar del sector público en la India. Además, durante el diálogo con la ONG, el equipo de evaluación advirtió que la organización había identificado las condiciones que debía cumplir un “grupo consolidado”.

Podría por lo tanto elaborarse un indicador de “grupos consolidados” y realizar un análisis de la relación entre la expansión de los grupos y su efecto sobre los “grupos consolidados”, dejando en evidencia la tensión (“trade-off”) entre el avance en la organización, medida en términos de número de grupos formados, y la consolidación de los grupos,  mediante el indicador número de grupos consolidados. Esto hacía posible establecer metas en términos de grupos consolidados, permitiendo un diálogo con el gobierno, utilizando los resultados de la evaluación que mostraban las consecuencias negativas de gestionar el programa en base exclusivamente a metas en términos del número de grupos formados.

Así, lo que al principio de la EP parecía ser exclusivamente cualitativo, la consolidación de grupos, pudo ser rigurosamente abordada desarrollando un indicador de grupos consolidados, en base a la información generada durante el proceso evaluativo. No solo aumentó el rigor de la EP sino que además mejoró la programación de futuras actividades. Es importante distinguir entre lo “incuantificable” y lo “incuantificado”. La frontera entre ambos es borrosa y depende del conocimiento de la realidad específica, de la creatividad y de la voluntad de evaluar participativamente con el mayor rigor posible.

……….

Osvaldo Feinstein es profesor del Máster en Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid. Es miembro del Panel Asesor de Evaluación Internacional de la Oficina de Evaluación Independiente del PNUD y asesor principal de las oficinas de evaluación independientes del FIDA y del Banco Africano de Desarrollo. También es miembro del Consejo Editorial de la Revista Evaluación y Planificación de Programas y editor de la Serie del Banco Mundial sobre Evaluación y Desarrollo. Tiene amplia trayectoria a nivel internacional como consultor evaluador y gestor de unidades de evaluación.