por Pablo Rodríguez Bilella
Durante las pasadas dos décadas ha crecido en importancia y presencia el movimiento tendiente a alcanzar políticas basadas en la evidencia. Éste sostiene que los responsables de política deberían tomar sus decisiones sobre la base de la mejor evidencia disponible respecto a “qué funciona”, y no sobre la base de ideologías o en respuesta a intereses particulares.
Uno de sus supuestos es que no toda la evidencia ha sido lo suficientemente rigurosa como para brindar certezas en la toma de decisiones. Esto acentuó la orientación en pos de apuntalar determinados enfoques y metodologías que, dado su planteo riguroso, llevaran a resultados superadores. Este contexto general ha favorecido el debate y la discusión sobre la evaluación de impacto desde diferentes ámbitos y espacios (políticos, académicos, sociales, etc.).
Es así que el crecimiento en número de las evaluaciones de impacto en los últimos quince años ha sido notable, acompañado de la reflexión (y la preocupación) por la calidad de sus métodos, conclusiones y recomendaciones. Su creciente relevancia se corresponde con el hecho que conocer el impacto de una intervención particular (un programa, un proyecto) facilita la toma de decisiones respecto a su continuidad, su modificación, o bien su finalización.
Cualquiera sea el curso a tomar, la evaluación de impacto debería facilitar el aprendizaje respecto a cómo replicar o aumentar la escala de una experiencia piloto, incluso brindando criterios para su adaptación a otro contexto. Junto con este componente de aprendizaje está el componente de rendición de cuentas de la intervención, tanto para los que la financian (donantes, recursos públicos, etc.) a fin de mostrar que los recursos se están invirtiendo prudentemente, como también para distintos actores sociales (comunidades, beneficiarios, organizaciones de la sociedad civil).
El trabajo de monitoreo y evaluación de proyectos, programas o políticas públicas ha tendido durante mucho tiempo a centrarse en dar cuenta de ciertos procesos o bien en la utilización de recursos (¿estamos ejecutando el programa en los tiempos planificados, con los costos pensados?), así como también en aquello que se hacía o realizaba (los llamados outputs: ¿cuántos talleres se dictaron? ¿cuánta gente participó?). Sin embargo, el punto central en la evaluación de impacto apunta a conocer si la situación que dio origen a la intervención ha cambiado, y si la intervención ha tenido algo que ver con dicho cambio. En otras palabras, si puede atribuirse o no -y en qué medida- a dicha intervención el cambio en la situación problemática.
Para algunas líneas o escuelas de evaluación de impacto la cuestión de la atribución se dirime buscando responder al interrogante ¿qué hubiera pasado si la intervención no hubiera tenido lugar?, lo cual va más allá de un análisis de la situación previa y posterior a la intervención. Estos interrogantes son los que justifican la aparición del concepto del contrafactual o escenario contrafáctico: ¿qué hubiera pasado con la situación de intervención de no haberse desarrollado el programa o proyecto?
En círculos académicos y políticos se ha dado un intenso debate respecto a qué debería considerarse una evaluación de impacto rigurosa. Este debate ha tendido a polarizarse entre los que postulan la aplicación de métodos experimentales y cuasi-experimentales, versus quienes postulan una mayor amplitud y pertinencia en el uso de otros acercamientos metodológicos. Los primeros han sido referidos en la literatura como “randomistas”, en referencia al apego a la metodología de los ensayos aleatorios controlados (randomized control trials, o RCT por sus siglas en inglés), sosteniendo que la aleatorización es el único medio capaz de garantizar que el sesgo de selección no observable sea tenido en cuenta. Vale decir, la elección de quiénes serán beneficiarios de una intervención determinada versus la elección de quiénes conformarán un grupo control, debe ser hecha al azar y partiendo de un universo común de actores: todos deberían tener las mismas chances de terminar en un grupo o en el otro.
En la vereda opuesta a los randomistas se sitúan aquellos que sostienen que la aleatorización es excepcionalmente apropiada para ser usada en la evaluación de intervenciones de desarrollo, sugiriendo que apenas un 5% de los programas de desarrollo son factibles de ser evaluados mediante un diseño del tipo RCT. E incluso cuando sí es apropiado el uso de ese tipo de diseño, el uso de los contrafactuales apenas permite responder preguntas contingentes y asociadas a contextos particulares, y que sus hallazgos no pueden ser usados para generalizar en otros escenarios, a menos que sean acompañados por un conocimiento más minucioso de los mecanismos causales operantes en el proceso que va de la posible causa al efecto.
En la publicación Diseños y Métodos para la Evaluación de Impacto, sostenemos que la evaluación de impacto incluye cualquier tipo de evaluación que investigue de manera sistemática y empírica los impactos que una intervención produce. Esta visión amplia de la evaluación de impacto permite dar cuenta del interés en el énfasis en el largo plazo y el carácter complejo de las intervenciones de desarrollo.
Los impactos han sido generalmente definidos como aquellos resultados alcanzados por una intervención en el largo término, pero sin embargo muchos de los ejemplos de evaluación de impacto actuales están apuntando a resultados intermedios o de corto plazo. Al mismo tiempo, el carácter complejo es reconocido a partir del espacio dado a la incertidumbre y la aparición de efectos no esperados (y no deseados) de las intervenciones de desarrollo. En tal sentido, y en aras al reconocimiento de dicha complejidad, comienza a verse un creciente interés en reconocer y comprender de qué modo intervenciones particulares “contribuyen” al logro de cierto impacto, antes que centrarse en cuestiones solamente de “atribución”.
Esto es particularmente visible en el caso de programas complejos e intervenciones de larga duración centradas en temas de gobernanza, democracia y rendición de cuentas, donde las estimaciones de “efectos netos” se hacen casi imposibles de abordar, reduciendo el énfasis en “medir el impacto”. Por otro lado, el énfasis en el acercamiento sistemático y empírico deja el campo abierto a una pluralidad de diseños y métodos, sin reducir la evaluación de impacto a la aplicación de un único diseño o método en particular.
Luego de introducir una reflexión sobre las preguntas a las que procura responder toda evaluación de impacto, así como los actores capaces de realizarla, la publicación “Diseños y Métodos para la Evaluación de Impacto” desarrolla seis aspectos clave a considerar en la elección de métodos para este tipo de evaluación: clarificar valores, generar una teoría del cambio, medir o describir impactos y otras variables, explicar si la intervención fue la causa de los cambios observados, sintetizar evidencia, e informar hallazgos y respaldar su uso.
Finalmente, si reconocemos que existen métodos alternativos para llevar a cabo una evaluación de impacto, es posible considerar que los diseños más adecuados deben ser deliberadamente elegidos en cada caso. El contexto actual de desarrollo de la evaluación de impacto da cuenta tanto de nuevos paradigmas de análisis causal que rechazan la simple distinción entre los métodos cuantitativos y cualitativos, reconociendo la posibilidad de combinar diferentes métodos -cuantitativos y cualitativos, así como diferentes métodos cualitativos.
Además de los enfoques generalmente más desarrollados, tres enfoques de diseño no están ampliamente implementados en la evaluación de impacto y ofrecen un potencial considerable para vincular las intervenciones de desarrollo con resultados e impactos. Dada su usual ausencia en la formación sobre evaluación de impacto, y reconociendo sus méritos, capacidades y promesa de reforzar y fortalecer la práctica actual de este tipo de evaluación, la publicación termina haciendo una referencia particular a (i) los enfoques basados en la teoría, (ii) los estudios del caso, y (iii) los enfoques participativos.
