por Marina Apgar

Si bien celebramos una mayor apertura hacia la evaluación participativa (EP), muchos evaluadores seguimos usando marcos tradicionales del “rigor”. Sus estándares de calidad se basan en la supuesta existencia de una jerarquía metodológica, con métodos objetivos y cuantitativos posicionados por encima de otros métodos menos ‘rigurosos’.

Estos marcos tradicionales del rigor se expresan en diseños de evaluación construidos en base a la elección de un método principal en el centro, sea cuantitativo o cualitativo y, si es necesario, agregando otros métodos menos importantes, creando una mezcla de métodos. Usando este enfoque, nuestro deber como evaluadores es ser fieles y estrictos con la aplicación de un protocolo basado en estándares conocidos de nuestra metodología central. En este marco , los métodos participativos son considerados débiles, sin rigor y propensos a crear sesgos.  La única manera de salvar la situación es agregar métodos “objetivos” para así aumentar el ‘rigor’ del diseño participativo y minimizar sus sesgos.

Esta visión tradicional del rigor no permite una verdadera y útil exploración de la calidad en un proceso de EP. ¡Pero felizmente hay alternativas! Robert Chambers nos ofreció una de ellas, que él denominó “rigor inclusivo“, orientada a construir una práctica de investigación más inclusiva en condiciones de complejidad.

Adaptando el trabajo de Chambers, podemos identificar cuatro principios que forman una visión radicalmente distinta del rigor en el contexto de la EP.

La pluralidad. La calidad de la evaluación debe basarse en la optimización de diversas formas de conocimiento, para así poder entender el proceso de cambio (y los resultados obtenidos) desde múltiples, distintas y a veces contradictorias perspectivas de los actores principales, asegurando que los actores más marginados tengan la oportunidad de contribuir. La pluralidad implica usar distintas metodologías de análisis colectivo para entender juntos los resultados que emergen.

La improvisación y la innovación. Fomentar un proceso realmente participativo con los actores claves implica abrazar la incertidumbre para ser relevantes en el contexto a las múltiples versiones de la realidad expresadas. Las medidas pertinentes de éxito se descubren a través de un proceso que permite apertura hacia la incertidumbre usando la improvisación e innovación en el camino con los actores.

El bricolaje metodológico. Tomando en cuenta los dos principios previos, hace un llamado a la necesidad de combinar diferentes métodos de manera creativa, mientras improvisamos en el contexto de forma colectiva. Se trata de mezclar métodos para encontrar la mejor combinación, no solamente agregar uno al otro.

La reflexividad. Este principio centra la calidad del proceso en quiénes somos nosotros como evaluadores cuando usamos EP. Nuestras propias mentalidades y formas de trabajar permiten (o no) entender y manejar dinámicas de poder. La capacidad de utilizar la reflexividad se crea a través de la experiencia, es una praxis.

El rigor inclusivo en practica

El programa CLARISSA se implementa a través de un consorcio de socios expertos en trabajo infantil y la participación de jóvenes, adolescentes y niñes en Bangladesh y Nepal.  Es un programa sistémico, facilitando procesos de investigación y acción participativa con niñes en las peores formas de trabajo infantil (en el sector de producción de cuero en Bangladesh y el sector del entretenimiento para adultos en Nepal). Ellos mismos analizan su situación y buscan soluciones a las dinámicas sistémicas que generan condiciones de explotación. La temática del programa (las peores formas del trabajo infantil) es un problema complejo. No entendemos las dinámicas sistémicas que impulsan el trabajo infantil, por lo cual no podemos saber a priori cuales son las soluciones. Dichas soluciones emergen del proceso de implementación participativa.

Los principios del rigor inclusivo se operacionalizan en CLARISSA través del Manejo Adaptivo Participativo. El manejo adaptivo de programas de desarrollo no es un concepto nuevo, pero en CLARISSA se trata de ir mas allá de los marcos conocidos basados en el análisis de problemas (‘problem driven’) hacia un enfoque basado en la participación e inclusión de las personas marginadas  (‘people driven’).

Usando este marco de implementación participativa, situamos la evaluación como parte central de la intervención misma, evaluamos desde adentro y no desde afuera. Nuestra posición como evaluadores es  ser parte del equipo de implementación para practicar la pluralidad caminando con los participantes y analizando sus experiencias y conocimientos.

Construimos el sistema de monitoreo y evaluación sin marco lógico, para así estar abiertos a la incertidumbre. Acordamos un enfoque con el donante que nos permitió construir la evaluación sobre la marcha, basándonos en el uso reflexivo de la teoría del cambio. A medida que trabajamos con los actores claves y comprendimos las particularidades de sus realidades, desarrollamos teorías del cambio más específicas para evaluar cómo se esta logrando el cambio deseado y contestar nuestra pregunta de evaluación central que es “¿cómo estamos contribuyendo a las soluciones a las peores formas del trabajo infantil?”.

A veces, esto implica adaptarnos radicalmente. Por ejemplo, empezamos con la intención de trabajar en las “cadenas de suministro”, y supusimos que significaría trabajar con empresas multinacionales y marcas conocidas, pero pronto descubrimos que la mayor parte del trabajo infantil en el sector de producción de cuero en Bangladesh se encuentra en los espacios informales y ocultos, donde las pequeñas empresas familiares emplean a los niñes. Esto requirió una reorientación del diseño y, en consecuencia, la construcción de teorías de cambio más detalladas a medida que trabajamos con los propietarios de pequeñas empresas. Esta fue una adaptación importante al inicio del programa que solo fue posible porque no teníamos un marco lógico con medidas de éxito y sus indicadores predefinidos.

El bricolaje metodológico

Este abordaje se facilita a través del uso del Análisis de Contribución, un enfoque de evaluación basado en la teoría que permite el uso de métodos participativos. Por ejemplo, hemos llevado a cabo una revisión realista rápida (rapid realist review) a fin de entender cómo la investigación y acción-participativa generan innovación desde una perspectiva realista.

En base a la revisión de la literatura estamos ahora usando métodos participativos para investigar el proceso desde adentro con los participantes como actores principales. Y también para detectar e investigar los cambios emergentes más allá de los grupos de investigación y acción participativa, en los sectores de producción, por ejemplo, combinaremos la cosecha de alcances con Process Tracing para profundizar nuestro entendimiento de la contribución del proyecto a los cambios mas amplios.

Por último, estamos cultivando el principio de reflexividad intencionalmente a través de la facilitación de momentos colectivos e individuales de reflexión y aprendizaje en el camino. Para ello, facilitamos talleres de reflexión (after action reviews) cada seis meses para institucionalizar y fomentar una cultura de reflexividad.

Para practicar el rigor inclusivo es necesario integrar el diseño de evaluación con las intervenciones de desarrollo, así no nos atamos demasiado pronto a un marco de resultados estático, utilizando una combinación de métodos basados en la teoría y en la experiencia.

Esta contribución fue presentada en la mesa que organizó EvalParticipativa para la Conferencia de Evaluación e Investigación Acción Participativa (PAREC) en abril de 2022.