Reflexiones sobre el rigor en la práctica y formación en Evaluación Participativa

por Esteban Tapella y Andrea Meneses

Desde hace casi diez años, hemos venido participando en cursos y talleres de evaluación participativa (EP), para diferentes sectores. Algunas capacitaciones fueron muy puntuales e introductorias, acotadas a un webinar, mientras otras un tanto más profundas, en modo taller presencial de tres a cinco días. El interés por la formación de posgrado en EP es mucho más reciente, y -como equipo de EvalParticipativa- hemos participado como docentes en diversas universidades de América Latina y Europa.

Podemos decir que hay dos pedidos recurrentes de las personas participantes en estas instancias de formación; por un lado, la práctica: los casos y los ejemplos; y por el otro lado, la cuestión metodológica, el tema del rigor y la credibilidad de la EP. En este espacio vamos a reflexionar en voz alta sobre la segunda, porque consideramos que es un tema que la formación académica de posgrado, debe abordar con mayor profundidad.

LA EPISTEMOLOGÍA DE LA EP: UNA MIRADA SINGULAR

Existen diferentes tradiciones intelectuales y disciplinarias que responden a diversas concepciones acerca de la realidad y de cómo conocerla. Toda evaluación debería hacer explícitos los presupuestos ontológicos (cómo es la realidad), epistemológicos (cómo se conoce esa realidad) y metodológicos (cómo se accede) sobre los cuales basa su práctica evaluativa. Reconocer esto, en la currícula y los contenidos de un posgrado en EP, es también un buen punto de partida.

En la EP tienen predominancia los abordajes de tipo interpretativo y cualitativos. Este tipo de abordajes, desde nuestro punto de vista, se funda en tres elementos comunes: (a) un interés por conocer las diversas formas en las cuales el mundo social es interpretado, comprendido, experimentado y producido; (b) el uso de métodos de generación de datos flexibles y sensibles al contexto social, político y cultural en el que se producen; y (c) la búsqueda de la comprensión de la complejidad, la pluralidad de voces, y la realidad situada a través de sus métodos de análisis y explicación.

En este sentido, consideramos que una EP es ante todo un abordaje interpretativo. Esto implica una inmersión en la vida cotidiana de la gente; la valoración de la perspectiva que las personas participantes tienen sobre su propio mundo, su práctica y subjetividad; y el reconocer la importancia que tiene la interacción entre actores en el proceso de evaluación, lo cual involucra al evaluador/a y las personas participantes, a través de sus palabras y su comportamiento como ‘datos’ primarios de dicho proceso.

Esto nos lleva a pensar que, en una EP, más que la verificación de una teoría o la comprobación de una hipótesis (más cercanos a los enfoques positivistas y los diseños experimentales), prevalece un trabajo de descubrimiento y construcción colectiva a partir de las realidades situadas.

En una EP buscamos responder preguntas del tipo ¿cómo? y ¿por qué?, priorizando la comprensión de la complejidad de los procesos sociales, de las dinámicas de poder y del contexto social que subyacen en la intervención (plan, programa o proyecto). Acá, nuestro abordaje va más allá de un ‘cuánto’ o ‘cada cuánto’ para abordar el ‘cómo sucedió’, ‘por qué sucedió lo que sucedió’, ‘cuáles son los significados desde las múltiples miradas’ y ‘cuáles son las implicancias de…’ entre otras preguntas.

En una EP, más que nada, la mirada evaluativa está puesta en identificar y explicar las ‘contribuciones’ de la intervención a determinados cambios más que las ‘atribuciones’ del cambio a dicha intervención. En síntesis, no vamos a buscar una representación estadística que permita la generalización de los resultados (en términos de magnitud cuantitativa de la muestra), sino en su condición de representación significativa, su aporte a determinados cambios percibidos por diferentes actores sociales. Esto supone identificar hechos, vivencias, realidades, casos pertinentes para dar cuenta de cierto entramado de relaciones en un sistema social, el de la propia intervención.

ENTONCES ¿CÓMO PODRÍAMOS PENSAR EL RIGOR DESDE ESTA OTRA MIRADA?

Tradicionalmente, cuando hablamos de rigor, pensamos en ciertos principios o categorías como objetividad, estandarización, replicabilidad, generalización, validez, entre otros. Sin embargo, no deberíamos valorar el rigor de una EP desde estos presupuestos ontológicos, epistemológicos y metodológicos, que suelen orientar las evaluaciones de impacto basadas en diseños experimentales (paradigma positivista). Como ya dijimos, en la EP priorizamos la búsqueda de los significados que los actores sociales atribuyen a una intervención y su relación con ella, privilegiamos la profundidad sobre la extensión, y procuramos captar los diferentes matices de las experiencias de las personas, respecto de la intervención evaluada.

Es decir, el énfasis está en comprender, reconocer similitudes y diferencias, tensiones, interrelaciones y, a su vez, aportar nuevas perspectivas sobre lo que ya se conoce. Esto implica una constante comunicación e interacción entre quien facilita la evaluación y las personas involucradas, así como su realidad. Acá, lejos de una pretendida objetividad, valoramos como parte del proceso evaluativo dar cuenta de las intersubjetividades, los sentimientos y observaciones de los diversos actores. Nos proponemos captar sus valores, sus normas y cultura, identidades y discursos.

Esto nos invita a pensar en diseños flexibles, adaptados y sensibles al contexto, por consiguiente, diferentes al de las evaluaciones de impacto clásicas. En una EP, tanto los instrumentos como las muestras, no se definen a priori, sino que se seleccionan y construyen progresivamente durante el proceso de la evaluación. A medida que el proceso avanza, es posible realizar ajustes y variaciones, por ejemplo, agregar nuevos casos, realizar nuevas preguntas o modificar la manera de realizarlas, así como combinar diversas técnicas y herramientas para dicho fin.

En una EP subyace la idea de que una intervención no puede conocerse, menos valorarse, de manera infalible, y solo puede aspirarse a reflejarla desde múltiples e interdependientes fuentes de conocimiento. En una EP adquiere mucha relevancia lo que conocemos como ‘triangulación’.

Se trata de una combinación de fuentes, técnicas y miradas que, al iluminar distintos aspectos de una misma realidad, permiten su ‘ubicación’ precisa en un contexto dado. De alguna manera, la triangulación ayuda a la EP a superar los sesgos propios de una única forma de conocer y de ver, valorar, sentir, percibir una intervención. Ello implica no sólo la utilización de diferentes aproximaciones, sino también la capacidad de lograr su integración.

Identificamos al menos cuatro formas de triangulación, a saber: de miradas, de fuentes, de teorías y de técnicas:

• • La triangulación de miradas es quizás la más evidente en una EP, en tanto hace referencia al abordaje de una realidad desde las miradas múltiples de distintos observadores (los diferentes actores sociales que involucramos en el proceso evaluativo). Estas múltiples miradas son las que contribuyen a la confiabilidad de los hallazgos, al permitir que distintos actores participen y den cuenta del mismo objeto (la intervención y sus matices).
  • La triangulación de fuentes se refiere a los diferentes tipos posibles de combinación de la información; aquella ofrecida por distintas personas en un mismo escenario, aquella que combina espacios y contempla el acceso a un fenómeno en distintos ámbitos geográficos; y aquella que combina diferentes momentos respecto de la intervención evaluada.
  • La triangulación de técnicas es quizás la más usada en una EP. Esta parte del supuesto básico que las debilidades de alguna técnica en particular (ej. entrevista y encuestas) pueden ser compensadas por las fortalezas de otra (grupo focal, taller con la comunidad, juegos de simulación, etc.).
  • Finalmente, aunque no muy visible en la EP, está la triangulación teórica o de paradigmas, que se refiere al uso de diversos marcos conceptuales para comprender un fenómeno o dar cuenta del objeto en estudio.

La triangulación de miradas, a pesar de su llamativo nombre, en la práctica es bastante complicada, sobre todo si buscamos que la evaluación sea rigurosa. Desde nuestra experiencia las dificultades más frecuentes tienen que ver con la identificación de los diversos actores sociales y su representatividad. Es decir, ¿a quienes involucramos y cómo lo hacemos? En la revisión de la práctica, no siempre observamos la existencia de un buen mapeo de actores claves (MAC).

La necesidad de buen MAC se argumenta en -al menos- tres puntos fundamentales, a saber: (a) el argumento normativo, el cual apela a la transparencia, la democratización y los derechos humanos vinculados a toda evaluación y proceso de toma de decisiones que pueden afectar la intervención y/o a las personas vinculadas a ella; (b) el argumento sustantivo, el cual se refiere a la participación de los actores sociales, como una forma de mejorar la comprensión de realidades complejas, donde existen múltiples perspectivas sobre determinados temas; (c) el argumento instrumental, el cual se refiere a la oportunidad de crear espacios de diálogo entre actores sociales con perspectivas encontradas, como una forma no sólo de conocer las diferencias, sino de solucionar potenciales tensiones o conflictos de interés.

Por otro lado, en ocasiones, la identificación de actores refleja un problema de ‘ambigüedad’ o ‘solapamiento’. Es decir, se tienen en cuenta actores cuyas perspectivas son similares y se evita aquellos cuyas estrategias e intereses son contradictorios. También se observa como dificultad la selección de actores que, en torno a la intervención, tienen roles superpuestos o simplemente es complicado identificar con claridad su accionar, respecto al programa evaluado o al tema de interés. Por otro lado, esto de los múltiples actores vinculados a la intervención enfrenta otras dificultades y riesgos, como -por ejemplo- el cambio en los puntos de vista de los actores a lo largo del tiempo; la ausencia de actores que fueron subrepresentados o no comprendidos; las tensiones, conflictos y dinámicas de poder entre estos, el uso una tipología demasiado simplista y rígida; o la priorización de actores más ‘accesibles’ a participar respecto de otros más ‘escurridizos’ (práctica observada recurrentemente).

La construcción de prácticas de evaluación participativas rigurosas debe, además, contemplar durante todo el proceso la reflexión ética y la inclusión en el análisis de las dinámicas de poder, subyacentes en toda intervención social. Es así como la mirada de género debe afinarse en todo momento, la identificación y el análisis de situaciones de discriminación y exclusión y la promoción, en todas las etapas de la evaluación, de prácticas de equidad e inclusión.

Aunque seguramente pensar el rigor desde esta mirada participativa incluya muchos más principios o dimensiones, nos parece importante resaltar al menos siete elementos, los cuales hemos venido señalando de alguna manera en los párrafos anteriores. Presentamos estos elementos en la siguiente tabla, donde destacamos dos dimensiones opuestas, no necesariamente excluyentes, desde donde mirar la noción de rigor en la práctica evaluativa.

A MODO DE REFLEXIÓN FINAL

Muchos de los programas de formación en EP han seguido el esquema propuesto en nuestro libro Siembra y Cosecha. Ahí dedicamos un capítulo al abordaje de los orígenes o vertientes de la EP, el ‘qué’ o conceptualización de este enfoque y el papel de la participación social. Otro capítulo se concentra en el proceso, el ’cómo’ o método de una evaluación con participación social. El capítulo siguiente, busca caracterizar el papel de las personas evaluadoras que tienen la función de facilitar estos procesos evaluativos. El capítulo final, presenta una caracterización y clasificación de herramientas y señala una serie de sugerencias a la hora de seleccionar, crear y usar técnicas participativas. Todo esto es muy valioso para una instancia introductoria a este tipo de evaluación, pero claramente no es suficiente.

En este sentido, las instancias de formación deberían poner mayor atención en instruir personas para llevar a cabo, con rigurosidad, este tipo de abordajes; temas que -muchas veces- se dan por sabidos. Por citar algunos ejemplos: conocimientos en enfoques feministas, de género y derechos humanos, ética en la práctica de la evaluación, estándares de evaluación, resolución de conflictos, metodologías cualitativas de investigación social y estrategias de análisis de datos cualitativos. Además, es evidente la necesidad de desarrollar destrezas como la sensibilidad cultural, la facilitación de procesos, el pensamiento crítico, la comunicación no violenta, entre otros. Quizás, temas no tan ajenos para quienes han estudiado ciencias sociales, pero sí para muchos perfiles de personas que participan por primera vez en una EP sin este tipo de formación de grado.

Siguiendo estas ideas, nos parece fundamental que reflexionemos sobre la importancia de certificar e incluir, de alguna manera, estas capacidades en la formación de posgrados en evaluación. De manera tal que podamos garantizar evaluaciones más rigurosas, metodológicamente sólidas e inclusivas. Luego de estos procesos de formación, estas personas deberían ser capaces de definir qué evaluar y cómo abordar el proceso evaluativo, a qué actores involucrar y cómo hacerlo, cómo acceder a los datos y cómo interpretarlos, así reconocer el contexto político y cultural en el que se está evaluando, tomar en cuenta las consideraciones éticas pertinentes en cada paso, así como los principios de igualdad. Finalmente, deberían dar cuenta de los hallazgos y conclusiones de tal forma que representen, significativamente y de manera rigurosa, aquello que los diversos actores sienten y perciben respecto a la intervención evaluada.