6. ¿QUÉ EVALUAMOS? Preguntas de evaluación

por Juan Carlos Sanz y Esteban Tapella

El guion de una evaluación participativa no es muy distinto al de una evaluación convencional. Por supuesto, hay elementos diferenciadores y pasos a los que prestar especial atención si se quiere hacer partícipes a más actores.

La fase de programación tiene gran relevancia. Ahí se identifican los actores que van a participar en el proceso, se identifican los temas y preguntas a las que se desea responder con la evaluación, se selecciona dónde y cómo recopilar la información necesaria, se preparan los espacios para revisar y analizar los datos, se identifican los mejores formatos para comunicar los resultados de la evaluación y se seleccionan los mecanismos para asegurar el uso de estos resultados. En el plan de trabajo también se especifican los plazos de la evaluación y una estimación de los recursos necesarios para llevarla a cabo.

A su vez, dentro de la fase de programación, la formulación de las preguntas de evaluación es quizás la actividad más importante. De ello dependerá todo el proceso, como la búsqueda de la información necesaria para responderlas y la generación de recomendaciones útiles para introducir mejoras a la intervención.

PREGUNTAS DE EVALUACIÓN

Las preguntas de evaluación se formulan como una forma de guiar el proceso y responder a las necesidades informativas que, sobre el programa o proyecto, se hayan priorizado.

Para formular buenas preguntas de evaluación debe tenerse en cuenta que: (1) se correspondan con una necesidad de información o la identificación de una solución; (2) aludan a cuestiones que, en efecto, puedan ser respondidas por la evaluación y no correspondan, por ejemplo, al sistema de seguimiento del programa o a una auditoría.

Un desafío especial en un enfoque participativo, consiste en aprovechar al máximo los conocimientos de los equipos locales, para lo cual es indispensable adaptar los instrumentos para que puedan ser aplicados por personas que no son profesionales en la materia. En la medida en que las personas participantes comprendan mejor la lógica de la evaluación y cómo aplicar sus herramientas, se logra el doble efecto positivo de incrementar la calidad de la evaluación y ampliar los conocimientos del equipo evaluador.

Un problema usual en evaluación es que las preguntas se planteen de forma demasiado amplia, de manera que se pueden interpretar (y contestar) de formas muy distintas. El riesgo para la evaluación es que las respuestas que genere no se correspondan con las evidencias que se buscan cuando se plantean las preguntas. Para evitar este problema y ser más concisos en la identificación de temas prioritarios y la construcción de preguntas, es dedicar una sesión completa con el equipo, donde todas las inquietudes puedan ser trabajadas con profundidad y participativamente. Es a raíz de este desafío que surgió el juego “qué evaluamos”, que presentamos a continuación.

El juego para pensar

Los juegos para pensar tienen la intención de trascender el propósito recreativo. Es decir, se trata de un juego para abordar con “contenido” un tema complejo, como es el de formular preguntas sensibles y profundas que guiarán el proceso de la evaluación, las que se construirán de manera participativa, horizontal y no impositiva. El juego consta de un tablero y un instructivo. Además, es necesario un dado y una serie de tarjetas para redactar preguntas.

Objetivo

El objetivo del juego es que las personas participantes formulen preguntas de evaluación de forma consensuada.

Para dinamizar las partidas se proponen dos desafíos:

      • Desafío individual: cada jugador/a debe soltar en el tablero sus tarjetas con preguntas.
      • Desafío colectivo: al finalizar el juego -cuando todos los participantes hayan soltado sus tarjetas-, cada una de las casillas del tablero numeradas del 1 al 6 deberán estar ocupadas por, al menos, dos tarjetas.

Procedimiento

– Antes de descubrir el tablero, se reparten 3 tarjetas verdes y dos rosadas a cada jugador.

– Se dan 10 minutos para que los participantes reflexionen de forma individual sobre 3 preguntas sobre la intervención que les gustaría que fueran respondidas por la evaluación y las escriben en las 3 tarjetas verdes, que se dejan boca abajo de forma que el resto de participantes no las pueda leer. Las 2 tarjetas rosadas se guardan como comodines.

– Se da la vuelta al tablero y se lee en voz alta cada una de las casillas, asegurándose de que todos los participantes comprendan bien su significado.

– El primer participante tira el dado para ver en cuál de las 6 casillas centrales debe jugar su turno. Si considera que alguna de sus tarjetas verdes se corresponde con el texto de la casilla, deberá leerla en voz alta ante el grupo.

– A continuación, el grupo debe discutir hasta tomar una de las siguientes 3 decisiones:

  1. Que la pregunta se corresponde con la casilla:

En cuyo caso el participante en posesión del turno podrá soltar su tarjeta, colocándola al lado de la casilla correspondiente y pasando el dado al participante a su derecha.

2. Que la pregunta no se corresponde con la casilla, pero sí con alguna de las 5 casillas restantes:

En cuyo caso el participante debe guardar su tarjeta para turnos posteriores.

Antes de pasar el dado, el participante puede elegir entre dos opciones: (1) utilizar uno de sus comodines para formular una nueva pregunta que se corresponda con la casilla y sea aceptada por el grupo; (2) no usar ningún comodín y “abrir el turno” dejando que el resto de participantes puedan soltar una de sus tarjetas verdes, siempre que el grupo decida que se corresponde con la casilla en juego.

Se pasa el dado al participante de la derecha.

3.  Que la pregunta no se corresponde con ninguna de las casillas del tablero.

En cuyo caso el participante soltará su tarjeta en la casilla X y pasará el dado a su derecha.

– Al finalizar el juego deberán guardarse las preguntas agrupadas en cada casilla del 1 al 6 y en la casilla X.

En el siguiente video, Juan Sanz cuenta el origen del juego, ilustrando su desarrollo y modalidades de uso. Al mismo tiempo ofrece algunas recomendaciones para su adaptación a diferentes grupos y contextos.