por Sara Vaca

La evaluación es un amplio campo de métodos y diseños en continuo desarrollo. Los numerosos parámetros y elecciones asociados con las diferentes opciones metodológicas pueden ser difíciles de entender en su totalidad sin un estudio profundo y una revisión teórica.

En esta nota les cuento sobre la motivación detrás de la Tabla Periódica de la Evaluación, la cual fue crear un catálogo visual de una sola página de los parámetros y opciones metodológicas presentes en un diseño de evaluación.

Antecedentes y motivación

La primera vez que vi infografías como un lenguaje fue en Twitter en el 2011. Por ese entonces, estudiaba infografías sobre diversos temas: la evolución de los subgéneros de la música rock, la diagramación de las principales marcas y a qué compañías pertenecen, o trece razones por las cuales a tu cerebro le gustan las infografías. Desde entonces me ha fascinado (léase obsesionado) aprender, usar y compartir este lenguaje visual que resuena tanto conmigo y con mi manera de entender y aprender. Así es que empecé a jugar con infografías en todas las dimensiones de mi vida (para crear currículums visuales, para transformar recetas de comidas en representaciones visuales, para visualizar las reglas de un juego de mesa) y por supuesto, de mi trabajo.

Cuando comencé mi máster en evaluación en 2012, me planteé el desafío de hacer todos los deberes de una manera visual. Así comenzó mi trabajo de explicar la evaluación visualmente. Además, gracias al curso de máster me di cuenta de que no hay un estándar de oro (como se consideraba a los estudios experimentales), sino que la elección de la metodología que mejor se adapte a cada contexto es primordial y constituye la principal fuente de rigor. Reflexionar sobre las elecciones metodológicas en evaluación me hizo preguntarme si verdaderamente conocía todo el abanico de herramientas, métodos y enfoques disponibles en evaluación. Y esa idea, ¿podré catalogar todas las opciones de evaluación?, se quedó en mi cabeza.

Entonces comencé a listar todas las opciones metodológicas que conocía de las diferentes categorías de parámetros relevantes en evaluación: opciones relacionadas con paradigmas, enfoques, criterios, métodos y demás. La lista incluía las siguientes categorías:

• • • Paradigmas (del cliente o gestores de la evaluación). Empecé por los paradigmas, la manera en que entendemos y aprehendemos el mundo, porque me impacta lo poco que se habla de ellos a pesar de su importancia en la práctica de evaluación.
    • Luego agregué el foco, en el sentido de una lente, gafas a través de las cuales podemos observar la realidad y entender el mundo.
    • En tercer lugar, hice una lista de los enfoques o las distintas cosas en las que puede centrarse una evaluación, o maneras particulares de hacer una evaluación (si tuviera que rehacer el catálogo ahora, o quizás para la próxima versión, combinaría enfoques y foco).
    • Preguntas de evaluación. A pesar de la unanimidad que veía en las preguntas de evaluación (en su mayoría guiadas por el CAD), un parámetro clave en evaluación son los potenciales criterios de evaluación.
    • Lógicas y razonamientos. Después listé las distintas lógicas o razonamientos que había escuchado para evaluar el impacto (lo cual siempre me hace cuestionarme por qué no somos igual de explícitos al evaluar otros criterios).
    • Métodos. Era necesario incluir los distintos métodos utilizados para recolectar datos (en ese momento no tuve en cuenta los métodos de análisis de datos).
    • Entonces me di cuenta de que las evaluaciones podían tener un número limitado de objetivos (lo que buscan obtener como resultado).
    • Propósito. Y que las evaluaciones se realizan con un número limitado de posibles propósitos (qué las motiva y por qué se las encarga).
    • Paradigmas (de la persona evaluadora). Finalmente, me di cuenta de que mis paradigmas (los del equipo evaluador) eran tan importantes como los de quienes me contratan, así que también los incluí.

Una vez que tuve la lista de opciones de evaluación, intenté visualizarlas ubicándolas en recuadros de colores según su categoría (no me gustan las listas). Técnicamente, se convirtió en una especie de matriz donde cada tipo de opción estaba dictado por su posición y reforzado por colores. La paleta elegida no tenía ningún significado particular, sólo pretendía lograr un aspecto atractivo y cierta armonía estética.

El resultado fue la primera versión del Catálogo de opciones de evaluación, en el que listé las principales opciones clasificadas en nueve categorías (figura 1). Compartí la infografía en mi blog personal, donde también publico mis otras reflexiones visuales, y al parecer, a la gente le gustó.

Figura 1. Catálogo de opciones de evaluación (primera versión)

Algunas semanas después, vi una tabla periódica de perros o algo parecido. Hay muchas versiones divertidas: tablas periódicas de vegetales, de cócteles, hasta de insultos. Así que decidí revisar el Catálogo de opciones de evaluación, el cual pronto se convertiría en la primera versión de la Tabla periódica de las opciones de evaluación.

Figura 2. Catálogo de opciones de evaluación (segunda versión)

Ya con este formato, me di cuenta de que los paradigmas, fueran de los evaluadores o del cliente o gestor, pertenecían a la misma categoría, entonces podían (o quizás incluso debían) tener el mismo color. Además, reorganicé ligeramente los recuadros para que el visual se asemejara a la Tabla periódica de los elementos. La figura 3 muestra la primera versión de la Tabla periódica de las opciones de evaluación.

Estructura y contenido

La Tabla periódica de las opciones de evaluación categoriza las opciones de evaluación según:

1. 1. Posibles paradigmas que evaluadores y clientes o gestores traigan como identidad y como manera de entender el mundo, el programa y la evaluación: positivista, pos-positivista, constructivista, crítico/transformativo, pragmatista y realista son ejemplos de paradigmas.
   2. Posibles propósitos de evaluación: rendición de cuentas, aprendizaje, mejoras, escalar y justicia social.
   3. Posibles objetivos de evaluación: determinar el mérito, el valor y el significado del programa, evidencia para la toma de decisiones, conclusiones, recomendaciones y lecciones aprendidas.
   4. Posibles criterios o grupos de preguntas de evaluación: relevancia, alcance, equidad, sostenibilidad, coordinación, aceptación del programa, impacto, impacto ambiental, protección, diseño, eficacia, eficiencia, género, resultados inesperados y ética.
   5. Posibles enfoques o lentes a través de las cuales observar la evaluación: de género, feminista, evaluación centrada en el uso, empoderamiento, evaluación teórica, horizontal, democrático deliberativo, sin referencia a objetivos, realista, en tiempo real, colaborativo, reporte de resultados, evaluación del desarrollo de una innovación, basado en principios, cosecha de alcances, participativo, evaluación del mundo real, incidencia e indagación apreciativa.
   6. Posibles diseños, generalmente considerados para evaluar el impacto (aunque cada criterio conlleva sus propios diseños y lógicas, algo de lo que tampoco se habla seguido): experimental, cuasi-experimental, análisis de contribución, desviación positiva y distintos tipos de evidencia.
   7. Métodos: entrevistas, discusiones en grupos focales, observación, cambio más significativo, historias de vida, casos de éxito, macrodatos (big data), revisión teórica, rúbricas, encuestas y estudios de caso.
   8. Marco (otros aspectos centrales y secundarios vinculados a la evaluación): qué es la evaluación, la historia de la evaluación, ética y valores, credibilidad, el rol de la evaluación, el rol del evaluador, la participación, la justicia social, los resultados no intencionados, la complejidad, el pensamiento sistémico y la oferta y demanda.

Como mencioné anteriormente, los colores facilitan la visualización de las categorías. La posición de cada opción dentro de cada categoría está pensada para lograr una distribución parecida a de la tabla periódica de los elementos, pero no tiene ningún significado.

Figura 3. Tabla periódica de las opciones de evaluación (primera versión)

Esta infografía, que primero compartí en mi blog y después presenté como póster en la conferencia de 2018 de la Sociedad Europea de Evaluación, fue bien recibida y hasta el día de hoy recibo retroalimentación de compañeros evaluadores que la usan en conferencias y para enseñar (a modo de ejemplo, hace poco autoricé su traducción al japonés).

Finalidad y uso previsto

La finalidad inicial de la Tabla periódica de la evaluación era que funcionara como una “hoja de trucos” para los evaluadores: un resumen de las opciones disponibles cuando estudiamos evaluación, elaboramos términos de referencia o trabajamos en el diseño de la evaluación. También pretendía ser un recordatorio para mí misma de todos los métodos, herramientas, enfoques y demás elementos que necesitaría dominar (o al menos conocer) para poder aprovecharlos cuando se presentara la oportunidad. Por último, este visual puede usarse para plasmar las partes del diseño de evaluación mientras clientes y tomadores de decisiones discuten las opciones del diseño de la evaluación. En cuanto a este uso en particular, la siguiente versión de la tabla muestra (en color naranja) los aspectos que suelen someterse a debate durante el diseño de una evaluación por encargo.

Figura 4. Tabla periódica de la evaluación (tercera versión)

Me di cuenta de que durante las “negociaciones” sobre el diseño de la evaluación entre clientes o gestores y evaluadores, algunas categorías están definidas por los requerimientos propios de la evaluación (el propósito, los objetivos e incluso los criterios) mientras que la influencia que evaluadores u otros actores pueden tener sobre el diseño se limita a los enfoques y los métodos. Por ejemplo, yo suelo sugerir la equidad de género y los derechos humanos como criterios adicionales cuando los términos de referencia no los incluyen.

Otros elementos, como los paradigmas, son fundamentales para negociaciones exitosas. Por ejemplo, si los gestores de la evaluación se ubican en un paradigma activista transformativo y los evaluadores ven la realidad desde una perspectiva positivista (o viceversa), será un desafío que logren ponerse de acuerdo sobre el diseño de evaluación. A pesar del importantísimo rol que tienen en el diseño de una evaluación, los paradigmas rara vez son mencionados y casi nunca son tratados abiertamente. Es por eso que quería llamar la atención sobre este asunto, al menos como un recordatorio de la limitada autopercepción que tenemos de nuestro sesgo inherente.

Beneficios y limitaciones

Estoy orgullosa de la Tabla periódica de opciones de la evaluación porque a través de un marco familiar, logra resumir gran parte de la amplia diversidad de parámetros comprendidos en la ciencia y arte de diseñar una evaluación. Conozco algunas personas que la imprimieron en tamaño grande y la colgaron como póster, otras la han usado para enseñar diseño de evaluación. Sin embargo, el principal beneficio que veo es el de tener un resumen claro de las opciones de evaluación para quienes tengan que definir términos de referencia o tengan que diseñar una evaluación o para estudiantes que abordan la disciplina de manera académica. Tener un marco suficientemente completo que sintetice las numerosas y diversas opciones disponibles puede brindar la confianza de que se ha reflexionado a fondo sobre ellas para seleccionar las más relevantes para cada contexto de evaluación en lugar de elegir entre un número reducido de opciones “conocidas”.

La Tabla periódica de opciones de evaluación también tiene limitaciones. La primera es que es difícil (quizás imposible) hacerla exhaustiva. Pero si bien nunca constituirá un repertorio exhaustivo, quisiera expandir su contenido en una nueva versión que presente un grupo de opciones más completo dentro de cada categoría. Incluso podría añadir otras categorías, por ejemplo, opciones de muestreo. Por ahora, la versión actual abarca muchas de las principales posibilidades dentro de la disciplina de la evaluación. La segunda limitación es que hacer la lista de opciones de evaluación es un primer paso, pero no es suficiente para que uno pueda incorporar esas opciones en el diseño de una evaluación. Estoy trabajando en una explicación de las diferencias y usos de cada opción dentro de cada categoría por medio de una serie de infografías que resuman cada categoría o, en ciertos casos (por ejemplo, los enfoques), una infografía para cada opción de la categoría.

Conclusiones

En definitiva, lo que me gustaría ver es una Revolución visual. Me gustaría ver papers, libros e informes de evaluación que incorporen buenos resúmenes visuales que transmitan el mensaje principal para gente ocupada o para quienes, como yo, tienen dificultades para recuperar el significado de textos largos.

Voy a seguir explicando (a mí misma a la vez que a otros) evaluación y otros contenidos relacionados de manera visual. Y voy a volver a publicar muchas de las infografías que he creado a lo largo de los años y otras venideras ya que me ayuda a aprender a ser mejor evaluadora y a compartir esta pasión con otros, también porque me divierto haciéndolo.

---