Siguen llegando reflexiones y aprendizajes en el marco de la convocatoria lanzada días atrás. En esta ocasión,  Olga Nirenberg, colega y socia de EvalParticipativa a través de CEADEL, nos comparte reflexiones sobre una experiencia de evaluación participativa de los Servicios de Salud de una ONG latinoamericana.

Recuerden que tod@s pueden participar con sus reflexiones y aprendizajes!

A modo de prólogo

Comparto acá una experiencia que en su momento consideré negativa, pero que, mirada a la distancia, creo que fue un buen aprendizaje para mí, para el equipo y sobre todo para las mujeres que participaron de esa “epopeya evaluativa”.

Creo que el escenario de la evaluación refleja muy bien las diferencias en las perspectivas de los actores, la importancia de contar con un buen mapeo de sus intereses e influencias. Más allá de que siempre hay que tratar de implicar a todos los actores, o sea tener un enfoque multiactoral, hay que dejar bien en claro cuáles voces se privilegiarán.

La recomendación que surge de la experiencia que a continuación compartimos, es la cuestión ética de la evaluación participativa. Esta nos dice que quienes somos profesionales de la evaluación y sabemos de cuestiones metodológicas, tenemos la obligación moral de amplificar la voz de aquellos más silenciosos o que no siempre son debidamente escuchados, cuando lo que se proclama es que son los “destinatarios” de las intervenciones.

Otra cuestión que surge de esa experiencia es que quienes nos convocan y nos contratan, creen tener privilegios y control sobre las conclusiones, diría que la potestad de manipularlas, como fue el caso de las autoridades provinciales de la ONG. Más allá de eso, opino que hay que negociar los términos del informe con los que nos contratan la evaluación , sobre todo en cuanto a los tonos o los modos de expresar algunas cosas. Pero eso no significa dejar de decir lo que se debe decir.

Esta experiencia refleja los conflictos que pueden presentarse cuando quienes nos convocan a facilitar una evaluación se creen con derechos absolutos de veto. Muestra también el poder de la evaluación para concretar cambios.

Características y contexto de la evaluación [1] [2]

La evaluación se realizó (2010 a 2011) en dos ciudades capitales de provincias del noroeste argentino, a solicitud de una ONG latinoamericana, que busca mejorar el acceso de mujeres de bajos ingresos a servicios financieros, de desarrollo humano y de APS.[3]

La ONG tiene sedes en cada provincia, una CPS y varios CF que orientan a sus asociadas en temas relacionados con los tres componentes mencionados. Cada CF cuenta con varias RPS, cada una a cargo de un grupo de mujeres asociadas. Las RPS están específicamente capacitadas para un rol de orientación acerca de utilización de servicios de salud y conductas de promoción y prevención; ellas son voluntarias, también asociadas, elegidas por sus pares; reciben algunos incentivos de la ONG y son recambiables cada año, aunque pueden ser reelectas.

La evaluación focalizó en el componente de APS; se indagaron necesidades y demandas, utilización de servicios, así como conformidad, preferencias y propuestas de las asociadas; se analizó la oferta local de servicios del PNA y de APS. Se triangularon técnicas cuantitativas y cualitativas y se incluyó la participación de diferentes actores, especialmente de las asociadas a la ONG, incluyendo las RPS.

Se hicieron visitas preliminares a cada provincia, para contactar con funcionarios provinciales de la ONG, personal de salud y líderes asociadas (CPS y RPS). También se solicitó información preexistente (que resultó muy insuficiente). Se buscó así aproximarse a los contextos, establecer acuerdos básicos sobre el diseño evaluativo, cuáles dimensiones considerar y requerimientos para viabilizar el trabajo de campo. Esa incursión fue útil para iniciar un mapeo de actores en cada provincia, que fue enriquecido durante el trabajo en campo.

Principales aprendizajes

Las percepciones y explicaciones de los actores sobre los problemas difieren según la posición de cada actor en el contexto específico, así como en función de factores culturales, étnicos, generacionales, de género, etc. Por eso, son ilusorios consensos absolutos al caracterizar, explicar y priorizar los problemas, así como sobre las propuestas de superación.

Lo importante en estas evaluaciones es articular actores, generando espacios de discusión, confrontación y reflexión conjunta, para permitir acuerdos básicos –no consensos– sobre distintos aspectos, en particular, en la etapa final, sobre conclusiones (juicios valorativos fundamentados) y recomendaciones.

Además, en las evaluaciones sobre acceso y calidad de servicios, debe privilegiarse la perspectiva de los usuarios, en nuestro caso de las mujeres asociadas a la ONG. Aunque eso fue acordado al inicio con las autoridades provinciales de la ONG, surgió un conflicto cuando éstas cuestionaron las conclusiones del informe evaluativo y, más allá del método participativo acordado, solicitaron un estudio epidemiológico. Ante esa postura, las RPS solicitaron la intervención del BID, principal financiador de la ONG.

Desde la mirada de las mujeres asociadas, pudo confirmarse que las intervenciones evaluativas, máxime cuando se combinan abordajes cuanti y cualitativos, multiactorales y participativos, configuran espacios de aprendizaje y empoderamiento, en este caso especialmente para ellas. Sus testimonios afirmaron que las diferentes instancias evaluativas les permitió:

• • aprender de sus pares,
  • reflexionar alrededor de las preguntas de los cuestionarios y de los ejes orientadores de las guías de discusión,
  • alcanzar mejor conocimiento sobre sus situaciones y capacidades,
  • encauzar sus reclamos más acertadamente,
  • encontrar nuevos caminos para continuar superándose.

La evaluación posibilitó cambiar las cúpulas provinciales de la ONG y reorientar su modelo de prestaciones de salud, en sintonía con las necesidades y preferencias de las asociadas y con el perfil de la oferta local de servicios.

Modos de superar conflictos u obstáculos

Un primer obstáculo fue la nula vinculación de la ONG con los MPS, dado que contrataron centros de salud privados o de la seguridad social. Eso dificultó visitar también los CAPS públicos, donde tradicionalmente prefería atenderse la mayoría de las asociadas, que cuestionaban la atención de esos centros contratados. Las evaluadoras lograron que los MPS autoricen visitas de observación para evaluar también los CAPS públicos.

Un segundo obstáculo fue que varios acuerdos para viabilizar el trabajo de campo no fueron concretados por la ONG, por ejemplo: locales apropiados para las dinámicas grupales, realización de fotocopias, compras de papeles afiche y plumones, convocatorias a las asociadas para las reuniones. Resumiendo, hubo escaso apoyo de las autoridades de la ONG para viabilizar el trabajo de campo; eso se atribuyó a que la evaluación fuera más un requerimiento del BID que una real motivación de la ONG.

Para superar esos obstáculos la duración del trabajo en terreno se prolongó el doble de lo previsto. El conflicto con las autoridades provinciales de la ONG se superó con la intervención del BID que suscribió el informe evaluativo, promovió el recambio de esas autoridades y la reorientación del modelo de prestaciones en APS en las dos ciudades.

Equipo evaluador:  Dra. Olga Nirenberg (Dirección),  Lic. Marilú González de Ganem (Coordinación del trabajo de campo),  Lic. Graciela Cardarelli (Sistematización de información cualitativa,  Lic. Federico Sedano Acosta (Apoyo informático).