Qué pasaría si te dijera que en Udaipur, India regalar un kilo de lentejas cada vez que un padre o madre llevaba a vacunar a su hijo, así como un juego de platos al terminar el esquema de vacunación aumentó los índices de inmunización del 5 al 38 por ciento.

Este es el poder de la evaluación. Efectuar cambios significativos por medio del análisis riguroso basado en evidencia. ¿Cómo determinar la mejor solución cuando los recursos son limitados? La respuesta es sencilla: evaluando la mejor alternativa de solución.

Como consultora de políticas públicas hay pocas cosas que me emocionen tanto como una evaluación de impacto. La razón es simple: es la prueba de fuego para conocer si lo que se diseñó desde un escritorio tiene o tendrá los efectos deseados en el mundo real.

Como estableció el Nobel de Economía 2019, Abhijit Banerjee:

“No basta con medir cuántos kilómetros de carreteras se construyen, cuántos colegios se construyen o cuántos microcréditos se conceden. También se debe medir si esas inversiones realmente ayudan a las personas pobres a vivir vidas más largas y prósperas”
(Dugger, 2004)

Banerjee describe la razón de ser de las evaluaciones de impacto. Es sorprendente que las evaluaciones de impacto sean la excepción y no la regla, si pensamos que debería ser una “exigencia democrática que la sociedad conozca la eficacia de la utilización de los recursos que ha aportado al Estado” (Novales, 2020).

Banerjee, Esther Duflo y Michael Kremer recibieron el Nobel de Economía en 2019 por su aplicación del enfoque experimental en la evaluación de políticas públicas. Específicamente, por los experimentos aleatorizados o ensayos controlados aleatorios.

“El ensayo controlado aleatorio es un método de evaluación de impacto en el que la población beneficiaria de la intervención del programa o la política y el grupo de control se eligen de manera aleatoria entre la población que cumple los criterios. Evalúa en qué medida se están alcanzando los impactos específicos planeados” (White, Sabarwal, & de Hoop, 2014)

En palabras de Duflo, la ambición perseguida con las evaluaciones de impacto es “proveer a los hacedores de políticas públicas de los medios para inventar y seleccionar las políticas públicas más efectivas para ayudar a las personas a superar sus problemas” (Duflo, 2015).

Permíteme ilustrarte el poder de la evaluación de impacto con un ejemplo de la vida real. En India, al igual que en México, los servicios de vacunación son gratuitos en los centros de salud pública, sin embargo, las tasas de vacunación son bajas. Dos de los problemas más graves son el ausentismo del personal de salud y los suministros intermitentes de vacunas.

De acuerdo con el estudio National Family Health, solo 44% de los niños entre 1 y 2 años de edad han recibido programas básicos de inmunización. Específicamente, en el distrito rural de Udaipur, de mayoría tribal, un sondeo encontró que solo el 2% de los niños había recibido el programa completo de vacunación. (Banerjee, Duflo, Glennerster, & Kothari, 2010)

A esto le sumamos que el 45% del personal de salud que lleva a cabo la vacunación, conocido como matronas auxiliares de enfermería (ANMs), se ausenta de los centros de salud basados en las aldeas. Si tomamos en consideración que el esquema de vacunación completo requiere de por lo menos 5 visitas al centro de salud, el ausentismo aumenta el costo para las familias y puede desincentivarlos de llevar a sus hijos.

¿Pueden incentivos pequeños tener un impacto en las tasas de vacunación o cuando las tasas de vacunación son muy bajas es tal la oposición que no puede ser impactada por pequeños incentivos? ¿Qué parte del problema se debe al ausentismo del personal de salud y suministros intermitentes?

El experimento fue desarrollado por el Poverty Action Lab (J-PAL), del cual Banerjee y Duflo son cofundadores. Este tuvo lugar entre 2004 y 2007 en el distrito rural de Udaipur, India con una muestra de 134 aldeas con casi dos mil niños menores a cinco años en los que se observaría la inmunización. Toda la información, con respecto al experimento, fue obtenida de J-PAL, si quieres revisar la información completa (incluidos los metadatos), consulta: https://www.povertyactionlab.org/es/evaluation/mejorar-las-tasas-de-vacunacion-por-medio-de-campamentos-e-incentivos-periodicos-en

El experimento se diseñó para evaluar la eficacia y costo-efectividad de: 1) mejorar la oferta de infraestructura, 2) mejorar la oferta de vacunas y 3) aumentar la demanda a través de pequeños incentivos no monetarios. Para ello se seleccionaron tres grupos, en dos se efectuaron intervenciones, y un tercer grupo sirvió de comparación.

En la intervención A se contrató un equipo móvil de inmunización que incluía una ANM y un asistente. Las caravanas de vacunación estaban disponibles de 11 a 14 horas en fechas establecidas del mes. La presencia de la ANM se verificaba con fotografías donde aparecía la hora y fecha y se hacía un seguimiento periódico. Los registros indican que 95% de las caravanas se llevaron a cabo sin ausencias de las ANM o asistentes. Además, un asistente social informaba sobre la disponibilidad de vacunas y educaba con respecto a los beneficios de las mismas. En las primeras inmunizaciones se entregó a cada niño una tarjeta oficial con su nombre, nombre de los padres, fecha y relación de cada vacuna administrada. (Banerjee, Duflo, Glennerster, & Kothari, 2010)

En la intervención B se realizaba exactamente lo mismo que en la intervención A, con la diferencia que se ofrecía a los padres un kilo de lentejas por inmunización administrada y un set de thalis (platos de metal) por esquema completo de vacunación. Los incentivos entregados estaban pensados para compensar el costo-oportunidad de llevar al niño para que fuese vacunado. Al igual que en la intervención A, el esquema de vacunación era verificado a través de la tarjeta del niño.

Los resultados sorprendieron. El 38.3% de los niños entre 1 y 3 años de la intervención B (lentejas + set de thalis) presentaron un esquema completo de vacunación comparado contra el 16.6% de los niños de la intervención A (sin incentivos) y el 6.2% de niños de las aldeas de control (sin intervención). (Banerjee, Duflo, Glennerster, & Kothari, 2010)

Era 6 veces más propenso que un niño de las aldeas de la intervención B tuviera un esquema completo de vacunación que en las aldeas de control; y era casi 3 veces más propenso a ser vacunado que en las aldeas de la intervención A. (Banerjee, Duflo, Glennerster, & Kothari, 2010)

Además, la intervención B resultó ser la más económica. Como leíste, aun con el costo de los incentivos. Esto se debe a que más niños utilizan la infraestructura y recursos humanos, lo que disminuye el costo por niño. El costo promedio por niño en la intervención B fue de $27.94 dólares, comparado con los $55.83 dólares por niño de la intervención A, casi el doble.

El experimento demostró que ofrecer pequeños incentivos no monetarios, además de servicios confiables y educación es más efectivo que entregar los servicios y educación solamente. Además, se observó como externalidad positiva que los niños de aldeas cercanas a la intervención B fueron más propensos a lograr esquemas completos de vacunación, en comparación con aquellos cercanos a las aldeas de intervención A. Este hallazgo es relevante porque sugiere que las caravanas de vacunación confiables, en cuanto a la disponibilidad de personal y vacunas, además del incentivo, fomentan que los padres de aldeas lejanas lleven a vacunar a sus hijos.

Evaluar es importante. Se traduce en beneficios para la población y evita el desperdicio de tiempo y recursos, brindando herramientas para conocer la relación que tendrá una determinada política, su inversión y los resultados de la misma. Imagina si viviéramos en un mundo en donde cada política pública fuera sometida a un ejercicio de evaluación, ¿cuántas ocurrencias se evitarían? ¿cuántos elefantes blancos se hubieran prevenido? ¿existiría siquiera el concepto mismo de elefante blanco ante la falta de utilidad en el fuero común? Ahora ya lo sabes, este es el poder de la evaluación.

Referencias

Banco Mundial. (2019). Country Profile: India. Obtenido de Poverty and Inequality Platform: https://pip.worldbank.org/country-profiles/IND

Banerjee, A., Duflo, E., Glennerster, R., & Kothari, D. (2010). Mejorar las Tasas de Vacunación por medio de Campamentos e Incentivos Periódicos en India. Obtenido de Poverty Action Lab: https://www.povertyactionlab.org/es/evaluation/mejorar-las-tasas-de-vacunacion-por-medio-de-campamentos-e-incentivos-periodicos-en

Duflo, E. (25 de noviembre de 2015). Speech by Esther Duflo, Princess of Asturias Award for Social Science. Obtenido de Premios Princesa de Asturias: https://www.youtube.com/watch?v=SmQJBbgs_a8

Dugger, C. (28 de julio de 2004). Letter from Washington; World Bank Challenged: Are the Poor Really Helped? Obtenido de The New York Times: https://www.nytimes.com/2004/07/28/world/letter-from-washington-world-bank-challenged-are-the-poor-really-helped.html

Estupinyá, P. (5 de enero de 2012). Metodología contra la pobreza. Obtenido de Agencia SINC: https://www.agenciasinc.es/Reportajes/Metodologia-contra-la-pobreza

Maqueda, A. (15 de octubre de 2019). Banerjee, Duflo y Kremer ganan el premio Nobel de Economía por sus estudios sobre la reducción de la pobreza. Obtenido de El País: https://elpais.com/economia/2019/10/14/actualidad/1571039274_238817.html

Novales, A. (abril de 2020). La evaluación de impacto de políticas y programas: el enfoque experimental. Obtenido de Real Academia de Ciencias Morales y Políticas: https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwip8–n3aH6AhXLKkQIHUDJBEQQFnoECAwQAQ&url=https%3A%2F%2Fwww.ucm.es%2Ffundamentos-analisis-economico2%2Ffile%2Fintervencion-2020-version-pleno&usg=AOvVaw30tQiTkWCX5rHq7

Suanzes, P. (13 de mayo de 2015). Esther Duflo. Obtenido de Maven Trap: https://maventrap.es/2015/05/13/esther-duflo/

Suanzes, P. (14 de octubre de 2019). El Nobel de 2019 para tres expertos en la lucha contra la pobreza mediante experimentos prácticos. Obtenido de El Mundo: https://www.elmundo.es/economia/2019/10/14/5da44741fc6c8354538b4590.html

White, H., Sabarwal, S., & de Hoop, T. (2014). Randomized Controlled Trials (RCTs). Obtenido de Methological Briefs – Impact Evaluation No. 7. UNICEF.: https://www.unicef-irc.org/publications/752-randomized-controlled-trials-rcts-methodological-briefs-impact-evaluation-no-7.html#:~:text=A%20randomized%20controlled%20trial%20(RCT,from%20the%20same%20eligible%20population.