La evaluación de impacto de los programas sociales

Fundamentos teóricos y metodológicos y aplicación al caso peruano.

La evaluación de impacto (EI) es especialmente importante en los países en desarrollo, donde los recursos son escasos y cada dólar gastado debe maximizar su efecto en la reducción de la pobreza. Sin embargo, a pesar de los miles de millones de dólares que se emplean en inversión social cada año, aún se conoce muy poco sobre el efecto real de tales proyectos en el Perú. La razón de ello es que los diseñadores de programas desconocen las metodologías modernas de evaluación de impacto, y los estudios adolecen de deficiencias y limitaciones en su aplicación.

Mediante un diseño bibliointegrativo se revisa sistemáticamente a) 408 investigaciones de impacto (1976-2006) publicadas en revistas especializadas o por organismos internacionales, así como b) 29 investigaciones de impacto de programas sociales con la mayor rigurosidad metodológica realizados en el Perú.

Entre los principales resultados se encuentra:

a) la principal fuente de difusión y producción de EI en el mundo son los Organismos Internacionales, quienes han aportado más del 75% de la producción de informes, centrándose en los países en desarrollo y evaluando aspectos educativos, de salud, pobreza y empleo;

b) Las EI han aumentado geométricamente durante los últimos 30 años, concentrándose más del 77% en el periodo 2000-2006;

c) Un importante porcentaje de EI (37.5%) utiliza datos secundarios, y en el caso de los primarios, el instrumento más usado es el cuestionario,

d) El diseño más usado es el cuasi- experimental (41%), principalmente “diferencias en diferencias”;

e) El tamaño de la muestra es muy variable (33.4% supera las mil unidades) y se centra principalmente en personas y familias;

f) En cuanto al uso de técnicas de control especiales, su uso es muy limitado para el caso de las variables instrumentales (7.6%) y limitado para el matching (19.7%);

g) La técnica estadística más empleada es la regresión (38%);

h) Por lo menos 2 de cada 10 programas evaluados no muestran impacto positivo alguno.

Sobre la base de lo anterior, se determina los fundamentos teórico- metodológicos del Sistema de Evaluación de Impacto ARYSIS de los programas sociales en el Perú. Mediante un diseño de simulación computarizada se ejemplifica la aplicación del modelo ARYSIS, demostrando la importancia de sus supuestos teóricos.

Se concluye que los principios internacionales de evaluación, la teoría de la causación, el diseño cuasi-experimental avanzado y la estadística de simulación vía Montecarlo son los fundamentos básicos para la constitución del Modelo ARYSIS.

Introducción

El expresidente de los Estados Unidos, Bill Clinton, al firmar el Government Performance and Results Act (agosto de 1993) afirmó: “Puede parecer asombroso, pero como otras grandes entidades, la nuestra está dominada por consideraciones de input: ¿Cuánto gastamos, cuánta gente tenemos, qué reglas nos gobiernan? y muchísimo menos por consideraciones de output: ¿funciona esto, y está cambiando y mejorando la vida de la gente?” Esta afirmación, tan sencilla y aparentemente inofensiva, resume el concepto de un quiebre paradigmático que la administración pública y la gerencia social han venido experimentando en las últimas décadas.

En efecto, las tendencias teóricas recientes sobre la Gerencia Social y la Administración Pública enfatizan en las ventajas de promover una gestión orientada a resultados, en contraste con una orientación tradicional que haga hincapié en procedimientos y procesos de gestión (Barzelay, 2001; Caiden, 1998; Cunill & Ospina, 2003; CLAD, 1999; Moctezuma & Roemer, 1999; Olías de Lima, 2001; Osborne & Gaebler, 1994; Ramio, 2001). Estas nuevas tendencias (iniciadas en el Reino Unido, Australia, Nueva Zelanda, y luego en los Estados Unidos) enfatizan en la necesidad de evaluar las políticas públicas, proponiendo un cambio de paradigma en la administración pública, conocido como “neo-gerencialismo”.

En este nuevo contexto, la evaluación de la gestión pública pasa de ser un ejercicio técnico a ser una herramienta política, en la medida que: i) abarca los tres niveles de la acción social, el macro, meso y micro y ii) genera capacidad gerencial para establecer conexiones entre ellos, creándose así coherencia en los distintos niveles de la administración. De lo dicho, hoy se entiende a la evaluación de la gestión pública como una herramienta de modernización del Estado, más que una simple técnica administrativa.

Este nuevo paradigma tiene algunos aspectos característicos que son importantes resaltar.

Fuente: usmp.edu.pe