Inforr le No. 34589-CL C1- ¡le Es udio de Evaluación de Impacto del Programa de Evaluación de Programas Eva uaciones de Impacto y Evaluaciones de los Programas del Gobierno (En dos Volúmenes) Volumen II: Anexos 30 de Diciembre del 2005 Unid¿ d de Reducción de la Pobreza y Gestión Económica Amér ca Latina y el Caribe Docu ento del Banco Mundial Este pcumento es preparado como parte del Asesoramiento del Banco al Sistema de Control de Gestión y Pre ipuesto por Resultados de Chile LISTA DE SIGLAS AML Análisis del Marco Lógico ANAO Oficina de Auditoría Nacional Australiana (Australian National Audit Office) BGI Balance de Gestión Integral BM Banco Mundial CASEN Encuesta de de Caracterización Socioeconómica Nacional CI Contrapartes Institucionales (Institucional Counterparts) CLAD Centro Latinoamericano de Administración para el Desarrollo CORFO Corporación de Fomento de la Producción DCG División de Control de Gestión DE Definiciones Estratégicas DEETYA Departamento de Educación, Capacitación y Asuntos Juveniles DIPLAP Dirección de Planificación y Presupuesto DIPRES Dirección de Presupuestos DF Departamento de Finanzas ECG Evaluación Comprensiva del Gasto ECU Asesores de la DIPRES para Capacitación en Metodología del Marco Lógico El Evaluación de Impacto EP Evaluación en profundidad EPG Evaluación de Programas Gubemamentales FMI Fondo Monetario Intemacional FONASA Fondo Nacional de Salud GF Grupo focal GPRA de EE UU Ley de Desempeño y Resultados del Gobierno de los Estados Unidos IC Contrapartes Institucionales MIDEPLAN Ministerio de Planificación y Cooperación MM Metas Ministeriales MML Matriz de Marco Lógico MN Metas Nacionales NGP Nueva Gestión Pública OED Departamento de Evaluación de Operaciones del Banco Mundial (Operations Evaluation Department) OCDE Organización de Cooperación y Desarrollo Económico OLS Mínimos Cuadrados (Ordinary Least Squares) PE Programa de Evaluación PEC Plan de evaluación de la cartera PGTR Programa de Gestión Territorial y Social de la Regularización PMG Programa de Mejoramiento de Gestión PM&C Programa de Mejoramiento y Control de Gestión PME Programa de Mejoramiento Educativo PMU Programa de Mejoramiento Urbano PROFOS Programa Proyectos Asociativos de Fomento PRYME Proyecto de Reforma y Modemización del Estado SBO Funcionarios de alto nivel del presupuesto SCG Sistema de Control de Gestión y Presupuesto por Resultados (incluye el Programa de Evaluación en sus dos componentes, EPG y El) SEGPRES Secretaría General de la Presidencia SyE Seguimiento y evaluación SUBDERE Subsecretaría de Desarrollo Regional y Administrativo TDR Términos de Referencia TTDR Términos Técnicos de Referencia i TASAS DE CAMBIO MONETARIO (4 de Abril de 2005 - Tasa de Cambio Monetario) Unidad monetaria = Peso Chileno (Ch$) Ch$586.2 = US$1 Vicepresidente: Pamela Cox Director País: : Axel van Trotsenburg Director Sector: Ernesto May Líder del Sector: James Parks Gerente del Sector: Ronald Myers Task Manager : Femando Rojas RECONOCIMIENTOS El equipo del Banco Mundial que participó en esta Consultoría hace un especial reconocimiento a la muy profesional colaboración recibida del personal de la División de Control de Gestión y, más generalmente, de la Dirección de Presupuesto de Chile. Gracias al apoyo de esta Dirección, el equipo del Banco Mundial se benefició también de la generosa colaboración de funcionarios de varios niveles de gobierno, de distintos ministerios y agencias ejecutoras, de evaluadores particulares y de universidades y centros de estudio. La DIPRES aportó irrestrictamente toda la información documentaria que tuvo disponible y contribuyó con innumerables conceptos, informaciones sobre prácticas internas y orientaciones en general, todos los cuales enriquecieron el estudio, particularmente en lo relativo a la aplicabilidad o no aplicabilidad de las lecciones de la experiencia internacional al contexto específico del Programa de Evaluación de la DIPRES. Especial reconocimiento es debido a Mario Marcel, Director de Presupuesto de Chile, Marcela Guzmán, Jefa de la División de Control de Gestión (DCG) de esa Dirección y Heidi Bemer y María Teresa Hamuy, responsables respectivamente de los componentes de EI y EPG que constituyeron el objeto especfilco de esta evaluación. Mario Marcel expuso la gran visión del Programa de Evaluación con claridad meridiana; las líderes de la DCG revisaron celosamente versiones anteriores de este reporte e hicieron observaciones de fondo y recomendaciones de organización, sin menoscabar en ningún momento la independencia técnica del equipo del Banco Mundial. ii MIFMBROS DEL EQUIPO DE ESTA EVALUACIóN DE IMPACTO El equípo del Banco Mundial estuvo dirigido por Femando Rojas, Especialista Líder del Sector Público, e integrado por Keith Mackay del Departamento de Evaluación de Operaciones, Yasuhiko Matsuda, Especialista Senior, Jonas Frank, Especialista y Wolfgang Koehling, Economista del Sector Público, y Geoffrey Shepherd, Azul del Villar, Ariel Zaltsman, Philipp Krause y Ruxandra Burdescu, Consultores. Este equipo contó con la asistencia de Patricia Méndez. El equipo del Banco Mundial fue reforzado por dos consultorías externas para el análisis comparado de los usos y de la calidad de las evaluaciones. El Banco contraté con la firma consultora canadiense Universalia, especializada en evaluación, un análisis de la calidad de una muestra de diez EPG bajo patrones internacionales para informes de evaluación de alcance similar al de las EPG de la DIPRES. Asimismo, el Banco contrató con Michael Bamberger, especialista en evaluación con experiencia en numerosos países, el análisis de dos casos de El y tres casos de uso y apropiación de las evaluaciones. Para asegurar la consistencia interna del Informe, el equipo del Banco Mundial seleccionó las partes y las conclusiones o recomendaciones de los informes de Universalia y de Michael Bamberger que fueron incluidos en el Reporte, particularmente en el texto principal del Reporte. Naturalmente, la selección de los textos y las ideas que de los aportes de los consultores se incorporaron en el Informe de Evaluación son responsabilidad exclusiva del equipo del Banco Mundial y no comprometen de ninguna manera a los consultores ni desdicen del rigor o la consistencia interna de sus informes. Este Informe se ha beneficiado de numerosos aportes suplementarios y de los comentarios y las críticas de los managers y de otros especialistas del Banco Mundial. Cabe hacer un reconocimiento especial a David Shand y Paul Sisk por sus orientaciones durante las misiones del equipo de esta evaluación a Chile, y a Roberto Panzardi por sus aportes y los de su equipo en lo relativo al sistema de manejo financiero de Chile. iii INDICE ANEXO A: EL SISTEMA DE EVALUACIÓN ............................................................. I ANEXO B: ANÁLISIS DEL MARCO LÓGICO DEL PROGRAMA DE EVALUARON DE PROGRAMAS GUBERNAMENTALES (EPG) EN CHILE ............................................................. 1 1 ANEXO C: ALGUNAS LECCIONES DE LOS ESTADOS UNIDOS ..................................................... 36 ANEXO D: MATRIZ DE LA EVALUACIÓN CON ENTRADAS DE NOTAS SUMARIAS DE LA PRIMERA Y SEGUNDA MISIÓN A CHILE .................... ......................................... 40 ANEXO E: ACTORES INSTITUCIONALES EN EL SISTEMA DE EVALUACIÓN ..................................... 64 ANEXO F: META EVALUACIóN DE LA CALIDAD DE LAS EVALUACIONES DE PROGRAMAS DEL GOBIERNO DE CHILE .................. ........................................... 7 1 ANEXO G. 1: EVALUACIÓN DE LA EVALUACIÓN DEL PROGRAMA DE MEJORAMIENTO URBANO - PMU.... 97 ANEXO G.2: EVALUACIÓN DE LA EVALUACIÓN DEL PROGRAMA DE RECONVERSIÓN LABORAL Y PRODUCTIVA DE LA ZONA DEL CARBóN ............................................................. 132 ANEXO H: SISTEMA DE EVALUACIóN DE AUSTRALIA - ASPECTOS CLAVE PARA COMPARAR CON CHILE .........................1.........7.........7...2.. ......... .. 172 ESTUDIOS DE CASO SOBRE LA UTILIZACIÓN DEL PROGRAMA DE EVALUACIÓN DE PROGRAMA DE EVALUACIÓN DE PROGRAMAS DE GOBIERNO, MINISTERIO DE HACIENDA, CHILE. ANEXO I. 1: EVALUACIóN DE FONDO DE PROMOCIÓN DE EXPORTACIONES. 180 ANEXO 1.2: EVALUACIÓN DE EQUIPAMIENTO COMUNITARIO .201 ANEXO I.3: EVALUACIÓN DE LOS TELECENTROS COMUNITARIOS .222 1v 1 ANEXO A EL SISTEMA DE EVALUACIÓN 1 ANEXO A1 EL SISTEMA DE EVALUACIÓN Introducción y desarrollo de evaluación. DIPRES lanzó un sistema de evaluación en 1997 a través de un acuerdo político con el Congreso. Lo hizo como respuesta a demandas del Congreso sobre su falta de influencia en el presupuesto (Marcel, 1999). Inicialmente, las evaluaciones fueron "de escritorio" es decir, Evaluaciones de Programas Gubernamentales, (EPGs). Pero se sintió la necesidad de suplementarlos con estudios más profundos, por lo que las Evaluaciones de Impacto (EIs) fueron introducidas en el 2001. De 1997 al 2004, cerca de 158 EPGs fueron completadas, y del 2001 al 2004, 14 EIs. La introducción y desarrollo del sistema de evaluación fue fácil. Este empezó en una base piloto y hubo poca real resistencia a su introducción. Objetivos: Los objetivos formales del sistema son: * Ayudar a la DIPRES a formular el presupuesto * Ayudar al Congreso a discutir y formular el presupuesto * Mejorar la gestión de los programas * Proporcionar información para la rendición de cuentas pública En términos prácticos el primer y tercer objetivos - los objetivos de "administración publica" - parecen predominar. Los objetivos respecto al Congreso y rendición de cuentas pública parecerían ser secundarios, pero, como hemos sugerido, evaluaciones neutrales puede ser una importante vía para legitimizar polfticas públicas en un sistema de consenso público. Instrumentos de Evaluación. EPGs son evaluaciones de escritorio (usando datos disponibles y suplementados por entrevistas) que examinan el Marco Lógico de un programa. Es decir, enfatizan resultados e impactos. El Marco Lógico es usualmente preparado como parte del trabajo inicial de la EPG. Las EPGs son efectuadas por un Panel de tres expertos bajo contratado privado y su costo aproximado es de US $20,000. Las EIs son evaluaciones mas profundas que conllevan más detallados estudios con el fin de entender/analizar el impacto de los programas.2 Las EIs son en la medida de lo posible cuantitativas aunque a menudo necesitan generar sus propias series de datos. Las EIs son efectuadas por firmas privadas (incluyendo organizaciones/universidades académicas) seleccionadas en un proceso público de licitación, y típicamente cuestan US $100,000. El ámbito de la evaluación. DIPRES propone una lista de programas para ser evaluados cada año, basada en diversos criterios formales: información que DIPRES posee; si los programas han sido evaluados por la DIPRES u otros y cuando; el horizonte de tiempo del programa y su prioridad programática; sugerencias hechas por SEGPRES y MIDEPLAN; sugerencias hechas por subcomisiones de presupuesto del Congreso. Esta 1 Corresponde a la Seccion 1.1. y 1.2 2La ultima Evaluación en Profundidad fue realizada para el 2002 y la primera EI en el mismo año. La EP es lo mismo que el EI, excepto que contiene una evaluación de gerencia, como también de resultados de 2rograma. Ver la minuta de selección de programas de DIPRES. 2 propuesta es entonces negociada con la Comisión Especial Mixta de Presupuesto en el marco de la preparación del Protocolo, un acuerdo formal que se firma cuando se discute la Ley de Presupuestos. El Protocolo, firmado en Noviembre, incluye la lista final acordada de programas para evaluación. Las entrevistas sugieren que, en la práctica, SEGPRES, MIDEPLAN, y el Congreso juegan un papel limitado, en tanto que las agencias ni siquiera son consultadas. La revisión de los programas seleccionados para evaluación desde 1997 sugiere que las evaluaciones se concentran en actividades que contribuyen a los servicios individualizados al público. Las evaluaciones no se enfocan en áreas significativas del gasto del ejecutivo como: pensiones (Ministerio del Trabajo y Previsión Social), los Ministerios de Defensa y Hacienda, y mas generalmente en la provisión de bienes o servicios regulatorios o económicos (regulación de mercados privados, sectores amplios y políticas nacionales). Si calculamos la relación de gasto presupuestado por Ministerio para el 2004 con el número total de evaluaciones para 1998-2004 de las actividades del Ministerio, encontramos que los Ministerios de Obras Publicas, Salud, y Educación han sido los menos evaluados "intensivamente" de los ministerios suministradores de servicios (NB Salud y Educación son Ministerios muy grandes), mientras que los Ministerios de Minería, Transporte, Planeación, Bienes Nacionales, Relaciones Exteriores, y la Secretaria General de la Presidencia han estado entre los mas evaluados. Las evaluaciones solo cubren actividades del gobierno central. Una anécdota de las entrevistas realizadas sugiere que DIPRES podría haber escogido programas para evaluar, que buscaba cortar o en los que vio problemas operativos. En tanto que los programas evaluados no pueden fácilmente ser comparados con la clasificación presupuestaria, es difícil saber cuanto de la relevante actividad del gobierno central ha sido cubierta por las evaluaciones. DIPRES señala que un número significativo de relevante actividad se ha cubierto. Todo ministerio (excepto el Fiscal Público) ha tenido al menos una evaluación.4 Otros instrumentos de gestión y sistemas de reporte de DIPRES. El sistema de evaluación aparece racionalmente bien integrado con un numero de otros instrumentos de gestión orientados a resultados que la DIPRES ha desarrollado. Dos instrumentos, indicadores de desempeño y un Balance de Gestión Integral (BGI), proveen información a tomadores de decisiones de política y a gerentes (como la evaluación). Otro, el Programa de Mejoraniento de Gestión, ordena y apoya mejoras administrativas en las agencias. Indicadores. Todas las agencias desarrollan indicadores de desempeño que aparecen en el presupuesto. El cumplimiento de estos indicadores es reportado al Congreso [dos veces al año, uno como anexo del presupuesto, otro en el Reporte Anual de Desempeño (BGI)]. En las entrevistas se reportó que desde su inicio la calidad de los indicadores ha mejorado. Asimismo, que estos han ayudado a promover el debate público, y a la 4Asimismo, muchos programas han preparado iniciativas que incluyen Matrices de Marco Lógico para solicitar nuevos recursos presupuestales a través del Fondo Concursable. DIPRES sostiene que esto significa que una mayor parte del sector público ha sido sujeto de análisis de planeamiento estratégico. 3 creación de una cultura de evaluación (llegando a ser más relevantes para la discusión del presupuesto y el aumento de salarios). Nuestra evaluación no revela mucho de la efectividad de los indicadores o sobre si ellos fueron muy pocos o muchos, (o cuan efectivos los indicadores pueden ser hasta que una actividad está propiamente definida dentro de un programa)5. De nuestras entrevistas se sugiere, sin embargo, que la calidad de los indicadores ha sido mejorada por las evaluaciones y por la implementación de los Programas de Mejoramiento de Gestión.6 Los Programas de Mejoramiento de Gestión. El objetivo principal de estos programas es promover la mejora de gestión en todas las agencias a cambio de un incentivo salarial. Existe una rigurosa codificación de todas las áreas para el mejoramiento de gestión (recursos humanos, atención al usuario, planificación y control de gestión, administración financiera, y -más recientemente- género) y un cronograma de etapas para el mejoramiento en cada uno de los sistemas que componen las áreas. Una red de expertos en gestión proporciona asesoría a las agencias y certifica si éstas han alcanzado un grupo de estándares. Estos expertos pertenecen al sector público, reclutados de ministerios relevantes a cada sistema (de Trabajo para asuntos de recursos humanos, etc.), y son acreditados por la DIPRES. Estos programas son supervisados por un comité Inter- ministerial (de la DIPRES, SEGPRES, y SUBDERE). Las agencias alcanzando 90-100 por ciento de sus objetivos anuales reciben un bono salarial del 3 por ciento el siguiente año, en tanto que aquellas alcanzando un 75 a 90 por ciento reciben un 1.5 por ciento. DIPRES esta considerando convertir los Programas de Mejoramiento de Gestión en un sistema mas formal de certificación de gestión [como la certificación ISO-900) y usar esto para permitir que las agencias se "gradúen" en un nivel mas alto de auto-gestión. También, las entrevistas indican un rango de actitudes hacia el PMG por parte de las agencias: algunas ven esto como una imposición y otras como un útil apoyo para una mejor gestión.7 Las evaluaciones (de programnas públicos) y Programas de Mejoramiento de Gestión (para las agencias) están obviamente conectados: ambas se retroalimentan. 5 La sección 1.3 y 1.5.1 discuten el tema de los indicadores en el marco de la matriz de marco lógico. 6 SEGPRES también opera un sistema para monitorear el desempeño a corto plazo de los mayores programas gubernamentales (Sistema de Seguimiento de la Programación Gubernamental). Un reporte en el sitio de internet de CLAD sobre un proyecto de investigación en evaluaciones en Latino América (www.clad.org.ve, subsecuentemente publicado como Cunill y Ospina, 2001) señaló: "El Sistema de Seguimiento de Programación Gubernamental fue creado en 2000, en reemplazo del sistema de Metas Ministeriales que estuvo en vigencia entre 1990 y 1998. En el marco de este Sistema de Seguimiento, se han definido tres grandes áreas - infraestructura, social y económica - cada una de las cuales tiene un conjunto de políticas asociadas, con sus respectivos Ministerios responsables y los servicios públicos encargados de su ejecución. El Sistema abarca a la totalidad de los 17 Ministerios y a 105 servicios públicos adscritos. Cada Ministerio define los objetivos, las acciones, y los productos concretos, los que son monitoreados de manera periódica por la Secretaría General de la Presidencia. Según los entrevistados que participaron en su diseño y administración, el Sistema todavía requiere mejorar su vinculación con la toma de decisiones en los Ministerios y servicios públicos, y aumentar su coordinación con los demás instrumentos de evaluación gubernamental." and later: "Según surge de las entrevistas realizadas, el Sistema de Seguimiento de Programación Gubernamental está jugando un papel importante en tanto instancia que le permite al Gobierno llevar un control de los avances que se van realizando respecto de las nrioridades fijadas;..." Los Programas de Mejoramiento de la Gestión son una interesante iniciativa que ha crecido y madurado en Chile. Esta tiene alguna resemblanza con otros programas de "graduación" de gestión (en Tailandia y Ecuador por ejemplo) - programas que no han sido muy exitosos. Sobre todo, Chile toma una "dura" 4 Reporte de Desempeño (Balance de Gestión Integral). Desde 1997, cada agencia debe someter al Congreso el Reporte Anual de Desempeño. Concebido como un mecanismo para la rendición de cuentas pública, el reporte presenta el desempeño de la agencia en relación con sus mandatos, objetivos, compromisos, y recursos en un formato estándar definido por DIPRES. De acuerdo a entrevistas, algunas agencias ven este requerimiento de reporte como gravoso y repetitivo. Incentivos. Además de los incentivos salariales específicos de los Programas de Mejora de Gestión, hay varios incentivos para premiar el buen desempeño de las agencias. * Fondo Concursable (Bidding Fund). Empezando con el presupuesto del 2001, se ha establecido un Fondo Concursable para prioridades gubernamentales de una pequeña fuente de recursos excedentes. (En el 2002, US$ 500 millones fue aplicado en varias propuestas. El fondo no estuvo disponible en el 2004). Las agencias someten sus propuestas basadas en una matriz de Marco Lógico (la cual entonces provee una referencia para futuras evaluaciones). (Algunos de estos programas tienen "sunset clauses"). Y a su vez, DIPRES propone una lista mas corta de estas propuestas con base en su calidad y consistencia con las prioridades y estrategias gubernamentales. El Presidente toma la decisión final. * DIPRES puede devolver los balances de los fondos no gastados en una sola vez. Una agencia que tuvo un alto desempeño recibió el 50 por ciento de su balance no gastado. DIPRES puede también permitir mayor flexibilidad con el presupuesto de inversión de una agencia, sin incrementar el presupuesto total. Dos agencias se beneficiaron de esto en el 2003 (Impuestos Internos y Registro Civil). actitud "prescrita" a un problema "suave" (de gestión). Esta actitud hacia la evaluación es similarmente "prescrita". En este mismo sentido, Chile Solidario es un nuevo programa que toma un acercamiento "prescrito" para rehabilitar familias en pobreza extrema. (En los tres casos, Chile esta, para así hablar, buscando industrializar un previo proceso artesanal. 5 Reformas de la Administración del Sector Publico8 La administración pública de Chile es una de las mejores de países no miembros de la OCDE. Es efectivo en la provisión de servicios públicos, sus servidores públicos son competentes y profesionales, y sus operaciones son predecibles. Esto es el resultado de un largo desarrollo gradual culminando en la iniciación, en los anos 90s, de importantes reformas de orientación hacia resultados. Un profesionalizado servicio público empezó a desarrollarse temprano en la era post-independiente. Como el tamafño del gobierno se ha incrementado y su rol ha cambiado, este profesionalismo ha sido vital en el mantenimiento de un buen gobierno. Pero ha habido ciclos políticos de deterioro y correcciones. Gobiernos democráticos desde 1990 han enfatizado disciplina fiscal, igualdad social, e, incrementalmente, buena administración. Recursos Humanos.9 * La administración de los servicios públicos es parcialmente descentralizada. * Gestión de los servicios públicos: de planta (empleo mas estable) está siendo fortalecido a expensas de contrataciones (empleo sin estabilidad). * Los nombramientos políticos van tres niveles abajo (a jefe de división). El problema de los nombramientos políticos está siendo confrontado. Gestiónfinanciera.l0 Chile tiene un sistema público de administración financiera altamente centralizado y disciplinado. El retorno de Chile a la democracia ha sido seguido por un período de remarcable disciplina fiscal y equilibrio. Fue en este contexto que el Gobierno empezó a incorporar instrumentos de gestión por resultados en la gestión pública y en la toma de decisiones financieras. Chile tiene el sistema presupuestario más jerarquizado en América Latina. Por ley, el Congreso juega un rol muy limitado en el presupuesto. La DIPRES tiene un rol muy fortalecido dentro de la rama ejecutiva. (DIPRES es parte del Ministerio de Hacienda). El presupuesto es bastante inclusivo de todo el gasto del gobierno central. Una parte de gasto militar ofrece la más importante excepción. El gasto presupuestal es clasificado por instituciones y por categorías económicas (por ejemplo basados en entradas). Las instituciones están definidas en tres niveles de desagregación: la Dirección (Partida-correspondiente a cada Ministerio), el Capítulo (correspondiente a cada institución presupuestaria),' " y el Programa (un sub grupo de 8 Esta sección corresponde a la Sección 1.2. Sobre administración pública en general, ver Carreton y Caceres (2003), Marcel (1999), y Manning y Parison (2003). Sobre asuntos de gobernabilidad, ver Foxley y Sapelli (1999). 9 Ver Rehen (2002), Valdes Prieto (2002), Valdes Prieto (2003), OECD (2003). 0 IMF (2xxx) Marcel y Tokman (2002), OECD (2004), World Bank CFAA. 1 Esta nota generalmente usara el termino "agencias" como sinónimo con capítulo del presupuesto o Servicios. 6 actividades dentro de la institución). A pesar de este ultimo nivel de desagregación, no hay clasificación presupuestaria por programas. 12 El presupuesto es formulado mayormente sobre una base inercial: la asignación de este año para el presupuesto de una agencia está relacionada con el nivel del año anterior. En teoría, los Ministros tendrían alguna capacidad para reasignar el gasto entre agencias dentro del portafolio ministerial, pero DIPRES da poca libertad en la práctica para hacer eso.13 Ejecución del presupuesto Nuevos instrumentos de gestión han sido añadidos desde mediados de 1990, pero los controles centrales no se han flexibilizado. De acuerdo a Marcel y Tokman (2002), esta evolución reflejó tres problemas que se han hecho presentes hoy en día. Primero, atender la estabilidad macroeconómica a expensas de consideraciones de efectividad y eficiencia. Segundo, algunos actores, particularmente el Congreso, mostraron incomodidad con esta centralización del poder. Tercero, esta misma centralización fue en si la problemática: si los controles fueren débiles "checks and balances", sería posible revertir la política en el futuro (una deteriorada política [credibilidad]). Un número de reformas fiscales de "segunda generación" fueron implementadas como consecuencia. Estas reformas fueron establecidas a través de acuerdo político o por leyes presupuestales. * Un sistema de límites de efectivo fue introducido para limitar la discreción del ejecutivo en la ejecución presupuestal y fue mejorado el reporte público en la ejecución del presupuesto. * DIPRES introdujo varios instrumentos de gestión y desempeño. En 1993, se introdujo la planeación estratégica. Los indicadores de gestión empezaron a ser usados desde 1994. Un sistema de evaluación fue desarrollado desde 1997. Programas de Mejoramiento Gestión fueron mejorados en el 2000. Estos instrumentos han llegado a ser una ayuda a la toma de decisiones presupuestarias, pero no hay una automática conexión de los resultados de gestión a las asignaciones presupuestarias. * Un protocolo, desde 1997, entre DIPRES y la Comisión Especial Mixta de Presupuesto del Congreso que establece un acuerdo político comprometiendo al Ejecutivo a proporcionar información al Congreso el año siguiente. 12 Programas como estos, son definidos para propósitos de evaluación no generalmente corresponden con clasificaciones de instituciones presupuestarias. Históricamente, Chile ha sido persuadido de que la presupuestación por programas, como es normalmente practicado en Latinoamérica, simplemente impone una mayor rigidez en la clasificación presupuestal, además de otras. Se habla en la DIPRES acerca de la necesidad de moverse hacia "la presupuestación estratégica por productos" lo cual solo implicaría flexibilizar la forma de identificar actividades donde los productos pueden ser relacionados a los costos de producción. Pero no ha habido una decisión formal para moverse en esa dirección. 3Dorotinsky, Knack, Manning, and Kugler (2001) calculan que Chile tiene un razonablemente bajo nivel de volatilidad presupuestal en el tiempo (cambios en porciones presupuestales de mayores portafolios). Esto indica, primafacie, un razonable nivel de credibilidad en el presupuesto. 7 * El gobierno de Lagos, temiendo un futuro debilitamiento del consenso ínter-partidario sobre estabilidad económica, llevó a cabo varias iniciativas. Para el 2001 estableció una estricta regla de política fiscal conectando el nivel de gasto al nivel de ingreso, pero teniendo en consideración variaciones cíclicas a mediano plazo en ingresos sobre la base de pronósticos de expertos independientes. (Esto requirió la adopción de un ejercicio interno para la programación financiera a mediano plazo a fin de indicar la reasignación del gasto a mediano plazo, requerido para mantener la regla de política fiscal). * Desde el 2001, DIPRES tomo medidas para reducir la tendencia incremental al establecer el presupuesto. Ello requirió que los ministerios redujeran el gasto inercial en al menos dos por ciento, y que se introdujera el Fondo Concursable (Bidding Fund) que habilitó a las agencias a requerir, por competencia, nuevos fondos para programas nuevos o expandir ya existentes. La dirección de la administración publica. Chile tiene impresionantes políticas. Esto es demostrado en la estabilidad macro econónica demostrada a largo plazo, historia de crecimiento económico, reducción de sus niveles de pobreza, e innovadoras políticas de solución en áreas tan diversas como reforma de pensiones, reforma educativa, control de la contaminación, y derecho de agua. Debe inferirse que Chile es efectivo en la producción de buenas políticas y que su sistema de gobierno es bueno en la adopción e implementación de ellas. Por que es esto? Esto no es precisamente claro, pero es importante hacer esa pregunta por que puede ser que sean también las mismas condiciones bajo las cuales una cultura de evaluación florezca. Coordinación de política. La maquinaria formal gubernamental para las decisiones de política no parece bien desarrollada. De hecho, problemas de coordinación que son típicos de muchos gobiernos pueden ser vistos en dos niveles. Primero, la coordinación a nivel del ejecutivo parece débil. El gabinete juega un rol limitado. La coordinación entre las agencias líderes- DlPRES, la Secretaria General de la Presidencia, el Ministerio del Interior ( y, hasta cierto grado, el Ministerio de Planeación y Cooperación) no es sistemática. Segundo, la coordinación entre los sectores es también débil. Un ministerio organiza un portafolio de agencias, pero los Ministros (quienes esperan estar en sus puestos de dos a cuatro años) están típicamente asociados con mantener relaciones con el resto del gobierno y el público como para ser capaces de impulsar la necesaria sinergia dentro de sus portafolios.14 14 Entrevistas en el sector educacíón. 8 Consenso depolftica.15 Por otro otro lado, Chile democrático ha disfrutado de un remarcable grado de consenso de política: la coalición de centro-izquierda y la oposición de derecha han cavado un terreno intermedio de amplios acuerdos de política. Este consenso puede haber sido facilitado por las reglas de votación que estimulan la coalición de dos para dominar el Congreso. Pero ello puede ser el producto de un mutuo deseo de evitar crisis políticas y económicas que marcaron las décadas de antes del retomo a la democracia. Curiosamente, parecería que los gobiernos de centro-izquierda se han sentido libres para prestarse ideas intelectuales de la derecha. (La derecha es un más inagotable productor de ideas).'" También aparece que una de las claves para hacer que el consenso funcione para decisiones intermedias de política es que expertos neutrales son centrales en el diseño y evaluación de las políticas.'7 De hecho, muchas decisiones de políticas en Chile han llegado a ser "tecnificadas" (i.e. despolitizadas). Acaso el sistema de evaluación de Chile, fuertemente basado en expertos neutrales, juega el rol político de asegurar los dos lados del debate político que las políticas efectivamente ocupen un acordado campo intermedio. Es generalmente considerado que ha habido un declinante nivel de consenso inter.- partidario en años recientes. De ser así, ello podría tener implicancias para el rol de las evaluaciones. El rol de la DIPRES. La DIPRES podría ser el más poderoso cuerpo de coordinación de política en el gobierno. Juega este rol debido a su poder y credibilidad. DIPRES tiene un venerable ancestro: una oficina de presupuesto que jugó el rol de líder en la coordinación del gobierno desde los 30s.18 El sistema polftico Chileno es deseoso de acordar un gran poder a DIPRES por la razón de que este ha buscado un consenso de políticas: el deseo de evitar la recurrencia de crisis pasadas. DIPRES también ejercita este poder por que ella contiene técnica de expertos y esta técnica da credibilidad a ambos lados del corredor 15 Un interesante borrador de reporte de investigación (ver Aninat et al, 2004) pinta un cuadro menos sanguíneo. El describe un excesivamente fuerte ejecutivo, con un cercano monopolio en establecer la agenda, y un débil Congreso. Enfrentarse al ejecutivo es igualmente un remarcable arreglo de "entidades con poder de veto": la Corte Suprema, cabezas de las fuerzas armadas, senadores nombrados, Tribunal Constitucional, etc. En adición de esta estructura formal institucional hay dos significativas características de esta estructura "informal". Primero, las dos coaliciones políticas están significativamente constreñidas por sus orientaciones políticas. Segundo, hay muchas instituciones que implementan y ejecutan las leyes en un honesta y relativamente transparente manera. El resultado, al menos en el área de políticas económicas mas visibles a extranjeros, es un grupo de bien diseñadas, transparentes, y predictables políticas amistosas con los negocios. En Chile hoy dia existe una ampliamente compartida vocación por la competitividad en las exportaciones.Por ahora, este consenso en la importancia de la competitividad económica habilita el ejecutivo como determinador de la agenda y los varias entidades con capacidad de veto, estar acorde con eficientes, predictables y pro mercado políticas económicas. Todavía, el mismo grupo de individuos operando en el mismo contexto institucional, están completamente paralizados en temas relativos a derechos humanos. 1 en relación a reformas laborales y educativas, las mismas entidades con capacidad de veto han persistentemente bloqueado iniciativas políticas gubernamentales. 16 Entrevistas a Congresistas. 17 El alcance en el cual la política neutral de expertos es usado hace acaso Chile el único país en el mundo. (No es correcto llamar al uso de expertos "neutral": la muchos de los expertos en Chile vienen de los mismos colores políticos, si solo se considera la posición ellos ocupan en el espectro ideológico). Los economistas han ganado una particular posición de importancia en Chile (ver Montecinos, 1998) 18 Spink (1999). 9 político. Cualquier iniciativa de descentralizar el poder de decisión y de politica a los ministerios tendría que tener en cuenta la combinación de centralización y "tecnificación" que aparecen haber sido parte importante de como explicar las exitosas decisiones de política en Chile. La organización de la reforma del sector publico. Al menos en el papel, la tarea de modernización del sector público es compartida por varios ministerios, El Ministerio de Hacienda (a través de la DIPRES), la Secretaría General de la Presidencia, y los Ministerios de Planeación y Cooperación y del Interior. En la práctica, DIPRES parece estar jugando un rol crecientemente dominante. (Por ejemplo, el Ministerio de Hacienda ahora tiene una nueva Dirección del Servicio Civil). Gestión del Sector público y evaluación: asuntos relevantes. Nuestra revisión de la gestión pública podría indicar algunas de las condiciones que favorecen que el sistema de evaluación funcione. (Esto equivale a una teórica de polftica). * Alguien puede hipotetizar que es una combinación de predictabilidad y flexibilidad en el presupuesto que los resultados de evaluación contribuyan a las decisiones presupuéstales. La relativamente buena predictabilidad del presupuesto ejecutado de Chile (a ser demostrado) permite a las agencias planear racionalmente. La flexibilidad presupuestal no es grande, pero ha sido formalizada a través de la cuota del dos por ciento como reducción en el tamaño de cada portafolio y la introducción del fondo concursal. * El particular modelo de decisión de políticas de Chile se caracteriza por un extensivo consenso político, una extremadamente poderosa oficina de presupuesto, y una "tecnificación" en la gestión y supervisión de la implementación de la política de consenso. Estas circunstancias explican el sistema tan particular de evaluación de Chile y su aparente [destacado] éxito comparado con otros sistemas de evaluación nacional. Nuestra revisión de la gestión pública también empieza a indicar algunos asuntos para el futuro del sistema de evaluación: * Cual es el impacto en el sistema de evaluación de Chile del desdoblamiento entre sus organismos de decisión de políticas (ministerios) y sus organismos de implementación de políticas (Servicios descentralizados, o agencias ejecutivas)? La actual política parece ser mas formalmente enlazar las agencias a los ministerios. (Nueva Zelanda y el Reino Unido encontraron que la desdoblada implementación de la toma de decisión de polfticas amenazaban la coherencia del control central. Australia estuvo determinada a mantener el control central y coherencia de política desde el inicio de sus reformas). Puede la evaluación ayudar a los ministerios a mantener la coherencia de política? * En la medida que la política de consenso de Chile se debilite, puede ser más difícil para el sistema de evaluación mantener su Perfil. 10 I ANExo B ANÁLISIS DEL MARCO LóGICO DEL PROGRAMA DE EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES (EPG) EN CHILE 11 ANÁLISIS DE LA MUESTRA DE LAS MARCO LÓGICOS DE 15 EPG Descripción General Esta evaluación se basa en una muestra de 15 EPGs que cubre siete años, desde que inició (1997- 2003) el programa. Para determinar la evolución y cambios en el tiempo, cinco programas que han sido evaluados dos veces en la línea EPG, fueron seleccionados. Además de la cobertura de todos los años, la selección de programa fue al azar, no se le dio preferencia a ningún sector. La guía más importante para esta evaluación son los estándares que la misma DIPRES establece para las Matrices de Marco Lógico. De acuerdo a la metodología de DIPRES, el Marco Lógico es un instrumento para examinar el desempeño del programa a través del tiempo. Este debe presentar una sistemática apreciación de los objetivos del programa y sus relaciones causales, y permitir un entendimiento de los factores internos y externos que tienen un impacto en su éxito (o "fracaso"). Los criterios de evaluación siguen de cerca la estructura de la metodología de Marco Lógico. El principal propósito de la evaluación de esta muestra fue ganar insights de la aplicación de la metodología de Marco Lógico a lo largo del tiempo. Estas no son evaluaciones de EPG individuales, ni juicios cuantificados sobre el programa como un todo dentro de la muestra. El análisis en la sección 1.5.1 del documento es complementado por una variedad de otras fuentes, como se menciona en la nota de pie de página de esa sección. Criterios: Calidad de la Matriz de Marco Lógico Objetivos E1 sistema Chileno de objetivos es muy sofisticado. Este formula objetivos en cuatro niveles de abstracción (actividades - componentes -propósito - fin). Con base en el efecto del programa mismo, mas otras influencias formuladas en la sección de supuestos, las relaciones causales deben ser trazadas hasta las metas superiores de la actividad gubernamental. En esta sección, se dará una idea general de los objetivos del programa en cada nivel y se reportarán asuntos mayores u otros problemas. Factores importantes son cambios durante el tiempo de implementación y desviaciones de la metodología. * Indicadores Los indicadores son subdivididos en cuatro categorías (eficacia, calidad, eficiencia, economía). No todas las dimensiones son igualmente importantes, y la compleja racionalidad detrás del sistema de indicadores parece difícil de poner en práctica. Para evaluar completamente la calidad de cada indicador en cada evaluación, se necesitaría tener mas conocimiento sectorial, pero se puede aprender mucho a partir de las cifras, la distribución y la consistencia de los indicadores utilizados. 12 * Supuestos En teoría, los supuestos son una parte central de cada Marco Lógico. Junto con el resultado esperado de los componentes del programa, ellos muestran si un programa es en principio factible. El monitorear los supuestos durante la evolución del programa es un instrumento-guía importante. Esta sección analizará los supuestos del Marco Lógico en la medida de lo posible. Los factores importantes incluyen el detalle con el que los supuestos son presentados, el rol que juega la evaluación de riesgo y si los supuestos son adecuados a un marco causal más amplio. * Integración a la EPG En esta sección, se evaluará que tan importante es el marco lógico para la EPG. Es solo un resumen del informne principal, o estructura el informe y sus conclusiones? o Resumen y otras observaciones Los principales puntos acerca del Marco Lógico de las EPG. Solo si el Marco Lógico cumple con los requerimientos formales de la metodología del Marco Lógico, podrá ser considerada satisfactoria. La evaluación del Marco Lógico es relativamente simple; solo aquellas EPG con marcos lógicos altamente deficientes serán juzgados como no satisfactorios en este respecto. Cuadro B1. Descripción General de la Muestra Programa de Equipamiento Comunitario Ministerio de Vivienda y Urbanismo 1997-1 Un marco lógico Programa de Escuelas de Sectores Pobres (P-900) Ministerio de Educación 1997-1 Un marco lógico Proyectos de Mejoramiento Educativo (PME) Ministerio de Educación 1997-1 Un marco lógico Subsidios al Transporte Regional Ministerio de Transportes y 1998-1 Un marco lógico Telecomunicaciones Generación de Capacidades en Localidades Pobres MIDEPLAN 1998-1 Sin marco lógico Fortalecimiento de la Gestión Municipal Ministerio del Interior 1999 Un marco lógico Subsidios de Enfermedad y Medicina Curativa Ministerio de Salud 1999 Un marco lógico Fomento a la Microempresa Ministerio de Economía 2000 Un marco lógico Programa de Escuelas de Sectores Pobres (P-900) Ministerio de Educación 2001-2 Un marco lógico Programa Equipamiento Comunitario Ministerio de Vivienda y Urbanismo 2001-2 2 marcos lógicos Fondo de Proyectos de Mejoramiento Educativo Ministerio de Educación 2002-2 2 marcos lógicos (PME) Subsidios al Transporte Regional Ministerio de Transportes y 2002-2 2 marcos lógicos Telecomunicaciones Generación de Capacidades en Localidades Pobres MIDEPLAN 2002-2 2 marcos lógicos, pero idénticos Programa de Educación de Adultos EFA y ETEA Ministerio de Educación 2003 2 marcos lógicos, pero idénticos Programa de Préstamos Médicos en Salud Ministerio de Salud 2003 Un marco lógico 13 MARCOS LÓGICOS INDIVIDUALES Evaluación del Marco Lógico: Programa de Equipamiento Comunitario Evaluación de las EPG, de agosto de 1997 Ministerio Responsable: Ministerio de Vivienda y Urbanismo Descripción General El programa fue iniciado en 1996; este tenía datos disponibles solo de dos años al momento de esta evaluación. El objetivo del programa es apoyar la construcción de infraestructura social a nivel local, especialmente en comunidades pobres con el propósito de reducir el déficit de infraestructura social local que genera desigualdad, segregación y degradación ambiental. Este programa se enfoca en aquellas partes del país donde tales insuficiencias son evidentes. El apoyo anual del proyecto se otorga a través de un proceso competitivo; en 1996 el programa apoyó principalmente proyectos en tres áreas: a) locales sociales, b) parques, c) locales deportivos. La EPG contiene un Marco Lógico. Objetivos El objetivo del programa es mejorar la calidad de vida de la población y estructurar las áreas urbanas en los complejos habitacionales básicos construidos por MINVU. El programa por sí mismo debe contribuir a esta meta de mayor nivel al alcanzar el propósito, cuando aquellos complejos habitacionales básicos están equipados con infraestructura que satisface necesidades sociales, recreativas y médicas. Hay tres componentes, que a) establecen un sistema para proveer una infraestructura comunal de acuerdo a una clara y a un criterio establecido que son conocidos para las comunidades, b) proveer estudios que contienen planeación territorial, identificar propiedades, necesidades financieras y recursos, c) contar con grupos locales para aplicar a proyectos y obtener apoyo del programa. Los evaluadores señalan que no existe una manera objetiva de establecer la necesidad del programa, sin embargo, se dice que la alta demanda por los proyectos justifica el programa. La población objetivo no está definida, se recomienda que se conduzcan estudios para definir los beneficiarios y la demanda. Supuestos Los supuestos están desarrollados en todos los niveles requeridos por la metodología de Marco Lógico. Estos supuestos están bien desarrollados y reflejan el involucramiento de varios actores institucionales en los niveles nacional y local para que el programa avance hacia adelante. Este es uno de los pocos marcos lógicos que también incluye supuestos en el nivel inferior, los prerrequisitos para alcanzar los objetivos del componente. Indicadores Existen indicadores para medir el propósito (3), y los componentes (uno por componente A y uno por componente C). En suma, existen bastantes indicadores para monitorear actividades del proceso. Los indicadores no están claramente diferenciados. Los evaluadores recomiendan el establecimiento de un sistema de objetivos anuales y un sistema de monitoreo. Integración del Marco Lógico a la EPG El marco lógico refleja la dirección general del informe principal EPG. 14 Resumen y otras observaciones El Marco Lógico completa todos los requerimientos metodológicos. El set de supuestos está bien desarrollado y se compara favorablemente con otros programas. La evaluación misma carece de criterios transparentes para juzgar el programa; su generalmente positiva condición no es sustentada por mucha evidencia sistemática. 15 Evaluación del Marco Lógico: Programa de Mejoramiento de la Calidad de las Escuelas de los Sectores Pobres (P900) Evaluación de EPG 1997. Ministerio Responsable: Ministerio de la Vivienda y Urbanismo Descripción General El programa fue iniciado en 1990. Este apoya escuelas en municipalidades pobres. La EPG contiene un marco lógico. El programa tiene como objetivo mejorar el aprendizaje en los primeros cuatro grados del 10% de las escuelas con peores niveles de lectura, escritura y matemáticas. Esto se deberla lograr mejorando el equipo e infraestructura escolar. Objetivos El programa tiene comofin el haber mejorado los niveles de aprendizaje entre los estudiantes en todas las disciplinas básicas en toda las escuelas cubiertas, estas ganancias siendo equitativamente distribuidas. El propósito contribuye al fin por medio del incremento del desempeño de los estudiantes, en el primer ciclo básico en escuelas localizadas en áreas rulares y urbanas extremadamente pobres, en el campo de las matemáticas, lectura y escritura. El programa tiene tres componentes: a) reparaciones físicas en las escuelas participantes, b) provisión de libros y otros materiales de enseñanza, c) programas de entrenamiento de maestros y talleres, d) talleres de aprendizaje para estudiantes de 3er y 4to grados, e) fortalecimiento de la gestión en las escuelas y la administración local respectiva. Los objetivos de nivel superior podrían ser mejor desarrollados para reflejar diferentes niveles de abstracción. Indicadores Los indicadores para monitorear el desempeño del programa están en una buena posición para referir los datos de una forma de exámenes estandarizados tomados por estudiantes en cuarto grado. El programa tiene un indicador de desempeño en el nivelfin (midiendo el mejoramiento de los resultados promedio en las escuelas cubiertas), que no es posible bajo la actual metodología de marco lógico. Esto subraya que, cuando un sistema sea factible en términos de datos disponibles y de costos, sería poco prudente prohibirlo. Existen mas indicadores en todos los niveles del programa, que no están diferenciados en categorías, en línea con los requisitos del momento. Supuestos Existe únicamente un supuesto para un componente, y todos los supuestos de los demás niveles superiores al del componente están en blanco. Todas las entradas para actividades tienen un supuesto. Esta pudo no haber sido la mejor priorización de dónde desarrollar supuestos y dónde no. No existe una evaluación de riesgo en conjunción con los supuestos. Integración del Marco Lógico a la EPG El marco lógico refleja la dirección general del informe principal EPG. Resumen y otras observaciones El marco lógico sigue los requerimientos de la metodología del marco lógico. El tratamiento de supuestos deja mucho que desear. El marco lógico contiene un indicador al nivel delfin. 16 Evaluación del Marco Lógico: Programa de Mejoramiento Educativo (PME) Evaluación de la EPG Agosto 1997 Ministerio Responsable: Ministerio de Educación (MINEDUC) Descripción General El programa fue iniciado en 1992. Este busca mejorar la desempeño educacional a través de la creación de capacidad- en las escuelas en una manera descentralizada. Los Programas de Mejoramiento Educativo son diseñados para escuelas individuales; en 1995, 3,1 1 1 de estos programas operaron en 4,402 escuelas, involucrando 62,875 profesores y 1,347,651 estudiantes. La EPG contiene una propuesta de Marco Lógico. Objetivos El fin del programa es mejorar la calidad y la igualdad en la educación. El propósito es descentralizar la capacidad educacional construida, a las escuelas fomentando la innovación y autonomía entre profesores, lo que supuestamente mejorará la calidad de la enseñanza. Desviándose de la actual metodología, el Marco Lógico contiene una línea horizontal de resultados, definida como el número de proyectos que alcanzan sus objetivos propuestos. Esta disposición cambia la lógica causal de la matriz de Marco Lógico que no se encontró en otras EPGs. Actividades y componentes están consolidados en una barra horizontal. Mientras que el alto número de 7 componentes y 18 actividades en total hace el Marco Lógico menos que conciso, la consolidación de estos dos niveles parece razonable conforme a bases lógicas. Supuestos Los supuestos son presentados en todos los niveles requeridos en la cadena causal de objetivos, el nivel defin también contiene un supuesto, que no es propuesto por la metodología (porque los supuestos llevan al siguiente nivel en la cadena causal). Los supuestos están bien diseñados y presentan un set fundamental de hipótesis causales. Por ejemplo, que la descentralización educacional mejora la calidad de la educación está basada en supuestos sobre la manera en que la descentralización mejora el desempeño y la capacidad en el nivel local. Estos supuestos están presentes en el Marco Lógico. Desafortunadamente, los supuestos no incluyen la evaluación del riesgo. Indicadores Los indicadores están presentes en cada nivel de los objetivos, aún el progreso hacia el fin es medido por dos indicadores, a pesar de que esto no es requerido por la metodología. Los indicadores no están diferenciados en subcategorías, y un número total de 23 indicadores en el nivel de actividad parece alto y tal vez inmanejable. Los evaluadores dudan que el presente sistema de recolección de datos permita una evaluación bien fundamentada del impacto del programa. Los indicadores para monitorear elfin y el propósito del programa pueden ser considerados indicadores de resultados. Integración del Marco lógico a la EPG El Marco Lógico está muy bien integrado a la EPG. Esto captura la base lógica del programa y lleva a recomendaciones razonables. Específicamente, la EPG cuestiona la validez de bastantes supuestos del programa, aunque el programa es todavía considerado como bien justificado y 17 exitoso. Los evaluadores no proponen, sin embargo, un nuevo Marco Lógico basado en sus recomendaciones y observaciones. Resumen y otras observaciones Su diseño se desvía en varias instancias de la actual metodología. No es de nuestro conocimiento si una diferente metodología fue usada o si los evaluadores tenían la libertad de diseñar el Marco Lógico por si mismos. El Marco Lógico estructura el argumento de las recomendaciones de la EPG. 18 Evaluación del Marco Lógico: Programa de Generación de Capacidades en Localidades Pobres (E. TODOS) Evaluación de la EPG Agosto 1998 Ministerio responsable: Ministerio de Planificación y Cooperación Descripción General El programa fue iniciado en 1991. Este busca mejorar la situación de la población pobre, por medio del apoyo de gran variedad de proyectos, mayormente de infraestructura (76.2% en 1995), deportes y recreación (7.8%). La EPG no contiene un Marco Lógico, a pesar de que hay dispersas referencias a un Marco Lógico a través del texto. Objetivo El fin último del programa es permitir que los habitantes de áreas pobres mejoren gradualmente sus condiciones materiales e inmateriales de vida. El propósito inmediato del programa es la implementación de planes de desarrollo local preparados por las comunidades. Indicadores Existen indicadores para elfin, propósito y los dos componentes del programa. Ellos no son discutidos extensamente. Supuestos N/a Resumen y otras observaciones No hay un Marco Lógico para evaluar, aunque las coordenadas principales del programa fueron discutidas en el informe principal EPG. 19 Evaluación del Marco Lógico; Programa de Subsidios al Transporte Regional (STR) Evaluación de la EPG Agosto 1998 Ministerio Responsable: Ministerio de Transportes y Telecomunicaciones (MTT) Descripción General El programa fue iniciado en diferente forma en 1979-80. Este busca mejorar las conexiones de transporte a través del- país mediante el subsidio a los servicios de transporte, tanto de carga como de pasajeros. La EPG contiene un Marco Lógico, la documentación es amplia y parece estar completa. Objetivos El fin del programa es contribuir a la integración y mejoramiento social y económico de áreas aisladas mediante la provisión de subsidios a los servicios de transporte de pasajeros y de carga (propósito). Indicadores Los indicadores existen para elfin, el propósito y el componente del programa. Ellos no son discutidos extensivamente. La metodología de marco lógico no requiere indicadores en el nivel defin. Supuestos Existen supuestos en todos los niveles del marco lógico, aún al nivel delfin. Esto es técnicamente incorrecto, porque el supuesto debería ir junto al objetivo del mismo nivel para alcanzar el objetivo del siguiente nivel (mas alto), de manera que no pueda haber un supuesto en el nivel superior del marco lógico. De otra manera, los supuestos reflejan el establecimiento institucional del programa y enriquecen el entendimiento de la complejidad del sector. Integración del Marco Lógico a la EPG El marco lógico refleja la dirección general del informe principal EPG. Resumen y otras observaciones El marco lógico está preparado de una manera comparable a los elaborados durante los primeros años del programa. Debido al hecho de que bastantes entradas son ilógicas y contrastan con la metodología, se concluye que se hizo un esfuerzo para llenar cada espacio requerido sin poner mucha atención a su lógica interna. 20 Evaluación del Marco Lógico: Programa de Fortalecimiento de la Gestión Municipal (PROFIM) Evaluación de la EPG Agosto 1999. Ministerio responsable: Ministerio del Interior Descripción General El programa fue iniciado en 1994 y cerrado a finales de 1998. Este buscó crear capacidad de gestión en una selección de 25 municipalidades. La EPG contiene una propuesta de Marco Lógico. Objetivo El fin del programa fue contribuir al proceso de descentralización, democratización y modernización del país a través del fortalecimiento del nivel municipal de la administración pública. El propósito del programa fue promover la autonomía local y la provisión de servicios a través del fortalecimiento de la capacidad de las municipalidades en varias áreas de gestión del sector público. Hubieron tres componentes, fortalecimiento institucional al nivel local (4 actividades), un conjunto de estudios nacionales (5 actividades) y la propuesta de un proyecto de seguimiento (2 actividades). El grupo de componentes pudo haber sido mejor organizado, ya que solo fue posible entenderlo después de referirse al texto de la EPG. Supuestos Existen supuestos para todos los niveles del Marco Lógico. Ellos se enfocan especialmente en varias instituciones de cooperación (entre ellas el Banco Mundial, baja rotación del staff en el Banco es uno de los supuestos para el éxito de las actividades). Los supuestos son menos claros en los niveles más altos de abstracción. No se proporciona evaluación del riesgo. Indicadores La columna de indicadores está subdividida en indicadores actuales e indicadores posibles. La diferencia no se explica, lo cual es especialmente confuso porque el programa ya se cerró. Los indicadores no son diferenciados. Nueve indicadores miden el propósito, tres indicadores el componente 1, cuatro el componente 2, y dos el componente 3. Los evaluadores sugieren la inclusión de indicadores adicionales y más cualitativos; específicamente encuestas dentro de los gobiernos municipales para medir la satisfacción con el programa. Integración del Marco Lógico a la EPG El Marco Lógico pudo haber sido mejor integrado en la evaluación. La única discusión explícita del Marco Lógico, dirigida a su lógica vertical y horizontal, es de dos párrafos de largo. Los evaluadores están totalmente satisfechos con el Marco Lógico. Resumen y otras observaciones La EPG es concisa y bien escrita. Sus recomendaciones son explicadas en su totalidad se discuten ampliamente. Sin embargo, el Marco Lógico no aparece prominentemente en la evaluación como un todo. Especialmente, los indicadores hubieran merecido más detallada explicación. 21 Evaluación del Marco Lógico: Programa de Enfermedad y Medicina Curativa (SIL) Evaluación de la EPG Agosto 1999 Ministerio responsable: Ministerio de Salud Descripción General Es un proyecto que ha operado por mucho tiempo, el cual fue iniciado en 1924. Es un programa básico de seguro de salud que ayuda a individuos incapacitados como resultado de accidentes no relacionados con el trabajo o enfermedad, proporcionándoles apoyo financiero por el tiempo que no pueden trabajar. La EPG contiene una propuesta de Marco Lógico. Objetivos El programa tiene dos objetivos para contribuir a la seguridad social del trabajador y para la recuperación de su salud. El propósito del programa es reemplazar la pérdida de ingreso del trabajador en caso de incapacidad temporal para trabajar. Los cuatro componentes delinean las varias etapas necesarias para la aceptación de reclamos, pago de seguro, pagos para reclamantes y la gerencia del sistema. Los evaluadores proponen reorganizar los componentes y actividades para reflejar mejor la relevancia de algunas actividades (y una de las cuales "merece" ser un componente). Estos cambios están bien argumentados, a pesar de ser difíciles de evaluar sin un conocimiento sectorial. El Marco Lógico contiene un alto numero de actividades (8, 6, 7 y 6 actividades para los componentes del 1 al 4, respectivamente). El Marco Lógico se beneficiaría de alguna agregación u ordenamiento para mejorar el enfoque en su lógica interior. Supuestos Los supuestos son presentados para el propósito y para cada componente, no para las actividades. Ellos cubren asuntos importantes relacionados a las agencias implementadoras y a los beneficiarios. No hay una evaluación del riesgo. Los supuestos no muestran un desarrollado sistema de hipótesis. Indicadores Los indicadores están presentes en los niveles componente (un total de 28) y propósito (12). Los medios de verificación no siempre se proporcionan. Los Indicadores no son diferenciados. Es difícil evaluar, debido a su gran número, cuan sistemáticamente estos permiten monitorear los objetivos. Integración del Marco Lógico a la EPG El Marco Lógico refleja las recomendaciones hechas por los evaluadores. Hay cierta información sobre el Marco Lógico en el informe principal, la EPG contiene una breve discusión de la lógica vertical y horizontal del Marco Lógico. En general, el Marco Lógico no es empleado mucho mas allá de las secciones requeridas en los términos de referencia. Resumen y otras observaciones El Marco Lógico de la EPG juega cierto rol en la evaluación como un todo. No parece que el programa tuviera un Marco Lógico en uso antes de que lo evaluaran; los evaluadores solo proporcionan un nuevo Marco Lógico. El Marco Lógico podría ser más sistemático, pero incorpora los cambios propuestos por los evaluadores. 22 Evaluación del Marco Lógico: Programa de Fomento a la Microempresa Evaluación de la EPG Setiembre 2000 Ministerio responsable: Ministerio de Economía Descripción General El programa fue iniciado en 1997. Este apoya pequeñas empresas por medio de la asistencia directa y mejoras de los servicios municipales que fortalecen la actividad económica. La EPG contiene una propuesta de Marco Lógico. Objetivos Elfin del programa es contribuir a la competitividad de los pequeños negocios y de las condiciones de trabajo, el empleo y al desarrollo económico de la comunidad. El propósito es mejorar el nivel de la actividad económica de pequeños negocios focalizados y sus ambientes. El Marco Lógico lista tres componentes, (1) servicios para pequeños negocios, (2) estudios de pre inversión, y (3) fortalecimiento municipal. Confusamente, los objetivos para el primer componente están divididos en tres sub componentes/objetivos, los cuales son adicionalmente subdivididos en actividades. Los niveles de agregación del Marco Lógico no son muy claros. El Marco Lógico establece una larga lista de actividades, las cuales cubren cuatro paginas en el documento. Supuestos Los supuestos son presentados en el Marco Lógico en todos los niveles requeridos. Estos son enunciados muy cortas, solo un supuesto por componente. Solo la relación entre propósito yfin está más elaborada, los tres supuestos juntos proporcionan un adecuado entendimiento de las relaciones causales en este nivel. No hay una evaluación del riesgo. Indicadores Los indicadores se dan del propósito para abajo, estos no son diferenciados en las cuatro dimensiones. Los siete indicadores de propósito juntos indican el desempeño del programa y su resultado; estos incluyen mediciones cualitativas tales como encuestas de beneficiarios. Los componentes e indicadores de actividad son exclusivamente cuantitativos, mayormente mediciones de costos, un indicador por actividad. Integración del Marco Lógico a la EPG El Marco Lógico está integrado a la EPG, a pesar que no parece jugar en general, un importante rol en el documento. Los evaluadores se muestran satisfechos con la lógica vertical y horizontal del Marco Lógico, ellos proponen varias aclaraciones pero no mayor rediseño. Como solo se presenta un Marco Lógico, la comparación de antes y después no fue posible. Sumario y otras observaciones La EPG está completa y generalmente bien ejecutada. El Marco Lógico no juega un muy importante rol para la EPG como un todo. No es claro si el programa operó con un Marco Lógico antes de la evaluación porque solo se presenta un Marco Lógico. 23 Evaluación del Marco Lógico: Programa de Equipamiento Comunitario Evaluación de la EPG Junio 2001 Ministerio responsable: Ministerio de la Vivienda y Urbanismo (MINVU) Descripción General El programa fue iniciado en 1996, este fue sujeto a una primera EPG en 1997. Dicho programa provee infraestructura en áreas pobres donde la vivienda básica fue construida por el programa de vivienda pública del MINVU. El programa apoya una variedad de infraestructura, tal como parques, lugares públicos, deporte y recreación, salud básica, educación y seguridad. Como se mencionó anteriornente, esta es la segunda evaluación EPG del mismo programa. Este Marco Lógico refleja la mejora en la metodología en comparación con la primera evaluación. Los objetivos están formulados más claramente, y especialmente el sistema de indicadores está mejor organizado. Esta EPG contiene los dos Marcos Lógicos requeridos por los términos de referencia. Objetivos Elfin del programa es mejorar la calidad de vida de la población de las áreas de vivienda básica construidas por el MINVU. El propósito es permitir a los habitantes de los complejos de vivienda básica tener infraestructura comunal a su disposición para descansar, socializar y aprender en un modo que no incremente el déficit de los servicios municipales involucrados. El componente singular es la construcción de dicha infraestructura dividida en categorías de parques, deporte y recreación, educación, lugares públicos, y centros comunitarios. Hay siete actividades bajo este componente, el cual define la planeación y ejecución de la construcción por entidades nacionales y locales. Los evaluadores recomiendan un cambio en el nivel de componente, para reemplazar la confusa disposición de construcciones con una mínima organización estándar de infraestructura comunal ("plaza vecinal") y enfocar las actividades de construcción en esta única categoría. La consolidación de actividades en una categoría brindará mayor claridad al programa y mejorará el monitoreo y evaluación del desempeño. Se recomienda adicionalmente integrar este programa en el programa de vivienda del MINVU para una mejor alineación de la oferta y demanda así como para mejorar el desempeño. Supuestos Los supuestos están presentes en todos los niveles requeridos de los objetivos de la cadena causal. Ellos cubren importantes condiciones en la lógica causal, e.g. "la calidad de vida será mejorada si los ciudadanos usan la nueva infraestructura construida." Como los supuestos no incluyen una discusión del riesgo, es difícil juzgar cuánto valor agregado estos pueden traer al Marco Lógico. Indicadores Los indicadores están presentes en el nivel componente y propósito. Medios de verificación son proveídos. En el nivel componente, hay tres indicadores de: efectividad (1), calidad (1), y eficiencia (5). Ellos son los indicadores de productos directamente relacionados al componente del programa. En el nivel propósito, hay indicadores de efectividad (3) y eficiencia (1). Estos también son indicadores de producto (porcentaje de proyectos ejecutados versus planeados, costo 24 por proyecto versus costo promedio por proyecto). Un indicador de efectividad (utilización de proyectos) mide un resultado o impacto, pero estas categorías no son distinguidas como tales. Los evaluadores sugieren un diferente grupo de indicadores en línea con la simplificación de actividades. Hay un indicador para medir efectividad, calidad y eficiencia al nivel de propósito. Los indicadores de componente están también simplificados en dos de efectividad, uno de calidad y una de eficiencia. Los evaluadores lamentan que el sistema de monitoreo y evaluación es muy subdesarrollado y deficiente, especialmente a largo plazo. Integración del Marco Lógico a la EPG El Marco Lógico está bien integrado a la EPG. Las principales recomendaciones de los evaluadores fluyen directamente del nuevo Marco Lógico propuesto, con la excepción de una propuesta de integración con otro programa. Debido a que esto se debe a un fallo fuera del Marco lógico de este programa, no disminuye la generalizada impresión favorable. Resumen y otras observaciones El Marco Lógico de la EPG es bueno. Los evaluadores proponen cambios sustanciales al programa que se traducen en cambios concretos en el Marco Lógico. El Marco Lógico propuesto contiene todos los elementos requeridos por la metodología del Marco Lógico y es más estructurado que la versión original. 25 Evaluación del Marco Lógico: Programa de Escuelas de Sectores Pobres (P-900) Evaluación de la EPG Junio 2001 Ministerio Responsable: Ministerio de Educación (MINEDUC) Descripción General El programa fue iniciado en 1990. Esto apoya escuelas de pobre desempeño con materiales y asistencia técnica. Fue cubierta por una evaluación EPG en 1997. El presente Marco Lógico se compara favorablemente con el anterior. El objetivo del nivel más alto distingue mas claramente entre los niveles de abstracción, y el sistema de indicadores está mejor organizado. La evaluación precedente es mencionada solo una vez, en la nota de pie de página. El EPG contiene un Marco Lógico, que fue inicialmente acordado junto con la organización evaluada. Objetivos Elfin del programa es contribuir a resolver la desigualdad creada por deficiencias en la comprensión por los estudiantes atendiendo escuelas elementales de baja capacidad educacional. El propósito es mejorar el aprendizaje de los estudiantes entre el 2do y 8vo grados en las escuelas objetivo. El programa tiene cinco componentes que clarifican los varios aspectos de la asistencia material, programas sociales y la construida capacidad del personal. Los componentes objetivos son apropiadamente formulados como objetivos. La lista de actividades es separada del resto del Marco Lógico y su falta de información adicional la hace dispensable. Supuestos El Marco Lógico presenta supuestos breves en la columna requerida. No hay una evaluación del riesgo. Los supuestos no son explicados. Indicadores Los indicadores están ampliamente documentados; ellos son diferenciados en cuatro dimensiones. Hay 7 indicadores de efectividad en el nivel de propósito, 2 indicadores de calidad, 4 indicadores de eficiencia, y 2 midiendo la economía. En el nivel componente, cada componente es medido por bastantes indicadores con el objetivo claro de tener las cuatro clases para cada componente. Los indicadores de efectividad son numerosos; hay entre tres y cinco por cada componente. El nivel del componente puede no ser el nivel apropiado para tratar de medir la efectividad, ya que tendría que ser específicamente explicado. El alto número de indicadores de efectividad (que deben medir los resultados) para el propósito no parece justificarse, considerando que los evaluadores recomiendan el desarrollo de indicadores de impacto para el programa. Integración del Marco Lógico a la EPG El Marco Lógico no esta bien integrado a la EPG. La discusión de su lógica horizontal y vertical es muy corta. En general, los evaluadores expresan su satisfacción. Ellos hacen menores sugerencias, específicamente que los objetivos de los componentes podrían ser más claros y fáciles de operar. Sus objeciones no son en apariencia, lo suficientemente poderosas para requerir un Marco Lógico alternativo, el cual no es proporcionado. Sumario y otras observaciones El Marco Lógico de la EPG cumple con los requerimientos de la metodología del Marco Lógico. Parece que existe mucho espacio para mejorar el sistema de indicadores. Como el caso de muchos 26 - - - S S g g f lv - Marcos Lógicos, se pone poca atención a los supuestos. A pesar de sus deficiencias, el uso del Marco Lógico en esta EPG es comparable con otras EPG. 27 Evaluación del Marco Lógico: Programa de Generación de Capacidades en Localidades Pobres Evaluación de la EPG Junio 2002 Ministerio Responsable: Ministerio de Planificación y Cooperación (MIDEPLAN) Descripción General De acuerdo a esta EPG, el programa fue iniciado en el 2000. El programa original data desde 1991, este fue sujeto a una evaluación de EPG en 1998, y fue rediseñado en el 2000. Este programa busca construir capacidad entre la población pobre a través de las actividades de un fondo de inversión social (FOSIS). Desafortunadamente, una comparación entre este Marco Lógico y el de la EPG de 1998 del mismo programa no es posible en tanto que este último no contenía un Marco Lógico. Cambios del anterior programa son adecuadamente discutidos, incluyendo una comparación bien diseñada entre objetivos y componentes. Esta evaluación contiene dos Marcos Lógicos requeridos (un inicial y una propuesta de Marco Lógico, si aplica, es requerido por los términos de referencia). Sin embargo, los dos Marcos Lógicos son completamente idénticos. Objetivos Elfin del programa es contribuir a que los grupos señalados por el FOSIS mejoren su capacidad personal y organizacional, su integración en las estructuras sociales, el acceso de la oportunidad y, en general, el fortalecimiento de todos los instrumentos para mejorar los medios de su articulación. Hubiera sido deseable expresar este objetivo de un modo mas conciso. El propósito es que grupos especificados desarrollen la capacidad de generar y ejecutar iniciativas en un modo sostenido. El programa tiene tres componentes. Este Marco Lógico se distingue de muchos otros en esta muestra por formular los objetivos del componente como un objetivo, no como una actividad, que a menudo se hace en otros Marcos Lógicos. Los objetivos del componente son: Grupos objetivo (1) incrementen su capital social, expresado en auto diagnósticos y en la formulación de planes de acción comunitarios, (2) presentar al menos tres perfiles de proyecto y (3) manejar apropiadamente sus proyectos por medio de estándares prescritos por FOSIS. Supuestos Los supuestos son proveídos sin mucha explicación. No hay una evaluación del riesgo. En su breve discusión de los supuestos, los evaluadores notan críticamente la vaguedad de varios supuestos. A pesar de que los Marcos Lógicos propuestos no difieren del inicial, no es claro como a los evaluadores les gustaría mejorar esta deficiencia. Indicadores Los indicadores son proporcionados y diferenciados. Hay 6 indicadores de efectividad en el nivel de propósito, 2 indicadores de calidad, 3 indicadores de eficiencia y uno midiendo la economía. El primer componente tiene 2 indicadores de efectividad, un indicador de calidad y un indicador de eficiencia. El segundo componente tiene 3 indicadores de efectividad, 1 indicador de calidad y un indicador de eficiencia. El tercer componente tiene 3 indicadores de efectividad, 2 indicadores de calidad, y un indicador de eficiencia. La sección de indicador está bien organizada; medios de 28 verificación son proporcionados para cada indicador cuya calidad no puede ser determinada aquí. Los evaluadores notan que la lógica horizontal es deficiente por que lo relativamente nuevo del programa hace difícil la medición del desempeño. Así mismo, es notado que no se ha implementado un monitoreo apropiado y un sistema de recolección de datos. Integración del Marco Lógico a la EPG El Marco Lógico esta bien integrado a la EPG. Las relaciones causales con base en los varios componentes están bien elaboradas y presentadas en el texto y los diagramas. La discusión de las lógicas verticales y horizontales del Marco Lógico es más elaborado de lo usual. Los autores parecen estar cómodos con el lenguaje académico/hipotético del capital social y otros aspectos de las relaciones causales en este programa. Resumen y otras observaciones El Marco Lógico de la EPG es bien aplicado. Es suficientemente discutido en el informe y cumple con los requerimientos de la metodología de Marco Lógico. La discusión de los evaluadores del programa está por encima del promedio. La formulación del fin y del propósito es claramente inalcanzable, y es desafortunado que los dos Marcos Lógicos sean idénticos (esto podría ser un error técnico). 29 Evaluación del Marco Lógico: Programa de Subsidios al Transporte Regional (STRP) Evaluación de la EPG Junio 2002 Ministerio responsable: Ministerio de Transporte y Telecomunicaciones Descripción General El programa fue iniciado en 1979/80. Busca mejorar las conexiones de transporte a través del país mediante el subsidio para los servicios de transportación de carga y de pasajeros. Este es el segundo EPG hecho para este programa, el primero fue conducido en 1998. Los cambios en el Marco Lógico reflejan los desarrollos del programa EPG sobre estos cuatro afños. El Marco Lógico más nuevo tiene indicadores del programa mucho más exhaustivos y mejores y continua muy de cercanamente los estándares metodológicos dejados por DIPRES. Este EPG contiene los dos Marcos Lógicos requeridos. Los Marcos Lógicos propuestos incluyen cambios sugeridos por los evaluadores. Objetivos El fin del programa es contribuir a las condiciones de vida de individuos de comunidades aisladas y contribuir a la integración territorial y económica del país. El propósito es que los individuos en comunidades aisladas puedan confiar en las conexiones de pasajeros y de carga que los conectan a los centros económicos y centros de poblacionales del país. Fin y propósito permanecen inalterados entre los dos Marcos Lógicos. El programa tiene dos componentes. Un componente contiene un subsidio para las compañías para hacer las conexiones de pasajeros y carga mas factibles; el segundo componente contiene un subsidio para los individuos a fin de hacer las conexiones mas accesibles. Originalmente, estos dos componentes fueron tratados como una unidad con un grupo de indicadores y supuestos. Los evaluadores reorganizaron el Marco Lógico en el nivel de componente a fin de separar los dos, junto con diferentes indicadores para cada uno. Esta reformulación hace el nivel componente mas claro y más fácil de operar. No hay mayor cambio en el programa mismo. Supuestos Los supuestos son proporcionados en los campos requeridos; ellos no juegan un rol importante en el informe principal. No hay evaluación del riesgo. Indicadores Los indicadores son proporcionados y diferenciados. Hay 5 (reducidos á 4 en el Marco Lógico final indicadores de efectividad en el nivel de propósito, 3 (2) indicadores de calidad, 6 (3) indicadores de eficiencia y uno (2) midiendo la economía. En el Marco Lógico final el primer componente tiene 3 indicadores de efectividad, y 2 indicadores de eficiencia. El segundo componente tiene 3 indicadores de efectividad. La sección de indicador esta bien organizada; los medios de verificación son proporcionados para cada indicador, cuya calidad no puede evaluarse aquí. El Marco Lógico reformulado llega a reducir en cierto grado el alto número de indicadores al nivel del componente. 30 Integración del Marco Lógico a la EPG El Marco Lógico pudo haber sido mejor integrado a la EPG. La discusión del Marco Lógico en el informe principal es muy corto. Sin embargo, las recomendaciones de los evaluadores conllevan a un Marco Lógico reformulado, lo cual no siempre es el caso en esta muestra. Resumen de otras observaciones El Marco Lógico de la EPG es bien aplicado. Los evaluadores proponen recomendaciones y de acuerdo a esto reformulan el Marco Lógico. La discusión del Marco Lógico en el informe principal y el tratamiento de los supuestos debió haber sido mucho mejor. 31 Evaluación del Marco Lógico: Programa de Mejoramiento Educativo (PME) Evaluación de la EPG Junio 2002 Ministerio responsable: Ministerio del Interior Descripción General El programa fue iniciado en 1992. El busca mejorar el desempeño educacional a través de la capacidad construida en colegios de una manera descentralizada. Los Programas de Mejoramiento de la Educación son diseñados para escuelas individuales. Este programa fue objeto de otra EPG en 1998, la única EPG de ese año que contiene un Marco Lógico. Esta EPG contiene los dos requeridos Marcos Lógicos. Objetivos El fin del programa es mejorar la calidad e igualdad de la educación de los estudiantes en el sistema educativo en el contexto de la reforma de la educación. El propósito es que profesores en escuelas con apoyo estatal que implementan procesos de descentralización pedagógica se comprometan ellos mismos con especificos resultados de sus estudiantes dentro del Marco de una nuevo curriculum. El programa tiene dos componentes. Este Marco Lógico comendablemente formula los títulos del componente y los objetivos del componente, lo cual no es a menudo el caso en otras EPGs. Los componentes son (1) Capacidad Construida, supervisores y profesores son capaces de nuevos métodos y técnicas de gerencia de proyectos; (2) Desarrollo del Proyecto, los profesores elaboran y ejecutan proyectos de mejoramiento educativo. Los objetivos permanecen sin cambios entre el viejo y el nuevo Marco Lógico. Es interesante que, en comparación con la vieja EPG de 1997, la formulación de objetivos en este Marco Lógico es mucho mas técnico y complejo. El alto nivel de objetivos en el Marco Lógico de 1997, el cual se desvía de la metodología de Marco Lógico en varios casos, mantuvo la potencial comparación de intra sectores entre proyectos. Este ciertamente ya no es el caso en el nuevo Marco Lógico. Supuestos Los supuestos son proveídos sin mayor explicación en el informe principal. No hay una evaluación del riesgo. Los supuestos son criticados en el informe principal, pero ellos no son cambiados sustancialmente en el Marco Lógico reformulado. Indicadores Los indicadores son proveídos y son diferenciados. Hay 3 (cambiados a 5 en el Marco Lógico reformulado) indicadores de efectividad en el nivel propósito; 1 indicador de calidad, 3 indicadores de eficiencia, y 1 midiendo la economía. El primer componente tiene 2 (6) indicadores de efectividad, 2 indicadores de calidad, 3 (4) indicadores de eficiencia, y 1 indicador económico. El segundo componente tiene 8 (10) indicadores de efectividad, 2 indicadores de calidad, 3 (-) indicadores de eficiencia, y 2 (-) indicadores económicos. Los medios de verificación se proveen para cada indicador, cuya calidad no es evaluada aquí. Los únicos cambios en el Marco Lógico reformulado están en el sistema de indicador. Estos cambios no parecen cambiar el carácter general; no es posible determinar si ellos mejoran el Marco Lógico, o el monitoreo del proyecto en un modo significativo. 32 Integración del Marco Lógico a la EPG El Marco Lógico esta bien integrado a la EPG. La discusión de las lógicas vertical y horizontal del Marco Lógico es más elaborado que lo usual. Los aspectos importantes del Marco Lógico son subrayados y discutidos en el informe principal. Hay una frecuente referencia al Marco Lógico a través del texto. Sumario y otras observaciones El Marco Lógico de la EPG es bien implementado. Este es suficientemente discutido en el informe y cumple con los requerimientos de la metodología del Marco Lógico. Es muy interesante notar que los Marcos Lógicos en este informe son marcadamente más técnicos y complicados que el anterior Marco Lógico de 1997. Este parece mejorar el sistema de indicadores el cual esta mejor organizado. Es dudoso, sin embargo, si las formulaciones técnicas de objetivos de niveles superiores son útiles, especialmente mas allá de este proyecto. 33 Evaluación de Marco Lógico: Programa de Prestamos Médicos en Salud Evaluación de la EPG Junio 2003. Ministerio responsable: Ministerio de Salud. Descripción General El programa fue iniciado en 1985. El Programa es parte del sistema Chileno de seguro de salud. Es basado en el derecho de cada beneficiario de FONASA de solicitar por una asignación que cubra los co pagos que todo ciudadano debe hacer por los muchos servicios de salud, tales como hospitalización u otros tratamientos especficos. La EPG contiene solo un Marco Lógico. Objetivos Elfin del programa es contribuir a la generación de condiciones de accesibilidad, oportunidad, y cobertura en el sector salud. El propósito es que los individuos asegurados bajo el seguro público de salud obtengan medios financieros para obtener servicios de salud. El programa tiene dos componentes. Los componentes son (1) el otorgamiento de asignaciones médicas a individuos asegurados, y (2) la recuperación de asignaciones medicas a individuos asegurados. A diferencia de otros Marcos Lógicos del 2002/03, las entradas del componente objetivo son simples títulos de componentes o descripciones. Los componentes de actividades están separados del Marco Lógico principal, lo cual mejora la accesibilidad y claridad. Supuestos La columna de supuestos del Marco Lógico esta vacío, a pesar de que las sugerencias están hechas en el informe principal para un supuesto para cada componente. Indicadores Los indicadores son proveídos y son diferenciados. Hay un indicador de efectividad en el nivel del propósito, un indicador de eficiencia, y uno midiendo la economía. El primer componente tiene 4 indicadores de efectividad, 4 indicadores de calidad, 1 indicador de eficiencia y un indicador económico. El segundo componente tiene 6 indicadores de efectividad, un indicador de eficiencia, y 3 indicadores económicos. Se proveen medios de verificación para cada indicador; la documentación es mas elaborada que lo usual. Integración del Marco Lógico a la EPG El Marco Lógico podría ser mejor integrado a la EPG. La discusión de la lógica vertical y horizontal es relativamente corta. A pesar de que cambios y mejoras son propuestas al Marco Lógico en el informe principal, ningún Marco Lógico reformulado es parte de la EPG. Resumen y otras observaciones El Marco Lógico de la EPG está bien estructurado y escrito. La documentación técnica es muy elaborada; hay pocos indicadores pero más medios de verificación que en otro Marco Lógico. La ausencia de supuestos en el Marco Lógico es muy desafortunado. 34 Evaluación de Marco Lógico: Programa de Educación de Adultos Evaluación de la EPG Junio 2003 Ministerio responsable: Ministerio de Educación (MINEDUC) Descripción General El programa fue iniciado en 1988. Este busca proporcionar educación y entrenamiento a adultos quienes no disfrutaron mas que educación básica. La EPG contiene un Marco Lógico inicial y una propuesta, los cuales, sin embargo, son idénticos. Objetivos El fin del programa es contribuir a la calidad de vida de la población adulta pobre con educación limitada. El propósito es que los adultos pobres de quince años de edad o más, con limitada educación, desarrollen aptitudes básicas y conocimiento técnico para facilitar su auto realización, integración social y mejorar sus oportunidades económicas. El programa tiene tres componentes. Este Marco Lógico esta mejor organizado que aquellos de los años anteriores; todos los componentes tienen un titulo y un propio componente de objetivo. Los componentes objetivos son: (1) Que los especificados adultos reciban educación general básica, básica educación técnica, y desarrolladas aptitudes sociales y éticas (Componente de Educación Fundamental, Técnica y de Capacidad ), (2) Que los especificados adultos desarrollen básicas aptitudes técnicas en bosques, agricultura y desarrollo del ganado, y desarrollen aptitudes sociales y éticas (Componente de Educación Fundamental, de Agricultura, y de Capacidad), (3) Los especificados adultos reciban el equivalente de educación de nivel medio (Componente de Educación Elemental y Técnica). Supuestos Supuestos están completamente ausentes del original Marco Lógico. El Marco Lógico final presenta supuestos para cada uno de los tres componentes. La elaboración o explicación de supuestos en este Marco Lógico es insuficiente. Indicadores Los indicadores están incluidos y diferenciados. Hay 9 indicadores de efectividad en el nivel propósito, 3 indicadores de calidad, 5 indicadores de eficiencia, y uno midiendo la economía. El primer componente tiene 5 indicadores de efectividad, y un indicador de eficiencia. Estos indicadores son lo mismos para cada componente. Medios de verificación son proporcionados para cada indicador, pero la calidad no fue evaluada aquí. El número de diferentes indicadores es muy alto, especialmente al nivel propósito. Integración del Marco Lógico a la EPG El Marco Lógico esta integrado a la EPG. Los evaluadores discuten la lógica horizontal y vertical del Marco Lógico. La discusión es corta y no muy profunda, excepto por una bien explicada critica del presente sistema de indicadores (a pesar que el nuevo Marco Lógico no contiene ningún cambio). Sumario y otras observaciones El Marco Lógico original no cumple los requisitos de la metodología del Marco Lógico debido a la ausencia de supuestos. El deficiente tratamiento de los supuestos es también una debilidad de la evaluación. El Marco Lógico juega un importante rol para la EPG como un todo. 35 ---- ANEXO C: ALGUNAS LECCIONES DE LOS ESTADOS UNIDOS 36 I~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ANEXO C: ALGUNAS LECCIONES DE LOS ESTADOS UNIDOS Chile parece ser el único país en el mundo que actualmente tiene un buen funcionamiento en todo el sistema de evaluación del gobierno. Su única comparación directa parece ser el gobierno federal australiano durante el período de 1987-97. Chile pone el acento en la presupuestación informada por desempeño y utiliza su sistema de comisión de evaluaciones independientes, manejado por la DIPRES, como el medio principal para lograr este objetivo. El enfoque de Chile contrasta con el del gobierno federal de los Estados Unidos, por ejemplo. Los Estados Unidos también están persiguiendo el objetivo de la presupuestación por desempeño, pero han tomado una ruta muy diferente, una en la que se pone mucho más énfasis en la recolección regular y el uso de la información del desempeño, antes que en la comprensión a fondo del desempeño del programa que puede ser proporcionada por evaluaciones rigurosas. El equivalente de la DIPRES en el gobierno de los Estados Unidos es la Oficina de Gestión y Presupuesto (OMB, por sus siglas en inglés). En procura de la presupuestación por desempeño, la OMB utiliza la Herramienta de Calificación de la Evaluación de Programas (PART: Program Assessment Rating Tool) para calificar el desempeño de los programas del gobierno contra cuatro criterios principales: la claridad de los objetivos y del diseño del programa; la calidad del planeamiento estratégico y el grado de concentración en los objetivos del programa; la efectividad de la gestión del programa; y los resultados reales logrados por el programa -este último criterio representa el 50% de la calificación PART para cada programa-. La PART proporciona un medio para evaluar toda la gama de los programas del gobierno sobre una base homogénea; este potencial tiene un valor especial para una oficina de presupuesto gubernamental preocupada con los equilibrios entre las prioridades de gasto alternativas. La medición de los resultados del programa se puede lograr de varias maneras, aunque es ampliamente reconocido que la comprensión más profunda y rigurosa de los resultados y su atribución requiere realizar una evaluación formal, distinta de la simpie recolección de la información del desempeño. La OMB utilizó la PART para calificar el desempeño de 234 programas durante la preparación del presupuesto del ejercicio económico 2004; un adicional de 173 programas fueron calificados para el presupuesto del ejercicio económico 2005. En conjunto, ellos constituyen alrededor del 40% de los 1000 programas del Gobierno de los Estados Unidos, y la OMB espera haber calificados a todos los programas dentro de tres años.' Las calificaciones reales son elaboradas por la OMB, con aportes e información de los departamentos y organismos operativos. La OMB considera cualquier información disponible relativa al desempeño de cada programa. A diferencia de Chile, no comisiona una serie de evaluaciones independientes y en profundidad para evaluar el desempeño de los programas. A los departamentos y agencias ya se les requiere informar el desempeño de sus programas en la presentación de su presupuesto anual, de acuerdo con las disposiciones de la Ley de Desempeño y Resultados del Gobierno ' La metodología y calificación de PART pueden encontrarse en: www.whitehouse.gov/omb/budget/fy2005/pdf/spec.pdf 37 (GPRA, por sus siglas en inglés) de 1993.2 Se supone que las calificaciones PART están basadas en la evidencia, recurriendo a fuentcs de información tales como los planes estratégicos de la GPRA, planes de desempeño, estados financieros, el Tribunal de Cuentas (GAO, por sus siglas en inglés) y los informes del Fiscal General, y las evaluaciones de los programas. La GAO, la institución suprema de auditoría del Gobierno, ha observado que algunos departamentos y organismos individuales ponen el énfasis en tener disponibles los hallazgos pormnenorizados de las evaluaciones, y que ellos sí tienen una cultura de evaluación;' la decisión de comisionar o no tales evaluaciones está enteramente delegada a los mismos departamentos y agencias. Sin embargo, la GAO ha informado anteriormente que pocos departamentos y agencias realizan evaluaciones sistemáticas y objetivas de la efectividad de sus programas. Existe alguna evidencia de que los departamentos y organismos federales ahora pueden estar aumentando el esfuerzo que dedican a la evaluación.5 Las calificaciones PART de la OMB para el ejercicio económico 2004 fueron tales que solamente el 6% de los programas fue considerado como "efectivo". Otro 24% fue calificado como "moderadamente efectivo"; el 15% fue "adecuado"; el 5% fue "ineficaz"; pero el 50% de los programas fue clasificado como "resultados no demostrados" debido a la ausencia de información suficiente y confiable sobre el desempeño del programa. En las calificaciones para el ejercicio económico 2005, la proporción de programas en esta última categoría había descendido al 40%, la que claramente es todavía una proporción significativa. La PART no es aún -ni la OMB pretendería que es- un sistema maduro para apoyar la presupuestación por desempeño o informada por desempeño. Pero parece tener éxito en aumentar el uso de la información sobre el desempeño del programa en el proceso presupuestario anual. Bruel ha observado que:6 "El desempeño no es... el único factor en las decisiones de financiamiento. La determinación de prioridades, incluyendo las de financiamiento, es una función de valores e intereses en competencia. Como resultado, los puntajes (calificación) no determinan 2 Se ha sostenido que la Administración Bush considera que la GPRA ha hecho poco más que incrementar la producción de información, con poca evidencia de que la información fuese usada para guiar las decisiones. Ver P. Joyce, Linking Performance and Budgeting: Opportunities in the Federal Budget Process (Vinculando el desempeño con la presupuestación: Oportunidades en el proceso presupuestario federal), IBM Center for The Business of Government, Second Edition, enero de 2004. 3 General Accounting Office, Program Evaluation: An Evaluation Culture and Collaborative Partnerships Help Build Agencv Capacity (Evaluación de programas: Una cultura de evaluación y asociaciones colaborativas ayudan a desarrollar capacidad en el organismo), GAO-03-454, mayo de 2003. 4 GAO, Program Evaluation: Agencies ChallenLed bv New Demand for Information on Program Results (Evaluación de programas: Organismos enfrentan el reto de la nueva demanda de información sobre los resultados de los programas), GAOIGGD-98-53, abril de 1998. 5 Una muestra de 13 departamentos federales realizada en 2000 encontró que 3 de ellos tenían oficinas de evaluación localizadas a nivel central y otros 3 estaban en el proceso de desarrollar esta capacidad. La necesidad de satisfacer los requerimientos de información de la GPRA parece ser un factor que fundamenta este crecimiento. Ver K. Newcomer y M. Schierer, Using Evaluation to Support Performance Management: A Guide for Federal Executives (Usando la evaluación para apoyar la gestión por desempeño: Guía para ejecutivos federales), The Pricewaterhouse Coopers Endowment for the Business of Government, enero de 2001. 6 J Bruel, "PARTing is such sweet sorrow", in IBM Center for the Business of Govermment, Forum: Getting Results, Summer 2004, pp. 62-66. 38 automáticamente cambios en el financiamiento. Por ejemplo, el requerimiento presupuestario presidencial recomendó aumentos en el financiarniento para algunos programas calificados como "efectivos" o "moderadamente efectivos", al mismo tiempo que recomendaba financiamiento adicional para otros calificados como "ineficaces". En realidad, la función más importante de la PART no fue tanto su uso en la toma decisiones sobre los recursos, como su apoyo a las recomendaciones para mejorar el diseño, el planeamiento, y la gestión de los programas. Si bien las revisiones del presupuesto siempre han involucrado discusiones del desempeño de los programas, tales discusiones no siempre han sido realizadas de una manera rigurosa, sistemática o transparente. Por medio de su desarrollo y uso de PART, la OMB ha inyectado información de desempeño al proceso de formulación del presupuesto más explícitamente, aumentó la atención prestada a la información de la evaluación y del desempeño, y finalmente incrementó el valor de la información para los que toman las decisiones y otros interesados directos. Al vincular la información del desempeño al proceso presupuestario, la OMB ha proporcionado a las agencias un poderoso incentivo para mejorar tanto la calidad como la disponibilidad de la información del desempeño". La GAO ha concluido que la PART ha "ayudado a estructurar el uso por parte de la OMB de la información del desempeño para el análisis del programa interno y presupuestario y ha estimulado el interés de la agencia en la integración del presupuesto y el desempeño", y que "las evaluaciones PART subrayaron las brechas de larga data en la información del desempeño y de la evaluación a través del Gobierno Federal".7 Estos son resultados importantes de la adopción de una herramienta para la calificación de todo el gobierno. Si este nuevo clima para la presupuestación por desempeño -y para la recolección regular de la información del desempeño y la realización de evaluaciones- será sostenido en el futuro, todavía está por verse. La creación de incentivos para que los departamentos y agencias proporcionen más información sobre el desempeño de sus programas es un factor importante. Pero a menos que -y hasta que- las evaluaciones en profundidad sean realizadas sobre una base sistemática, la calidad, profundidad y confiabilidad de la información disponible para sustentar la toma de decisiones presupuestarias serán limitadas. Una agenda de evaluación de programas impulsada de manera centralizada, tal como el enfoque chileno, proporciona un modelo que vale la pena considerar en el contexto de los Estados Unidos. 7 GAO, Performance Budgeting: OMB's Proaram Assessment Rating Tool Presents Opportunities and Challenges for Budget and Performance Integration (Presupuestación por desempeño: La herramienta de calificación de la evaluación de programas de la OMB presenta oportunidades y desafíos para la integración del presupuesto y el desempeño), Puntos salientes de GAO-04-439T, un testimonio ante el Subcomité para la Eficiencia Gubernamental y la Gestión Financiera, Comité para la Reforma del Gobierno, Cámara de Representantes, febrero de 2004. 39 ANEXO D MATRIz DE LA EVALUACION CON ENTRADAS DE NOTAS SUMARIAS DE LA PRIMERA Y SEGUNDA MISION A CHILE 1 Aspectos de diseño y gestión del programa 1.1 Diseño del programa: Descripción y evaluación de los ojetivos del programa (y prioridades fornales o informales) 4 Hipótesislaspectos: El actual énfasis en la toma de decisiones presupuestarias y la gestión de programas, ¿es apropiado? Evaladomr Jefes d Proa Coordinadoras Staf de la Oficrs de Staf de las O de Mnr y u del Cor Salf de Si# de Aclt dl Sd leras Prawuu de llos Sais Pr_ ded lb s Alice Enva& nde Pdeu de iW if DPRES W RE Este tema tue sóo Los partiipantes Algunos de os parcipantes Ainque nosros no les Comnité Espeac de B Utd v de las De a~d con M.Gindn, Jeb de indagado en el GF2. Los del GF2 no destacaron lo qu des ribieron pre9DntamOs sobre esto Presupuestol Uno de sus evaluacones es DPiRES lm que Hac participantes no parecían parecían tener un corno un éntasis especiTicamente, la mayoría de minbrm sugiró que el car las eaba bu es tener un punto de vista punto de vista despropordonado, por pate de los partidpantes en los GFs elivo de DtPRES es cndciones pars íform n p&-* clr a el e claro sobre esto. definido sobre esto. DIPRES, en los aspectos de la sugirieron que el éntasis de entender meor las que los empbados de snadón ¡ _sue Estos Mencionaron una amplía Algunos evaluación que lenen que ver DIPRES estuvo en cotar bs necesidades de cada sector de bs p amas t in _n ieeados en variedad de objetivos, particpantes del con el controi externodeos gastos del prograna y que paa nutrirei deflog con etios puedan repenmar a~ular dsrlOo da la sin priorizar ninguno de GF1 sugrieron que programas. Esto estarda estos usaron las evaluaciones y el Cong Asmisno, los oes de tcs pom n, c cddaf de ulsis ellos sobre bs otros. DIPRES presta interfiriendo con la posibiridad de corno un maio para alcanzar subreyó que el Congreso ha nlism etc.. y e'ac en to srrnst y Sólo un par de ellos desproporconada que las evaluaciones les sievan a esa meta expresado en vanas Eios aprendieron agencas, pero tPRES ya tene esa apuntaron que DIPRES atención a los tos program as evaluados y las reuniones cóo l lctura del nmuw de este capacdad Por r»a pate, no hay un no parece estar aspectos agencias de las que dependen La mayor parte de las presupuesto se ha vuelto más prom~so. Porque me:ano estalido par interesado en evaluar si económicos y a si para 'aprender de sus propias referencias aluden a los PMGs. -cii. Otro nrerbro e la el trabao o no carlas ev s Isas la politca dada es las asignacones experiencias. Otros instnmrnentos Comisión Especia dijo la Lisda tiempo para acdades rdaJrelonn dla apropiada, o si el presupuestadas del menconados: BGI y Metas intención de evaluar bs cuestionar las poicas. Olio aazlr aleve" rest programa está siendo programa deberían Ministeriales. 9 bien los programas no responde a actividades. de acuerdo con K. Grnán en qu funcional para una ser reducidas. ob;etivos que tienen aspectos pditos sio a la el sse da evauacin del polídica sectonel más pneados son interesantes, necesidad d mejorar la DWiES está hab pma amplia. los ins-rurnentos no alcanzan a ecencia y la efecividad de mron tr el desam*o dei cumplir su cornebdo. Entre los progr proso da toma dde r Wc otras cosas, os nismos ION% Seid el este act. ésta es e~eo tallaron en tomar en cuenta tas Codee sIstel s a de ev~uadN ro realidades ces El Congreso demandó la rnas que eldea fino o sm un (espedalmente en salud) realización de evaluaciones easo de co de en 1997-199L de mnera tal reosG rd soawwnma de profrdizar la discusión de sue de eje* oa a las polficas públicasy sateree , a través de la PIor delio de -bs eis hilonmacdón resullante. su s n rdel p a debilitado poder- a) Evauain de programas; coaernne con unidadbs m DIPRES p l gesto de o b) Herrament par el meoamiet datos prgeses deso c) kilrumrt pera el meormint deala gestón Capa~n y s izacn (la c4a de la e S ' 40 1.2 Contexto del programa: Descripción y evaluación de desarrollo del programa en el contexto de las reformas de la gestión pública chilena. -> Hipótesislaspectos: El Programa de Evaluación parece verse beneficiado por condiciones políticas específicas y la política general que se aplica al área de gestión púbica (ver aspectos, p. 2) Evaluadores Je~es de Coordinadores Staff de las Oficbas de Sbff d las Oficinas de linistros y Altos h naic os Dputados~ del ~de Sia de Actres cle Progranm MInisterales Presupuedo de los Presupuesto de b8 Min-serios CongMeso Eva n de P _pslo Servicios DIPRES de DPIPRS El principal instrumento de gestión SEGPRES: Despuás de 14 afice pbos ipadas del El s a acuaRnduye m del Gobierno centrai son las db b mansbrnacó, esta Ccrrmes defda a descorrLM Metas del Sistera de a nistración ha: i) adaptad a El p desadlo de tho de bls p~psitos dei s ar Seguimiento e la Programacón los PMGs al sistema actual, ) la pfitica socia en es m~ en dncOse Gubernamental. Los PUGs son BGI i)] nueva tecnodoga de Chte no es más la falte Delegac de trd dberla ser más bien burocráticos y intornacdn para el me;orarento de recmrsos, sino ta et prfmo paso, una vez que la demasiado estandarizados. Están de la gestión, e-gqv., iv) necesiad de corrarza haya so rewntde. tratando de hacerlos más participación, transparencia e coorfinadón. El PGW de Merd n de tuncionals para mejorar su inteWia. Agenda pendiente: Gestó es una de esas impacto. Los esfuerzos de Modernización del Estado ~ed henra"~ el PreWor por DIPRES están finfiiendo Iruts, y Enero 003. E proceso ha sido Daserse1t es tas una esto contfibuye a un cambio gradual. Un factor importante ha dde de genam a voluntario en los padgmas de sido la gran corntniidad de bs otra de bs henwrs es a gestiónAcultura, en el marco del poitrcas. MinSal tiene s buena deegación de ati pra la cual el entasis en el ctapllmiento relaión con DIPRES y las reasimdn da re sae para corn nommas y procesas va siendo especialistas del sector son ps2pbf Sys ce isriy e isOde remplazado por un enfasis en los respetados. Desde alrededor dei reservas Ya ssn dos a resutados de la gestión. 2000 0, FONASA ha desarnrlado (niWe de seidos) que ca1,^n un complejo y avanzado Sstema para este. la reoma W seido de Control de Gestión (SIG) cil iincuye aerna por [Wema estratélico de gestiónj. de o ente lns senv}dosy bs mismo tue pdo de nFsTW ios si ~ o e ,. podri iniciativas intemes del FONASA ser t * ala n*or pero tuvo tamien, en parte, Adht ,e t es ioe origen en el cormuto de iniciativas oter las instuones armes de que DIPRES impuis desde inwar re nas terdens a la principias de las 9s y, muy delgacón de au o le gusta especiainmente, a parlr de 199- ei conepto de que Hacienda es 2000, en asocwacón con sus onwsipáer. Pero sin keW al nuevas ¡nmi ~ntas de gestión, e~tremo d , ~terio de Econria Los premios por desempeñto de Casaso. L Estado bien asociados con bs PMGs mbiG n e debefl repía r mer jugaron un rol en la mcvización las res salldes Eernpt. del pemonai: hwt n y desarr~o DIPRES FONASA no consicugó ase,uraras no está prepanado para der* el premio por desempeñlo en el srbr I. Por lob t decido 2001, pero lo lor en el 2002y cenjradzs rde e n un 2003. proa o ag , con tn dc ri que sd recmsos para ceca~ y Tea~igl ~ lasl bas de aer con especüzadK Tambwán pwa las cwr des ckganas por ChI-.e surdara Es ir e ~ las propas tiritcoreycreamrsitulres _ _ _ _ _ _ _ _________1currk a yen=es 4 1 - 1.4 Diseño del trograma. uesen,pcion y evaluacion de los actores institucionales y sus tareas - Hipótesis/aspectos: (i) Calidad, nivel de compromiso y valor agregado del staff del sector presupuesto de DIPRES en relación con las EPGs y Els. Carencia de pauticipacion fuera de DIPRES en la selección. ¿Adecuación de los TdRs genéricos? ¿Qué incentivos tienen los evaluadores? ¿El nivel de involucramiento por parte del personal de los programas evaluados es muy bajo? ¿La información de la que proveen a los evaluadores es muy pocalerrónea? (ui) ¿Cuál es la calidad y el valor agregado del involucrarniento de los Ministerios y Agencias en las evaluaciones? Evaudore Me de Programa Coerdinedar«e StOf de la Stff de la Oc de E y Aa t del Staff de Evid ude e ~1ff de A~ dw MIniaserblee Ofcina de Pr t de hoe Funr C 9- FtES P_ Pt_ de H de MlWRE Los eslwdo: Lo_ ________ Los Senvid~s ._L o Varias particpantes en ambas GFs reportaron Tres de los jefes de Por lo menos uno de Los evad es tienden a problemas sedos entre las miembros de las programa entrevistados bs parbicpantes (que mofan los requerre paneles de evaluadón. Atribuyeron estas cuyas programas hablan habló por un programe m ~rnos en el nne de probemas a fa manera en que los evaluadores sido evaluados con Eis que habla sido avace r que la de EPG son seleccionados. Acidonalmente, la dijeron que las evaluado con una El) Mi de Cocrd de GesS 5n división de respomabitades dentro de los evaiuadores no tenían expresó discontmnnidad lorvisar Areeos les es~ paneles no parece estar definida con daddad. sufidente con~dmiento del con el escaso nivel de pntdoidrhazgs Por lo tanto, es común pare bs cordonadores sector especifico. Varios condmiento del saetar adiciales, pr la mrria errinar hadendo mucho del trabao que uno u parbdpantes en GF1 que encontnr en los de efs tinan de eietr otro de bs miembros no hacen. AJgunos de las riearon que, aún en casos evaluadores, y con su aspdctos liraevntas par la partidpantes propusieron dar al coodinador del en los que resuitaba claro carenda de evaluacón. En este senm , panel, o a los miembros del panel en general, la que los evaluadores tenían conodmiento de las la Dón de Co de posibilidad de copinar sobre con quién habrán de las capaddades tecnicas corrects para Gestón se ha vueto áns integrar un panal. Por otra parte, un partdpante apropiadas para realizar la evaluar ís impactos ilexibje. en cada GF destacó los beneficios que se evaluadón, los mismos del programa y su dervan de que evaluadores provenientes de parecían estar relación casto- desfntas dsciptnas que no se conocen entre si Involucrados en tantos benefidco. se vean en la necesidad de producir una otros proyectos al mismo evaluadón común de un programa dado. tempo que no podían Incentivos pare los evaluadores: En coinddencia prestar sufidente con aigunos de bs evaluadores entrevistados atendcin a la evaluadón individualmente, todos las partidpantes del GF1 especffica de sus acordaron en que la remuneracón que ellos programas. En el GF1, el obtienen por realizar EPGs no guarda reladón número de partidpantes con la cantidad de trabejo involucrado. Los que exprersaron particpantes en ambos GFs que han hecho Els dsconformndad con el parecían más satisfechos con su remuneradón. escaso nivel de Cuando se les preguntó a los participantes en profundización de las las GFs qué los llevaba a realizar EPGs a pesar evaluadones fue aun de le Ma remuneración, les respuestas mayor. obtenidas fueron: (a) que dsfnnan de este tipo de trabajo; (b) la posibilidad de que sus recomendaciones sean tenidas en cuenta y, contribuir así, a hacer la dferenciae, (c) por ía que realizar esfe tpo de trabao les permfite aprender; y (c) por las conexiones y las nuevas perspechvas de trabajo que suelen eberse a partr de estas experiendas. 42 1.4 Diseño del programa: Descripción y evaluación de los actores institucionales y sus tareas (continuación) H Hipótesis/aspectos: (i) Calidad, nivel de compromiso y valor agregado del staff del sector presupuesto de DIPRES en relación con las EPGs y Els. Carencia de cipación fuera de DIPRES en la selección. ¿Adecuación de los TdRs genéricos? ¿Qué incentivos tienen los evaluadores? ¿El nivel de involucramiento por parte del personal de los programias evaluados es muy bajo? ¿La información de la que proveen a los evaluadores es muy pocalerrónea? (ii) ¿Cuál es la calidad y el valor agregado del involueramiento de los 11inisterios y Agencias en las evaluaciones? Evaluadores Jeles de Program Coordinadoeas inisdis Staff de las Oficina 5Stf? de ia Ofcia de MinStrl y Als U de Sia? de E~&S de Pe Acore de Preup o de repuesto de lo I ns Func n Coeo de DIPRES de WFRES . ~~~~~~~Servidoli Lo Losoorma: oroori Los on Muchos partiopanies en la mayoría de parficipantes Uno de tos pareicipanles sugirió ambos GFs dieron que, argumentaron que, debidio a la que, ahora que son concientes de con trencuenria, la manera en que los gastos del que una de las mayores infornación que ellos gobiemo son usualmente preocupaciones de DIPRES raciben de los programas registrados, proporcionar la radca en la reducción de costos, es pobre en calidad, infomadón de sobre gasto que han desarroiado una estratega incompeta o los evaluadores reqideren es que les pemilte presentar la inoonsistente, Como uno usualmente mnuy cificil. Por lo informacdón de un modo que iiea de los evaluadores menos 1 de los parbipantes a que la rdo cos fecd entrevestados relamó que DIPRES los da muy del progrma parezca inofvdualmente, ai,qunos poco bempo (t semana, dijo ella espedlaimente favoabe. de los parbsipantes en los -> a pesa de que DIPRES GFs sugieron que, a argumenta que se les da un mes veces, esto se debe a que para hacer esto) para proveer la los programas no oenen informadon requerda para la más/mejor información. evaiuacón. Consecuentemente, Pero, en otes casos, los eilos no tenen confianza en la proramas eligen calidad de la informadón que cuidadosamente qué ellos terminan proveyendo a los intormadón comparbr con evaluadores. los evaluadores. DIPRES los ayuda mucho en la obtención de información de los programas y de las agendas. Pero d apoyo de DIPRES no siempre resulta suficiente para obtener toda la informadón que necesitan, Muchos (si no es la rnayoria) de los paricipantes en GF1 dieron que, en general, terminan valiéndose de sus propias conexiones personaes para obtener la información. Los parfidpantes en el GF2 dijeron que DIPRES deberia aumentar sus esfuerzos para conseguir que los programas/agendas provean la infomación requerida. 43 1.4 Diseño del programa: Descripción y evaluación de los actores institucionales y sus tareas Hipótesislasuntos: Marco Lógico (ML): ¿MLs producidos demasiado tarde? ¿TdRs demasiado genéricos? ¿Objectivos de los MLs tomados como vinen dados? ¿Análisis de impacto? Evatluadors Jefes da Program Coordinadores M enles Staf * s Oflcinas de de t M tros y Alt D o del SMbI de Ev in Sff de Peu u d etn cD Preupet d v Ofcinas de Fundol Con o d DIRES DYRES Servios Prwspuso de ha. M inseis _ _ _ _ _ _ _ IWrdoahe EPS Melodohía EPG:G Meipd ea 2* IAeo E PR b e t2 oIf l aDEP k . fl E E IeSI Loa parficipantes en el GF1 parecieron Ene aspecto foe Hubo acuerdo general en i Cien define el Marco Algunosespecialna en PLh ikm ~ de b Etotuspn ro ern Uno de Iaortnstas Av ,tet elar de acuerdo en que la retodología espelficamente Iraado en el cuano a que las EPGs han L f edo an en ro de obs ef"l de la con la dedn da presup sae prurnd o ttdo b de las EPGs tene muchas ventajas. Sin GFI. La mayoría deo contbuido a iniciar l eva mininisteriorsadienhque Cc b Es !j M un prmogr , rrdM convencido de que el secor embargo, como varios paricipantes en ei paricpantes paredan estar de isa ión de una cutura de La mayorta de los las EPGa no cubren manera tsl que h i la ebdfolnga d pee sr GF2, elos también apuntaron a algunas acuerdo con que la metodología evaluación en el sector participantsódio tque eles tndas las La matriz da Marco t atió hay larco lóio afe conePtr de Las siguientes debilidades: (a) l de las EPGs no es o púbiicochileno, algo que notuvieron nigra especilicaciones de be ~L gc rne probl cad~ se rtrareraducp r pr aia tcon metodología es demasiado rígda; esto nuticintameote profunda en el todos consideraron positivo. participación. Algunos prog~smas- ,son rqy comprar progams trata de hacere cosas uyran s ur Marco tg Va los obiga a producir siemrpre indicadores anailes. Los siuientes son Por m enos 1 de as dijeron que los programas ecornoias estlta rcon dife~rnts enr pen un Marco prata mard oneo a*requel Maco de eiiciencia, efecbvidad, economia y alunos de los argumentos que partiipantes en el GF dijo evaiuados alla lk~deros, pero visión sor,W, [necturialfl objis, f cual es Lgic. El Maco sobre el prue sto Lg» d5tode ass calidad, aún cuando no hs encuentran expresaron: (a) las EPGs wen que, en instancias donde bs basado en una mebdotogla y no son capaces de m sq ul. Lógic ( esto las e s b i p ~ reievantes; y (b> no dejan espacio par la revisiones d escritorio; un EPGs invoiucraron l que les tue entenmnte evaluar c es o Reorend com do por ha diui e ren són con consideración de los a~pectos más estudio más profundo requerira reairzación de un estudio ik~uesta por DIPRES. Uno relacions entre deben ficrse en s tas yel Serco el Fondo Conce . y j~ Mweid - cualitatvos del tuncionemiento dal hablar con hs beneicirios del compbmentario (encuesto, de les parbti s dijo que diferentes prowamas. PMGs po e la cormo rea dei no COn les E~ de%§ Sin l É S programa. Algunos participantes en el programa y con las ditrentas etc.), los estudIos en cuesin tas evaluaciones tukero Tampoco exola _M ican eren~ D , t not gr is GF2 dijeron que ealos habían esado en partes interesadas; (b) no toaron demasiado Panadae a cabo en base a cooran este l mayores recursos etasp de dna disto des susacr, h M. Gr o que u situaciones en las cuates DIPRES acepto prestan suticiente atención a siperticiaies y su metodoogia TdRs entre DIPRES y los Sistema de Se%~ndeoto para e semnnas de mnodabidd dt M espera que tm ser sugerencias para complementar la fecbres contextuals, (c) dejan inapropiada. evaudadores que tos de la Prgam an ondernózado. ircnt de lógico no se aMtó ban eotd~ rn metodología del Marco Lógico con algún ies aspectos no econónicos del Servicios y ios programas Gubm _ de awmad, fa Matriz a dr el id de da aain la trabajo cuatiativo. Sin embargo, lo aceptó tncionaiento del program uién dene e Marc nuncavieron. Auns SEGPRES y ls EPGs, a acordado matriz es su sec. Este rasta ja i de la con la condición de que ewe trabajo iuera del anáisis; y (d) son L de s O m participans dijeron que pesar de que SEGPRES Prerosgri * toals etnhs tao que la EPG o du progenie cualitativo se haría como compiw ento, y cuarni^ttans por naturaieza, y cm ludo? Un pertiipaele elbs sí tuvbron algún grado tiene un asinto en el revaliuadores para es el i Vr .o mns mapyatos no en lugar del estudio convencional, y sin por l tanto, dejan b aspectos dio que el r de os de parbcipccin en el tor toenóisra. El Marco Lóyic sirve a ia al piaso. rrre. Ls coa cbr sabquee l ninguna rem wneración adicional. cuaiitatns de lado. Uno de los coorradores finiteriies es proceso. Cuando se es de apoyo, pwo no ALGUNAS VECES ttis s F nsr nr coordinadores dea progaram tsmlemren ad prve t pg i elos C deelís e la ael tbnd del ELLOS MISMOS ( indos ued lwr. Ele no . Guién dfine el Maeco Lógco dai entrevistados rec~ que o~ Y duwd b d W ~ Cy œn_ dulacZón del durasi cWdw del orcsom ~ DcS duracM,7 def y ~o so de #wbn: Mw ~ &o ~h w ~ di en/luación:de b valuaión *ev luadjn: la techa Id pea la ¡el d e evaluadó: ~ la mayoria de Por lo menos 1 de los Uno de los partcipantes ¡presentactóniC eso es A s ds s jehfs de M. Gu n dijo qu,co Vanos participantes partidpantes de los GFs coordnadores djo que el proceso de JMdo 30. 100% de curr o s e r p sto y el i de proer en ambos GFs que provenían de ministenales evaluación termina en vs5caidad, una de las 2 an pres ues iformacón op y opinaron que 4 meses programas evaluados entrevistados y 1 de los un momento (ddemibre) ten~na decreciendo: menos apunaron a bes ~ mees re , las son un lempo con EPGs, y por lo partrcpantes del GF en que el presupuesto participación en las asp s relIados al evaa neo~ demasiado corto para menos 1 participante reclawaron que el plazo ha sido ya aprobado y d.cusiones con el psee y cro ~wani de ea c ser cm t en un completar las EPGs. proveniente de un que se les da es convertido en ley y que, personal del programa, nos (a) el tenço peímfttdo perRod coto deiem~po. Asimismo, alg,jnos de programa evaluado con demasiado corto como para cuando comienza a tiempo para reiar la pera que la evaea es No r~oen dei tirço ellos argumentaron una El, pareceron para preparar dscutirse el presupuesto documerint i dp e del sean corpletadas es necr pea que la que, dado el coincdicr en cruanto a que apropiadamente la del cico presupuestario prarn sierdo evauado (ia denasWio corto para que e doms sean uns momento del año en el tempo asignado para información que los siguiente, las care de tsreo se ha etaos co=ns ivnase ej ício deiwg pdak. el que las completar el proceso de evaluadores y DIPRES evaluaion es del previo icreento en os tos realmente o comrr~rr ás; Esta es la re por t evaluaciones deben evaluación es reqrieren de ellos. El aeño ya han sido ati., elaali deecin (b) esto emnpeopor el qu sea gan ede que llevarse a cabo (el demasiado corto. Por lo representante de otro abandonadasoivtdadas. tarnbin es reponsbi e das neno del *Sio en el que bs eva& iones es!en que se traslapa con menos 1 de los ministedo también cio Et y Comprhe as del se re que e ~c tein'n en jino, da las vacadones de partcipantes rencamó que los plazos son Gasto). Cuando ebss to reportee de eveac, mrn taf que ar verano), esos 4 por el traslape entre las damasiado cortos como ~pacpen iás, la calidad del el que s superpone ci d condeoee y meses son en la evaluadones y bs para que los reporte fnW es mucho mejor. on del aio en el que recmndanes préicca mucho más descansos del verano. evaluadores se Pero tal vez es mo que ~on están más o ~adee con ped ser ir ds cortos. Un Por otro lado, el jefe de familiadcen con el no peflpen del todo date la preprón del en et pceso de padicipante de uno de un programa de gran programa. el proceso. para ase~.rar unm pres to, y (c) al prep n del los GFs con magnitud dijo que Similarmente, todos en tota indepern AL FINAL parecer, al mom t en presu de ese expeerencia en Els, DIPRES ha mostrado el GF esturieron de DEL PERODD. Los anatas qea el p to del rsíno al djo que el alguna flexibilidad con acuerdo en que las tienen 15 dias prapearar la pre esto es ~ r adoal cronograma de las ellos, en témninos de ios disrscusiones involucradas sintasts de la evalueción pra congreso, las Els le parecia plazos pare completar el por el proceso de ser enviada al Conre (7 evu os ~iela no apropiado. Un proceso de evaluación. evaluadón tomaron pp). Deises dscreoraes están tierradas. evaluador con mucho tempo. Sumado sbre re nd s a ser experiencIa en Els a esto, por lo menos 1 nms entats, adaptdas o dio que DIPRES es de ellos argumentó que elIinadas. (La mr parte usuaimente más el tempo escogido para d tiempo gaWien añade o fiexible con los plazos la realizadón de s end recomendaciones). de las Els que con los evaluaciones (que Un adior del secor de las EPGs. traslapa con el periodo pesu s y M. Guzmén de vacadones del a~ la basintesis y entizan verano) es realmente cde r hs.eara están por tarinar. Uno noticadas una vez que haber sado cs dos, perleipantes dijeron que proceso da evaaión. janto con el Ejeo cuitee tdos tea mias que pm del dcn _t el hde de de elbs reaccionó t deciaidn ya estaba habrian escogido más o en gqeneral aio estaban Aña(bd que, Ua vez que prgranuzs deteltan ser raporesr a te Oisién GF, es pb que haa Gt y las je9sed sr diciendo que podr~a tumada. Por otra parte, nenos tos nsaros de acuerdo con teas te ci de oevalación evaluas E. amqre saben (ngu proceso de s nea sectr y pes de DPPES prs r habar una razón de al menos 2 participa~ts prog,rmas. Por lo selecciones hechas por esté ade ne cuáles progrma son especico es dedo). otro en Warase o de cuá tape~rdapgspara evaluar un programa e reportarn inntancias en manos 2 participantes DIPRES, aunqwre en instatada anal sector poticamnte probbrts Pera el pee del cunr tea qisn de hs eu (ado < elo rr al Cand punto de ser terrrinado tas cuales se los habla djeron que ealte ai,guas insteancias púbico, bs niris pero, en bs e3 als, thn eo pea~de e~ Loesr on k ine a MDEPLAN yeba a los electos de consutiado da uia bmee haa e ot eran escogida o de cada secto podrán confiado en bs res~bo de DIPRnES tee máis becar~o de aeer qu Preabnisa, pe ver si desea ~dír pos~biilar, en base a u otra, antes de que la prognrmas. Al pro,graas para te juarn so - mayor. lasevaluciones p ara ir daes a se nrrdoa ims preoalrsentebw>)tetba ello, un aprendizaje decksiónfera tomada. momento de la evauación. Otr SEGPRES: El aio cit progr se de bt frecueremerde; (a) resottr esr redC Ca pare institucional. Entre losciterios que, a evaluedón, 1 de sus partícipanie dijo que no pasada. SEGPRES prnaavalr. pre del prgm,; crerie rhrtf su entender, DIPRES programas estaba entendía bien por qué propuso 15 programas Rerr B: (i) El hb) la e~ de la m oe«t En ge el Cn o enplea al decidir qué siendo raoeiiado, de DIPRES seecciond cierios pera ser evatr~dor or preside de b Coeisión .*cuió del pea~fo no he e ca . si t programas evaluar, tus manera que las programas para evatcn DIPRES (sin ningúr considera todas iapop del proora; p) p(acrai ha, sr sugere tten a r paricipantes del GF recomendacionesdo y no otros. cnibero de selección más Lose A drbres la te in en quq se anapclrac qn acas mnoneron: (a) el ta eveluaciones se até deu prouierna para proponen programe para se se están e o tmaflo del presupwuso retadas esapeos del resolver), deab cuales 4 evaluadas en base ate proeas (o evón da Todor bs bema prenrps e~ que de ios programas, progqramra que ya tuero acept popurda del prngramn su mes dicadres de ln cr eanu rO yrh siendo bra programas estaban siendo irWorancis en ias regre eje da haprograuy ? r fisdo n más grandes los que cambiados. programa neatee con gran (e) p que el p~e e Cda daa, recibien más atención; cantida de resoa o que han Goblsna peterer aes DPES produce unatade p a (b) prograrnas que han sido discutid, por cualier d ea ir. prru sea ema'oa& el estado en operación por razón. (ij los evaes son sie aflo. En el rn da largo tiemnpo; escasos, es niuy risgoso tanar prar el p de esr , este (c) progranas da eos bt musas evaluado rara y ~ldo prm ss se rEte a una me que s sospechra que otra vez la [depenerd de ro de don Etore, expermentan tu evluadoreas conre el reo b r n tus ndrbCf problma (d) otros de trnrnar viéndose pu lr a cun rdo pea factores ntgentee. amerzada. El aisa de seeccir ro u or gn pa e Uno de los participante selección derera fvecer la ed. Ej. la owpende dijo que ha habido inciWdn de naev encia lbgai ed a naredo de iwstencias donde evaluares, roarh conr _r t en DIPRES decidió evaluar devliendo el nnieent cuando uno de sus programas elo as condiciones iean ilm~Ad O que ya estaba siando a Po o es ns qu an a dime esn el Conpreso evaluado por su porgar a c unaeuedo habe cr araoL Ministerio, resultando en negociaciDn. IPRES perece Otzd oe pgr pea t una superposición contlrolae t agenda; nopoz ra ev r dl sectr por ento. indeseada entre bs 2 te tema de decialonsedo Ej .to mapeo. Evw~ián evaluaciones. poiiica, peo rele e un'r Co a del Gao que invzra tres manoC necesarion el coe~o a s. No tdos es bo el mo de b presee ra de p EprrQ : pe , políica. dspn#tportby. qunpedmanser pziiiica. ca er manara a 50 1.7a Gestión del programa: Descripción y evaluación de (i) la selección de programas para ser evaluados; (ii) selección de evaluadores (continuación> i Hipótesislasuntos: (i) ¿Sesgos en la selección de agencias y aspectos a evaluar? (ii) Contratación de evaluadores individuales para las EPGs. ¿Falta de conocimiento sectorial? (iii) Adecuación del grado de involucramiento de la Comisión de Presupuesto del Congreso en la selección de programas para ser evaluados, (iv) Involucramiento del Staff de presupuesto de DIPRES en la selección de programas para ser evaluados. (v) Involucramiento del Staff del Ministerio del Sector en la selección de programas para ser evaluados, e (vi) involueramiento del Comité Interministerial en la selección de programas a ser evaluados. Evaluadores Jefes de Progma Coordinadores Stat de laOsldn»s Staff de las Mnir y D os del Staft de Eva ii ds DIPRES 911at1l dA rSal ea Mln eaia de Prsupuesto de Oficinas de Funcion e Oe s Prew de los SerIdos Pes de DIPR0 S.Jeccidn de evyluadores: se~sbonde Ski de* do EPGs: La mayoria de los paracipantes Eo e en h: Eils tiernn una 'Pmiía ;e hndre en el GF1 cieron que, en la selección Muchos Muchos particpantes en el Dos espedalsías en pOros Diputados e i pdraones~ para mredrlas de los evaluadores para las EPGs, pariidpantes en el GFI dijeron que desearian evaluación de uno de los Crns apltudes de los eva!uadores, de DIPRES prestó más atendón al GF1 deron que que DIPRES les dera por minietenstdijeron que. En la constrtudc< ;de mnera ta que, a la her de la~rsr conocimiento que los evaluadores desearian que lo menos la oportunidad de para la reaización de una tos paneles de los panales, se encuentran en tenían del sacior del programa, que a DIPRES les diera opinar sobre el perfil de los El, DIPRES terminó evaluació, DIPRES cdiones de e~cc4er coordnadores su familiaridad previa con la por lo menos la evaluadores a ser contratando a una fimea con hace bien en mezclar con daero gao de discred alda metodología de Marco Lógco, dado oportunidad de ~sco,dos para llevar a 'anteced~ntes simpatizartes del dado que ya bs con Por lo que esto último podria aprendese opinar sobre el perfil cabo las evaluaciones. Lo probtemálicosD a pesar de Gebiemo y con los de menos uno de los integranes del fácilmente. Un particpante reportó de los evaluadores único que DIPRES les da a las oiedoes que presentó a oposarci pero se penel debe ser experto en el sector. que, en su panel, el coordinador jugó a ser escupdos conocer antes de decidir al su Ministerio sobre esta equivoca al exrrcf a Los evaluadors que esfán siendo un papel critico porqu staba muy para llevar acabo respecto son los nombres emprasa. io exbtnrw. saelsonadosiraer desdeel i familiarizado con la metodologia. las evaluaciones. Lo de los evaludadores, con el Más aiade, se vieron en la purto de vista de su calidad. el AJguien en el GF1 surió que los único que DIPRES fin de asegurarse que no necesida de carnoiar el prrne del pais. Los evaladores evaluadores con el mejor conocimiento les daa conocer existan incopatiblidades o equipo de evaluación. Ellos que tran traajado en eva!uacones del Oipo de producío que DIPRES antes de dedir al un conflicto de intereses. creen que parts del previnente tieen rmás purtos. Los espera de ellos, son los que terminan respecto son los Uno de los coordnadores problema, sin embao, fue mejores evaluadores no se están teniendo encomendados el mayor nombres de los ministeriales entrevistados debido al austado postulad. debido a la baja número de trabajos de evaluacin. evaludadores, con dijo que existe la cronograrna para reaizar reniunrecar y al vekxnen de jo Esto estarla resuitando en la el fin de asegurarse necesidad de ir amnpiando las Ele. La contratación fue que las evaluacones rprestan. conformadón de una suerte de 'club que no existan el perfil principalmente hecha en las vacacones de (Cada a ro, 18% de os eviado de evaluadores'. Uno de los incopatbilidades o académico de los verano, y ibubo úuicamente que se postu!en son nuvos). No hay evaluadores entrevistados expresó un conflicto de evaluadores para hacer 2 postuiantes. tiemposuiente para ~iregrun los preocupación ante la posibilidad de intereses. lugar también a resultados de fas encuestas de alos que los consultores privados que evaluadores con fuertes anterires sobre l desernpeho de los dependen del sector púbico para la concdmientos práctcos. evaladres en la fase de sde n. obtención de nuevos contratos pueden Esto sfiWdlca que. al menos en terminar siendo cooptados por las ~igrras etapas del pceso, no se insttuciones evaluadas. Dos de los leo_a a -pr ~ectw toda la evaluadores entrevistados sugineron tman disponibe. Al seleccionar que, en la seleccón de los miembros a tos evaluadores de El, se le da del panei, DIPRES se ase,qra de que mucha im tncia la bexea exista un cierto equilibrio idedógico. con la metodología emp.eada. 1 Uno de ellos aadó que la aIsta 1 vobr, y oto acor ieen coordinadón del panel es las propuestas y las ca;lifcan generalmente asignada a consultores ie aln le. Escogen a ls 3 del mismo colar políbco que el rneor posclonados y negocian goberno. Cuando, se les preguntó a horwarios con el pero. En este los evaluadoras que partidparon en los punto, elfos ajustan le mefodoga GFs por los criterios que emplea Pr DIPRES a la hora de seleccionar a les miembros de los paneles de evaluadón, los factores poiticos no fueron mencionados en absoluto. 51 1 ,lbGson del programa: Descrip n y evaluación de (ii> las actividades de apoyo, capaci y asi a t taato a ts evaludores como a los equipos respon de los programas evaluados. -> Hipotesis y asuntos: (i) ¿Adecuación del apoyo técnico brindado a las evaluaciones? Apoyo del Staff de evaluación del DIPRES; apoyo del MIDEPLAN. ¿La capacitón en la metodología de Marco Lógico que se está brindando es adecuada para la preparación de Marcos Lógicos de buena calidad? Evaluadorma de Programa Coordinadore StuflW de ls Ofiein da Side tas Ofica da Mistoy ol dd Sdafd Eds da Sad de Pr e At ~ Ministhrialls Pre o de as Pre ue los Fuc . C e DPES da DPRES Servicios I nIstroW_ _ _ _ _ _ _ _ _ _ _ _ _ _ __ _ _ _ _ Awoo orOvisto por DIPRES: .. r Vados particpantes en el GF1 DI El 7 bD de señalaron que el material de entrenar eoDs cde DIPES M Gu p capaciación en Marco Lógco vez mas lsd, Porque ¡0s que. sl crraO de la que DIPRES brinda a los evuras ahora evan a la evaluadoras es muy bueno y útil. conocen la retodología r d e.s se ls Asimismo, hubo consenso La primera sein en : (a> generalizado en que, al tratar de deberia efectu aas t doeLra del obtener iformadón de los del inico de as programa; (b) programas y agaencis, el apoyo vaccones (aero). cuso que hbc de DIPRES resulta dedsivo, aún Durt el curso delbs lcarr la elisd si ios programas no siempre evéa~aos ios pro y (c) El Marco proveen tanta infomiación como aas da evauación opr» ardle ellos podrian. Vados tienen rny poco tiepoP partcipantes del GF2 dijeron que par parrenla Cla did DIPRES deberla incrementar disosin o para leerPr sus eshuerzos para hacer que los obrel pro La w~a Y. G~ do programasagencias provean la mayorna de los que e dar~ del información requerida. Coo*radores prase por Mfotseaya conocen partdal sido La calidad de los Marcos la mogia, de refrwmadosee L.1cos ¡nidales: Por lo menos 2 manera que no hay espr queelt mvo de los paricipantes en el GF1 se neesdad de está o para usado con quejaron sobre la baja calidad de ereano arel Presupuesto del 2006 los Marcos Ló,qcos iniciales que Si capcitan al personal E actual cda r por rediben de los programas al de los programes que pars d! prveo comienzo de proceso de estn por ser evad está rdo evaluación. Taásánes bhnnia i Es ene pr e capaciacen la LM l'a m.e a ", ded matdotgíde as EX zonespor asqus. Mq rn a uos dae os &bsante las aclwes tienen tuertas .evuaciones, la haebiddes en la ifmad ir. tos metodoa de E. cos del prorer #men que ser E) Ellos conran la .cras~. E nuo bies innmdesdé ava~ce y pru =r r el enra Ps ln tíoda la aL|smo del gs M~ por prgrma o por acwae da polMcam 52 18. Gestión del Programa: Descripción y evaluación el proceso de toma de decisiones, mecanismos de coordinación y el proceso de participación de los actores clave involucrados. -> Hipótesislaspectos: ¿Cuáles son los elementos clave que llevan a que el proceso funcione? ¿Cómo se conectan con los otros instrumentos de evaluación y de gestión? Evaluadores Jefes de Programa Coordnadores Staff de las Staft de las Oricinas de Mdsmt y Alp urtados del Staff de Evauación de Stof de Presup de Acres dve Ministeriales Oficinas de Presupuesto de los Funios Coeso DIPPES DIPRES Presupuest de Ministerios los Semicios Relación entre las Relacione entre las Relación ete las ¡ c R io n Ren h ¡ ación entre lsa Re~ k ,i bs f lm" RJactiÉ .urie s WiluL Adirn R&~cl dibrentes parmes tdifetenjes pL ~ i dhWnk dVi o~ d 1 ibauhi d involucrdas enel involuerldu n ie indinvimcmiao lel i en i71«1 i cnd m kwelkari proceso ¡-. hwolu aa e n ig i5 Dn M ~ Vanos particpantes en En generai, los Casi todos (incluyendo d Vados particpantes djeron Un actor c del lOtos Dbu En general exise una La relación eotre los MuFas agarr~. ambos GFs dcjeron participantes del GF1 tanto a los la mayoría de los que sus reladones con la Utedo A«qo que Ql Co t buena cón entre el seciof alslas ejvas que la parecían haber tenido representantes de los participantes División de Control de al Ministero y las Mudhas decisiones personal de los presWuesrios de desarr n un nive retroaimentarión que expedencias mejores y - Ministeios con djeron que los Gestión de DIPRES y el agencias de poiitica han sido programas evalados, DIPRES y la División de de auo a qe les ellos reciben de más armoniosas que los programas evaluados evaluadores panel de evaluación distan necesitarian tener tecWnW ó~, lo cual ios evaluadores y tos Contro de Gest no pe~ie su DIPRES está mucho partidpantes del GF2. En con EPGs como con comenzaron con de ser anmoriosas. Por lo una mayor es bueno y mato a ana siemire fue arnica ni interlocutoras más enfocada en los uno de los GFs, 2 de los Els) coincideron en una idea menos de 2 partiantes se interacón con o la vez, dado que Cn. Co exfcam ~ dirwctas de DtPRES, aspectos formales de partidpantes provearentes que DiPRES no es del preconcebida de lo quejaron sobre la cantidad evaluadores. Esta peirie mejorar ias A ios evares ss aos tas pasando por aho a los informes de programas que habían todo eceptiva a las que iban a de reportes e información podria ser una politicas per les permite induir pesupuestaios y por lo los iks ~o En (vocabulado sido evaluados con Els observaciones y a la encontrar al que DIPRES demanda de forma efectia de sig~nlica que los hatazgos a le% ~menos dos jalas de la ~.c dad, el papel empleado, ortografía y djeron que, a lo largo del retroalimentación que evaluar el ellos, lo que se suria a ks facilitar la técnicos - en este pero la mra de sctor presupuestario, de los VrN'steros se signos de puntuación, proceso de evaluación, ellos o los programas programa, y es que ellos ya han tenido que intematiiizacon de caso, con elios tratan de etinrinar en un comenzo, la ha frta Por fo etc.) que en la habían llamado la les hacen llegar a lo muy dhdfcil entregar a SEGPRES. la cuitura de meritaridad aspectos irreevantes directiv de incorporar la teato, el M.isterio metodologia de Marco atención de los largo del proceso de hacedos cambiar Algunos de ellos cijeron que evaluación. fnanciera, corno para la evaluación. En rmecio n prwenirate tese voz en el Lógioo o aspectos evaluadores y del DIPRES evaluación. Por lo de parecer. han aprenddo a minimizar sucede con este se la det los irstrumetos de presrpresto tO tque substantivos. AJgunos sobre los aspectos de la lanto, lo que algunos Algunos esfuerzos por medo de la Mhisterdo B:Las DIPRES - e en Div ódeCtde evaan dela les es asig~ a partidpantes en el GF2 estrategia de evaluación de ellos teninnarn atdbuyeron esto a preparación de la evaluaciones han controw. La Gestión se ha vuelto División de Contl de esos ya sus encontraron parte de que, en su cdtedo, no aconsejando hacer a la carenca da información que DIPRES y ievadoa la paradoja de las más flesibie Gestión dentro del agencias esta obsesión con los tenlan sentido para ellos, sus programas es evauadores con SEGPRES reqtieren por necesidad de politices de la p so d prepaaón dep res. Por formatos y la ortogralia pero que ellos no fueron reservar sus conocimiento o anticpado, en linea con sus preparar Conceración: a Eis La hnras del pr u ha ejempo: al Msteno fastdoto. Sin eschuchados. Esto observaciones para el famitadad con respectivos formatos de informadcn pesar de que la evaadoras no percbida como una de rTato está embargo, otr coindde con lo que uno de final del proceso, de los programas presentación. La retadón constantemente, tearifcadón, nade lnteracúan mucho con rr ó que superdo ahora a partdpante defendó el los coordinadores de manera tal que las valuados. Por lo entre ellos y los para el Congreso y es neutral. la istuón dfiorltó a coordlnación b ao tade su hecho de que DiPRES prgrama entrevistados de mismas puedan ser al menos 1 sectodaiistas DIPRES. Un muy resp se da los entre estas dos áreas. porbaoli se abstenga de manera indvidual habia menos acuntadas al particpante dijo presupuestados de DIPRES alto fun do de p rogras evaados. Esta situación parece prespuestario. E expresar sus propios dNcho. El también dijo informe final de la que esto pasa parece ser bastante mejor. este ministerio haber meoado, porb eqlo ro de poderes puntos de vista en haber encontrado muy evaluación que se porque es DiPRES Dicen que para eios es comentó quel . menos hsta dero entre Vers esta relación a aspectos poca receptividad por envía el Congreso la que les dcce lo importante asegurme que obligaón de pFito vao analistas camndo substantivos, como un parle de DIPRES y, como un anexo. Según que quiere que las los sectoiafistas presentar informes djeron qu les tomó unt nuevm elne. Por lo signo de su respeto entonces, se vio en la dijeron, hacen esto evaluaciones presupuestados entiendan es un buen ejerc cieioo das a~ del ~, hs os por la independenia necesidad de aountar al para evitar desperdiciar determinen. Ellos cómo funconan sus que te permite al v de h q la dse del de is evaluadores. informe final de evaluadón su tiempo y energia. A ven a DIPRES progrmas y cules son sus Ministerio mantener D e C de M d Espedalmente en el una declaración con todos través del proceso de como inflexible. necesidades. Esta reladón el cnto sobre lo Gestión estaba tendo Finanzas están GF2, casi todos los puntos en que el evaluación, sus La mayoría de (si es mayannente con los que está la lmesa2. Sin viés redcs. (induyendo a los más prgrama no estaba de reladones con DIPRES no todos) los analistas presupuestados, sucadiendo. E embago, a ros de cnflicos) parederon acuerdo. Por otr lado, 1 tenden a ser bastante pardcipantes del no con sus jetes (ahuien entrevistado altos y también algn esar de acuerdo en el do los partidpantes en los confrontacionaes. La GF describieron dijo no es fácil ilevarse bien tmbién anotó que, de bs j del sector dgor y respeto de GFs djo que, si bien el preparación de sus relaciones con los jefes). Uno de los en la actualidad, dijeon que los DIPRES por la staff de DIPRES es dficil comentados y como tesas y participantes que insiseron exista una problemas da independenda de para tratarinegociar, su observaciones de conirontacionales. más en la importanca de tendencia a o i sguen cdtedo de los prgrama habia retroaimentación para Elios quisieran que ayudar a los sectodaiistas especificar njor eied Algunos de evaluadores. Esto consagrido defender sus los evaluadores y hubiera más presupuestios a entender los objetvos de as kos analists concuerda con lo que puntos de vista con éxito. DIPRES insume mucho espacio para el sus programas djo que, prgram as presupuesrios que dijieron 2 evaluadores tiempo y energía, que diálogo con como parte de este (presuniblemente. partica del GF se entrevistados durante prefieren no DIPRES, y para la esfuerzo, él es usualmente a través de las quejaron de la ida la 1 misión. Uno de desperddar. Un punto participación. muy selectivo en deddr cuál EPGs). E PMG es pawtpaón que se es ellos dijo que los sobre el que habla Dada l situacón, información comparir con una ormna continua tiemn resevada en el evaluadores están acuerdo general fue alis se ven en la los analists de de supe n proceso da e mucho más expuestos que, durante la necesidad de presupuesto. Con cierto Que cuando eos a presiones odginadas negociación de los enfocar la mayoría toque de humor, se refidó a cran sobre los en los sectores que en compromisos de sus esfuerzos esto como asequtarse de rporten de la 53 Eveluadores Jefes de Programa Coorcdnadores Staft de las Staff de las Oicrinas de Miaros y Atos iputadosd S de EvSla; de Stffi de Presupuesto de A das Ministerteles Ocn de Presupuesto de los BFuia osf Á tMuIsa - in PFiPRES Pí del tE _ loMíaaeSo DIPRES. Por lo instcidonaies de los es pesmar -desonierar al enenigo'. eveluactón - menos 2 particpantes programas, hay atenddn a lo que Pero adaró que, de no otNi sus en uno de los GFs algunos indicadores y DIPRES y las hacefo, los secr~alistas comentarioa no son cieron que, después Compromisos que evaluaciones terminarian perdéndose en teWr* en cuenta de haber hecho vanas DIPRES trata de conaderan medo de demasiada Cuando se les p . evaluaciones pasa imponer a toda coste. importante, lo que infor n. nade o a rnas DIPRES, han llegado a muchas veces araan&as en bs cuates la condusión de que impica tener que DIPRES se ha concentradb ba conarios y dertas descuidar lo que demasiado en el nivel m ~eenas de ls recomendacIones (por ellos mmos ministerial y muy poco en los ea~fistes ejemplo, aquéllas que consideran sus servidos. 4 de 12 Sevdos -ios hablan requieren cambios en ibejos'. Hipótesistaspectos: ¿Cuáles son las actividades? ¿Quién recibe los informes? ¿Qué acciones correctivas? ¿Qué verificación? Evaluadora~ Jees de Program a Coordinadores Staf de l Oficina de Staff de la Oficinas dek Mi r y Ato Diptdos del SFistde Evana de StiaHde Pr q Acteemd MinIsterIaes Pre upuesto les Presupuesad lu Fu no Co o DtJPFES de tJIP ES Servicios Ministrioe _ Muchos partcipantes en los Un actor dave de Por lo menos 2 Antes de proceder a La Un acorciave de sector TodastasheffnrintaS dos GFs oieron que algunas uno de los participantes dcei GF eleboradc delos deA&neran deMlEv a t a vásdie de las condiciones que les son ministenos dijo cijeron que los Coprsos khE es Presupuestaria y un ¡ele rir nrrr L impuestas por los que las Compromisos en bw a las conuiones y de secor p p a Adnrás el SIGFE debe Compromisos lnstltudonaies recomendaciones Instltuonaies incluyen las recomendadones de las f,eron que, cuando tos generr nf de están más allá de sus dei panel no se condiciones que van más evaluaciones, se les so~ita a poamas no c~t c,ge y dePn rntes capacidades. Las siguientes conviertieron allá de sus capacidades. os Senvicis que cas con os C rsos de acceso ad qa son alg¡unas de las razones automábcamente .ornenten. Por lo generai, bs histuonlals, se bs cada rvel, ir rdo ei que mencionaron: (a) la flita en Compromisos Servidos coincden con etas casIiga. Unode eos nivel mrs Por de recursos requeidos pare lnstltudonales. sdo excepcionahnente ¡itstr esto con un ejie, cumplir con esos compromisos; Antes de que se (análisis de sensibdad con qemplo ceto. Sin desceazrdo la y (b) en ocasiones, los firmen los respecto ai espacio polláo embargo, dtros 2 jefs reazacdón d EPGs a Corrpromisos les exigen hacer Compromisos, se pare aceptar alnas de sectores los rios corno cosas que los programas no produce una recomendacoes). Las presupuestars dtesw parte de su cartera? (ver están autorizados a hacer (vgr., negociadón entre agencias quieren onocer sus que esto, en l precaca. 12 ccot de reormes negocar cambios en las DIPRES y el asi~acones de presuesto no está sucedveido. gerendales). Las EPGs asignaciornes de presupuesto, programa antes de asibr nrrgun tenen un obje~o o promover cambios en la evaluado. Según comnrriso. En general, la dnénico. dseño y legistación). este entrevistado, dssoin (enire tos anistas, eva de programa. Sin embargo, los partcipantes los representantes el Direcor dci Senicio, o Sub Ddegacn deal tl n argumentaron no tener de DIPRES son sectaris en el caso de de evalrón a una suficiente poder como para razonables para E )caclón> queda cenra ana idrte ? poner un limite frente a lo que negociar' en a~pr ma rnicrses a En Espdb, Flnzas DIPRES les exige durante la io de la cew n de estár msWandosea negociación delos los compronásos.Cu~blos esto Clee está Compromisos Institucionales. recmasos no están disponÉles. esturio a casocon d se ajustan os compronsos, o BID. bs recmrsos existentes se redfSt ye. El seginÑnto dei nivel de cunI con tos sorwis -bbIuconls ha w e lada carga de tnbao de -ae _a (3 en 19%8,4en1999,431 en 2002 y 5 desde el 2003). Algunas veces los ComTprixnss son ieo (cuando se sOicitan suspenones>. Hay ua supe in entre lass de ias evauaciones (EPGs. Els y Ccm_r_ehnsias del Gasto). 55 2 Resultados del Programa 2.3 Producto: Evaluación del nivel de satisfacción de los beneficiarios, considerando aspectos tales como: accesibilidad a los retados de las evaluaciones, calidad de las eva cn y entregas a tiempo de los reportes de la evaluación, entre otros. Evluadora Jefe de Pror Codnadrs O de las Ocnas de St de las Ofida de Miso y Ars Ca dl Co S de E ~S de de Pa_s Aclre d Mtiniata Peo de los Pa ade los Fundom IMES de 0PllES ______ Senralaos Mbinstro lCon Espeda de LOns _a de evauaci6n Pria uno de os de DOPRES e~r an las enrledos dio que las aen acero. de~d EPGs poporonan rir cada pate de la iniomid na sobre ln*me detro de los ce prowqaas, y el aniIs es. esea. E enr~risado pmrllída E ~dnna de avance podría me sÑ ~cadl pa se siÑ sin eS~kw bs ifrmes. A pesar de enido aggn f que eb erllendelos de osp caa 1 y 2. specs dd prsty COmawaso a apr el Coandeoa patidp mnis vocabanio de Mbríen en el pnlsola bdad del por m ',dz prea rporte Inal es msuomt or. que bs W~ mesde Prrem es myqueqno evahn fn k~ os prp d Wo dres el 'anaies paa los pmeso, de mera In de irsra del Cgr~, ya asegurar tola hal que no ld s Idepad AL RNL c«et son DEL PERIODO, lh a_s 'eowns. Obo lenen 15 dis para p enbel (tdlo que bs la sesis de lae rr q%e des~ten e que sere lnsd al proceso han cando pero C so (ppp)- nosl~#ava La Gensr , s gestlóde m pro~anaes agegoefdr mqor, poq las caa e o est eVuae han m~ad Ktmenda Un c dl sector eldíseflodelosprnqumasy pmesm ay b ¡da de la han enalzedo la Dn de Contl de iT ~nca de Gesbn, M. Guarn, se non clra sobre aars de pf blasFnesb cuos. y efaizarals recmendacIne . . ~~~~~~~~~Obw Db~ M Uno de bs enbuv aclicd el esIo opaW de la presen~dIn de bs esudos de eauaón y la desual 56 2.5 Resultados Intermedios: Análisis y evaluación del nivel de aceptación del Programa de Evaluación desarrollado por la Dirección de Presupuesto (DIPRES) y su grado de instituCión. -> Hipótesis/aspectos: Uso que se les da a los resultados de la evaluación Evaluadores Jetes de Programa Coordinadores Staff de las Oficinas Sta# de las Oficinas Ministros y Aftas D dos del StafH de Evaluación ~tlf de AcorescbI Ministerialis de Presupuesto de de Presupueso de Funcionarios Congreso de DIPRES Presupuesto de los Servicios los Miniserios DIPRES El Se~liolAgencia A cree formar parte de un pequeiño grupo de seiicios gerencialmente más avanzadoz, que incuiria a organismos tales como Impuestos Internos, la Dirección de Trabajo, DIBAM (Dirección de Bibliocas, Archivos, y Museos - MinEduc), Tesoreria, y Regitro Cni. Razones por la cuales el ServdolAgencia A puede haber llegado a estar entre los líderes: su alta visibilkdd (el entrevistado coincidió con que las EPGs pueden haber sido aplicadas a áreas de ata sensibilidad política, donde demostrar resutados del secor público es polteiamente ventajoso). 2.6 Resultados intermedios: Análisis y evaluación del mejoramiento de la capacidad de evaluación del equipo de profesionales responsables por los programas evaluados y otros actores relevantes. -O Hipótesis/aspectos: ¿Poca evidencia de que el staff de la agencia tiene incentivos para aprender a evaluar? ¿Se ha desarrollado una cultura de evaluación en las agencias? ¿Han mejorado bs capacidades de evaluaciónlMarco Lógico de los evaluadores y del staff de los programas con el entrenamiento de DIPRES y de MIDEPLAN? Evaluadomr Jefes de Coordinadores Staff de las Oficnas Staff de ls Oficinas Ministwos y Alo Diputadas del Staff de Ealuación Stff de Acba ce Programa Ministeriles de Presupuesto de de P ueso de los Funci'onarbs Congeso de DURES Pre s de ls Servkios Ministerios DRES Uno de los participantes del GF2 dijo El Servido/Agencia A hace que ls programas ahora están sus propias evaluaciones a empezando a pensar de acuerdo a los través de su sistema de lineamientos de los Marcos Lógicos en control. toda clase de situaciones (o sea, no sólo a los efectos de cufnfpir con las instrucciones específicas de DIPRES o MIDEPLAN). 57 2.8 Resultados Intermedios: Análisis y evaluación de la diseminación y uso de los resultados de la evaluación por parte del Congreso. -> Hipótesi6iaspeeto-: ¿(Cómo) usa el Congreso los resultados de la evalu.c*ii? Evaluadorea les de Prorma Coord he MltrWe S de ha OfEn S de tas o ds de M r y A Fmca O d c eo s de Esdudán de DIPUEs sISieii de Pruutde Pru t de to Uno de los partdipantes del GF2 Por lo menos 2 partidpantes . 2004 es el prmer año en que el IC r Es de No hay evdena de que bs AlNmrn4; dio que, en el caso de su del GF argunentaron que el Gobieoh requedo que bs Cortlenhls presP ete prorna, los resitados Congreso se rmnibene ieno Secores (M os) le psenten Un repr te ulfizala si . Enos b Imos a w etdar desfavorables que aroó la al proceso de evaluadón así repomes trinasites de e n del iton remitda por te o~ eal han ado una rin ired evaluación de su programa tueron corno también de la presu,uesto, de Wna a la Cmera de de laba~ s2pp). Sin em das riaont usado por eos miembros del negociación de Compromisos Evaaciones Trtinesiede Diput la que rea Ics ebos 1t bn astad _W Congreso como un argumento Institudconaes - aunque les Pi_ , at Corso. Este es Wfnnea de evdd y sus ea ndo Co os de¡De ~ DPES. 1 para reducir/negadies tondos pareceria bueno que se un esferzo para aumertar le chitaste eslcmotsnbudn las fres corpes, i no los do enw presupuestarios. involucrare. patcipadón del Congreso ente observaciones que les ren ls on a s de las a c Ca preparacion del pr o. Seris Su pe l tsnin r dmC prear rearúmenes que inlue erntegoct ta irdornac má rtasee .vea ~ m s aresnos a wa as (e (AII~° er_de i- wencioruron que aes tiWn su EPGL prropió sop are eshos de ki~ç . Otro de bs erbvistados dlo que su ofic pepra una usins de bst de Ies i s de evu para la Sena~ Aqe las cintste son pam la COisión, nM oboes conressas les brt pend ias evdu ytI snitesis para que sc otaes los zan. Cmono s inero de inhcmes de avl n es mas menwsbie que alde BG1s (1403, eos usuabente loe lben tos pd s, o l manos leen sus resen jcos y les observaciones de prnaa albs reportes inaes de ev in En la práctica ios EPGs sn izados uitenivamrenta par la dsudn. En esteserldo, obs PMGs estan más orientados a prensar el buen de~rpe que a ev a u s agen Uno dbtos drados erdos no saoia que las eveuaeons estalm en laweb. lOlDicutados ddCel t No ha epoyo ir~ deslsll del Co. T co ls bases pollicas (que están abnedas con paos polPjco especicos) ios audan cho. 58 2.10 Resultados Finales: Análisis y evaluación del grado de integración de los resultados de la evaluación dentro del análisis del ciclo presupuestario. -> Hipótesistaspectos: DIPRES sostiene que los resultados de la evaluación son un insumo importante para su toma de decisiones. ¿Qué tan extendido está su uso en los sectores ministeriales, a lbs fines de la programación de sus presupuestos y la asignación de recursos? ¿Los ministerios los usan menos en la formulación del presupuesto? ¿DIPRES hizo un uso particular de los hallzgos de las EPGs durante la crisis presupuestaria de finales de los 1990s? (durante ese período, DIPRES comisionó 40 EPGs en un año, precisamente para informar mepr la toma de decisiones presupuestarias). Si los hallazgos de hs EPGs no influenciaron las decisiones presupuestarias, en principio, podría argumentarse, que el sistema de evaluación de DIPRES no habria cumplido con su razón de ser. ¿Cuán intensivo ha sido el uso que ha hecho DIPRES de esta información a lo largo del proceso de preparación del presupuesto? -- Uso a los fines de los Compromisos Institucionales (aquéllos con el mayor gasto o implicaciones de política)- Uso Por Parte del staff de presupuesto de DIPRES en las síntesis de políticalpresupuesto - De acuerdo con el seguimiento que se ha hecho del grado de cumplimiento con ls Compromisos Insituciles, ¿las recomendaciones que surgen de las evaluaciones están siendo implementadas? Evluadores Jefn de Program Coordinadores St de laes orf de Sbff de lao 0 de Prj t dloe ney Du Slell de 9telde Pe . deWI 8 Ad0O dHe Milnlbttamía Pmupuesto de la Se n nh Mn del Congro Enh F dt Dld Uwo do los U o di los hdlo¡ d Us do k# hs h de Uso do 4» hol de enhcff ºor Uso de k* Uso oode osl _ deed~lDerMb dw ode ¡m ha ~ ha_ de evl_ oormd enhaonDart dDPos deha~ D I P e__ _rd_ #va¡~n Dor DIPRE0 La mayoría de los parlo tnes en En el GF. htibo un acedo prcc ne e idn La n de los jete y al Wd sector W"E s" do DPRES Uno de os partiripantes dijo el GF dio que las asicqna s del unániffa en cuant a que DIPRES usa los Ukd peepu es n de m en decr que, De ao con U. Los Cr;-moromisos que los recomendaciones de presupuest no pareeco estar haiaz;oa de la evaluaión parae r e ds ill a pesar de rpa la relir entre obs hdagde ls Guar~i, b qr Haind nsii bgb nries: la evmuación hferon usadas relacionadas con ios halbazgo de mannr, readqnar iterme o cortar el Dos evaSsione~ y bls a acsies en el vpreu s estb bueraiskilogrrrea Murchos para rerucar el l evaluecidn. Para ~ustrar esta fblancmienlo de ios progira Sin eniwgo, especa en no es eudl~ al decdie las ga en el nxnrbi pa orelie participantes de los programa evaluado. Est afimaciión, trajeron a colación la opción de men~tr el i _naro de los evaluación de pr ~DP ES D hOza oe sos de s ed p o de ado 2 GFs dijeron que involur;ó un proceso de instancias en que los programa prog,rams no parc estar nunra presente. La uno de los eval n La m ~aria dio eje~r¢loe de pr o Pe al los Compronisos necación con DIPRES, habían sido evaluados única espción a esta re;qa vneo de un nrsnrios p qrram a que krn bt ao o ruyra iga qe unad esr Insuioels len que resultó en la firma de los positivameste, ysu presupuesto paiipas del GF que r que el posie men ron un p es frn re woe, se axnieon o Co e, iso no~ que la exigían cumprir con Comprorrmsos Insfitirionaies ierninó siendo cortados origen de esta dibrencia entre su sterio y progr que arnearon oo resutao de es evaua c;o eear la condiciones que se del programa. Alguien más mantenido sin cantos. los otros podría estar dada por ei hedor de había sido Tres je d ece pe re q. con~ y encostraban más dijo que el panel habla Únicamente 1 partelpante dijo que, que, a ~ilerenda de b que ocrure con muchos c erradodespués entre el 30% yel 40% de ls amie rcrerdone derbe alá de sus recomendado reaiizar un en su caso, una evaluacióncon inistes algunos de los progran de su de una EPG. prerguip lo 1g a ebe h ga~a y evt esyte c;apacidades Las estudio de seguirniento y resultados positivos se habla visio Lnisterio tienen retoros no sólo sociajes y En ese caso, as rn d de as evae s dos de don der;_ ¡bvl siguienes son DIPRES acordó rinarlo. seguida de un aumenlo de ondos poltecos. sino tambfén m rai e Algunos de EPG ayudar~n a dren que, qu mar te, e~nca de 10% de saslprn del algunas de las Otro pariipante dijo que, en Otro pariripante apunti ob que i los parites del GFd ieron *repios de Conimr la Cmamb¡ios en spe utdei prom pres o o razones que su caso, los hallazgos de os iaó el to político` de ls ntanci en as que DiPRES mó decisiones decisón pero lo esthn ad a lo rs s de la ev* ~ Sin sá*et,lc ars ó menconaron: (a) la evaluaciones no laron evaluacones. Esta impact tendría que no esaban en llnea con bos hallazgos de drausa del embargo. no todos parcen enar rma ytn tan que ble eyalrones won atal de los recursos tenidos en cuenta por lugar cuando bs resultados de la bs evaluaciones, y atribuyo esto a factores progayraya optd Lino de lo;sene jo que, en munj Hipótesis/asuntos: Uso de los hallazgos de las evaluaciones por parte de los ministerios y agencias para sus tareas de: (i) gestión operativa de programas, (ii) planificación presupuestaria, y (iii) asignación de recursos. Evaluadou~ Jalas de PN f Cordudorma f,f dOi de Stfl de l Ofha de fR y As D del S#f de Eva Sbtf de Pfma Ae da Mab l P ~p de hos Prespuesto de boe Fldos CgO de 0WRE de DUElES Sera Mfd_ Uno de bs en s EB SeridAg ecb A esá en Vtos efas de er tiene sus propis pmn co n drecta prquesroy cmpnrscs - walmes omn DIPRES. D PRES sabe ua_s c in en aaaerdos hmados más de lo quae dW (dc que ldad de las endo el un actor dae cm on h pst e del dase meo hnanciero sobra l que l eu de ls con los SSs. SeviddAgnciaA hace. El ¡*b han m~rado enfresdo iue enáto en dasda que hs fmn~ a que el niel del nsu t da área d la politic del -a n es en Se~,vido,renr que DIPRES oprudn y que ls prove el &mer (pero, agarra trcunemas aw t, cto 's ucn ha s ala estor pasnran. DIPRES evadr en apoyode senalooe aque da slupoquos p c bdsde pi dela e áso- prei u n eto Unque da unfad por ejenrplo~ la preashdaeo nd ectmo peavezd ny la p dn *oe ascs dagae da-;el ó nor b las pe de urdaoo- DIPRESha phaueueto za sazdo p d s el e os nadtet semtor de polItice púbiba dal ~n selehr que lome parte el da oyue éles~ Sesvtdo~Agencía A. omiristnads por eosa S~rioAgencíak sus nicosn Encontast p~ ropios avancessuben la con alto, oto jalada barra` per DIPRES, en el se deid preuuet senádo de que el sostuo que etas no las pienea * ~M tlaágc uiee fa mucho, y que no os aseco daelin ¡nado ha~ntdo~ ~ncmf que a su vez reoire la stntctv en la e~da Contraperte da Propnrgranra da las prna2 rdes dtel pepus a medam prasii quesoI reetze plazo ta~~~~~~~~~~~s n*ritaas Otro da los jea da sector Mpraretd djo que, dedeque d est.en s cago (2M0), hasido lalioda toola eVáudd tu conlrbrid a2 grade carn¿o en la polltwc 62 4 Medicion global del Desempeño 1 Relación entre los costos del Programa y los resultados e impactos obtenidos, incorporando al análisis todos los conceptos de costo que resulten relwantes (a conclusiones) Evaluadores Jefes de Programa Coordiadores Stafl de las Oficinas Staff de has Oficinas Ministros y Alos Dp del Staff de Stafi de Pr ue Acoda Ministerabs de Preupuesto de de Presupuesto de los Funcionados Congreso Eva~cln de de DIPRES los Servicios Milsteries DIPRES La mayoría de Uno de los Al menos 2 participantes participantes del GF1 participantes del GF del GF se quejaron de la coincidió en que los señaló que, aunque enorme cantidad de beneficios derivados de en su opinión las trabajo adicional que les estas evaluaciones evaluaciones son impuso el proceso de superan los costos que úiles, participar en el evaluación. Cuando las ellas impusieron a sus proceso implica una evaluaciones se programas. pesada carga para realizan, el volumen de las trabajo que enfrentan agencas/programas. aumenta mucho, pero el Otro participante dijo tamaño de sus equipos que cuanrdo ellos permance igual. piden información a las diferentes divisiones de sus Servicioslagencias para ser entregada a los evaluadores o a DIPRES, lo que reciben por respuesta es: 'por favor, déjennos hacer nuestro trabajo (es dedr, que la multiplicidad de pedidos de infomnación estada interfiriendo con el normal desarrollo de las actMdades regulares de los Servicios. 63 ANExo E ACTORES INSTITUCIONALES EN EL SISTEMA DE EVALUACIÓN 64 ANEXO E ACTORES INSTITUCIONALES EN EL SISTEMA DE EVALUACIÓN Rol formal (según DIPRES) |Rol informal (según lo percibido de entrevistas y Comentarlos grupos de enfoque) Comité Interministerial SEGPRES, MIDEPLAN, Hacienda/DIPRES (preside el Cornité) Propone al Congreso los DIPRES propone la lista inicial de programas á ser Al menos un entrevistado del programas para evaluados. SEGPRES y MIDEPLAN tienden á aceptar la sector preguntó si la evaluación mayoría de las sugerencias de DIPRES, pero tienen selección de programas á ser * Asegura que los limitada capacidad para añadir programas en el margen. evaluados no debería reflejar resultados de la Se puede inferir que SEGPRES y MIDEPLAN no están mejor las prioridades evaluación son substancialmente envueltos en comunicar resultados o presidenciales comunicados á las asegurar soporte técnico y coordinación. instituciones relacionadas en el proceso. * Asegura el soporte técnico y coordinación para apoyar el proceso. DIPRES División de Control de Gestión (DCG) Es responsable por la DIPRES/División de Control de Gestión es el centro del * La asimetría de poder, ejecución de las evaluaciones. sistema de evaluación y lleva á cabo todas sus tareas de sustentada por el respeto Esto requiere: evaluación en considerable integración con su técnico al DIPRES, es un * Responsabilidad por administración de otros instrumentos de control gerencial elemento central de que metodología y diseño que afectan á las agencias. es lo que hace el sistema operacional; de evaluación trabajar. * Proveer recursos; DIPRESIDCG recibe considerable autoridad de su * El otro lado de la * Operar el sistema; ubicación en la poderosa oficina de presupuesto, pero es moneda de la rigidez en * Examinar y aprobar los también técnicamente respetada. DIPRES es el sistema de evaluación proyectos y reportes universalmente vista por otros actores del sistema, como es la importancia de finales, y hacer por altos funcionarios, como el actor dominante en virtud rutinas estandardizadas comentarios; de su poder sobre el presupuesto. Es también un al proceso de producción * Enviar reportes finales al predominante parecer que no es bueno para las agencias de la evaluación (el Ejecutivo y al Congreso; tener una mala relación con DIPRES o no cumplir con sus modelo de "fabrica"). * Insertar resultados de mandatos. Estas percepciones ayudan á asegurar la Puede DIPRES/DCG evaluación cooperación de las agencias con DIPRES y los encontrar modos de ser evaluadores. Al mismo tiempo, la mayoría de los actores mas flexibles y reconocen la importancia de un fuerte control fiscal que el sensitivos dentro de este DIPRES ejerce; muchos aprecian la fortaleza técnica que modelo? Mas DIPRES trae á la mesa; pocos imaginan un radicalmente flexibilidad diferente sistema de control fiscal. Igualmente, probablemente DIPRES/DCG es técnicamente respetado. incrementara significativamente los DIPRES/DCG es percibido por las agencias como que costos de transacción del impone un rígido modelo de evaluación y proceso. Un DIPRES/DCG, y ellas no frecuente expresado parecer es que la mayor influencia del tienen la capacidad de DIPRES/DCG sobre el proceso de evaluación es el de manejar este incremento imponer rigidez (notablemente á través del Esquema Lógico, énfasis en los objetivos formales, cortos 65 Rol formal (según DIPRES) Rol informal (segn lo percibido de entrevistas y Comentarios grupos de enfoque) cronogramas para EPGS). Otro parecer es que, en esbozar responsabilidades institucionales, DIPRESIDCG no se aleja de las recomendaciones del panel. Estos dos pareceres soportan una mas general parecer que la influencia del DIPRE/DCG sobre el proceso es en áreas .metodológicas, más que en aspectos substantivos sectoriales. DIPRE/DCG no fue á menudo muy receptivo al punto de vista de las agencias, según algunos funcionarios de las agencias. DIPRES Jefes de Sectores Pr supuestarios * Usa los resultados de El uso de los resultados de evaluación para influenciar (no El equipo del presupuesto evaluación y el determinar) las decisiones presupuestarias es una parte tiene el conocimiento monitoreo de creciente de la cultura presupuestal de DIPRES. Al menos sectorial (para seleccionar compromisos, como informalmente, el equipo de presupuesto del DIPRES es programas para evaluación parte de la Evaluación también consultado en un variado nivel, dependiendo del o proveer información para Interna en la preparación sector-en la elección de sectores para la evaluación. el proceso de evaluación) del presupuesto que el equipo del En la practica, los analistas de presupuesto del DIPRES DIPRES/DCG carece. En juegan un espectro de roles en el ciclo de evaluación, principio, debe ser posible participando en la selección de programas para evaluación y envolver á los analistas en el uso de resultados de evaluación en el análisis presupuéstales en el proceso presupuestal. Notablemente, hay algunos del staff quienes de evaluación mas ven la evaluación como un instrumento de un sistema formalmente y presupuestal orientado por resultados, en tanto otros no ven sistemáticamente, pero aun que las evaluaciones proveen ningún valor añadido por sus si hay estrecheces de tiempo propios trabajos. Generalmente, los analistas de presupuesto dado sus actuales y solo tienen tiempo para revisar á los aspectos principales presupuéstales de las evaluaciones; ellos no tienen tiempo responsabilidades, el asunto para profundizarse en las evaluaciones. no es uno de falta de tiempo pero que todavía se necesita En general, el staff de presupuesto del DIPRES no tiene un construir un puente entre el fuerte sentido de envolverse con el proceso de evaluación o staff del presupuesto y el del una fuerte relación con el staff del DIPRESIDCG. DCG. Sin embargo, siete entrevistados (Equipo del Presupuesto) dijeron que información ES USADA durante el proceso de preparación del presupuesto, y solo uno dijo ella no es todavía usada y este lo atribuyó huyo la necesidad del sistema de evaluación de primero enfocarse en otros asuntos (por ejemplo, identificar propiamente los objetivos del programa) y solo entonces estar preparados para mas útil información al equipo de presupuesto del DIPRES. Pero no pareció darnos alguna razón para creer que el pudiera pensar que la evaluación como tal no es un útil instrumento de un sistema presupuestal orientado por resultados. Evaluadores * Llevan á cabo Características de los evaluadores. Para las EPGSs, * Hay muchos modos en evaluaciones siguiendo DIPRES selecciona - á través de concurso publico y basado que un staff puede procedimientos definidos en la importancia de sus c.v.s.- un panel de tres equivocarse (e.g., por DIPRES independientes expertos no gubernamentales. Su criterio de específicos individuos selección enfatiza una mezcla de disciplinas relevantes. Es asignados á trabajar en á menudo percepción del staff (no compartida por la evaluación, no siendo ____ evaluadores) que el criterio de selección enfatiza el 66 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) _ conocimiento metodológico á expensas del conocimiento el mejor disponible; e1 del particular sector. Es también una típica percepción del proceso contractual staff que la elección de firmas por DIPRES para las EIs, tomando mas tiempo). tiende á poner un mayor valor en lo experto en el sector. * Un incremento en (Los evaluadores de las Eis son universidades o consultarías remuneración mejoraría privadas seleccionados por concurso publico) Algunos del la calidad del equipo de las agencias reconocen que los evaluadores evaluador, así (EPGs y Eis) tienden á tener credibilidad debido al desarrollando una transparente proceso de selección de gente calificada fuera mayor, menos cerrada del gobierno. comunidad de evaluadores de EPG? Muchos equipos de agencias y evaluadores tuvieron Es difícil establecer comentarios críticos acerca del desempeñío de los esto dado la falta de evaluadores o las condiciones de trabajo. evidencia, pero tuve la * Muchos vieron á los evaluadores como operando impresión que los dentro de estrechas guías impuestas por DIPRES (para incentivos de los las EPGs un termino de referencia que enfatiza el evaluadores podrían ser Esquema Lógico, pero olvida las especificidades muy fuertes y que sectoriales) que confina el trabajo de los evaluadores. podría haber un * Á pesar de alguna diferencia, la percepción problema de limitada prevaleciente en el staff del programa parecía acercarse oferta. á la idea que los panelistas simplemente tomaron y * Debe DIPRES hacer del rearreglaron la información del equipo del programa, conocimiento sectorial en vez de contribuir con información adicional o una mayor prioridad al "saber-hacer." El equipo del Programa algunas veces conformar los paneles? reclamo de falta de conocimiento sectorial especifico o La preferencia de profundidad de análisis de parte de los evaluadores normativa diría "si" (EPGs y EIs) pero debemos * Algunos evaluadores percibieron serios problemas de interpretar los coordinación entre paneles, pero otros reconocieron comentarios del staff virtudes de un equipo mixto. del programa con * Los evaluadores de las EPGs también reclamaron de la cautela - pocos fuera de pobre remuneración (mientras reconociendo otros los evaluadores tendrían beneficios laterales del envolvimiento en las un conocimiento en evaluaciones de DIPRES). Un equipo del programa á profundidad de un veces percibió que los paneles de las EPG tuvieron sector dado, que iguala tiempo insuficiente en sus evaluaciones. el conocimiento de uno * Evaluadores (como DIPRES) á menudo no fueron muy del equipo del receptivos á los puntos de vista de una agencia, según programa. No he el parecer de algún miembro del equipo de una seguido los análisis de agencia. la calidad de la evaluación, pero dudo si estos han descubierto un signo que la calidad realmente sufre por inadecuada provisión de expertos en el sector. Instituciones Evaluadas * Proveen información al Las agencias tienen una predominante percepción que Panel al inicio de, y ellas juegan un rol pasivo en el proceso de evaluación. El durante, la evaluación. rol formal, como descrito, es mayormente pasivo (o * Para las EPGs: preparan reactivo). Esto fue fuertemente tenido en las percepciones un inicial Esquema reportadas. La gran mayoría de gente de los programas _ evaluados, servicios, y ministerios dijeron que sus niveles _ 67 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios ____ ____ ____ ____ ___ gru2os de enfoque) Lógico para el panel. de envolvimiento en el proceso de evaluación fueron * Participan en reuniones mínimos nulos con muy pocas excepciones, esto parece solicitadas por los ser el caso con las EPGs y con las [es igualmente, y en evaluadores y DIPRES. todas las etapas del proceso de evaluación. Por ejemplo: * Comentan sobre los * Las consultas de DIPRES con las agencias antes de la proyectos y reportes evaluación fue usualmente limitada á asegurar que los finales de evaluación. evaluadores seleccionados no tenían conflictos de * Comentan sobre las interés; recomendaciones y * Los equipos de las agencias no jugaron ningún rol en participan en el proceso los términos de referencia de las EI y percibieron que de establecer las metodologías se impusieron desde arriba; compromisos * Incluso en la preparación del Esquema Lógico inicial institucionales sobre la fue el DIPRES, en algunos casos, y no el equipo del base de estas. programa que actuó (de otro lado, no emerge información sobre cuanta influencia el equipo del programa tuvo subsecuentemente sobre la revisión de los evaluadores sobre el Esquema Lógico). Hay á menudo un problema, percibido diferentemente en ambos lados, de las agencias que proveen deficiente información á los evaluadores. Evaluadores perciben que ellos á menudo tienen poca información, á veces por que mejor información no es disponible, pero á veces por que el equipo de la agencia lo retiene (incluso si DIPRES es un fuerte aliado de los evaluadores, y esto ciertamente provee alguna ayuda en extraer información). El staff de la agencia dice que proveer información puede ser difícil por que la información del programa usualmente no concuerda con las categorías del gasto presupuestal. Las agencias tienen una percepción predominante que tienen una desigual capacidad de negociación con DIPRES. Muchos miembros del equipo de programa reclamaron que durante la negociación de los compromisos institucionales, ellos no tuvieron otra elección que terminar asintiendo en los compromisos que estuvieron mas allá de sus posibilidades para cumplir. Sin embargo, la mayoritaria percepción de las agencias es que tener buenos resultados de evaluación es estratégicamente importante para ellos. El equipo universalmente actúa en la convicción que adversos resultados de evaluación [o falta de cooperación] resultara en consecuencias presupuéstales adversas para el programa siendo evaluado. La mayoría pensó que el no cumplimiento de los compromisos llevaría á cortes de presupuestos. (Sin embargo, no es claro, según comentarios del equipo de presupuesto del DIPRES, si la falta á cumplir los compromisos es consistentemente castigado con reducciones del presupuesto o retenciones). El otro lado de la moneda es que los equipos de agencia encuentran particularmente valioso que las evaluaciones validen sus programas. 68 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) De otro lado, las agencias denen una dominante percepción que los resultados de evaluación son de limitada utilidad para el aprendizaje de la agencia. Muchos miembros de los staffs de programa pensaron que sus programas aprendieron nada nuevo de las evaluaciones, pero hubo algunos puntos de vista positivos acerca de esto. (Nunca se esperó que el aprendizaje de una agencia sería un asunto importante del sistema de evaluación Chileno precisamente por el modo en que esta establecido). Hay un rango de variantes en las estrategias que diferentes agencias emplean para manejar el proceso de evaluación y usar los resultados. Hay alguna dominante pública discusión, especialmente entre los más altos miembros de los equipos de las agencias, en favor del desarrollo de una mayor cultura de gerencia de orientación por resultados (del cual la evaluación es parte). Esto podrta (y debería en cierto grado) tomarse como evidencia de avances en el establecimiento de una cultura basada en resultados. Pero esta discusión es algunas veces un fenómeno de superficie cual es ocultado por el comportamiento del nivel de agencia que algunas veces puede percibirse. Mientras el proceso de evaluación y el subsiguiente proceso de acuerdos no fueran percibidos en si mismos, para motivar la participación activa de las agencias, diferentes agencias hubieran enfrentado el proceso en modos con rango desde cooperación y explotación de los resultados de la evaluación hasta la no cooperación (aparente cooperación acompañada de mínima provisión de información). Algunos programas y agencias - mas probablemente una minoría - han adoptado entusiástica mente la filosofía de gerencia estratégica de evaluación (y otros instrumentos de control gerencial del DIPRES) e ido mas con el desarrollo del proceso á través de sus propios esfuerzos ("Aprendizaje tipo 1"). Otros integrantes de los equipos, frustrados que DIPRES y los evaluadores no escucharían, algunos veces renunciaron á participar activamente en el proceso de evaluación, confinando sus comentarios en disenso al reporte final. Pero otros integrantes de los equipos han tenido una mejor relación con DIPRES y una más optimista percepción que sus argumentos prevalecerían. Algunos programas podrían engañar en el cumplimiento de sus compromisos institucionales por que, en la práctica, el cumplimiento es difícil de verificar para el DIPRES. Hay también variaciones, por sector, en el rol que los Ministerios juegan. Los equipos de los Ministerios jugarían roles diferentes vis-á-vis sus sectores, de los cuales sus programas son evaluados. Ellos defenderían el programa ante DIPRES. Ellos buscarían facilitar la coordinación entre DIPRES y los programas. Los ministerios podrían algunas veces usar la evaluación acorde sus esfuerzos de llevar al á un mayor cumplimiento 69 Rol formal (según DIPRES) Rol Informad (según lo percibido de entrevestas y Comentarios _______ _______ ______ rupos de enfoque)_ _ _ _ _ _ _ _ _ _ _ de sus propias políticas. También, el equipo del Ministerio no tendría tiempo para estar envuelto en los asuntos. (especialmente cuando el sector es grande y el Ministerio supervisa muchos Servicios). _ Congreso Nacional * Acuerda con el El real rol del Congreso es más limitado de lo que su Las evaluaciones podrían gobierno (á través del rol formal sugeriría. El Congreso generalmente ser más fáciles por el comité de concuerda con la propuesta del gobierno para la usuario. presupuesto) sobre los selección de programas á ser evaluados; pero tiene programas para ser alguna libertad para incluir sus selecciones en el evaluados. margen ("El protocolo es mas que PR, pero menos * Recibe los reportes de que negociaciones"). Conforme á percepciones fuera evaluación para su uso del Congreso, no hay un alto nivel de interés del en las deliberaciones Congreso en los resultados de las evaluaciones sobre el presupuesto. (especialmente fuera del comité de presupuesto). El punto de visto al interior del Congreso podría ser mas entusiasta. 70 ANEXO F META EVALUACIÓN DE LA CALIDAD DE LAS EVALUACIONES DE PROGRAMAS DEL GOBIERNO DE CHILE UNIVERSALIA/Banco Mundial 15 de noviembre de 2005 71 i INDICE ÍNDICE ....................................... 72 I. RESUMEN ....................................... 73 II. Objetivos y Metodología de la Metaevaluación ....................................... 77 Evaluaciones 2002 ....................................... 78 Evaluaciones 2003 ....................................... 79 Tabla de Calificación según Criterios de Calidad ....................................... 81 III. Recomendaciones Según Criterios ....................................... 87 Respecto a la Organización y Claridad del Informe ....................................... 87 Respecto a la Racionalidad del Programa ....................................... 87 Respecto a la Lógica del Programa ....................................... 88 Respecto a la Metodología de la Evaluación ....................................... 89 Respecto a la Calidad de los Hallazgos ....................................... 89 Respecto a las Conclusiones de los Informes ....................................... 90 IV. Comentario General ....................................... 91 V. Lecciones Aprendidas ....................................... 91 COMENTARIOS DE DIPRES ....................................... 93 72 I. RESUMEN Introducción. La Dirección de Presupuesto del Gobierno de Chile y el Banco Mundial están realizando la revisión del sistema de evaluación que viene siendo implementado desde el año 1997. Como parte de este proceso UNIVERSALIA con el apoyo del Banco Mundial realizó una Meta Evaluación de una muestra de las 145 evaluaciones denominadas Evaluaciones de Programas Gubernamentales (EPG) que fueron requeridas por el Congreso Chileno. Alcance. La muestra para la Meta Evaluación comprendió cinco informes de EPG del 2002 y cinco informes del 2003: * Evaluaciones 2002: (a) Programa PRO RURAL; (b) Programa CHILECOMPRA; (c) Programa EXPLORA; (d) Programa de Asistencia Técnica; y (e) Programa de Generación de Capacidades en Localidades Pobres. * Evaluaciones 2003: (a) Programa de Relaciones Familiares, (b) Programa de Fomento a la Inversión Privada; (c) Programa de Textos Escolares Educación Básica y Medía; (d) Programa de Fortalecimiento de la Capacidad Fiscalizadora; y (e) Programa de Centros de Atención Integral y Prevención de la Violencia Intrafamiliar (VIF). Con la finalidad de medir la calidad de los Reportes de Evaluación los consultores elaboraron una Tabla de Calificación especialmente diseñada para este fin. Los criterios establecidos están en función de los requerimientos de calidad definidos como "básicos" y que corresponden a estándares reconocidos internacionalmente, para una evaluación. Los criterios que fueron usados son los siguientes: (a) Organización y Claridad del Informe, (b) Análisis de la Racionalidad del Programa; (c) Análisis de la Lógica del Programa; (d) Enfoque de la Evaluación; (e) Metodología utilizada; (f) Calidad de los hallazgos; y (g) Calidad de las Conclusiones y Recomendaciones. En base a estos criterios los informes fueron calificados y clasificados en: a) Altamente Satisfactorio; b) Satisfactorio; c) Moderadamente Satisfactorio; d) Moderadamente Insatisfactorio; e) Insatisfactorio; y f) Altamente Insatisfactorio. Actividades. Los consultores realizaron las siguientes actividades: (i) Preparación de la Tabla de Evaluación de Criterios; (ii) Revisión y Evaluación de los 10 Informes EPG; y (iii) Preparación del Informe Final. Consideraciones Generales. Cada uno de los diez informes analizados en función de los criterios mencionados, y la calificación resultante, fueron sometidos a un riguroso análisis de la manera como el reporte de evaluación reúne o no los requerimientos normativos o ideales de una evaluación de marco 16gico. La calificación final de cada informe de evaluación permite analizarlo comparativamente con los informes de evaluaciones bajo estudio. Mediante este método, la suma de las 73 calificaciones otorgadas a las diez evaluaciones serviría de indicador de la calidad de las evaluaciones EPG en general. El análisis global identifica las principales fortalezas y debilidades de las evaluaciones EPG de la DIPRES cuando se les compara con estándares abstractos basados en prácticas internacionales para evaluaciones de escritorio o de marco lógico. Se advierte que esos estándares internacionales trazan un patrón metodológico que, si bien es el patrón seguido por el PE para las EPG, pueden no corresponder a los propósitos particulares del PE en esta etapa de fortalecimiento de la gestión pública en Chile. En otras palabras, el patrón internacional es un punto de referencia, pero la realidad actual de la planeación y la ejecución de los programas en Chile puede imponer ajustes o concesiones para adecuar ese patrón al propósito de fortalecer la gestión en Chile. En este sentido, la metodologia utilizada para evaluar la calidad de las EPG presenta limitaciones intrínsecas que resultan particularmente gravosas cuando se la aplica a las EPG, en la etapa de desarrollo de evaluación en la que se encuentra Chile actualmente. A continuación se discuten estas limitaciones. Las limitaciones de la comparación con estándares internacionales nacen del hecho de que no existe un método único de evaluación que sea superior a los demás. No existe un método único porque los criterios de evaluación tienen que ajustarse a los objetivos y los medios del programa evaluado y a los propósitos de la evaluación. De manera que los criterios de la evaluación y sus pesos específicos deben guardar relación con las metas específicas que se persiguen y con las cuestiones particulares que se están analizando. Es evidente, por ejemplo, que la práctica internacional reconoce las evaluaciones que recompensan la consistencia lógica de un programa. Sin embargo, si las EPG de la DIPRES tiene entre sus propósitos actuales el mejoramiento de los marcos lógicos de los programas, no podría darse una baja calificación a una EPG que no se concentrara en la crítica o en la calificación negativa del marco lógico del programa sino que se esforzara por reconstruir ese marco lógico para dar mayor consistencia y efectividad al programa. Se insiste en que la calidad de la información de los programas incide directamente en la calidad de la evaluación, sobre todo en la línea de evaluación (EPG) que trabaja con información disponible en las instituciones (evaluación de escritorio). De acuerdo con las buenas prácticas internacionales, un programa de gobierno debe responder a esos problemas; y la evaluación debe ser dirigida a analizar la manera como el programa responde a esas cuestiones. Sin embargo, la DIPRES ha preferido restringir las evaluaciones, y particularmente las EPG, a los objetivos del programa, conectándolos parcialmente con objetivos superiores del servicio, del sector o del gobierno (objetivos estratégicos).1 Por ello, la metodología de evaluación idónea para las EPG, cuando menos en esta etapa de su desarrollo, no debería atribuir peso a la manera como la EPG analiza las sinergias entre el programa evaluado y los otros programas conexos del 1 Sin embargo, en los formatos de preparación del presupuesto para el 2005, y en años anteriores el Fondo Concursable, la DIPRES solicitó la identificación de los vínculos de los programas con las definiciones estratégicas. Ver formularios E y K para el proceso formulación presupuesto 2005. 74 gobierno; ni cómo los objetivos, resultados e indicadores de avance del programa encaran los retos de los objetivos superiores. En vista de las consideraciones anteriores, este Anexo se limita a presentar, como referente, los criterios de evaluación de la calidad de EPG que recomendaría la práctica internacional para este tipo de evaluaciones en general. Son criterios relativamente estándar, que aseguran la transparencia, reducen la subjetividad y facilitan la comparabilidad entre evaluaciones. Presenta también, por vía de ilustración, los pesos específicos que algunos de los expertos en evaluación atribuirían a esos criterios. E incluye igualmente conclusiones y recomendaciones que podrían seguirse para mejorar la calidad sustantiva de las EPG, si se pudiera hacer abstracción de los desafíos y de los propósitos particulares del PE de la DIPRES en el momento actual. Son puntos de referencia que podrían ser tenidos en cuenta, no para variar los objetivos y los métodos de las EPG en esta etapa del desarrollo del PE sino para incorporar más adelante en el PE o, más ampliamente, dentro del conjunto de instrumentos que constituyen el SCG. Este Anexo incluye también los argumentos y los comentarios preparados por la DCG de la DIPRES, bien sea para separarse de los criterios, o de los pesos relativos de éstos, propuestos en la metodología que seguirían las prácticas internacionales, o para no emplear por el momento una metodología estándar para medir la calidad de las EPG. Como lo refleja este Anexo F, dos consideraciones determinantes para la DIPRES son: i) el hecho de que la naturaleza de los programas evaluados por la DIPRES no se prestan siempre a la aplicación de todos los criterios metodológicos propuestos, y ii) el hecho de que la capacidad de absorción de la metodología de las EPG varía mucho de una agencia a otra. Hacer más compleja esa metodología con el solo fin de llenar los estándares que han ido depurando la práctica de países que tienen otro punto de partida podría arriesgar la realización de la evaluación, el seguimiento de sus recomendaciones o el grado de apropiación que de ella tienen actualmente los servicios chilenos. Recomendaciones. Respecto a la Organización y Claridad del Inforne. Se considera indispensable continuar fortaleciendo la exigencia de las pautas de contenido mínimo de todo informe de evaluación, las cuales se incumplieron parcialmente en algunas de las primeras evaluaciones EPG. Respecto a la Racionalidad del Programa. Los evaluadores podrán analizar el grado en que las actividades programadas responden a logro de estos. Se recomienda que la DIPRES exija a los programas la elaboración de la MML con los niveles e información correspondiente, con miras a que el evaluador pueda realizar un análisis mejor sustentado de la racionalidad del Programa. Respecto a la Lógica del Programa. En tal sentido una recomendación a la DIPRES es que amplíe el documento guía denominado "Metodología para la elaboración de la MML" o genere otro que norme el proceso de elaboración de este instrumento. Sería recomendable que la DIPRES exija a los programas la implementación de estos sistemas como parte de sus acciones. 75 Respecto a la Metodología de la Evaluación. Resulta recomendable que la DIPRES exija al Panel evaluador la aplicación de instrumentos especialmente elaborados para el levantamiento de información clave que permita la verificación de los logros y efectos y para ello considere las implicancias presupuestarias que se derivan del mejoramiento metodológico La eficiencia y calidad de los programas deben sustentarse asimismo en los cambios y modificaciones que se producen en la población objetivo. Respecto a la Calidad de los Hallazgos. Se recomienda a los paneles evaluadores que realicen un análisis más exhaustivo de la calidad de la información de esta fuente de datos, con miras a la utilización de la información disponible para enriquecer el análisis e identificar mayores hallazgos. Respecto a las Conclusiones de los Informes. Los evaluadores deben establecer un orden en la presentación de las conclusiones. Las conclusiones deben poner en evidencia tanto las fortalezas del programa como sus debilidades y carencias. Se recomienda que los Paneles Evaluadores incluyan un acápite específico en que describan las Lecciones Aprendidas, tanto las referentes a la ejecución del programa, como las del proceso de evaluación Lecciones Aprendidas. Las más importantes pueden resumirse como sigue: * El principal desafío en llevar a cabo esta Meta Evaluación fue preparar y consensuar la Tabla de Evaluación * Las mejores evaluaciones fueron aquellas en las que el equipo evaluador aplicó instrumentos específicos para recoger la información clave * La objetividad en las evaluaciones requiere el respaldo de evidencia para sustentar hallazgos y conclusiones * Los evaluadores de programas deben tener un amplio entendimiento, conceptual y práctico de la metodología de evaluación que van a aplicar * Las instituciones ejecutoras y su personal deben participar en todo el proceso de evaluación. La interacción con el equipo evaluador enriquece el proceso pues la información no contenida en documentos y reportes puede salir a la luz como resultado de esta interacción y participación. 76 II. Objetivos y Metodología de la Metaevaluación La Dirección de Presupuesto del Gobierno de Chile y el Banco Mundial están realizando la revisión del sistema de evaluación que viene siendo implementado desde el año 1997. Como parte de este proceso UNIVERSALIA con el apoyo del Banco Mundial está realizando una Meta Evaluación de una muestra de las 145 evaluaciones denominadas Evaluaciones de Programas Gubernamentales (EPG) que fueron requeridas por el Congreso Chileno. Para la valoración de la calidad de las Evaluaciones del Gobierno, los términos de referencia establecidos proponen un análisis que contemple dos partes. El primero referido a la metodología estándar asociada con los resultados de las evaluaciones EPG, para determinar: sus fortalezas, usos potenciales y limitaciones inherentes. El segundo, al análisis de las evaluaciones seleccionadas en función de criterios genéricos previamente establecidos. La muestra para la Meta Evaluación comprendió cinco (5) informes de EPG del 2002 y 5 informes de EPG del 2003, correspondiendo a los programas: 77 Cuifrto 2.1 Prt¿awtma guhemiritel eLi¿atttu -X ¿1 |'?t~2gl Puy RJIJ! .Uiizi) (tik.¡ Intet it v ¿ Sti tli¡...l de P.ttit; \.lw'ie tMinistrIeaá de Agrik L3tIt4t.l ? i)úaltt.. I'rl (. a:., ¿ ji ik'.n%m stt eu i .iztzidetíi ,Nk. l)tcn'dl NA, SE uI, gn ijciu Soler V. (it í:~d,wtcrra e' ¿~I.ríiIc.i0a'í y lnlVt',SICn %V i 0)5SI NA1rj 1 1:I1.% kV.('. Pi aírar ¿;rldu <1 Min sreq ik del ;< ¡ir ti 1íti 1 it ^d,í i a jrnl i f. if.t \-, 1 .¡dr `ot iwU,v d1 ,1ireuI.I :)íti '¿ t1tt t 1z¡' i.íkí ~ M.e Ma aSudr1ih la VI ( tu ttcja siírl | t II AN; Juan kigu'.! ele M, Evaluaciones 2002 * Programna PRO RURAL, de los Ministerios del Interior y de Agricultura, Sub-Secretaría de Desarrollo Regional (SUTBDERE) - Programa Chilecompra, del Ministerio de Hacienda, Dirección de Aprovisionamiento del Estado (DAE) * Programa EXPLORA, del Ministerio de Educación, Comisión Nacional de Investigación Científica y Tecnológica (CONICYT) * Programa de Asistencia Técnica, del Ministerio de Vivienda, Servicios Regionales de Vivienda y Urbanismo (SER IVU) * Programna de Generación de Capacidades en Localidades Pobres, del Ministerio de Planificación y Cooperación (MIDEPLAN), Fondo de Solidaridad e Inversión Social (FOSIS) 78 Evaluaciones 2003 * Programa de Relaciones Familiares del Ministerio del Interior, Fundación para la Familia * Programa de Fomento a la Inversión Privada, del Ministerio de Economía, Fomento y Reconstrucción, Corporación de Fomento de la Producción (CORFO) * Programa de Textos Escolares Educación Básica y Media, del Ministerio de Educación * Programa de Fortalecimiento de la Capacidad Fiscalizadora del Ministerio de Trabajo y Previsión Social, Dirección de Trabajo * Programa de Centros de Atención Integral y Prevención de la Violencia Intrafamiliar (VIF), del Ministerio de Planificación y Cooperación (MIDEPLAN), Servicio Nacional de la Mujer (SERNAM) Las EPG se encuentran normadas por la DIPRES. Para ello la DIPRES ha desarrollado una guía del proceso de evaluación ("Presentación General Evaluación de Programas Gubernamentales") y ha puesto a disposición la Metodología del Marco Lógico. Las evaluaciones son realizadas por paneles evaluadores constituidos por tres profesionales externos al sector público, previa selección mediante una convocatoria pública. Cada evaluación debe ser realizada en un período de cuatro meses. Para la realización de la Meta Evaluación de la calidad de los Informes de Evaluación se aplicó una Tabla de Calificación especialmente diseñada para este fin. Los criterios establecidos están en función de los requerimientos de calidad definidos como los "básicos" de un Estudio de Evaluación de los Programas Gubernamentales (EPG). Estos criterios corresponden a estándares reconocidos a nivel internacional para la evaluación de programas y a las pautas y criterios para las EPG, establecidas por la DIPRES. Estos criterios fueron: * Organización y Claridad del Informe de Evaluación. * Racionalidad del Programa. * Lógica del programa. * Enfoque de la evaluación. * Metodología de la Evaluación. * Calidad de los Hallazgos. * Calidad de las Conclusiones y Recomendaciones. La Tabla de Calificación de la calidad de las Evaluaciones constituyó la guía para la realización del análisis, lo más objetivo posible. Su estructura contempla 3 niveles: * Criterios de calidad * Sub- criterios de calidad. * Aspectos de calidad Para cada uno de estos niveles se han definido pesos, que han sido asignados de acuerdo a la importancia del criterio, sub-criterio o aspecto de calidad, en el marco de la Meta evaluación. La suma de los pesos asignados a cada nivel suma 100%. La escala de calificación definida, no sólo permite calificar y ubicar el estudio en un nivel de calidad, 79 sino además organizar las evaluaciones realizadas para el análisis de conjunto. Esta escala contempla 6 niveles de calidad de la Evaluación: * Altamente Satisfactorio = Puntajes de 91 a 100 * Satisfactorio = Puntajes de 76 a 90 * Moderadamente Satisfactorio = Puntajes de 61 a 75 * Moderadamente Insatisfactorio =Puntajes de 46 a 60 * Insatisfactorio =Puritajes de 31 a 45 * Altamente Insatisfactorio = Puntajes de 0 a 30. El análisis contempla, en primer lugar, los niveles de cumplimiento de los aspectos que definen la calidad de los sub criterios y criterios, así como las calificaciones obtenidas en función de las notas asignadas. Ello permite finalmente mostrar el nivel de calidad alcanzado por cada criterio. El desarrollo del proceso de la Meta Evaluación contempló la realización de las siguientes actividades, según productos: Producto 1. Elaboración de la Tabla de Evaluación de Criterios para Calificar las EPG's * Revisión de documentos y selección de Criterios, Sub-Criterios y Aspectos a evaluar * Determinación de Pesos para cada uno de ellos * Elaboración de Borrador de Tabla de Calificación de Criterios * Elaboración de documento metodológico * Envío de la Tabla y el documento metodológico al Banco Mundial para comentarios y retro-alimentación * Análisis e incorporación de comentarios recibidos Producto 2. Reportes de las 10 Evaluaciones de las EPG * Análisis y Calificación de cada uno de los 10 informes EPG * Elaboración de los 10 reportes preliminares * Discusión entre los miembros del equipo de los resultados obtenidos * Ajuste a las evaluaciones preliminaries * Elaboración de los 10 Reportes Finales Producto 3. Reporte Global * Elaboración de cuadros comparativos de calificación por Criterios * Análisis comparativo de los resultados obtenidos por criterio Junio 2004 * Elaboración del Borrador del Informne Global de Meta Evaluación * Elaboración del Informe de Síntesis * Envío del Borrador del Informe al Banco Mundial para comentarios y retroalimentación * Recepción, análisis e incorporación de comentarios y retroalimentación del equipo del Banco Mundial * Elaboración de documento final 80 Metodología. Consideraciones generales. Para la Evaluación de la calidad de los Informes de Evaluación se aplicó una Tabla de Calificación especialmente diseñada para este fin. Los criterios establecidos están en función de los requerimientos de calidad definidos como los "básicos" de un Estudio de Evaluación de los Programas Gubernamentales (EPG). Estos criterios corresponden a estándares reconocidos a nivel internacional para la evaluación de programas y a las pautas y criterios de las EPG, establecidas por DIPRES. Cada uno de los informes ha sido analizado en función de estos criterios, y la calificación resultante es producto de un riguroso análisis de los diferentes aspectos, tratando de ser lo mas objetivo posible. Para la calificación final del informe de evaluación se definió una escala de calificación, la cual ha permitido situar al informe en un nivel determinado y analizarlo en el marco de la evaluación de todos los informes de evaluación bajo estudio (un "Ranking" de puntaje de todas las evaluaciones). En el análisis global se ha tratado de identificar las principales fortalezas y debilidades de las evaluaciones. Tabla de Calificación según Criterios de Calidad La Tabla de Evaluación de la calidad de las Evaluaciones constituye la guía para la realización de un análisis objetivo de los informes. Su estructura contempla 3 niveles: * Criterios de calidad * Sub- criterios de calidad. * Aspectos de calidad Es importante recordar, que las EPG son evaluaciones de escritorio, que se desarrollan haciendo uso de la información disponible por el programa y en un período de tiempo relativamente corto (4 meses). Ello implica que algunos juicios evaluativos sobre resultados finales de los programas muchas veces son no conclusivos. Por esta razón es que a partir del año 2001 se incorporó la línea de trabajo consistente en Evaluaciones de Impacto de programas públicos en las que se utilizan instrumentos y metodologías más complejas de recolección y análisis de información, lo que implica que estas evaluaciones se desarrollan en períodos mas largos y a un mayor costo que las de la línea EPG. Ambas líneas de evaluación se complementan entre sí y forman parte del sistema de evaluación. Para cada uno de estos niveles se han definido pesos, tal como se detalla a continuación. Definición de pesos para los criterios: Se han definido 7 criterios de calidad, cuyo peso individual suma 100%. Los pesos han sido asignados de acuerdo a la importancia del criterio, en le marco de la presente evaluación. Los criterios de calidad establecidos son: * Organización y Claridad del Informe de Evaluación. Se ha revisado si el informe ha sido estructurado siguiendo el formato estándar y si esta redactado de una manera de fácil compresión a los lectores. * Racionalidad del Programa. Se evaluó si el programa discute adecuadamente el contexto en el cual fue creado (y su adecuación al contexto actual) así como, si las 8 1 actividades fueron descritas debidamente y responden a las necesidades de los beneficiarios. * Lógica del programa. Se ha revisado si el reporte establece con suficiente detalle las relaciones entre los insumos, procesos, resultados e impactos, si se ha evaluado la Matriz del Marco Lógico desarrollada por las instituciones y si se pueden extraer conclusiones significativas de la lógica del programa * Enfoque de la Evaluación. Se analizó si el enfoque de evaluación considera los temas relevantes como son: Eficiencia, Eficacia, Economía, sostenibilidad * Metodología de la Evaluación. Se verificó si la metodología aplicada en la evaluación del prograrna se ajusta a la metodología estándar indicada por la DIPRES (Marco Lógico) y si los instrumentos aplicados han sido los más idóneos. Asimismo si las fuentes de datos y técnicas de manejo permiten la verificación de los logros a través de indicadores. * Calidad de los Hallazgos. Se ha analizado si los datos y métodos son suficientemente sólidos para respaldar los hallazgos, así como la calidad del análisis de los datos. * Calidad de las Conclusiones y Recomendaciones. Se evaluó si las conclusiones se basan en la evidencia presentada, y si han permitido visualizar claramente los logros y efectos esperados del programa. Asimismo, se ha revisado si las recomendaciones se sustentan en las conclusiones y constituyen un aporte al gobierno para la toma de decisiones. 82 cuadro 2.2 Tatk duC¡daun itc cri<,riut MA, EI O I PORMI OR R ~~LMU m de a lak TEMA L NT t ___LR -EL - OE-W 71 -SleU i>sO I I __ 00 -07 -X 13 2500$ 0.0~~~~~~~~~~~~~~~~~~~~~C.. W% . 751 10en0il TO 41iDefrainición d pesos para lo s-rierios 1.ópC8ObdllKI~M - I - 01 I o Cada criteol esta d o uo a mm de o s d 221 .w ^ 1 1 4 . = _= _ t a a myr1 1 a los b I m3s important dentro dF C o En ls cs en qu no s h p d Cd s c i eáa c ues dd vo a o a m e l se do se 10 _D i fs 0 0 a e q mSe rdDs im ortante denr deluna subacrerio ded lpnodevsadaaclia e no 4 1m de m u= de ro | 31 0 0evaluación 42 «J~ u_ Ijusn 60 oa L_~ 30 - i8 _2 d"0 m Iw io ~m wa _- 1 T _ _ 5 1 h V~~~AG.IXN IWO G iaa Po-. o M - z dg eo Lo di pmonma 3~~~~~~~~~~~100y 0 0 6 11 ~ y E~a 20L.00 P«R 501eo_ 7 5EN J EEANE = la1 0% OO = 7r 41fd EO LI Wlo 0z 01 1 1_ I51011EllWlllltí iu X 1l U 1 = _ Definición de pesos para los sub-criterios: Cada criterio esta dividido en uno a más sub-criterios; la suma de los pesos de estos también es 100. Se ha asignado mayores pesos a los sub-criterios que se han considerado más importantes dentro del Criterio. En los casos en que no se ha percibido diferencia en importancia, se dividió equitativamente entre el número de sub- criterios del Criterio. Dermlición de los pesos por aspecto: Cada sub-criterio está compuesto de varios aspectos; la suma de los pesos de estos aspectos debe ser 100. De igual forma, se asignó mayor peso al ítem que se consideró más importante dentro del sub-criterio, desde el punto de vista de la calidad del inforine de evaluación. 83 D; AJ PMI ASPECTO |IRSUa-CRISE1 POR e lo 10 CO~~~~~~~~~~~~NSSTa P1,0 1 '1~ peo l PSPu ma PamO B 1 U E I raqcI 1 9 4.XI I _ 5 ML-TU.'mddUd.ad.eU]preU4U ~ CAtIDAD DE LOS DAVl0U5I9tl DA Z bLI DA bi -OS E _ S . _- on C * ma fr la 2P c0* O O _ _ dd P'ogm. dda250~0% 0.0 la L bdabhnrenpundei~ad_ 30p mo rb b^o S çi*n id cbnd vukd O00% n.o_ AL ME DE Le9ots _UM .B 20% _. Gi CAUDADsd n l 1PUS °° __ T 1102 bonse u b [akd" pam % h_ 1500 0.0 _ _ 8 : 104 rfo i tnp TODOS DEr N5ce N O 1215 Lae ff «o 20is~ aGká b MmM ~ W» hk b LO0S8 _ _ 0 _ 3 r rnuado prr uxlo i lax piiZm% EjWl cE dD1 rb Ti kUDAD DE LO UElOOM DATOVSTOCF _ 7 30% CLO _3 1 . º kmf rb pnrxlií4 Y«Win d zQniMc o dz _k__m 13. La n OD09 Obo bdt ima« u ib M aUDp DE EL ANUSED D^ONC S Y O5 0 401 1 0>v Ur~ 1b b 10 3b% 0 141 I2Lx aenForb ak rS d la bzen r ~ par rn I _ _ 11!wn M Prm 30 OCSs 00 14 31~E K Mb Lo ~ h hlul o br%n 1s 01 1 1335 S4Bsbn |R| NsAC% 00 _ _ I D 1 ILas rw ONCLW ONbES Y n Sm _W~ __ 1 15S 0X i1.15 l orir m~s con~ arivnmip 1 1 d009. ool 1: - iPUNTAExpclalLa ~RA 1 2000%11 00 0-1~~' 84 «0ado 2.3 Jllíifltacin do la Ab¡ ulf ; deli. PeImb (fb Cig.wítazr. "¿>r7 t .'i" Si lPle:r 1.1 ttuiA l:loIn 1u 1 ;L.vkirx.tld d la EttríítWara del lItrnv Clatidad (tel ltnkxme fíe expx ix. i i:r.a cn un etIcent i mnlo ltiev w valiclati, ern el s c oile:l- glval Citd ¿a .rtv tu,Jle. (tr; ad iLvaírza l de'd~A . ky . a pr,! ftr1naIt t :.ilti, I. ' Llt tPC Por i, h I ,t-, ii .1 ,....ri I(l. 1lé. j,l rrn ih.. r9 l .NI.íI1 9 cell i; .A . tlo r, r,,-r.i It , l:l .iIt e 1 *'iI I". ;l.i(.4-fl. Gfr;cit.>. .iáa cc>tVt dv! 1.i; rn.as v iletiston 5;; ind Lt nai v'íílr ti e i'tu cn*.tantv', t.' tcl i'na«¿O dvi __ _ _ _ __ _ _ _ _ __ _ _ _ _ pvietil¿ ' ( v.,i,lU.t2ti:r ;-xtiaves dcc Iia¿r ?.ctiv1kadcs dvic urm;nd:an .l;n'm.cí1 dlel .an.llsiei dle lus uk turnXYaents dc I I.t :r h¿t*^ cie. #?#t)>tU .tl V irel r~tlXl I;Lila ;tf;;;-ls} pri>g.'itrai lo'%e, El .vxSill2 td lias ce?vaU S'? evl npuij;racz:.c ini Rt!lai;initl delht *.lSij%f'iig,n 'ti~¿;~ ~ dvl Ye lvi ,irnvntte dv iria del rzgrarna i. M.~.'ci' ul-.,. SL~ .ena I;SiS se l(Sr;usa e a.1 idcr: cae. I .'tx'it de v.ta$ fv,ici>Ii3. :del lttilistt dte ij tti, r, ili c i abirnr.rui cnt'~d,ínnientn: nhoríaííc m ci r.v. dv! -rl Ftnloquvt -de 1la 1 .V% ;1vs; aeeS liicrti.1d aot vL iteti¡1 levilv,in ' ila 1i2rT\lS 'e?cltiniv . pti;i1.at;.(iF pacalasl ¡.15 PCi I raatnun ise mc ur U 'i:ecitt -4L~C {]jtsf reSt l te usarcit i erf rlde su le dzA ac.i4rej.cdL .an crn*c x er} f lt 1wi< nwat mvitt dIOt,lvii %i 2 ls tCu'sisier,e.ia haltiaiz>,«)S.. ¡!set ticr'i I,5 l s, ut :) qv .iS Iv:i)dt'iegj'a dit ila ziS'« lec'uuru t'n vCntis¡rkraeU.srenu f'U' -i jntircipai i.saí'>r Mvtv>dr uti :atdií i.o:que, d 1 asigrd .hU fote Ucl.i fl';ltitil ttf i3tltitl.?t' 1t ^,Territs t' .a es ,l et1dln4%;.e :atiiigaa, %a qte. ~.Lc el urtiitt;e el _b t .me ~vo Jiiaal [ii u ¡'nu rrciT tftt' r iZn de IOS ditu;, uii Zar:st lt I- .is¡gr'l ídu i np.e- < ptc*ie i' r.0o, crík ri icS (l.ulitaitid de xish 2fl'> lvi l.1 cldo.sd r' lr» ial .ea¡ ve. s- íel i.aic la.t 3? alidtí de.' fii ` ,fludt i'llJai.eiga c f t;ftt. LS'1tn(l?kii 's dt~ J tigra.na ,;.íl(ltd dl los adostn . CV~~~~~~~~~,luiCtiltí. i.jh' c 1(2'; 0 í1S ('i SVI',.ilNdC2 en lril*J.2±lutiLuw (.;ld;irc,lsI-'U(t - u a : ust. ti * ií5,4l i,t-l tiI0irii dv dr! Ii i * !o, 1 llele n: siU,x. i'? <í ( .tirina i dtírli o; dit ( iii,cl de ls i5; I,is te'1 .iusitvncs yt lt'-tt.lv e:a.itiiit's dersr2n est ,d (l d d.1 t;Fi¡,c'trS Cc:ríe.l.,s¡orívs 5, suls:vnt.ídasE ería v evidi~1.-nr ia e lnsti'd-. . i )vhiŽ'í ____________did ______ _d Rvccc-cnd.nS;cv±i(>se r.isoece' tve i3:trl8o