10.18601/16578651.n22.04
LA EVALUACIÓN EJECUTIVA Y LA TOMA DE DECISIONES DE POLÍTICA PÚBLICA: EL CASO DE LA E2+SGR EN COLOMBIA
EXECUTIVE EVALUATION AND DECISION MAKING IN PUBLIC POLICY: THE CASE OF E2+SGR METHODOLOGY IN COLOMBIA
Gonzalo Ordóñez-Matamoros*
Juan Pablo Centeno**
David Santander Ramírez***
Orizel Llanos Congote****
María Carolina Sierra Daza*****
Juan Pablo Remolina Pulido******
* PhD en Políticas Públicas del Georgia Institute of Technology y el Georgia State University (Estados Unidos). Director del Centro de Investigaciones y Proyectos Especiales - CIPE, Universidad Externado de Colombia. Bogotá (Colombia). [gonzalo.ordonez@uexternado.edu.co].
** Profesional en Gobierno y Relaciones Internacionales, Universidad Externado de Colombia. Asistente de investigación del Centro de Investigaciones y Proyectos Especiales - CIPE, Universidad Externado de Colombia. Bogotá (Colombia). [juan.centeno@uexternado.edu.co].
*** Magíster en Economía, Università di Bologna, Italia. Consultor en Evaluación del SMSCE en la Dirección de Vigilancia de las Regalías, Departamento Nacional de Planeación. Bogotá (Colombia). [dsantander@dnp.gov.co].
**** Magíster en Política Social y Desarrollo, London School of Economics and Political Science. Consultora en Evaluación del SMSCE en la Dirección de Vigilancia de las Regalías, Departamento Nacional de Planeación. Bogotá (Colombia). [ollanos@dnp.gov.co].
***** Especialista en Gestión Ambiental Urbana, Universidad Piloto de Colombia. Coordinadora de Evaluación del SMSCE en la Dirección de Vigilancia de las Regalías, Departamento Nacional de Planeación. Bogotá (Colombia). [msierra@dnp.gov.co].
****** Máster en Administración Pública, Kennedy School of Government, Harvard University. Subdirector de Fortalecimiento Institucional de la Dirección de Descentralización y Desarrollo Rural, Departamento Nacional de Planeación. Bogotá (Colombia). [jremolina@dnp.gov.co].
Recibido: 10 de octubre de 2017 / Modificado: 21 de diciembre de 2017 / Aceptado: 19 de enero de 2018.
Para citar este artículo:
Ordóñez-Matamoros, G. et al. (2018). La evaluación ejecutiva y la toma de decisiones de política pública: el caso de la E2+SGR en Colombia. OPERA, 22, pp. 53-79. DOI: https://doi.org/10.18601/16578651.n22.04
Resumen
La gestión de lo público se desarrolla en un entorno de racionalidad limitada en los términos de Simon, aquella caracterizada por el hecho irrefutable de que el tiempo, los recursos, la información y los conocimientos disponibles son siempre limitados cuando se toman decisiones sobre política pública. En ese contexto, la evaluación ejecutiva o "rápida" se presenta como una forma eficiente de apoyar dicho proceso de toma-de-decisiones-en-la-marcha de manera ilustrada; particularmente cuando el propósito es dar cuenta de los resultados alcanzados y proveer información útil para mejorar el desempeño del programa o política en "tiempo real". En ese sentido, la evaluación ejecutiva propuesta en el presente artículo se presenta como una metodología que apela al conocimiento con que gozan actores relevantes en el terreno, y al uso de instrumentos simples, adaptativos y relevantes en función de las necesidades de información con la que los tomadores de decisión pueden hacerse una idea certera sobre el desempeño de la política o el programa en cuestión.
Palabras clave: evaluación ejecutiva, evaluación rápida, evaluación de resultados, análisis de políticas públicas, evaluación participativa, proyecto de inversión, regalías, racionalidad limitada.
Abstract
Simon (1976) argues that public management takes place in a bounded-rationality context, in which time, resources, information and knowledge are always limited resources available for policy decision making. In such context, Executive Evaluation or 'quick evaluation' is an efficient mechanism to support decision-making-in-ongoing-processes in an enlightened way; particularly when the goal is to account for the accomplished results (if any), and provide information for 'real-time' program improvement. This article describes an approach to Executive Evaluation. Methodologically it appeals to knowledge held by relevant local actors, as well as the use of simple, adaptive and relevant instruments. It considers the specificity of information needed by decision makers, so that they can have a precise assessment of policy or program performance.
Key words: Executive evaluation, quick evaluation, outcome evaluation, public policy analysis, participative evaluation, investment project, royalties, bounded rationality.
INTRODUCCIÓN
En las últimas décadas, el estudio de la disciplina evaluativa ha sido bastante prolífico en señalar diferentes tipos de evaluación en función de distintos elementos que se buscan a la hora de evaluar políticas, programas o proyectos (Stufflebeam y Shinkfield, 2007). Sin embargo, uno de estos tipos, que en la práctica ha recibido muy poca atención en la literatura es la evaluación ejecutiva (EE o E2) o evaluación rápida, entendida como un mecanismo recursivo, suficiente y útil para retroalimentar y apoyar la toma de decisiones de política de manera ilustrada, en un contexto de la racionalidad limitada que caracteriza todo proceso de toma de decisiones, donde los recursos y el tiempo son escasos.
El propósito del presente documento es examinar el concepto de evaluación ejecutiva (o evaluación rápida) como una aproximación efectiva para ilustrar la toma de decisiones, con la intención de proponer una definición y unos fundamentos para su aplicación en Colombia. De este modo, se pretende aportar al debate teórico práctico sobre metodologías de evaluación para fortalecer la gobernanza y la gestión pública. Para esto, primero, el documento introduce las generalidades de la evaluación en el contexto del análisis de políticas públicas (APP). Segundo, se abordan los aspectos conceptuales, los alcances y las fortalezas de la EE como metodología de evaluación y se presentan como referentes los fundamentos de casos de evaluación en Estados Unidos, México y Chile, que se caracterizarían como EE. Tercero, se presenta el caso de la evaluación ejecutiva en Colombia, para lo que se aborda el caso de la evaluación ejecutiva para el Sistema General de Regalías (E2+SGR) realizada por la Subdirección de Monitoreo, Seguimiento y Evaluación (SMSE) del Departamento Nacional de Planeación (DNP), con asesoría de la cooperación internacional en cabeza de Management Systems International (MSI) (2018) y la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID, por sus siglas en inglés). A partir de lo anterior, en esta misma sección se propone una definición y unos fundamentos generales de ee para su aplicación en Colombia y, finalmente, se concluye con algunas consideraciones finales.
FUNDAMENTOS DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS
De los marcos de análisis para el estudio de las políticas públicas, el enfoque secuencial propuesto por Harold Lasswell1 es uno de los precursores ya que "permitió 'lanzar' el análisis de la política pública como campo de interés para la academia" en la medida en que la división en fases del ciclo de la política pública facilitó el estudio independiente y específico de cada una de estas (Roth, 2008, p. 77). Este modelo que, si bien no captura en detalle la realidad y las complejidades del proceso de las políticas públicas, permite identificar los distintos productos analíticos del ciclo dentro de los que se encuentra la evaluación.
Propósito y justificación de la evaluación de políticas públicas
Como práctica argumentativa basada en información pertinente, la evaluación permite opinar de manera más acertada y menos subjetiva acerca de los resultados de las políticas públicas (Roth, 2007). Esta es un insumo fundamental que inspira el diseño de políticas y la modificación de una existente en caso de ser necesario (Ordóñez-Matamoros et al., 2013). Asimismo, la evaluación debe procurar ser socialmente útil, para lo que requiere de determinados referentes: I) es una actividad específica distinta del control interno o las auditorías, II) es un proceso de carácter institucional, III) busca extraer aprendizajes de las intervenciones públicas, IV) debe permitir la rendición de cuentas y la retroalimentación para la toma de decisiones, V) es un proceso pluralista y participativo, y VI) su finalidad última es mejorar el bienestar social (Salazar, 2009). De la misma manera, la evaluación se diferencia de la investigación en que la primera debe servir para ilustrar la toma de decisiones y la segunda tiene como propósito la generación de conocimiento, de modo que el diseño de las evaluaciones debe garantizar el uso de las mismas para asegurar su pertinencia (Morra y Rist, 2009).
Su relevancia reside en la necesidad de los gobiernos de basar su legitimidad, no solo en la legalidad de sus decisiones, sino en los resultados de su administración (Roth, 2007, p. 135). Asimismo, esta pretende determinar si las políticas implementadas responden a las problemáticas identificadas, retroalimentando e ilustrando a los tomadores de decisión y actores relevantes de la política sobre la necesidad o no de introducir correctivos, a fin de que permitan el logro de los objetivos de la política en función de las metas sociales que la orientan (figura 2) (Ordóñez-Matamoros et al., 2013, p. 237).
De igual manera, se debe señalar que en la administración pública "las acciones y los resultados de las políticas no corresponden a las intenciones proclamadas", lo que hace necesario el desarrollo de actividades de evaluación del desempeño de las acciones de los gobiernos, materializadas en políticas públicas (Gómez-Lee, 2008). Es importante destacar la distinción que hacen algunos autores entre evaluación y análisis de políticas públicas, la primera entendida como un ejercicio descriptivo que sirve como insumo para llevar a cabo el análisis. En ese sentido, la evaluación es un paso esencial para llevar a cabo un análisis de política pública (Salazar, 2009).
Existen diversas propuestas teórico-conceptuales sobre evaluación. Para Dunn (1994), la evaluación se refiere a "la producción de información sobre el valor de los resultados de una política" (p. 404). Vedung (2006) entiende la evaluación como una "apreciación cuidadosa del mérito y valor del contenido, la administración, el producto y los efectos de las intervenciones del Gobierno, sean vigentes o terminadas, prevista para desempeñar un rol en situaciones de acción en prácticas futuras" (p. 397).
Giandomenico Majone, por su parte, define la evaluación de políticas públicas como una "disciplina que se ocupa de recolectar, verificar e interpretar la información acerca de la ejecución y eficiencia de las políticas y los programas públicos" (Majone, citado en Ordóñez-Matamoros et al., 2013, p. 235). Del mismo modo, hay quienes ven la evaluación como una "apreciación ex-post de las fortalezas y debilidades de los programas y proyectos públicos" (Bovens, Hart y Kuipers, 2008, p. 319).
La evaluación es concebida por algunos como un mecanismo para hacer política y asegurar el poder (politics), o para hacer política pública y gobernar (policy) (Ordóñez-Matamoros et al., 2013). Considerando esto, se esperaría que la segunda prime sobre la primera de modo que la evaluación se constituya en una herramienta para mejorar la gobernanza y no en un instrumento para mostrar únicamente los buenos o malos resultados (2013). Esto no quiere decir que la evaluación sea un proceso aislado de la política (politics) puesto que el objeto de esta -ya sea política pública, programa o proyecto- es el resultado de decisiones políticas, al tiempo que los resultados de una evaluación ingresan a la arena política para retroalimentar a los tomadores de decisión y, en sí misma, la evaluación es un ejercicio político al que subyacen maneras de entender la realidad y los problemas públicos (Weiss, 1993).
Tipos de evaluación
Una definición de evaluación debe referirse tanto a su objeto como a su procedimiento y funciones (Bustelo, 2011). De este modo, y tal como reflejan los conceptos presentados, cada definición incorpora elementos diferentes, ya sea fines, propósitos, temporalidad, objeto o sujeto de evaluación. De ese modo, es posible identificar diferentes tipos de evaluación con base en las cinco variables mencionadas y destacando que estas tipologías no son mutuamente excluyentes (tabla 1).
Aquí se encuentran las evaluaciones recapitulativa y formativa, conceptos propuestos en la década de 1960 por Scriven y Cronbach (Guerra-López, 2007). La primera busca informar al público en general o a los actores interesados acerca de un programa particular para que se formen una opinión del mismo, al tiempo que se busca establecer si el programa funcionó o no. La segunda pretende generar conocimiento para informar y retroalimentar a los actores involucrados en el programa de modo que se logre mejorar el desempeño durante el transcurso del mismo (Roth, 2007).
Evaluación según su propósito
Los principales propósitos de la evaluación pueden ser brindar un panorama general, rendir cuentas, informar a las fuentes de financiación y el entendimiento de los procesos. El primero pretende permitir a los actores relevantes monitorear y mejorar su desempeño, resaltando su contribución específica a las comunidades o población objetivo. El segundo propósito, rendir cuentas, busca demostrar el valor y la importancia de la intervención llevada a cabo para justificar la inversión pública realizada. El tercer propósito ayuda a comprender el valor socioeconómico de las actividades implementadas para así ilustrar la toma de decisiones y la asignación de los recursos. Finalmente, el propósito de entender facilita la comprensión de los métodos, los procesos y las rutas que subyacen a la intervención y a través de los cuales esta conduce a impactos para maximizar los esfuerzos y desarrollar nuevas formas de lograr el impacto deseado.
Evaluación según su temporalidad
Aquí pueden encontrarse evaluaciones ex-ante, concomitantes o ex-post, siendo la primera aquella llevada a cabo antes de la intervención, la segunda aquella que ocurre durante la intervención y la última la que se desarrolla una vez finalizada la intervención (Roth, 2007; Ordóñez-Matamoros et al., 2013).
Evaluación según su objeto
Esta puede ser de insumos, de procesos, de resultados o de impactos. La primera se centra en los recursos empleados y las habilidades previstas para la implementación del proyecto/programa/política. La segunda hace énfasis en las actividades o los procesos llevados a cabo para la transformación de los insumos en resultados. La tercera se focaliza en los productos, los resultados o las consecuencias de las actividades realizadas durante la intervención (Majone, 2005), y la cuarta, contrario a la anterior, a los efectos no intencionados (positivos o negativos) resultantes de la implementación de la política/programa/proyecto (Ordónez-Matamoros et al., 2013).
Evaluación según su sujeto
Según el sujeto que la realice puede ser interna, externa, mixta (Roth, 2007) o participativa. La primera es una autoevaluación formativa hecha por los mismos ejecutores de la política; la segunda es realizada recapitulativamente por un experto externo y distinto al ejecutor; la tercera armoniza las dos propuestas anteriores, y la última integra a la sociedad civil en el desarrollo de la evaluación (Roth, 2007; Ordóñez-Matamoros et al., 2013).
Es importante resaltar que la evaluación de los proyectos de inversión, como unidad mínima través de la cual se materializan los objetivos de una política pública por medio de las inversiones (Fernández y Schejtman, 2012), es un requisito para evaluar una política pública.
Esto es consistente con Ordóñez-Matamoros et al. (2013), para quienes los anuncios de intención, las declaraciones o los discursos, al igual que las leyes o los documentos institucionales son condiciones necesarias, pero no suficientes, para dar cuenta de la existencia de una política pública como tal. Por tanto, no es desacertado inferir acerca de una política pública mediante la evaluación de los proyectos de inversión que la componen2.
A continuación abordaremos en detalle las características genéricas de la evaluación ejecutiva, o evaluación rápida, como objeto de estudio y práctica de la gestión pública.
LA EVALUACIÓN EJECUTIVA COMO MARCO TEÓRICO PARA ILUSTRAR LA TOMA DE DECISIONES RÁPIDAS
Cada una de las tipologías descritas (o el híbrido que se configure según las necesidades de información) puede situarse dentro de la perspectiva de análisis investigado o análisis rápido (Patton y Sawicki, 1993)3. Esto quiere decir que una evaluación con elementos de evaluación externa, de resultados, ex-post y recapitulativa, puede llevarse a cabo con recursos y tiempo limitado, en donde se involucre la intuición y juicio del evaluador externo, y en donde se busque informar al tomador de decisiones, de manera sintetizada, acerca de los resultados de la intervención una vez finalizada. Los anteriores serían los elementos básicos de la evaluación rápida.
A su vez, la evaluación ejecutiva se inserta dentro del tipo análisis instrumental del campo del APP, en tanto herramienta para apoyar la toma de decisiones y que busca ofrecer soluciones prácticas a problemas de política pública, a modo de un ejercicio que se enmarca en un contexto político influyente y que está al servicio de la producción de políticas públicas (Ordóñez-Matamoros et al., 2013, p. 69).
Es importante destacar que la evaluación se circunscribe dentro de un contexto de racionalidad limitada (bounded rationality) en los términos de Herbert Simon (1976), en el que no se tiene pleno conocimiento de la totalidad las complejidades que inciden en el entorno y en el objeto evaluado (Selten, 1999). Lo anterior se debe a que las decisiones de política obedecen a circunstancias prácticas y no a escenarios deseados en los que se esperaría tener información completa para la toma de decisiones (Ordóñez-Matamoros et al., 2013).
A esto se suma el hecho de que el tiempo y los recursos cognitivos e información para la toma de decisiones son limitados, de modo que la propuesta de Simon (1976) se orienta a plantear una teoría realista de la capacidad cognitiva humana, particularmente en lo relativo a la administración y la toma de decisiones (Selten, 1999). En ese sentido, la racionalidad limitada reconoce que no es posible llevar a cabo un ejercicio de evaluación exhaustivo que recoja y analice en detalle las complejidades que reviste el objeto evaluado y que arroje conclusiones o valoraciones total y estrictamente objetivas del ejercicio. Por el contrario, el modelo introduce el concepto de "desempeño satisfactorio y suficiente", que sugiere que es posible llegar a hallazgos concluyentes, suficientes, defendibles y plausibles para retroalimentar e ilustrar la toma de decisiones, bajo una óptica argumentativa e interpretativa del APP (Ordóñez-Matamoros et al., 2013). Esta apreciación es una de las justificaciones principales de la EE.
De acuerdo con lo anterior, es importante poner de relieve que tradicionalmente la dimensión técnica de la evaluación de políticas públicas ha primado sobre la dimensión política también presente en la misma, desconociendo la posibilidad de que la evaluación sea un proceso en el que se integren elementos de participación ciudadana, de diálogo, de transparencia y rendición de cuentas (Carrillo, 2009). Esto ha dificultado que la evaluación tenga difusión y sea efectivamente útil para los tomadores de decisiones y para la sociedad civil.
Fortalezas y alcances de la evaluación ejecutiva
Autores como Mackay (2007) sostienen que la evaluación rápida implica "una revisión formal de una actividad o programa gubernamental" (p. 8). Su velocidad, suficiencia, bajo costo y capacidad de retroalimentación rápida y oportuna son considerados ventajas, mientras que su relativamente poca dependencia en evidencia empírica de carácter exhaustivo/ comprehensivo, y su menor énfasis en la precisión (pues no es su principal interés) resultante del análisis de datos estadísticos abundantes son consideradas algunas de sus desventajas. A su vez podrían existir limitaciones al momento de establecer relaciones causales inequívocas entre las decisiones y acciones del Gobierno y las mejoras de su desempeño (Mackay 2007).
Para que la evaluación sea efectivamente ejecutiva, rigurosa y útil, es importante que sea participativa y apele al conocimiento de los actores en terreno, al entender el proceso de la política pública desde la óptica de la acción colectiva (Villaveces, 2009). Esto se debe a que el evaluador desconoce a profundidad las complejidades del contexto (racionalidad limitada) en el que se desarrolló el proyecto o programa, donde nuevamente, más importante que la precisión y un énfasis en "el dato exacto"4, es obtener un "orden de magnitudes" suficiente para hacerse a una idea general del desempeño analizado y, con base en ello, tomar decisiones rápidas y plausibles, es decir, de sentido común.
Lo anterior se puede representar en la curva de saturación del número de casos o de proyectos por evaluar para llegar a conclusiones plausibles, defendibles y suficientes (figura 3). Esta sugiere que en los primeros momentos del proceso de evaluación hay una relación directa entre los hallazgos identificados y el número de proyectos evaluados, es decir, a medida que se evalúen más proyectos se acumularán nuevos resultados y conocimientos sobre el objeto evaluado. Sin embargo, se llegará al punto en el que, aunque se evalúen más proyectos, no habrá nada nuevo qué aprender ni hallazgos diferentes a los ya identificados con los casos anteriores.
Esto se debe a que la muestra de proyectos que arrojaron resultados nuevos, si bien no es probabilística en términos estadísticos, sí resulta ser representativa cualitativamente. El punto en el que se empiecen a hallar los mismos resultados es el punto de saturación de la muestra evaluada, el cual sugiere que se han obtenido los hallazgos necesarios para realizar una valoración suficiente del objeto evaluado y no hará falta destinar recursos a evaluar más proyectos de manera exhaustiva (Ordóñez-Matamoros et al, 2013).
En vista de la intención, especificidad y contexto en los que se pueden realizar dichos ejercicios apelando al conocimiento disponible, se hace evidente la necesidad de concebir el ejercicio de la EE como el resultado de un proceso democrático-deliberativo (Stufflebeam y Shinkfield, 2007, pp. 221 y ss.) en donde, basado en principios democráticos, se busca llegar a conclusiones "defendibles" (defensible) o "plausibles". La creciente implementación de esta aproximación resulta del reconocimiento de aspectos críticos en torno a la insatisfacción/ frustración con modelos positivistas/racionales/comprehensivos propios de la tecnocracia "acusada" de estar alejada de las realidades locales, y sus consecuencias en la pérdida de legitimidad y el aumento de los retos sobre la gobernanza y la efectividad de las políticas públicas (Kooiman, 1993; Peters, 2001; Salamon, 2002). Desde esta perspectiva, las evaluaciones de este tipo tienen por definición una intención constructiva5.
La aplicación efectiva de la evaluación ejecutiva debería permitir: hacerse una idea fundada sobre si la política o el programa evaluado es bueno según los criterios previamente definidos y acordados entre las partes, tomando en cuenta los resultados (outputs y outcomes) e impactos (impacts o efectos), y no solo las actividades (inputs); sopesar la relación costo-beneficio de la intervención; juzgar al respecto de las estrategias de implementación utilizadas; verificar el grado de cumplimiento de las expectativas en el corto, mediano y su probabilidad de cumplimiento en el largo plazo; juzgar al respecto de la "justicia" y equidad en la distribución de las cargas y los beneficios; identificar efectos secundarios (externalidades) positivos y negativos no intencionados; y distinguir entre lo que es (y no es) atribuible a la intervención analizada.
Experiencias internacionales de evaluación ejecutiva
La evaluación ejecutiva, para la rápida valoración y la oportuna presentación de resultados, ha sido implementada por diferentes gobiernos para medir el desempeño y la efectividad de sus políticas, programas o proyectos. La tabla 2 resume los rasgos principales de los casos de evaluación rápida hallados en Estados Unidos, México, Chile y el caso de la E2+SGR en Colombia (sección 3).
Cabe destacar que, si bien los tres casos expuestos no cumplen estrictamente con la definición de evaluación rápida propuesta en el presente artículo, sí es posible identificar elementos comunes a los expuestos en secciones anteriores. Ahora bien, considerando el ejemplo de los casos y los fundamentos teóricos sobre evaluación contenidos en las secciones 1 y 2, a continuación se abordará el caso de evaluación ejecutiva en Colombia.
HACIA UNA EVALUACIÓN EJECUTIVA "A LA COLOMBIANA"
La presente sección aborda lo relacionado con la aplicación de la metodología y el concepto de EE en Colombia. Para esto se hace primero un breve recuento del origen de la misma para el caso colombiano. Posteriormente se expone lo relativo al diseño, implementación, resultados y aprendizajes del caso de la E2+SGR para la evaluación de proyectos financiados con recursos de regalías. Finalmente, y considerando lo anterior, se plantea una definición y fundamentos de ee para el caso colombiano.
Génesis de la evaluación ejecutiva en Colombia
Como se dijo, la evaluación rápida es aquel ejercicio evaluativo en el que se dispone de recursos y tiempo limitados para la recolección y el análisis de información para apoyar la toma de decisiones. Es en esta caracterización genérica en la que se circunscribe la evaluación ejecutiva (E2) implementada en el DNP, metodología de evaluación aplicada por la Dirección de Seguimiento y Evaluación de Políticas Públicas (DSEPP) a 17 programas entre 2007 y 2011. Según la Guía para la evaluación de políticas públicas del Sistema Nacional de Evaluación de Gestión y Resultados (SINERGIA), "con la evolución de la demanda por evaluar cada vez más programas surgió la necesidad de una evaluación rápida que permitiera tener una visión general del programa en un periodo corto de tiempo" (DNP, 2012, p. 49).
La E2 evolucionó hacia la llamada E2+, que se caracteriza por dar una visión general del programa evaluado, identificar problemas y cuellos de botella para mejorar el desempeño del programa en cuestión, generar recomendaciones para optimizar el diseño y evaluar la satisfacción del beneficiario (DNP, 2012).
…la E2+ se creó con la intención de generar información oportuna y pertinente para que las entidades, tanto las ejecutoras como las que asignan los recursos, tomen decisiones sobre ajustes a los programas en el corto plazo e incrementen la eficiencia y eficacia de la ejecución de las políticas públicas (DNP, 2012, p. 49).
Los programas evaluados bajo la metodología E2+ son, en su mayoría, planes, programas o políticas de alcance nacional, de sectores diversos como salud y protección social, defensa, transporte, ambiente, vivienda y desarrollo territorial y Presidencia de la República. Entre estas evaluaciones, que fueron adelantadas bien sea por firmas consultoras o por consultores independientes, se encuentran el Proyecto de asistencia técnica a emprendimientos y microunidades productivas de mujeres trabajadoras y vulnerables, la Política de Cooperación Industrial y Social, el Programa Integral de Rehabilitación y Mantenimiento PIRM) y los Planes Departamentales de Agua (PDA).
El caso de la E2+SGR
A continuación presentamos como estudio de caso la experiencia de la evaluación ejecutiva E2+SGR desarrollada por los autores de este artículo en 2016 e implementada en la SMSE del DNP en el marco del Sistema de Monitoreo, Seguimiento, Control y Evaluación (SMSCE) del Sistema General de Regalías (SGR)6. Para esto se hará énfasis en el diseño, la implementación, los hallazgos y las lecciones aprendidas de la misma.
Diseño
La metodología de evaluación para los proyectos de inversión financiados con recursos del SGR tiene su origen en las evaluaciones E2 y E2+ creadas en la DSEPP del DNP en el marco del Sistema Nacional de Evaluación de Gestión y Resultados (Sinergia). Aquí es pertinente diferenciar el alcance de la evaluación en cada uno de estos dos sistemas, SMSCE y Sinergia. Mientras que el primero se centra en los proyectos de inversión financiados con recursos de regalías específicamente, el segundo tiene como objeto el seguimiento de las metas del Gobierno, las políticas públicas y la asistencia territorial para el diseño e implementación de sistemas de monitoreo y evaluación7. Es decir, si bien se trata de dos sistemas de evaluación distintos, el SMSCE retoma la experiencia de Sinergia para diseñar una metodología ajustada al SGR.
De la adopción de dicha metodología por parte de la SMSE y de su aplicación al SGR se originó la evaluación ejecutiva para los proyectos financiados con recursos del SGR (E2+SGR) cuyo fin es realizar una "una valoración de la gestión, productos y los resultados previstos para los beneficiarios de las inversiones", así como del "cumplimiento de las metas del proyecto según su marco lógico en términos de eficiencia, eficacia, calidad y sostenibilidad", para contribuir con el mejoramiento del desempeño por parte de los actores involucrados en los proyectos, así como la toma de decisiones8.
Orientada hacia los resultados de corto y mediano plazo, esta tiene como unidad de análisis los proyectos de inversión terminados de un subsector de inversión determinado9. De modo que la E2+ SGR parte de la noción expuesta anteriormente en la que para lograr una evaluación y una aproximación a una política pública, es necesario evaluar los proyectos de inversión, entendiendo estos como la unidad mínima por medio de la cual se materializa la inversión pública prevista en una política pública (Fernández y Schejtman, 2012). Dicha valoración tiene la naturaleza de una evaluación rápida y de resultados, que se lleva a cabo con base en los siguientes criterios10:
A su vez, la E2+SGR busca dar respuesta a las siguientes dos preguntas fundamentales:
Para esto, durante el proceso de elaboración y adaptación de la metodología se optó por hacer una división de categorías de análisis: calidad de vida, calidad de la planeación, calidad en la ejecución, sostenibilidad y participación. La primera se integra por aspectos socioeconómicos, institucionales, ambientales y culturales para dar respuesta, principalmente, a la primera de las dos preguntas orientadoras arriba enunciadas. Las demás categorías se orientan a dar luces acerca de las oportunidades de mejora a futuro para el SGR (figura 4).
El ejercicio evaluativo en este caso tiene una doble aproximación. La primera es una aproximación de arriba a abajo (top-down), la cual parte de la identificación de los potenciales usos o usos esperados de la información producida y apela a referentes o escenarios deseados para realizar la evaluación y arribar a conclusiones. La segunda es una aproximación de abajo a arriba (bottom-up) que sugiere que la evaluación resulta de ejercicios deliberativos y se apoya en el conocimiento disponible, ya sea de los actores en terreno (e. g. beneficiarios) o de expertos. Asimismo, bajo la lógica de la E2+SGR se enlazan los niveles micro (evaluación de proyectos) y macro (evaluación de políticas/ programas) para llegar a conclusiones plausibles, defendibles y suficientes del (sub)sector o la política evaluada.
Es importante destacar que la propuesta de evaluación ejecutiva desarrollada en el presente artículo (tabla 3), si bien fue realizada a la SMSE, no fue posible implementarla en estricto sentido dentro de la Subdirección por limitaciones internas en el momento. En ese sentido, elementos como la participación de expertos sectoriales en el proceso de evaluación no fueron acogidos por cuanto exceden la capacidad de la Subdirección.
Implementation
El proceso de evaluación (figura 5) inicia con la caracterización y selección del sector y subsector de inversión por evaluar, lo cual se plasma en el calendario de evaluación anual.
Dentro de cada subsector se seleccionan aquellos proyectos que ya hayan culminado su ejecución física. Una vez definido el universo de proyectos por evaluar se determina la muestra de proyectos que efectivamente se evalúan.
Así, se diseña la evaluación para el subsector específico seleccionado, de modo que los instrumentos y formatos que se usen se adapten a las particularidades del mismo, al tiempo que se permita tener en cuenta a los actores relevantes para el proceso de evaluación. El diseño y la elaboración de instrumentos se realiza mediante un proceso participativo con todos los equipos evaluadores (25 personas entre central y regionales), en el que, bajo el liderazgo de una región, se elaboran los instrumentos particulares (encuestas, grupos focales y entrevistas) para cada sector. Dichos instrumentos contienen preguntas que permiten recoger la información pertinente de los proyectos a la luz del modelo causal subyacente, y de los respectivos criterios definidos y consensuados al respecto de su operacionalización empírica. En lo posible, este proceso es afinado mediante la aplicación de un ejercicio piloto.
Previo a la visita de campo se realiza un diagnóstico y análisis de brechas sobre el sector y subsector objeto de evaluación, así como de cada proyecto. En este diagnóstico se adelanta un mapeo de actores relevantes, así como una revisión de los documentos de cada proyecto para determinar su consistencia en la identificación de problemas, de sus objetivos y actividades.
En la visita de campo le corresponde al evaluador realizar el levantamiento de información necesaria, tanto primaria como secundaria, cualitativa y cuantitativa, para proceder a hacer el análisis del proyecto. Para esto se contempla, además de la revisión documental pertinente, la observación directa en el lugar de ejecución del proyecto, la aplicación aleatoria de encuestas a los beneficiarios, grupos focales y de entrevistas a actores relevantes respecto al proyecto y al subsector de inversión, tanto a nivel local como nacional.
El análisis realizado por cada evaluador sobre los proyectos a su cargo se consigna en un formato de Ficha Informe de Evaluación, en el que se revisan los aspectos más importantes del proyecto a la luz de los criterios definidos y de las preguntas orientadoras, para así hacer su valoración del proyecto. La evaluación se orienta hacia la agregación, por lo que los evaluadores realizarán un informe regional11 sobre el proceso de los proyectos respectivos a dicha regional. Así, se busca hallar conclusiones a nivel región para dar luces acerca de cómo se están desarrollando las inversiones en cada una. Finalmente, el proceso culmina con la divulgación de los resultados, procurando su utilidad por parte de los actores interesados12.
Este último paso comprende una estrategia de divulgación en la que, primero, se remite a la entidad ejecutora la ficha informe y una pieza gráfica de cada uno de los proyectos evaluados. En estas herramientas se hace énfasis en las lecciones aprendidas y en las oportunidades de mejora identificadas durante la evaluación. Adicionalmente, los resultados se agregan, pasando del nivel de proyecto al nivel sectorial, sintetizándolos en una presentación y en un informe final de evaluación. Es importante destacar que esta estrategia de divulgación es planificada desde la fase de diseño de la evaluación, en la que se esbozan los formatos de comunicación y las piezas gráficas, y se identifican los actores relevantes que han de ser retroalimentados, esto considerando que la comunicación de los resultados es esencial en el proceso de evaluación (Morra y Rist, 2009).
Para la implementación de la E2+SGR el rol de los evaluadores es más bien entendido como el de investigadores o agentes de cambio que, a través de su observación, el recabo de percepciones y el análisis objetivo de la información recogida buscan aportar e incidir en la efectividad de las políticas públicas a partir de la identificación de resultados positivos o fallas en los proyectos implementados, concluir, sintetizar y comunicar/apoyar la toma de decisiones de impacto público. Es así como estos realizan su aporte al bienestar de la comunidad mediante el entendimiento de los problemas sociales y la valoración de las intervenciones públicas dirigidas a solucionarlos (Rossi, Lipsey y Freeman, 1999).
Resultados: los casos de agua potable y saneamiento básico y transporte
La primera aplicación (piloto) de la E2+SGR se llevó a cabo en 20 proyectos del sector agua potable y saneamiento básico - subsector acueducto13, mientras que la segunda aplicación se realizó con 42 proyectos del sector transporte - subsector vías urbanas14. Los resultados de la evaluación se presentan de manera agregada para los dos subsectores, de acuerdo con los criterios estratégicos de calidad de vida, calidad de la planeación, calidad en la ejecución, sostenibilidad y participación.
En cuanto a calidad de vida, la encuesta aplicada a los beneficiarios muestra que, en general, estos se encuentran altamente satisfechos con las inversiones realizadas, con un promedio de satisfacción del 84 %, insatisfacción del 13 % e indiferencia del 3 %. Esto se explica, al menos parcialmente, por las mejoras en calidad de vida que han traído los proyectos. Por ejemplo, en la evaluación de acueducto se encontró que 60 % de los encuestados considera que el acceso a agua mejoró. Para 56 % de estos, las mejoras se dieron en la calidad del agua, 49 % opina que la continuidad del servicio mejoró y 42 % identifica mejoras al no tener que ir a buscar agua en la fuente (figura 6).
Los beneficiarios de proyectos de vías urbanas también identificaron mejoras en la calidad de vida tras la ejecución del proyecto. Por ejemplo, en promedio, 91 % de los encuestados considera que su calidad de vida mejoró tras la ejecución. Adicionalmente, 89 % de quienes identificaron mejoras en la calidad vida las relacionan con una mejor imagen del sector, 65 % con la valorización de los predios y 52 % con mayor flujo de visitantes en la zona (figura 7).
De otro lado, en lo relativo a calidad de la planeación, uno de los elementos transversales analizados en las evaluaciones fue la matriz de marco lógico, puesto que esta es una herramienta estructurada para consignar para los principales elementos de la planeación de un proyecto. Los resultados consolidados de las dos evaluaciones indican que 84 % de los proyectos evaluados fueron formulados con un marco lógico inconsistente y 16% inconsistente. Estas debilidades obedecen a incongruencias entre la alternativa de solución y el objetivo planteado, planteamiento inadecuado de indicadores, de los medios de verificación y de los posibles riesgos.
No obstante, también se identificó que los requisitos exigidos por el SGR para la presentación, viabilización, priorización y aprobación de proyectos han ayudado a mejorar la planeación en las entidades territoriales. Estas han tenido que adquirir experiencia, que en muchos casos no tenían o era limitada, en temas como formulación de proyectos a través de herramientas como la metodología del marco lógico y consignar esta información en la metodología general ajustada (MGA).
Respecto a calidad de la ejecución, se profundiza en la eficiencia de los proyectos evaluados. El 68 % de los proyectos presentan retrasos en su ejecución (ver panel a, figura 8). Entre las razones que explican esto se encuentran deficiencias en la formulación, como actividades no previstas, obras complementarias y cambio de diseños, factores climáticos, dificultades en el cumplimiento de cronogramas para el suministro de materiales y otros como permisos ambientales y temporada de vacaciones. En contraste, en lo que tiene que ver con recursos, es positivo que el 81 % de los proyectos se ejecutó hasta por el valor previsto en la formulación (ver panel b, figura 8).
En lo relativo a sostenibilidad se observó que 26 % de los proyectos de acueducto y vías urbanas evaluados tienen riesgos en la sostenibilidad, mientras que el 74 % restante no.
Un análisis comparativo entre los dos sectores evaluados sugiere que en el subsector de acueducto el riesgo en la sostenibilidad es significativamente más alto. Esto podría deberse a factores como que la mayoría de los proyectos se localizan en el sector rural, lo que está asociado con deficiencias en el componente organizativo del operador, su falta de capacidad institucional o financiera y la carencia de un esquema tarifario con cierre financiero.
En contraste, el menor riesgo en la sostenibilidad del sector de vías urbanas puede deberse al tipo de material utilizado en las vías, que en la mayoría de los casos fue pavimento rígido, que se caracteriza por tener una mayor vida útil y unos menores costos de mantenimiento que el pavimento flexible. Adicionalmente, la mayoría de las entidades ejecutoras cuenta con un rubro para mantenimiento de las vías y previeron gestiones para garantizar el sostenimiento de los proyectos.
Por último, en cuanto a participación, se destaca que 73 % de los proyectos evaluados contaron con participación ciudadana y 27 % no. Esta participación es fundamental pues fomenta la identificación colectiva de necesidades, así como la priorización de las mismas y las actividades de control social a los recursos. Al respecto, se encontró que los beneficiarios participan en el mantenimiento y la limpieza de la vía, lo que no solo contribuye a la sostenibilidad del proyecto, sino que refuerza los vínculos entre los miembros de la comunidad. Igualmente, esta es una variable importante para el éxito de las inversiones en acueducto, lo cual es particularmente cierto en proyectos como los evaluados, que se caracterizan por ser intervenciones relativamente pequeñas y concentradas en el sector rural.
Considerando los resultados presentados es posible contribuir a dar respuesta a las preguntas esbozadas en la sección de Diseño de la siguiente manera: los proyectos, tanto de acueducto como de vías urbanas, son en su mayoría buenos a la luz de los criterios de calidad de vida, en términos de ejecución, sostenibilidad y participación, pero presentan dificultades en materia de planeación. Por otra parte, teniendo en cuenta que la evaluación de acueducto tuvo como objeto proyectos por $23.668 millones de pesos, y la de vías urbanas por $68.690 millones, la relación costo-beneficio de la intervención en ambos sectores es aparentemente favorable (sujeta a confirmación con el uso de ejercicios complementarios) por cuanto las inversiones se tradujeron en una mejora de la calidad de vida de los beneficiarios.
A grandes rasgos, las evaluaciones permitieron evidenciar que en muchos casos existen falencias en materia de ejecución que se relacionan directamente con cuestiones no previstas desde la formulación de los proyectos. Esto puede poner en riesgo su sostenibilidad y la expectativa de cumplimiento de estos en el largo plazo. Es posible identificar que varios de los proyectos generaron un efecto multiplicador que se tradujo en externalidades positivas de la intervención que incentivaron, por ejemplo, el empleo local o mejoras domésticas15.
Lecciones y aprendizajes de la implementación de la evaluación E2+SGR
Algunas de las virtudes del proceso de evaluación de la E2+SGR tienen que ver con la rigurosidad que ofrece la metodología implementada para la recolección de información, así como la posibilidad de realizar hallazgos en terreno con los actores involucrados como fuente primaria de información. Esto permitió determinar con mayor certeza los alcances de los proyectos, y demostró que en algunos casos los proyectos podían generar satisfacción dentro de la comunidad a pesar de presentar deficiencias técnicas o viceversa. Lo anterior implicó que la metodología permitió dar cuenta no solo de los aspectos técnicos de los proyectos, sino que indagó a profundidad y dio prioridad a las percepciones de los actores en terreno como beneficiarios y ejecutores, entre otros.
Asimismo, se destaca la constante comunicación de los evaluadores en el nivel central con aquellos en las regiones, lo que facilita el trabajo mancomunado y participativo dentro del ente evaluador. Esto se refleja en la construcción conjunta del marco teórico que orienta el proceso evaluativo, presidido por las dos preguntas generales que marcan el norte del ejercicio. Esto se logró mediante talleres regionales en los que participaron los equipos de evaluación y en los que hubo espacio para la retroalimentación durante el proceso.
Cabe resaltar que, al ser esta la primera prueba de la metodología, el proceso consistió también en una validación de la misma en términos de desempeño, utilidad y efectividad para cumplir con su propósito. Durante este proceso salieron a flote diversas oportunidades de mejora que permitieron el afinamiento y ajuste de la metodología y sus instrumentos para las evaluaciones venideras.
Una de las principales mejoras durante el proceso que permitió el ajuste y fortalecimiento de la E2+SGR fue la elaboración de informes de evaluación regionales a partir de los informes de evaluación por proyecto, de suerte que se procurara la agregación de análisis que permitiera llegar a resultados sectoriales a nivel nacional. Igualmente, se diseñó una ficha de cierre de la visita que hace posible retroalimentar de manera rápida a la entidad ejecutora de las inversiones, con los resultados preliminares de la evaluación.
Asimismo, se logró implementar una pieza gráfica para la retroalimentación a las entidades ejecutoras de los proyectos, de modo que se dieran a conocer de forma sintética, no solo los resultados de las inversiones, sino también los aspectos por mejorar y las recomendaciones para fortalecer su desempeño tanto en la formulación como en la ejecución de proyectos. Por último, se logró la descentralización del diseño de la evaluación por sectores, actividad que durante 2017 fue asignada a dos sedes líderes, cada una de las cuales contaba con sedes de apoyo para adelantar esta tarea. Esto permitió generar una mayor apropiación de la metodología, un incremento de su legitimidad y el fortalecimiento en aspectos técnicos por parte de los evaluadores del SMSCE.
A pesar de las virtudes descritas, es de reconocer que, para dar respuesta satisfactoria a varias preguntas fundamentales como las discutidas en el primer párrafo de la sección de Resultados al respecto de programas o la política en cuestión, es necesario hacer ejercicios repetidos complementarios. Por otra parte, cabe destacar que de la propuesta de E2+SGR no todos sus elementos lograron ser implementados, fundamentalmente por la capacidad instalada de la SMSE del DNP para ejecutar algunas de estas. Por ejemplo, al momento de la propuesta existían limitaciones administrativas que dificultaban apelar a un panel de expertos en el sector evaluado, limitando a su vez la participación de más actores en el proceso de evaluación. Asimismo, persisten retos en cuanto a los tiempos de ejecución de la evaluación debido a los procesos de revisión que se deben llevar a cabo durante esta.
Por último, es importante resaltar que todo ejercicio de evaluación, sea rápida o comprehensiva, está sujeto a error en razón de la naturaleza compleja característica del objeto evaluado. El "arte" consiste entonces, en cómo encontrar un punto medio entre la necesidad de tomar decisiones "sobre la marcha" y la de hacer un ejercicio de manera robusta que permita reducir el error a la más mínima expresión posible. Creemos que la evaluación ejecutiva propuesta en este artículo satisface convincentemente dicho propósito.
Una propuesta de evaluación ejecutiva para implementación futura en Colombia
A partir del caso descrito, en la tabla 3 se presentan los fundamentos de ee propuestos por el presente artículo con base en las lecciones aprendidas y en los fundamentos teóricos expuestos en las secciones anteriores.
En términos generales, la EE es una evaluación de resultados ex-post de carácter formativo que, como se mencionó, dispone de tiempo y recursos limitados para apoyar y retroalimentar la toma de decisiones de manera ilustrada, y cuya metodología es susceptible de ajustes de acuerdo con el objeto que se va a evaluar y los propósitos de la evaluación.
CONSIDERACIONES FINALES
La evaluación constituye una disciplina independiente dentro del análisis de políticas públicas, con objetos de estudio y metodologías propias (Roth, 2008). Esto obedece a la importancia de medir y valorar la manera en que los gobiernos abordan los problemas públicos para darles solución, de suerte que el APP es un mecanismo para velar por el adecuado manejo de dichas cuestiones y para asegurar que las soluciones adoptadas sean las más eficientes y funcionales.
Si bien en Colombia aún hay un largo camino por recorrer para consolidar la evaluación, ya existen esfuerzos que se encaminan a ellos. Uno de estos es la evaluación de los proyectos de inversión financiados con recursos del SGR llevada a cabo por la SMSE del DNP, la cual encuentra en el uso de sus capacidades internas y en el contacto cercano con los beneficiarios algunos de sus mayores valores agregados.
Gracias a las conclusiones del caso analizado en la SMSE, se encontró que podrían persistir desafíos importantes debido a la necesidad de un fortalecimiento de unidades de evaluación equivalentes a esta subdirección. Esto implica que uno de los retos más importantes sea aumentar el número de personas dedicadas a esta actividad para agilizar el proceso. Asimismo, se presentan retos en lo relacionado con la socialización de la evaluación tanto con actores que aporten su conocimiento sobre las particularidades sectoriales antes de iniciar la ejecución de la evaluación, como al momento de retroalimentar con los resultados a actores clave para generar cambios en la marcha, para lo cual haría falta fortalecer la incorporación de resultados en las distintas esferas de toma de decisión.
Por su parte, la evaluación realizada a los proyectos del sector agua potable y saneamiento básico, particularmente del subsector acueducto, permite entrever que existen tareas pendientes por parte de los distintos niveles de Gobierno a fin de materializar las inversiones realizadas en beneficios e impactos positivos para las comunidades. El saldo de la evaluación realizada es regular y existen más aspectos susceptibles de mejora que aciertos en la materia, lo que permite colegir que es necesario corregir algunas fallas estructurales a nivel de política, como la falta de acompañamiento técnico a los acueductos rurales y el aseguramiento de las medidas requeridas para garantizar la operación, el mantenimiento y la sostenibilidad de los proyectos.
A su vez, la EE ofrece la posibilidad de realizar una aproximación y una valoración cercana y participativa del objeto evaluado en un contexto de racionalidad limitada, en donde no es posible aprehender a profundidad las particularidades del escenario en que se desarrolló el programa o proyecto evaluado, además de las limitaciones de tiempo existentes dentro del accionar de la administración pública. De modo que la EE constituye una aproximación para la obtención de hallazgos concluyentes, suficientes, defendibles y plausibles para la retroalimentación a los tomadores de decisión de manera oportuna (Ordóñez-Matamoros et al, 2013).
Sin duda, la evaluación es una de las fases más importantes en el ciclo de las políticas públicas, ya que permite el mejoramiento de la formulación y de la implementación, de manera que esta disciplina puede incidir en todo el ciclo de dicha política. La evaluación, ya sea de políticas públicas, de programas o de proyectos, es un imperativo democrático para mejorar la manera en que se abordan los problemas públicos y para plantear soluciones efectivas a los mismos.
NOTAS
1 Este consiste en la división del proceso de la política pública en etapas o fases, que generalmente parte de: i) la identificación y definición del problema, ii) su inclusión en la agenda, iii) el estudio e identificación de posibles alternativas de solución, iv) la negociación política, v) la selección de una de las alternativas de solución, vi) la implementación de esta alternativa o política escogida, vii) la evaluación de la misma y, finalmente, viii) su reforma o terminación con base a la etapa anterior (figura 1) (Ordóñez-Matamoros et al., 2013).
2 Esto no excluye la posibilidad de hacer evaluación de otras maneras.
3 Los autores distinguen el análisis investigado (researched analysis) y el análisis rápido (quick analysis) para el APP. El primero consiste en una investigación intensiva sobre la política pública, para lo que se dispone de gran cantidad de datos, presupuesto y tiempo para producir resultados. El segundo, por el contrario, se centra principalmente en objetivos más prácticos, como la necesidad de informar al tomador de decisión lo suficiente como para que no caiga en errores o corrija rápidamente el curso en marcha.
4 Por ejemplo, no es relevante si el resultado observado es de 3 o 4 puntos en una escala de 100, pues puede no haber una gran diferencia importante en ello.
5 Una disertación más completa sobre los diferentes tipos, propósitos, aproximaciones, métodos y consecuencias de la evaluación de programas y políticas públicas puede ser consultada en Stufflebeam y Shinkfield (2007).
6 Para más detalle ver Ley 1530 de 2012, "Por la cual se regula la organización y el funcionamiento del Sistema General de Regalías". Título VI. Sistema de monitoreo, seguimiento, control y evaluación. Recuperado de https://www.sgr.gov.co/LinkClick.aspx?fileticket=EZij8T5b0Jc%3d&tabid=95&mid=517.
7 Ver Decreto 1290 de 2014, "Por el cual se reglamenta el Sistema Nacional de Evaluación de Gestión y Resultados - Sinergia". Julio 10 de 2014, Presidencia de la República. Recuperado de http://wsp.presidencia.gov.co/Normativa/Decretos/2014/Documents/JULIO/10/DECRETO%201290%20DEL%2010%20DE%20JULIO%20DE%20 2014.pdf.
8 Tomado de la Resolución 1452 de 2017 del Departamento Nacional de Planeación, "Por la cual se establecen las metodologías de monitoreo, seguimiento y evaluación a los recursos del Sistema General de Regalías en una única Resolución y se derogan las resoluciones 2620 de 2013, 4922 de 2014 y 3778 de 2015", Bogotá D.C., 12 de mayo de 2017.
9 Ibid.
10 Definiciones tomadas de la página web oficial de Evaluación SGR. Recuperado de https://www.sgr.gov.co/SMSCE/Evaluaci%C3%B3nSGR.aspx.
11 El SGR contempla seis regiones y cuenta con siete sedes distribuidas así: Caribe (Santa Marta y Montería), Centro Oriente (Bucaramanga), Centro Sur (Neiva), Eje Cafetero (Medellín), Llanos (Villavicencio) y Pacífico (Cali). Además del nivel central ubicado en Bogotá.
12 Tomado de la Resolución 1452 de 2017 del Departamento Nacional de Planeación, cit.
13 La información sobre la evaluación piloto de los resultados de los proyectos financiados por el SGR en APSB -Subsector acueducto puede consultarse en DNP-SGR (2016).
14 La información sobre la evaluación de los resultados de los proyectos financiados por el SGR en Transporte -Subsector vías urbanas puede consultarse en: DNP-SGR (2018).
15 Para mayor detalle ver evaluación piloto de los resultados de los proyectos financiados por el SGR en APSB -Subsector acueducto (DNP - SGR, 2016), y evaluación de los resultados de los proyectos financiados por el SGR en Transporte - Subsector vías urbanas (DNP-SGR, 2018).
REFERENCIAS
Bovens, M., Hart, P. y Kuipers, S. (2008). The politics of policy evaluation. Parte 5: Producing public policy. En M. Moran, M. Rein y R. Goodin, The Oxford Handbook of Public Policy. Oxford: Oxford University Press.
Bustelo, M. (2011). La evaluación en el marco del análisis de políticas públicas. En R. Salcedo (comp.), Evaluación de políticas públicas (pp. 185-252). México: Siglo Veintiuno Editores.
Carrillo, J. (2009). La dimensión política de la evaluación de políticas. Revista Opera (9), 53-65.
Concejo Nacional de Evaluación de la Política de Desarrollo Social (2017). Modelo de términos de referencia para la evaluación de consistencia y resultados. Recuperado de http://www.coneval.org.mx/rw/resource/coneval/EVALUAClONES/NORMATIVIDAD/TER_REF_2011/TDR_ECR.pdf.
Departamento Nacional de Planeación (DNP) (1994). La evaluación de resultados en el sector público a nivel nacional. Documento Conpes 2688 del 21 de enero de 1994. Bogotá D.C. Recuperado de https://sinergiacp.dnp.gov.co/Sinergia/ Documentos/2688.pdf.
Departamento Nacional de Planeación (DNP) (2012). Guía para la evaluación de políticas públicas. Serie de Guías Metodológicas Sinergia - Sistema Nacional de Evaluación de Gestión y Resultados. Bogotá D.C.: DNP.
Departamento Nacional de Planeación (DNP) (2017). Resolución 1452 de 2017 - Por la cual se establecen las metodologías de monitoreo, seguimiento y evaluación a los recursos del Sistema General de Regalías en una única Resolución y se derogan las resoluciones 2620 de 2013, 4922 de 2014 y 3778 de 2015, 12 de mayo de 2017, Bogotá, D.C.
DNP-SGR (2016). Regalías ya se traducen en mejores acueductos rurales en 9 municipios del país. Recuperado de https://www.sgr.gov.co/Prensa/ComunicadosdePrensa/tabid/82/EntryId/872/Regalias-ya-se-traducen-en-mejores-acueductos-rurales-en-9-municipios-del-pais.aspx.
DNP-SGR (2018). Evaluación Transporte. Recuperado de https://www.SGR.gov.co/sMSCE/Evaluaci%C3%B3nsSGR/Evaluaci%C3%B3nTransporte.aspx.
Dunn, W. (1994). Public Policy Analysis. An Introduction (2 ed.). Englewood Cliffs: Prentice Hall.
Fernández, N. y Schejtman, L. (2012). Planificación de políticas, programas y proyectos sociales. Buenos Aires: CIPPE2+C y UNICEF. Recuperado de http://www.unicef.org/argentina/spanish/cippec_uni_planificacion.pdf.
Gómez-Lee, M. (2008). Políticas públicas: formulación, implementación y evaluación, de André-Noël Roth. Reseña. Revista Opera (8), 202-204.
Guerra-López, I. (2007). Evaluación y mejora continua: conceptos y herramientas para la medición y mejora del desempeño. Un enfoque en resultados e impactos. Bloomington: AuthorHouse.
Kooiman, J. (1993). Modern Governance: New government-society interactions. United Kingdom: SAGE Publications.
Lasswell, H. (1956). The Decision Process: Seven Categories of Functional Analysis. University of Maryland Press.
Mackay, K. (2007). Cómo crear sistemas de SyE que contribuyan a un buen gobierno. Washington, D.C.: Grupo de Evaluación Independiente - Banco Mundial. Recuperado de https://ieg.worldbankgroup.org/Data/reports/monitoring_and_evaluation_spanish.pdf.
Majone, G. (2005). Evidencia, argumentación y persuasión en la formulación depolíticas. México: Fondo de Cultura Económica.
Management Systems International (2018). Evaluating development effectiveness in Colombia. Recuperado de http://www.msiworldwide.com/project/evaluating-development-effectiveness-in-colombia/.
Morra, L. y Rist, R. (2009). The Road to Results: Designing and Conducting Effective Development Evaluations. Washington: World Bank.
Ordónez-Matamoros et al. (2013). Manual de análisis y diseño de políticas públicas. Bogotá D.C.: Editorial Universidad Externado de Colombia.
Patton, C. y Sawicki, D. (1993). Basic Methods of Public Policy Analysis and Planning (2 ed.). Englewood Cliffs: Prentice Hall.
Peters, G. (2001). The Future of Governing (2 ed.). Lawrence: University Press of Kansas.
Rossi, P. H., Lipsey, M. W. y Freeman, H. E. (1999). Evaluation: A systematic approach (6 ed.). Thousand Oaks, CA: Sage.
Roth, A-N. (2007). Políticas públicas. Formulación, implementación y evaluación. Bogotá D.C.: Aurora Ediciones.
Roth, A-N. (2008). Perspectivas teóricas para el análisis de políticas públicas: ¿de la razón científica al arte retórico? Revista Estudios Políticos, 33.
Salamon, L. M. (2002). The Tools of Government: A Guide to the New Governance: Oxford and New York: Oxford University Press.
Salazar, C. (2009). La evaluación y el análisis de políticas públicas. Revista Opera (9), 23-51.
Selten, R. (1999). What is Bounded Rationality? Paper prepared for the Dahlem Conference 1999.
SFB Discussion Paper B-454, mayo de 1999. Recuperado de https://pdfs.semanticscholar.org/8237/d1a44256daddab131078bd09d622216c90d8.pdf.
Simon, H. A. (1976). Administrative Behavior. New York: Free Press.
Stufflebeam, D. L. y Shinkfield, A. J. (2007). Evaluation Theory, Models, y Applications. San Fracisco: Jossey-Bass.
Vedung, E. (2006). Evaluation Research. Sección 3: Evaluating Policy. En G. Peters y J. Pierre, Handbook of Public Policy (p. 397). London: Sage Publications.
Villaveces, J. (2009). Acción colectiva y el proceso de la política pública. Revista Opera (9), 7-22.
Weiss, C. (1993). Where politics and evaluation research meet. Evaluation Practice, 14 (1), pp. 93-106.