10.18601/16578651.n25.09
Textos tipo manual para la enseñanza de las políticas públicas en Colombia: un caso de estudio
HANDBOOK-TYPE TEXTS FOR PUBLIC POLICY TEACHING IN COLOMBIA: A CASE STUDY
Juan Pablo Centeno*
* Magíster (candidato) en Gobierno y Políticas Públicas, Universidad Externado de Colombia. Asistente de investigación del Centro de Investigaciones y Proyectos Especiales - CIPE, Universidad Externado de Colombia, Bogotá (Colombia). [juan.centeno@uexternado.edu.co], [https://orcid.org/0000-0002-8068-4267].
Recibido: 19 de febrero de 2019 / Modificado: 08 de abril de /2019 / Aceptado: 08 de abril de /2019
Para citar este artículo:
Centeno, J. P. (2019). Textos tipo manual para la enseñanza de las políticas públicas en Colombia: un caso de estudio. OPERA, 25, 159-183. DOI: https://doi.org/10.18601/16578651.n25.09
Resumen
A pesar de la creciente institucionalización de las políticas públicas como campo de estudio, poco se ha reflexionado sobre su enseñanza. El propósito del artículo es contribuir a la caracterización de la enseñanza de las políticas públicas en Colombia a partir del caso de un libro de texto tipo manual sobre el tema. Se realizó un análisis de citas y de encuestas aplicadas a estudiantes y egresados de maestría en Políticas Públicas. Se identificó una orientación racionalista en el uso del libro, con énfasis en la fase de implementación en distintos niveles territoriales. La divulgación de este campo de estudio y la definición operacional de política pública que propone son los principales aportes del libro. Se identifica el perfil del aprendiz en políticas públicas y se esbozan al final algunos retos y oportunidades para la enseñanza en políticas públicas.
Palabras clave: enseñanza de las políticas públicas; análisis de políticas públicas; institucionalización; diseño de política; ciencias de política pública; manual.
Abstract
Despite the increasing institutionalization of public policy as a field of study, there has been little reflection on the teaching in this field. The purpose of this paper is to contribute to the characterization of public policy teaching in Colombia based on the case of a handbook-type text on public policy. A citation analysis was carried out and surveys applied to students and graduates of a master program in public policy. A rationalistic oriented use of the book was identified, with a focus on the implementation phase at different territorial levels. The popularization ofthe field and the operational definition of public policy are some of the main contributions of the book. The profile of the public policy apprentice was identified and some opportunities and challenges are outlined in the end.
Key words: Public policy teaching; public policy analysis; institutionalization; policy design; policy sciences; handbook.
INTRODUCCIÓN
Las políticas públicas se han posicionado de manera creciente en la academia y en los discursos de la administración pública en Colombia. Sin embargo, poco se reflexiona acerca de la manera en que se enseña sobre este campo de estudio. Repensar la forma en que se enseñan las políticas públicas resulta necesario si se considera la advertencia de DeLeon y Steelman en su momento: los programas de enseñanza en este campo se han alejado de sus bases iniciales, como son el énfasis en el contexto, la orientación en problemas, el uso de diversos métodos para el análisis y la interdisciplinariedad, para el logro de objetivos sociales que produzcan bien común (2001, p. 164).
Este artículo pretende contribuir a dicha reflexión, mediante un estudio de caso del libro Manual de análisis y diseño de políticas públicas de Ordóñez-Matamoros et al. (2013), el cual ha servido como texto guía para la enseñanza de las políticas públicas en la Facultad de Finanzas, Gobierno y Relaciones Internacionales de la Universidad Externado de Colombia, tanto en pregrado como en maestría y doctorado. En el presente artículo se hace énfasis en el uso del libro a nivel de maestría, concretamente en la maestría en Gobierno y Políticas Públicas de la mencionada facultad, cuya tradición en el campo de las políticas públicas es destacada. No se pretende aquí realizar una reseña del libro, mucho menos una evaluación de este. En su lugar, se busca responder a la siguiente pregunta: ¿cuáles son las principales características de la enseñanza de las políticas públicas en Colombia a partir del caso estudiado? Para esto, se desarrolló una metodología de estudio de caso que se alimentó con evidencia a partir de un análisis de citas y de encuestas aplicadas.
Un estudio sobre la enseñanza de las políticas públicas a nivel de pregrado fue realizado por Roth (2016b), por lo que resulta pertinente indagar sobre esta misma cuestión a nivel de posgrado. Asimismo, por tratarse de un libro tipo handbook, su carácter es pedagógico y formativo, de modo que el análisis de este caso sirve como ejemplo para aproximarse a la forma en que se enseñan (y difunden) las políticas públicas en Colombia, en donde los textos de este tipo son predominantes para tal propósito (Roth, 2016b). Adicionalmente, el Manual aquí estudiado se destaca en el estudio de Roth (2016b) como el tercer libro más frecuente en los programas de enseñanza en políticas públicas en Colombia, a pesar de haber transcurrido apenas tres años desde su publicación.
El artículo se organiza de la siguiente manera: en la primera sección se hace un breve repaso ilustrativo (mas no exhaustivo) de la literatura sobre institucionalización y enseñanza de las políticas públicas con énfasis en algunos casos latinoamericanos; en la segunda sección se presenta el texto Manual de análisis y diseño de políticas públicas, con algunos de sus rasgos destacados; la tercera sección explica la metodología utilizada para el desarrollo del análisis; en la cuarta se presentan los resultados del análisis. Por último, se concluye con algunas reflexiones finales sobre los retos y las oportunidades de la enseñanza en el campo de las políticas públicas en Colombia.
Este artículo se suma al homenaje que el número 25 de la revista Ópera rinde al profesor Luis Fernando Aguilar Villanueva, por la lucidez, generosidad y agudeza de sus contribuciones en el estudio de las políticas públicas en América Latina.
INSTITUCIONALIZACIÓN Y DESARROLLO DE LA ENSEÑANZA DE LAS POLÍTICAS PÚBLICAS
El estudio y la enseñanza de las políticas públicas tienen origen en la disciplina de la ciencia política y en la necesidad de los gobiernos de profesionalizar sus burocracias para hacer más eficientes sus intervenciones y así dar solución a problemas públicos (Allison, 2008). Woodrow Wilson hizo un primer llamado a dar un "manejo científico al gobierno" y a orientar a la ciencia política al abordaje de cuestiones prácticas sobre cómo administrar los gobiernos (p. 61). Posteriormente, Harold Lasswell propuso el concepto de "ciencias de las políticas públicas" (policy sciences) con el fin de contribuir a la discusión de cómo se podrían optimizar las intervenciones del Gobierno para lograr sus objetivos. Para Lasswell, el estudio de las políticas públicas debía apoyarse en distintas disciplinas (multidisciplinariedad) y estar orientado a los problemas, los valores democráticos y la dignidad humana (DeLeon, 2008).
En el momento de dichos planteamientos, que coincidió con la expansión del federalismo y el auge de las políticas sociales del New Deal en Estados Unidos, se crearon diversos programas de administración pública dirigidos a profesionales para el entrenamiento y desarrollo de capacidades en el ejercicio del gobierno, programas que con el tiempo trasladaron su énfasis de administración pública hacia la política pública (Allison, 2008). Este contexto facilitó el surgimiento de escuelas dedicadas específicamente a la enseñanza y a la comprensión de las políticas públicas, como la Escuela de Gobierno Kennedy de la Universidad de Harvard en Estados Unidos (Allison, 2008)1.
Lo anterior ha inspirado el desarrollo de la enseñanza de las políticas públicas en América Latina. En la región, los volúmenes de la Colección de Antologías de Políticas Públicas (1992, 1993 y 1994), de Luis Fernando Aguilar Villanueva, fueron un importante paso introductorio al análisis de política pública, en tanto facilitaron la inserción de este campo de estudio, de desarrollo predominantemente anglosajón, en la academia y el público hispanohablante. Asimismo, el surgimiento de las políticas públicas como campo de estudio ha sido impulsado por un significativo aumento en el número de programas sobre ciencia política y disciplinas afines, en un contexto de apertura política, democratización y (neo) liberalización económica en la región (Roth, 2016a, p. 189).
La evolución en la enseñanza de las políticas públicas ha sido abordada como un proceso de institucionalización2 paralelo al de disciplinas como la ciencia política y la administración pública, con un avance hacia la autonomía con respecto de estas dos (Roth, 2016a). Para el caso de Latinoamérica, esta institucionalización ha estado marcada por distintos avances y desafíos en cada país3. En Brasil, el desarrollo de la enseñanza de las políticas públicas se ha favorecido de los incentivos gubernamentales para expandir el sistema educativo, la existencia de una demanda de cursos sobre políticas públicas y el surgimiento de movimientos y comunidades discursivas sobre asuntos públicos (Farah, 2016; Gomes, Almeida y Lucio, 2016). Sin embargo, se resalta que hace falta una formación mucho más focalizada en políticas públicas y reconocimiento de estas por parte de las autoridades como un campo de estudio autónomo (Farah, 2016; Gomes, Almeida y Lucio, 2016).
En Argentina, el proceso de democratización en la década de los ochenta facilitó la consolidación del campo de las políticas públicas, no sin enfrentarse a retos como el escaso diálogo entre gestión, investigación y formación (Cardozo y Bulcourf, 2016). Para el caso de México, Mota (2016) sostiene que la enseñanza de las políticas públicas ha estado descontextualizada de la realidad local y ha reproducido los contenidos desarrollados por la comunidad académica estadounidense. Sin embargo, la autora destaca el surgimiento de vertientes críticas propias del giro decolonial de las políticas públicas. En Chile, la enseñanza de las políticas públicas a nivel de posgrado se caracteriza por un importante sesgo economicista, lo que también incide en la forma en que se analizan los problemas públicos y se toman decisiones frente a estos (Dávila y Soto, 2011). Otras regiones del mundo, como el este de Asia, por ejemplo, enfrentan sus propios retos: la poca atención que recibe el conocimiento local, las bajas capacidades para la enseñanza, y la representación imprecisa del proceso de las políticas públicas son algunos de estos (Wu, Lai y Choi, 2012).
En Colombia, el campo de las políticas públicas se desarrolló inicialmente como una subdisciplina de la ciencia política y en el marco del proceso de institucionalización de esta. Leyva y Ramírez (2015) atribuyen el desarrollo de este subcampo a la incremental aproximación neoinstitucionalista para el estudio de los asuntos del Estado, a la búsqueda de soluciones para el conflicto armado y la crisis de final del siglo XX, y al creciente interés por analizar la descentralización, sus cambios e impactos sobre el régimen político (p. 86). En general, la formación en asuntos públicos en el país ha sido impulsada también por el proceso de profesionalización de la burocracia estatal (Roth, Herrera y Julio, 2010). Este auge se refleja en el crecimiento del número de programas académicos y de literatura académica sobre el tema, lo cual tiene que ver, a su vez, con la expansión del sistema educativo en favor de nuevos programas en asuntos públicos (Roth, 2016b; Roth, Herrera y Julio, 2010).
En línea con lo anterior, Roth (2016b) analiza los contenidos y textos base de los cursos sobre políticas públicas en programas de pregrado en Ciencia Política y afines en 19 universidades colombianas. El autor identifica que la enseñanza en los cursos de Políticas Públicas de estos programas se caracteriza por un importante sesgo neorracionalista y por combinar la cátedra magistral con la práctica a través de talleres, investigaciones y estudios de caso para la orientación pedagógica/metodológica de los cursos. En cuanto a los textos de clase, Roth (2016b) encuentra que las referencias más frecuentes son las de los siguientes autores: Andre Roth, Luis Aguilar, Yves Mény, Jean Claude Thoenig, Pierre Muller, Gonzalo Ordóñez-Matamoros, Jorge Cuervo, Joan Subirats, Wayne Parsons, Alejo Vargas y Harold Lasswell (p. 273). Por su parte, los textos predominantes son los de tipo manual (handbook) o libros de texto, en donde se destacan Políticas públicas: formulación, implementation y evaluación, de Roth (2002); Las políticas públicas, de Mény y Thoenig (1992), y Manual de análisis y diseño de políticas públicas de Ordóñez-Matamoros et al. (2013, p. 275).
Este último, objeto del presente estudio, se presenta a continuación junto con sus rasgos más relevantes, en tanto sirve como caso ilustrativo de la manera en que se enseñan las políticas públicas en Colombia.
MANUAL DE ANÁLISIS Y DISEÑO DE POLÍTICAS PÚBLICAS: UNA BREVE DESCRIPCIÓN DEL CASO
El Manual de análisis y diseño de políticas públicas fue elaborado por Gonzalo Ordóñez Matamoros, quien dirigió su desarrollo, en coautoría con Sarah Tadlaoui, Sara Porras Alzate, José Andrés Duarte García, Luis Hernando López, Lina Paola Martínez Fajardo y Gloria Calderón-Peña, con el fin de dirigirse a analistas, asesores, investigadores, docentes tomadores de decisión, evaluadores, a quienes interactúan con las instituciones públicas y al público en general, para incrementar la comprensión del proceso de las políticas públicas, así como brindar herramientas y facilitar la generación de capacidades para llevar a cabo ejercicios de análisis y diseño de políticas públicas (p. 19).
El texto busca ampliar el entendimiento de las políticas públicas con el uso de un lenguaje sencillo, y se inscribe en el análisis instrumental de las políticas públicas para apoyar la toma de decisiones ilustradas y dar solución a problemas públicos. Los autores parten del reconocimiento de la complejidad de los problemas públicos, los cuales pueden ser solucionados con la convergencia de tres condiciones: recursos, voluntad política y conocimiento, este último es el énfasis principal del texto. El libro se organiza en tres grandes secciones: 1) Conocimiento del proceso de las políticas públicas, 2) Conocimiento para ilustrar la toma de decisiones de política pública y 3) Conocimiento para generar impacto.
Para mayor detalle sobre el contenido del libro puede revisarse, además del mismo, la reseña escrita por Montenegro (2015) sobre este. La autora destaca que el texto se basa en un enfoque pragmático e instrumental y destaca las distintas herramientas que pueden apoyar la toma de decisiones y el análisis de política pública. Asimismo, señala que el libro es novedoso al dar importancia al rol del conocimiento en el proceso de la política pública y al reconocimiento de la deliberación y la argumentación basada en evidencia como motores del cambio (Montenegro, 2015). Sin embargo, la autora es crítica al señalar que el libro no es exhaustivo al abordar y desarrollar las discusiones sobre los enfoques teóricos para el análisis de políticas públicas que se plantean en uno de los capítulos iniciales.
En palabras del autor4, las principales virtudes del libro se encuentran en que, además de ser uno de los primeros de su tipo en idioma español, este evita tecnicismos y el lenguaje complejo a fin de facilitar la comprensión y la difusión del campo de las políticas públicas, para lo cual adapta y "traduce" varias de las propuestas de William Dunn, uno de los principales autores en la materia. Asimismo, por tratarse de un libro tipo manual o handbook, este propone ejercicios, talleres y tareas para facilitar el estudio y la apropiación de los conceptos expuestos.
Uno de los principales aportes del libro es la propuesta conceptual de política pública que se realiza. Ordónez-Matamoros et al. (2013) plantean que las políticas públicas son un "conjunto de acciones implementadas en el marco de planes y programas gubernamentales diseñados por ejercicios analíticos de algún grado de formalidad, en donde el conocimiento, aunado a la voluntad política y los recursos disponibles, viabilizan el logro de objetivos sociales" (p. 32). En cuanto al contenido del libro, este aporta en el análisis de la "maduración" de los problemas públicos, destaca la relevancia del rol del analista de política pública en el proceso de esta, hace énfasis en el valor esTratégico de diseñar la evaluación de las políticas públicas desde su etapa de diseño y formulación y, finalmente, rescata que también es importante considerar el "no hacer nada" como parte del proceso de toma de decisiones y que el proceso que describe el ciclo de la política pública no es lineal sino de carácter iterativo y continuo.
METODOLOGÍA
El enfoque metodológico del presente texto es el estudio de caso, el cual consiste en "un estudio intensivo de un caso individual con el propósito de generalizar sobre una serie mayor de casos del mismo tipo" (Gerring, 2007, p. 65). Este permite conocer a profundidad un objeto de estudio o fenómeno contemporáneo, teniendo en cuenta el contexto real en el que se desarrolla, particularmente cuando la frontera que distingue dicho fenómeno y este contexto no es clara, y cuando existe información limitada y se requieren diversas fuentes de evidencia (Yin, 2003).
La metodología para alimentar empíricamente este estudio de caso siguió dos pasos. En primer lugar, se realizó un análisis de la citación (análisis bibliométrico) del texto de Ordóñez-Matamoros et al. (2013) en las tesis de grado de la maestría en Gobierno y Políticas Públicas de la Universidad Externado de Colombia y en otros textos disponibles en plataformas académicas virtuales. Esto con el propósito de aproximarse al alcance e impacto que ha tenido el libro. A pesar de sus limitaciones, que para el caso de las ciencias sociales tienen que ver con las prácticas de publicación y citación, este tipo de análisis es utilizado para valorar el desempeño, la capacidad y el impacto de la actividad científica y "permite estudiar la producción y la productividad científica y técnica, la influencia y relevancia científica, la articulación temática y disciplinaria, la cooperación interinstitucional, intersectorial o internacional" (Ordóñez-Matamoros, Hernández, Hernández y Méndez, 2009, p. 311).
El análisis identificó, primero, las tesis aprobadas desde el año de publicación del Manual; sin embargo, se encontró únicamente registro de estas a partir del año 2015 en el repositorio físico y digital de la Biblioteca de la Universidad Externado de Colombia. Se identificaron 50 tesis de grado entre los años 2015 y 2018, de las cuales 16 (32 %) citan al menos una vez el Manual, con un total de 139 citas. Se hizo énfasis en la cantidad de citas realizadas en estos textos a partir de cuatro elementos clave: 1) la fase del ciclo de política pública en el que se ubica la investigación, 2) el marco teórico utilizado para desarrollar el estudio, 3) el sector de la política pública analizada y, finalmente, 4) el nivel territorial que abarcó el análisis.
Estos cuatro elementos son de interés por tres razones: primero, son ilustrativos de algunos de los factores que DeLeon y Steelman (2001) destacaron en su momento como necesarios para garantizar la efectividad y relevancia en la enseñanza de las políticas públicas, como son contar con marcos conceptuales claros, la existencia de herramientas y técnicas de investigación, la pertinencia del campo frente a problemas sociales, las relaciones intergubernamentales entre distintos niveles de gobierno, entre otros. Segundo, estos son útiles en tanto permitirían identificar (o no) patrones de integración en la enseñanza de las políticas públicas, como lo hace Roth (2016b) en función de enfoques enseñados, textos guía y autores referenciados. Tercero, la intencionalidad del libro bajo estudio tiene que ver con generación de conocimiento del proceso de las políticas públicas y las fases que dicho proceso describe, profundiza sobre los principales marcos y enfoques teóricos para el análisis de políticas, y se orienta a públicos de diversos sectores y niveles de gobierno, por lo que los criterios definidos son pertinentes para dar cuenta de dicha intencionalidad.
De modo complementario, se adelantó una revisión de otros documentos que citaron el texto para ampliar el alcance de la evidencia. La búsqueda de estos se realizó en las plataformas ResearchGate© y Google Scholar©, en donde se identificaron 44 documentos que citaron el texto en 138 ocasiones entre los años 2013 y 20185. Para el caso de estos documentos se identificó, además del número de citas del Manual, el tipo de texto de que se trata y el tema o la política que aborda. Para ambos grupos de documentos, tanto las tesis de maestría como aquellos de otras plataformas, se identificó qué contenido del texto de Ordóñez-Matamoros et al. (2013) fue citado.
En segundo lugar, se sistematizaron y analizaron los resultados de las encuestas aplicadas a los estudiantes del curso Métodos de Análisis y Diseño de Políticas Públicas, dictado en la maestría en Gobierno y Políticas Públicas de la Universidad Externado de Colombia, y cuyo texto base es el libro objeto del presente artículo. El profesor Gonzalo Ordóñez-Matamoros facilitó el acceso a los datos correspondientes a 951 respuestas a encuestas aplicadas entre los años 2016 y 2018. De estas, el presente estudio tomó en cuenta solo aquellas respuestas a preguntas de selección múltiple, con el propósito de facilitar su sistematización. Se trata de siete preguntas aplicadas en la primera sesión de cada curso, a través del aplicativo Shakespeak©, cada una con distinto número de respuestas (tabla 1)6.
Las preguntas tienen relación con los temas tratados en las clases, en donde, por ejemplo, se indaga por los factores que los estudiantes identifican como necesarios para solucionar problemas milenarios, y por el interés de estos para formarse en análisis de políticas públicas. Asimismo, buscan identificar el perfil de los estudiantes-usuarios del libro en términos de ocupación laboral, disciplina de formación universitaria, tiempo de experiencia laboral e ideología política con la que se identifican. Finalmente, se pregunta a los estudiantes sobre qué harían frente al dilema ético planteado en la página 90 del libro, que se describirá posteriormente junto con los resultados de la pregunta.
De igual manera, se diseñó una encuesta dirigida tanto a estudiantes como a egresados de la maestría en Gobierno y Políticas Públicas, con el propósito de preguntar sobre la utilidad e impacto que el texto ha tenido para sus lectores. Esta encuesta fue aplicada a un total de 52 personas7 a través de la plataforma Google Forms© y se compuso de 10 preguntas (8 de respuesta múltiple y 2 de respuesta abierta), como muestra el anexo.
RESULTADOS
Los hallazgos del análisis se presentan en el siguiente orden: en primer lugar, se exponen primero los resultados del análisis de citas, para las tesis de la maestría en Gobierno y Políticas Públicas y para los textos disponibles en plataformas virtuales, respectivamente; en segundo lugar, se presentan los resultados para las encuestas aplicadas, primero para las encuestas realizadas en los cursos y luego para la aplicada a través de la plataforma Google Forms©.
Análisis de citas
Los resultados del análisis realizado para el caso de las tesis de la maestría en Gobierno y Políticas Públicas coinciden con la conclusión de Roth (2016b), al evidenciarse un uso del texto caracterizado por una orientación racionalista, enfocado en el estudio de la implementación de políticas en distintos niveles territoriales. Entre 2015 y 2018 se identificó un total de 50 tesis de grado en el programa de maestría en Gobierno y Políticas Públicas de la Universidad Externado de Colombia. En el 32 % de estas (16) el Manual fue citado al menos una vez, el número total de citas en este grupo de trabajos de grado fue de 139, para un promedio de 8,69 citas por texto (figura 1). El número máximo de citas en un texto es de 28 y el mínimo es una cita.
El texto fue citado principalmente en tesis cuyo enfoque teórico es el modelo secuencial (67 %), seguido del neoinstitucionalismo (10 %), los enfoques cognitivos (8 %) y, particularmente, el marco del referencial de política (6 %). Un 3 % de las citas fueron realizadas en textos marcados por la teoría crítica, 2 % por la nueva gestión pública y 1 % por el marco de coaliciones de causa (figura 2). Esto denota que el texto, a pesar de ser enfático respecto al carácter iterativo del proceso de las políticas públicas, es utilizado principalmente para apoyar investigaciones de corte racional-secuencial.
Asimismo, la mayoría de citas se realizaban en tesis enfocadas en la fase de implementación de políticas públicas (48 %), seguido de la fase de formulación (13%), agendamiento (9 %), identificación del problema (8 %), toma de decisiones (4%) y monitoreo (2%). Cabe destacar que el 6 % de las citas se encontraron en textos que analizaban las fases de identificación del problema y de agendamiento en conjunto, un 2% de las citas fueron realizadas en documentos que no especificaban alguna fase de la política pública como énfasis y un 8 % de las citas estaban en trabajos que analizaban el ciclo de la política pública en su conjunto (figura 3).
La mayoría de citas se encontraron en análisis de la política de agua potable y saneamiento básico (28), seguido de la política de reintegración (26), anticorrupción (18), política pesquera (13), seguridad y defensa (12) y educación (11) (figura 4, panel A). De igual manera, el nivel territorial de las políticas analizadas en el que más frecuentemente se cita el Manual es el nacional (37%), seguido de los niveles municipal (35 %) y el regional (28 %) (figura 4, panel B). Si bien el nivel nacional es el más frecuente, cabe destacar que la suma del regional y municipal evidencia un uso importante del texto para casos en el nivel territorial.
En suma, el estudio de las citas de Ordóñez-Matamoros et al. (2013) en 16 tesis de grado de la maestría en Gobierno y Políticas Públicas permite evidenciar un uso del texto marcado por su aplicación al análisis de políticas sectoriales desde enfoques racionalistas, con énfasis en la implementación de políticas públicas en distintos niveles territoriales.
En cuanto a la revisión adelantada para el caso de otros documentos disponibles en plataformas académicas virtuales, se encontraron 44 documentos que citan el Manual en 138 ocasiones, para un promedio de 3,14 citas por documento. Como muestra la figura 5, la citación del texto creció de manera importante desde su publicación al día de hoy, alcanzando su máximo de citas en el 2016 (40) y el máximo de documentos que citan el libro en 2017 ( 12).
Llama la atención que la mayoría de citas del libro se concentran en tesis de grado (52 %), artículos de revistas de investigación (32 %) y, en menor medida, en informes de consultoría (6 %). Esto permitiría afirmar que el texto en estudio ha tenido incidencia en la enseñanza e investigación de las políticas públicas, pero también en la aplicación práctica del análisis de estas (figura 6, panel A). Los principales temas o políticas que tratan los textos consultados tienen que ver con discusiones teóricas del análisis de políticas públicas (ADIPP), con las políticas de inclusión social (16 %), de educación (13 %) y de medio ambiente (11 %) (figura 6, panel B). Según esto, el principal uso del texto tiene que ver con el estudio y análisis académico de políticas públicas, pero también con las discusiones teóricas sobre su análisis y la difusión de este campo de estudio.
Finalmente, para ambos grupos de documentos, tanto las tesis de la maestría como aquellos identificados en otras plataformas, se identificó qué contenido del Manual citaron (figura 7). La definición de política pública propuesta por el libro es el contenido más citado dentro de los 60 documentos revisados (22 %). Esto evidencia que uno de los principales aspectos relevantes, útiles y de impacto del libro es la definición operacional y original que se proporciona de política pública, construida a partir de tres criterios de tipo material, orgánico y procedimental, referenciada en la sección 3 del presente artículo. En segundo lugar aparece lo relacionado con implementación (20 %), lo cual es ampliamente discutido en el octavo capítulo del libro. Posteriormente, los contenidos más citados son los relativos a las teorías del proceso de las políticas públicas (15 %), al origen, definición y tipos de análisis de políticas públicas (10 %) y al ciclo de maduración de los problemas públicos (9 %).
En conclusión, el análisis de citas sugiere que el texto de Ordóñez-Matamoros et al. (2013) ha sido importante en la enseñanza e investigación de las políticas públicas, así como en las discusiones teóricas y la difusión de este campo de estudio. Se destaca que uno de los aportes del libro con mayor impacto es la definición que proporciona de política pública, como lo muestra el número de citas sobre este aspecto.
Encuestas aplicadas
A continuación, se presentan los resultados de las encuestas aplicadas a los estudiantes del curso Métodos de Análisis y Diseño de Políticas Públicas de la Maestría en Gobierno y Políticas Públicas de la Universidad Externado de Colombia. La primera pregunta realizada a los estudiantes fue ¿por qué no hemos podido solucionar problemas milenarios? La mayoría atribuye dicha situación a la falta de voluntad política (60 %), mientras que otra porción considera que esto es así por falta de conocimientos para hacerlo (33 %). Una minoría considera que es la falta de recursos (7 %) la que dificulta la solución de problemas milenarios (figura 8).
La figura 8 sugiere un contraste entre el énfasis del texto y el curso: el conocimiento; frente a lo que los estudiantes al iniciar el curso perciben como más relevante para la solución de problemas milenarios: la voluntad política. En todo caso, los resultados demuestran que, al menos en el imaginario de los estudiantes de políticas públicas, los recursos pasan a un segundo plano en relación con la voluntad política y el conocimiento para la solución de problemas públicos.
La segunda pregunta fue ¿por qué les interesa el análisis y diseño de políticas públicas? De siete posibles razones, se destacan cuatro: los estudiantes están interesados en representar los intereses y valores que los motivan (57), en vivir como asesor o consultor en el análisis de políticas públicas (60), en hacer bien las cosas en sus organizaciones (62) y en transformar el statu quo y llegar a desempeñarse en alguno de los otros roles sugeridos por la encuesta (63).
Estos otros roles tienen que ver con dejar huella y "sembrar para luego cultivar" (30), es decir, trabajar en la actualidad con miras a obtener beneficios futuros; ejercer control y (eventualmente) aprovechar "papayas" (10), es decir, sacar provecho de situaciones que se presenten a partir del control a otros actores; y, por último, ser reconocido y ganar reputación (7) (figura 9).
La respuesta mayoritaria, transformar el statu quo, coincide con la concepción que el texto sugiere del analista de política pública como un agente de cambio, ya sea desde una faceta técnica, política o de emprendedor político (Meltsner, 1976, citado en Ordóñez-Matamoros et al, 2013), en medio de las complejidades de la realidad pública que exigen del analista asumir posturas como "abogado del problema" o "abogado de la solución" (Ordóñez-Matamoros etat, 2013, p. 75). En ese sentido, el texto responde a los intereses y las expectativas de los profesionales para formarse como analistas de política pública.
En tercer lugar, se indagó por el perfil de los profesionales que se formaron en políticas públicas con uso del Manual (figura 10). Este perfil se reconstruyó a partir de cuatro elementos: ocupación laboral, formación de base, experiencia laboral e identificación/afinidad ideológica. En cuanto a la ocupación de los estudiantes (panel A), una amplia mayoría manifestó trabajar en el sector público como funcionario, empleado o contratista (55%).
Otras ocupaciones destacadas fueron también asesor/consultor (17%), investigador/académico (9%), tomador de decisiones de política pública (8%), funcionario de una organización no gubernamental o internacional (5%), empresario o productor de bienes y servicios (1 %). Un 3% de los encuestados se encontraban en búsqueda de empleo y un 2% ejercía alguna otra profesión (figura 10, panel A).
En cuanto a la formación universitaria de los encuestados (panel B), la principal es la de abogado (18 %), seguido de economista (13 %), formación multidisciplinaria como los profesionales en finanzas, gobierno y relaciones internacionales (12%) y ciencia política (11%). Un 15 % se formó en otras disciplinas y el 29 % restante tenía formación en administración pública, ingeniería, administración de empresas, sociología, periodismo o contaduría (figura 10, panel B). La experiencia laboral de la mayoría de estudiantes de los cursos es de 5 a 10 años (34%), seguido de 2 a 5 años (24%), de 10 a 15 años (17%), menos de 2 años (11 %), entre 15 y 20 años (9%) y más de 20 años (4%) (figura 10, panel D).
Finalmente, la mayoría de estudiantes se identifican ideológicamente en el centro del espectro político, ya sea con orientación a la izquierda (35%) o a la derecha (26%). En cuanto a los que se identifican de manera más marcada con alguna ideología, se destaca la relativa paridad en la proporción de estudiantes, pues el 11 % se identifica con la izquierda y el 12 % con la derecha. Una importante porción no tiene afinidad con alguna de las anteriores, no sabe con cuál identificarse o su postura depende de otros factores (16%) (figura 10, panel C).
En suma, a partir de las respuestas preponderantes de las anteriores cuatro preguntas podría afirmarse que un posible perfil del profesional que se ha formado en políticas públicas con uso del texto de Ordóñez-Matamoros et al. (2013) se caracterizaría por desempeñarse en el sector público como funcionario, empleado o contratista; con formación de base en derecho, economía, ciencia política u otras disciplinas; tener entre 5 y 10 años de experiencia; e identificarse con la ideología de centro izquierda.
La última pregunta plantea una situación en la que los estudiantes, asumiendo el rol de analistas de política pública, se enfrentan al siguiente dilema ético: una entidad del Gobierno nacional tiene la oportunidad de recibir apoyo de la cooperación internacional por parte de una agencia de un Gobierno extranjero en materia de política antidrogas. Sin embargo, dicha ayuda está supeditada a la reducción de las hectáreas de cultivo por parte del Gobierno colombiano. Un informe de un equipo consultor contratado por una entidad del Gobierno nacional revela que los cultivos ilícitos han aumentado, a lo que el director de la entidad reacciona con rechazo y pide a su asesor modificar el informe, omitiendo los datos sobre el crecimiento en las hectáreas de cultivos ilícitos para no perder el posible apoyo de la cooperación internacional.
Apartir del anterior escenario, la pregunta para los estudiantes es: ¿usted, como analista de política pública y asesor del director, qué haría? (Ordóñez-Matamoros et al, 2013, p. 90). La figura 11 muestra las distintas combinaciones de opciones y las respuestas de los estudiantes del curso: cambiar o no cambiar, renunciar o no renunciar y denunciar o no denunciar el caso.
Los resultados revelan que la línea decisoria de la mayoría de los estudiantes es no cambiar el informe, no renunciar al trabajo y denunciar la situación (G) (30%). De esto podría especularse que el 30 % de los encuestados no sacrificaría la veracidad de los hechos para favorecer a su institución, que dicha decisión no debería ser motivo para dejar su lugar de trabajo, y que este tipo de situaciones no deberían pasarse por alto, sino que ameritan ser visibilizadas y sancionadas. Llama la atención que se considere dicha opción a pesar de las consecuencias que esta pueda generar en las condiciones laborales del asesor en dicha situación hipotética.
La segunda opción escogida por una buena porción de los encuestados es la de cambiar el informe, renunciar al trabajo y denunciar el hecho (A) (16%). Como en cualquier dilema de este tipo, no existe respuesta correcta y la selección de alguna alternativa responde al fuero y las consideraciones subjetivas de quien se encuentre ante dicho dilema. Este ejercicio ejemplifica la subjetividad que orienta el quehacer del analista de políticas públicas (Ordóñez-Matamoros et al., 2013).
Como complemento de las anteriores preguntas y con el propósito de indagar sobre el impacto del texto, se diseñó un cuestionario aplicado a 52 estudiantes y egresados de la maestría en Gobierno y Políticas Públicas de la Universidad Externado de Colombia, lectores naturales del libro aquí analizado.
Según la percepción de los encuestados, existe un alto grado de satisfacción y de impacto del libro (figura 12). Lo anterior tiene que ver con que para la mayoría de encuestados el Manual permitió adquirir conocimientos aplicables a su vida profesional (58 %) (panel A), particularmente en lo relacionado con el apoyo a la toma de decisiones (31 %) y el aumento en la comprensión sobre la gestión pública (31 %) (panel B). De igual modo, la utilidad del libro fue calificada positivamente por la mayoría de los encuestados (excelente, 43 %; buena, 37 %) (panel C) y los contenidos resultaron ser novedosos para estos (muy novedoso, 46 %) (panel D). En resumen, el 72 %> de los encuestados recomendarían el libro a otras personas.
Finalmente, la figura 13 muestra en orden los diez capítulos del libro y el anexo relacionado con cajas de herramientas para el analista. En este se observa el número de veces que los estudiantes señalaron alguno de esos capítulos según qué tan útil consideraron su contenido. Los capítulos del libro con mayor utilidad para los lectores encuestados fueron "El proceso de las políticas públicas" (32), "El problema de definir el problema de política pública" (27), "Identificación de criterios de decisión y de alternativas de solución" (24).
Para terminar, se indagó sobre qué otros temas consideran los lectores que deberían abordarse en el texto y qué aspectos por mejorar encuentran en este. En cuanto a lo primero, se identificó que deben sugerirse más ejemplos prácticos para la lectura y aplicación del contenido del Manual. Asimismo, para los lectores, el contenido sobre evaluación de políticas públicas debería ser profundizado y ampliado, particularmente en cuanto a métodos de evaluación e indicadores, así como lo relativo a la comunicación de las políticas públicas, las herramientas para el diseño y la implementación, y nuevas teorías para el análisis de las políticas públicas. Otros sugieren revisar la concepción de lo público que hace el Manual, una discusión más profunda sobre la dimensión política de las políticas públicas, la inclusión de aspectos del sistema de planeación colombiano relacionados con la contratación y el presupuesto, entre otros. En cuanto al segundo aspecto, los principales elementos susceptibles de mejora identificados por los encuestados tienen que ver con la ampliación, profundización y mejor ejemplificación de algunos de sus contenidos, como sugiere la pregunta anterior; el mejoramiento en cuestiones de forma, una adaptación mucho más práctica del Manual, más herramientas para la aplicación de los contenidos, entre otros.
CONCLUSIONES: RETOS PARA LA ENSEÑANZA DE LAS POLÍTICAS PÚBLICAS
Los libros de texto o tipo manual (handbook) han sido importantes para la enseñanza de las políticas públicas en Colombia (Roth, 2016b). Textos como Políticas públicas: formulación, implementación y evaluación, de Roth (2002); Las políticas públicas, de Mény y Thoenig (1992); Manual de análisis y diseño de políticas públicas, de Ordóñez-Matamoros et al. (2013); Las políticas públicas, de Muller (2006), entre otros, son solo algunos de los textos más representativos para la enseñanza de las políticas públicas en Colombia.
Este artículo ofrece una aproximación a las características de la enseñanza de las políticas públicas en Colombia, con el fin de contribuir a la reflexión sobre este campo de estudio. Para esto se estudió el caso del Manual de análisis y diseño de políticas públicas, de Ordónez-Matamoros et al. (2013), sobre el que se realizó un análisis de citas y de encuestas aplicadas a los estudiantes y egresados usuarios del texto.
El análisis de citas permitió evidenciar que la enseñanza de las políticas públicas en este caso se caracteriza por un uso del libro para abordar políticas sectoriales de distintos niveles territoriales desde enfoques teóricos de corte racionalista con énfasis en la fase de implementación de políticas públicas. En este punto, vale la pena destacar que ha habido un importante uso del libro para abordar políticas a nivel territorial, y que las investigaciones en las que se usa adoptan un enfoque racionalista. No obstante, vale la pena destacar que el libro reconoce el carácter iterativo del proceso de las políticas públicas, en el que no puede hablarse de un proceso lineal como lo sugiere el modelo secuencial.
Asimismo, el texto ha sido utilizado para el estudio y análisis académico en casos de políticas públicas sectoriales, pero también para alimentar las discusiones teóricas sobre el análisis de políticas públicas como campo de estudio y la divulgación de este. Como muestra el análisis de citas, una de las principales contribuciones del libro es la definición operacional de política pública que este propone y el impacto que ha tenido como texto que repasa y difunde la literatura sobre políticas públicas para el público hispanohablante.
Las encuestas aplicadas evidencian que los públicos a los que se enseña sobre políticas públicas atribuyen la dificultad para solucionar problemas públicos a la falta de voluntad política. Estos manifestaron que su principal interés para formarse en políticas públicas tiene que ver con la transformación del statu quo, hacer las cosas correctamente en su organización/institución y adquirir conocimientos para desempeñarse como asesor/consultor. El perfil de este público se caracteriza principalmente por ejercer como funcionario o empleado público con experiencia de 5 a 10 años; tener formación profesional en derecho, economía, ciencia política u otras áreas multidisciplinarias; e identificarse con ideologías de centro. En cuanto a las consideraciones éticas y subjetivas de los analistas, se encontró que estos no sacrificarían la veracidad de los hechos para favorecer a su institución, no renunciarían cuando se encuentren en una situación en la que se les pida alterar los hechos en un informe y denunciarían dicho evento. El Manual tuvo un importante impacto para los encuestados en tanto se identificó un importante grado de satisfacción frente al texto, el cual los lectores encontraron aplicable a su entorno profesional, además de útil y novedoso. Sin embargo, existen retos en la adaptación de algunos de sus contenidos a la práctica, y en la ampliación y profundización en algunos de estos.
A partir de lo anterior, a continuación se esbozan algunos retos y oportunidades para la enseñanza de las políticas públicas. Los desafíos e interrogantes de la sociedad posindustrial y globalizada demandan nuevos enfoques para su entendimiento, y el análisis de políticas públicas es un campo de estudio interdisciplinario útil para responder a las cuestiones y problemáticas de la sociedad moderna (Gómez-Lee, 2008). En ese sentido, han aparecido nuevos marcos, teorías y modelos que han diversificado la explicación del complejo proceso de las políticas públicas y han trasladado el énfasis en la racionalidad al énfasis en la retórica y las variables cognitivas (Sabatier, 2007; Roth, 2008), transformaciones que deben permear, con mayor firmeza aún, la enseñanza de las políticas públicas.
DeLeon y Steelman (2001) destacaron en su momento que los programas de enseñanza en políticas públicas enfrentan dos retos principales relacionados con su efectividad y pertinencia. En cuanto a la efectividad, los autores sugieren que estos programas requieren de, primero, marcos conceptuales para orientar la investigación y la definición de problemas públicos; segundo, cajas de herramientas y técnicas de investigación diversas para enriquecer la aproximación contextual a los problemas públicos y, finalmente, fomentar el desarrollo de competencias relevantes frente a las necesidades de la sociedad, de modo que desde dichos programas se logre aportar a la solución de problemas esta (DeLeon y Steelman, 2001).
Por su parte, para garantizar su relevancia frente a los retos de la sociedad cambiante, los programas de enseñanza en políticas públicas deben hacer énfasis en las relaciones intergubernamentales en distintos niveles; abordar de manera crítica cuestiones como los mercados y la democracia en tanto paradigmas dominantes; entender al sector público como un facilitador entre diversos actores del sistema político para facilitar la cooperación y el diálogo; y aprovechar las ventajas de las tecnologías de la información y las comunicaciones (DeLeon y Steelman, 2001).
Otros autores, como Cairney y Weible (2017), han llamado la atención sobre la brecha que se interpuso entre la investigación básica y la investigación aplicada en políticas públicas, como consecuencia de malinterpretaciones en la distinción realizada por Lasswell entre "conocimiento de" y "conocimiento en" el proceso de las políticas, lo que ha dificultado a su vez el uso complementario de las teorías y las herramientas para el análisis de políticas públicas. Frente a este panorama, los autores proponen la noción de "nuevas ciencias de las políticas públicas" (new policy sciences), las cuales amplían el espectro de elección y los actores involucrados en el proceso de la política, hacen énfasis en la toma de decisiones en contextos complejos y abarcan la investigación básica y aplicada (Cairney y Weible, 2017).
Asimismo, la enseñanza de las políticas públicas debe conectarse con la práctica y mantenerse atenta a las necesidades reales de la sociedad y los tomadores de decisiones. Para esto, la evaluación de políticas y programas puede alimentar la relación enseñanza-práctica mediante la generación de aprendizajes y de información relevante sobre las políticas públicas que se implementan en el país (Salazar, 2009; Ordóñez-Matamoros et al., 2018).
Para avanzar en el abordaje de los mencionados retos, es necesario que la enseñanza de las políticas públicas apele a métodos que faciliten el aprendizaje y la divulgación de este campo de estudio, como pueden ser los libros tipo handbook, y que profundice en el rol que desempeña el conocimiento en el proceso de las políticas públicas. En ese sentido, el Manual de análisis y diseño de políticas públicas es un caso interesante de cómo la enseñanza de las políticas públicas podría lograr algún impacto en Colombia.
NOTAS
1 Para una disertación más amplia sobre estos temas, se recomienda la lectura de los artículos del presente número de la revista Ópera.
2 Para Altman (2005), la institucionalización es aquel proceso en el que una disciplina o campo de estudio cumple con criterios como: 1) contar con programas de enseñanza a nivel pregrado y posgrado; 2) que existan programas de investigación maduros en esa área; 3) la existencia de una comunidad académica; 4) facilitar el desarrollo profesional digno de los académicos en este campo de estudio (p. 5).
3 Los casos expuestos son retomados del número 49 de la revista Estudios políticos (2016), de la Universidad de Antioquia, en la que se dedica una sección temática a la enseñanza de las políticas públicas en Latinoamérica. Esta sección, titulada "Desarrollo y enseñanza en análisis de políticas públicas en América Latina", presenta los resultados de cuatro investigaciones que documentan el avance en la enseñanza de las políticas públicas en Brasil, Argentina, México y Colombia.
4 A partir de notas y presentaciones de clase del autor del libro estudiado.
5 Cabe advertir que en ambas plataformas se señalan 77 documentos que citan el Manual. Sin embargo, luego de la revisión de cada uno de estos, se evidenciaron 33 que no citaban el libro y que lo señalaban en su lista de referencias pero sin cita alguna, por lo que no fueron tenidos en cuenta para el análisis.
6 Como se observa en la tabla del anexo 1, uno de los retos en el análisis de la información es la diferencia en el número de respuestas para cada pregunta debido a la dispersión de la información, consecuencia a su vez de las restricciones de tiempo para el desarrollo de este tipo de actividades durante las clases. Sin embargo, dicha información sigue siendo valiosa para aproximarse al perfil de quienes se forman en políticas públicas.
7 La encuesta fue enviada a la totalidad de estudiantes y egresados sin ningún tipo de discriminación, 52 personas la respondieron. Por otra parte, desde una aproximación de racionalidad limitada, se trata más bien de una encuesta que da prioridad a la representatividad cualitativa sobre la representatividad estadística (Ordóñez-Matamoros et al., 2018), realizada con el propósito de aproximarse a la valoración que los estudiantes tienen de la utilidad del texto.
REFERENCIAS
Allison, G. (2008). Emergence of Schools of Public Policy. En M. Moran, M. Rein y R. Goodin, The Oxford Handbook of Public Policy (pp. 58-80). New York: Oxford University.
Altman, D. (2005). La institucionalización de la ciencia política en Chile y América Latina: una mirada desde el sur. Revista de Ciencia Política, 25(1), 3-15.
Cairney, P. y Weible, C. (2017). The new policy sciences: Combining the cognitive science of choice, multiple theories of context, and basic and applied analysis. Policy Sciences, 50(4), 619-627.
Cardozo, N. D. y Bulcourf, P. (2016). El desarrollo institucional de la Administración y Políticas Públicas en Argentina. Un estudio de la enseñanza desde el proceso democratizador hasta nuestros días. Estudios políticos, 49, 216-238. doi:10.17533/udea.espo.n49a12
Dávila, M. y Soto Soutullo, X. (2011). ¿De qué se habla cuándo se habla de políticas públicas? Estado de la discusión y actores en el Chile del bicentenario. Estado, Gobierno y Gestión Pública, 17, 5-33.
DeLeon, P. (2008). The historical roots of the field. En M. Moran, M. Rein y R. Goodin, The Oxford Handbook of Public Policy (pp. 39-57). New York: Oxford University.
DeLeon, P. y Steelman, T. (2001). Making public policy programs effective and relevant: The role of the policy sciences. Journal of Policy Analysis and Management, 20(1), 163-171.
Farah, M. F. (2016). Formação em política pública no Brasil. Das iniciativas pioneiras dos anos 60 à institucionalização do "campo de públicas". Estudios Políticos(49), 192-215. doi:10.17533/ udea.espo.n49a11
Gerring, J. (2007). Case Study Research. Principles and Practices. Cambridge: Cambridge University Press.
Gomes, S., Almeida, L. y Lucio, M. (2016). A new agenda for teaching public administration and public policy in Brazil: Institutional opportunities and educational reasons. Teaching Public Administration, 34(2), 159-177. doi:10.1177/0144739415615663
Gómez-Lee, M. I. (2008). Las políticas públicas en la sociedad globalizada. Ópera, (8), 175-195.
Leyva, S. y Ramírez, M. F. (2015). La ciencia política en Colombia: una disciplina en continua expansión. Revista de ciencia política, 35(1), 71-94. doi: http://dx.doi.org/10.4067/S0718-090X2015000100005
Montenegro, V. (2015). Reseña: Manual de análisis y diseño de políticas públicas. Íconos. Revista de ciencias sociales, (53), 197-200.
Mota Díaz, L. (2016). La colonialidad del saber en la enseñanza de políticas públicas en instituciones de educación superior en México. Estudios políticos, 49, 239-259. doi:10.17533/udea.espo.n49a13
Ordóñez-Matamoros, G., Hernández, A., Hernández, C. y Méndez, C. (2009). Análisis bibliométrico de la Revista de economía institucional en sus primeros diez años. Revista de Economía institucional, 11(20), 309-353.
Ordónez-Matamoros, G., Tadlaoui, S., Porras, S., Duarte, J., López, L., Martínez, L. y Calderón-Peña, G. (2013). Manual de análisis y diseño de políticas públicas. Bogotá: Universidad Externado de Colombia.
Ordóñez-Matamoros, G., Centeno, J. P., Santander, D., Llanos, O., Sierra, C. y Remolina, J. P. (2018). La evaluación ejecutiva y la toma de decisiones de política pública: el caso de la E2+SGR en Colombia. Ópera, (22), 53-79. doi:https://doi.org/10.18601/16578651.n22.04
Roth, A.-N. (2008). Perspectivas teóricas para el análisis de las políticas públicas: ¿de la razón científica al arte retórico? Estudios políticos, (33), 67-91. Recuperado de http://aprendeenlinea.udea.edu.co/revistas/index.php/estudiospoliticos/article/view/1943/1602
Roth, A.-N. (2016a). Presentación sección temática. Desarrollo y enseñanza en análisis de políticas públicas en América Latina. Estudios políticos, 49, 189-191. doi:10.17533/udea.espo.n49a10
Roth, A.-N. (2016b). La enseñanza del análisis de políticas públicas en los programas universitarios de Ciencia Política en Colombia. Estudios políticos, 49, 260-283. doi:10.17533/udea.espo.n49a14
Roth, A.-N., Herrera, P. y Julio, J. (2010). Laformación en asuntos públicos en Colombia. París: Instituto de Investigación y Debate sobre la Gobernanza (IRG).
Sabatier, P. (ed.). (2007). Theories of The Policy Process (2 ed.). Boulder: Westview Press. Recuperado de http://ruby.fgcu.edu/courses/twimberley/EVR2861/theorypolprocess.pdf
Salazar, C. (2009). La evaluación y el análisis de políticas públicas. Revista Opera, (9), 23-51.
Wu, X., Lai, A. Y.-H. y Choi, D. L. (2012). Teaching Public policy in East Asia: Aspirations, potentials and challenges. Journal of Comparative Policy Analysis: Research and Practice, 14(5), 376-390.
Yin, R. (2003). Case Study Research. Design and Methods (3 ed.). Thousand Oaks: Sage Publications.