10.18601/16578651.n28.08

Metodología de evaluación de eficiencia no paramétrica para proyectos de innovación pública. Caso de estudio: Centro de Innovación Social de Nariño (CISNA)

NON-PARAMETRIC RELATIVE EFFICIENCY MEASUREMENT METHODOLOGY FOR PUBLIC INNOVATION PROJECTS. CASE STUDY: CENTRO DE INNOVACIÓN SOCIAL DE NARIÑO(CISNA)

Lady Johana Hoyos-Restrepo^*
Carolina Saldaña-Cortés^**
Diana Carolina Redondo-Soto^***

^* Magíster en gerencia de innovación empresarial. Digital content manager, Tribbu S.A.S, Bogotá (Colombia). [johanahoyos92@gmail.com]; [https://orcid.org/0000-0002-5592-2251].

^** MSc. en Economía. Coordinador de Investigación, Centro de Producción y Tecnología, Facultad de Administración de Empresas, Universidad Externado de Colombia, Bogotá (Colombia). [jenny.saldana@uexternado.edu.co]; [https://orcid.org/0000-0003-2486-4367].

^*** Magíster en Gerencia de Innovación Empresarial. Gerente Comercial, Unidad Transaccional Banca Corporativa, Bancolombia S.A., Bogotá (Colombia). [carolinaredondosoto@gmail.com]; [https://orcid.org/0000-0002-9711-3321].

Recibido: 23/06/2020 / Modificado: 19/08/2020 / Aceptado: 15/09/2020

Para citar este artículo:

Hoyos-Restrepo, L. J., Saldaña-Corte, C. y Redondo-Soto, D. C. (2021). Metodología de evaluación de eficiencia no paramétrica para proyectos de innovación pública. Caso de estudio: Centro de Innovación Social de Nariño (CISNA). OPERA, 28, 169-192. DOI: https://doi.org/10.18601/16578651.n28.08

Creative Commons Reconocimiento-NoComercial-CompartirIgual

Resumen

El objetivo de este artículo es proponer una metodología no paramétrica de medición de eficiencia relativa, que permita al sector público evaluar los procesos de innovación que se llevan a cabo en los diferentes niveles y ramas de los Estados gubernamentales. Esto con el fin de analizar el uso de los recursos monetarios, de tiempo y de capital humano mediante una metodología que incorpore indicadores de medición, con el fin de hacer un seguimiento y evaluar los resultados de este tipo de proyectos, lo que se traduce en la generación de una herramienta con el poder de evaluar el resultado de los indicadores de cumplimiento de los objetivos planteados al principio del proyecto. Este proceso se realiza a partir de la identificación de las variables que contribuyeron o no al éxito del proyecto, y, a su vez, propone posibles acciones para modificar o cambiar dichas variables.

Palabras clave: innovación; innovación pública; eficiencia relativa; análisis envolvente de datos-DEA; proyectos de innovación.

Abstract

The purpose of this article is to introduce a non-parametric relative efficiency measurement methodology that allows public sector entities to scrutinize the innovation processes that have been implemented throughout the different levels and branches of governmental power. This aims to analyze the management of monetary, time, and human capital resources by implementing a methodology that incorporates measurement indicators, to monitor and evaluate the results of such projects. This translates into the creation of an assessing tool for compliance outcome indicators, regarding the objectives established on each project's early stages. This process was achieved via the identification ofinstrumental variables for project success or failure, all whilst still proposing courses of action to substitute or modify the aforementioned factors.

Key words: Innovation; public innovation; relative efficiency; Data Envelopment Analysis-DEA; innovation projects.

INTRODUCCIÓN

En la actualidad, los avances tecnológicos, económicos y sociales han exigido a los países estar a la vanguardia en temas relacionados con la investigación y la innovación para mejorar su competitividad. Para el caso colombiano, si bien se evidencian avances, es necesario promover, desarrollar y tener mecanismos que permitan medir los impactos de las innovaciones tecnológicas, de procesos y de servicios en la sociedad. Con el desarrollo de esta investigación se propone una metodología que permita medir la eficiencia relativa de proyectos de innovación en el sector público haciendo uso de la técnica de análisis envolvente de datos (DEA, por sus siglas en inglés); además de medir la eficiencia relativa, puede ser utilizada para identificar fallas en los esquemas actuales, sugerir recomendaciones para la aplicación de políticas que fomenten las buenas prácticas, que busquen aumentar los niveles de eficiencia de los diferentes sectores y áreas sobre las cuales se aplica esta metodología.

De acuerdo con el Departamento Nacional de Planeación (DNP) (2018b), en Colombia, en los últimos años, existe una creciente tendencia al desarrollo de proyectos de innovación en el sector público, sin embargo, al carecer de herramientas para su medición y al tener resultados en ocasiones intangibles, no se cuenta con instrumentos para caracterizar mejor la evaluación de los resultados. Como aporte a esta problemática se desarrolló una metodología no paramétrica, DEA, ejemplificándola con datos de proyectos pertenecientes al Centro de Innovación Social de Nariño (CISNA), donde se pretende mostrar los atributos de la metodología y su aporte a la construcción de planes de acción para mejorar la eficiencia de estos y medir los impactos generados.

Actualmente, en América Latina se evidencian esfuerzos y políticas en pro de la innovación. Sin embargo, existe poca literatura sobre indicadores que puedan determinar que los proyectos desarrollados conlleven de manera eficaz al mejoramiento de la competitividad, el crecimiento económico y la sostenibilidad. La importancia de la medición de los procesos de innovación reside en que los indicadores en este campo podrían ser instrumentos para la toma decisiones de políticas públicas, tanto en la esfera privada como en pública. En la primera de estas esferas, los indicadores son esenciales para definir estrategias competitivas; en la segunda, estos desempeñan un rol relevante en el diseño e instrumentación de políticas públicas de promoción de la innovación, así como en su ajuste, rediseño o evaluación (Lugones, 2008, p. 7).

En los proyectos de innovación pública, algunos resultados son intangibles, como es el caso de los activos (p. ej., patentes, actividades de desarrollo sobre productividad intelectual, marcas registradas por la organización gubernamental), lo que resulta ser un impedimento para la medición de su impacto. Adicionalmente, muchos de los proyectos están encaminados a solucionar problemáticas existentes en la sociedad, por medio de nuevas alternativas donde los resultados podrían tender a ser subjetivos; asimismo, no se restringe a la utilización de variables cuantitativas y se pueden analizar variables cualitativas como satisfacción general con el proyecto, como la existencia de infraestructura tecnológica, etc. Por esta razón, se hace necesario identificar los factores relevantes que se deben incorporar en una propuesta de metodología que mida la eficiencia relativa en los proyectos de innovación pública, que sea transparente y no se preste a manipulaciones, además de dar lineamientos de cómo mejorar cada uno de ellos de una forma eficiente.

El presente artículo desarrolla, en una primera parte, el marco teórico en relación con los conceptos de innovación e innovación pública, productividad y eficiencia, y sobre los métodos de análisis de eficiencia relativa no paramétrica, con el fin de pasar a una segunda parte, donde se expondrá el modelo de programación matemática DEA, el cual será el soporte para proponer, en la tercera parte, una metodológica para evaluar proyectos de innovación pública.

MARCO TEÓRICO

Innovación pública

En la actualidad, la competitividad y la generación de valor son focos estratégicos en las organizaciones, es allí donde el concepto de innovación genera gran relevancia y se considera como un "emblema" de prosperidad. No obstante, esto no siempre ha sido así. Las investigaciones de Godin (2015) mostraron que hasta el siglo XX "innovar" no estaba tan bien visto, se denotaba como algo prohibido por la ley y usado de forma peyorativa por los opositores al cambio. A lo largo del tiempo se evidencian numerosas definiciones y aportes teóricos del concepto de innovación, los cuales se consideran importantes para el desarrollo de la presente investigación.

Las primeras aproximaciones al concepto de innovación se evidencian hacia la década de los treinta. Schumpeter (1939) describió la innovación como una secuencia holística e integral en la cual los aspectos económicos y sociales son más importantes, en donde la invención o el descubrimiento generado en el ámbito científico entra efectivamente en el mundo empresarial, incorporándose a procesos productivos, métodos organizativos y productos que posteriormente van a difundirse en el tejido social a través del mercado. Por otra parte, es posible constatar un cambio significativo con una determinada finalidad (Hernández-Ascanio et al., 2016, p. 4). Esta definición es importante dado que se incluyen nuevos bienes al mercado, con los cuales los consumidores no están familiarizados, y genera expectativas positivas en su uso o el beneficio que obtendrían de este si se crea una nueva forma de producir que no se haya experimentado y no haya sido usada con anterioridad (Cilleruelo et al., 2007, p. 62).

La Organización para la Cooperación y el Desarrollo Económicos (OCDE) (2005) amplía el concepto anterior, como la introducción de un nuevo o significativamente mejorado producto (bien o servicio), de un proceso, de un nuevo método de comercialización o de un nuevo método organizativo. De la misma manera, en las prácticas internas de la empresa, para que haya innovación es necesario que, como mínimo, el producto, proceso, método de comercialización o método de organización sean nuevos para la empresa. La actualización del concepto de innovación para OCDE (2019), se basa en que se le presta atención a la innovación no tecnológica, porque se consideró que el concepto inicial no capturaba adecuadamente la innovación realizada en el sector servicios. Como resultado, se amplió el alcance de la definición de innovación para incluir dos nuevos tipos: innovación comercial y organizativa. En la tabla 1 se muestran algunas definiciones de innovación que fueron identificadas en el transcurso de la investigación y se consideraron pertinentes para el desarrollo de este artículo, donde se puede ver como un elemento que busca generar mayores beneficios, valor y conocimientos a las organizaciones.

Por otra parte, se sabe que el rol del sector público es decisivo para los países, ya que tiene una influencia directa en todas las dinámicas de este, desde la economía hasta el bienestar de los ciudadanos, por ello, el sector público "se ha transformado en un instrumento que capta recursos para transformarlos en servicios directos e indirectos a los ciudadanos […] en este sentido, está orientado a incrementar la eficacia y la eficiencia de la administración pública" (Matas, 2001, p. 2). Por consiguiente, es necesario fortalecer cada vez más las herramientas capaces de evaluar los proyectos que buscan solucionar las problemáticas o mejorar el bienestar de los ciudadanos. En consecuencia, a partir de los conceptos de innovación revisados anteriormente, se puede considerar que esta no solo es aplicable al sector privado, sino también al público. Por lo anterior, la innovación pública se puede llevar a la acción de varias maneras, por ejemplo: "Mejorando algún proceso o servicio ya existente, con impacto en la percepción que la ciudadanía tiene sobre el servicio, adaptando ideas ya probadas a un nuevo contexto y desarrollando algo absolutamente nuevo, para alcanzar los objetivos de la organización pública" (Salinas, 2012, p. 36).

Los conceptos de innovación y sector público, de cierta manera, son complementarios. En un principio se pensaba que el sector privado era innovador, dinámico y competitivo, mientras que el Estado, por su parte, tenía un rol estático, interviniendo en el mercado tan solo para subsanar posibles fallos en sus actividades. Sin embargo, la economista Mariana Mazzucato, en su libro El Estado emprendedor (2019), se encarga de desmontar este falso mito para demostrar que el Estado es la organización más emprendedora del mercado y la que asume inversiones de mayor riesgo. Por tanto, "el sector público ha venido reconociendo la importancia de responder a las necesidades de la sociedad, cada vez más heterogéneas, con una mayor efectividad y eficiencia. Esto requiere de enfoques innovadores a nivel de política y práctica gubernamental" (Mora y Lucio, 2013, p. 2).

Lo anterior ocurre gracias a que las entidades del sector público encuentran nuevos métodos para abordar los problemas emergentes, incluida la forma de alentar e implementar prácticas innovadoras, además de "ayudar a promover marcos de gobernanza y destacando los arreglos administrativos que contribuyen a la eficacia en función de los costos de entrega de resultados" (ANAO, 2009, p. 12). Esto llevaría a que las entidades del Estado busquen maneras innovadoras de solucionar los problemas cotidianos, tanto en la administración pública como las problemáticas sociales.

No solo se están buscando soluciones novedosas, sino que se está cambiando la cultura dentro de las organizaciones públicas. Introducir un nuevo modo de pensar o de percibir las cosas lleva a que poco a poco se esté cambiando a una mentalidad innovadora, donde los servidores públicos puedan tener un gran abanico de posibilidades de acción.

En la tabla 2 se presentan algunas definiciones de innovación pública, las cuales fueron identificadas en el transcurso de la investigación como pertinentes para ser abordadas en este artículo. Para los términos de este trabajo de investigación se seleccionó la siguiente definición:

Innovación es todo cambio que es capaz de mejorar o crear una propuesta de valor o la eficiencia de un sistema. Dentro del contexto del sector público esta se ha definido como la creación y aplicación de nuevos modelos de gestión, procesos, productos y servicios y métodos de puesta al alcance del usuario, los que dan lugar a importantes mejoras en la eficiencia, eficacia y en la calidad de los resultados. (Sánchez et al., 2013, p. 19)

Esta definición se seleccionó por considerar que encaja con el objetivo de las iniciativas de innovación pública planteadas por Bason, quien las expuso como "iniciativas que pueden resultar en una mayor productividad del sector público, en instituciones democráticas más abiertas y robustas, en una oferta de políticas públicas más pertinentes y efectivas, o en servicios que conducen a mayores grados de satisfacción y confianza ciudadana" (2018, p. 44).

Finalmente, el concepto de inovación pública utilizado por el equipo de innovación pública (EIP) del DNP señala que

… la innovación pública es la que responde a retos públicos. Los retos públicos reflejan dolores colectivos, es decir, necesidades o problemas que son reconocidos y vividos por muchas personas, no solo por unas pocas. Es necesario centrarse en las personas que los viven, y lograr que sus voces, perspectivas y experiencias sean protagonistas, tanto en la comprensión del reto como en el diseño y ejecución de una respuesta. Este tipo de aproximación aumenta el potencial de alcanzar transformaciones genuinamente positivas y sostenibles en el tiempo, y contribuye a fortalecer la legitimidad del proceso de innovación. Se trata de pasar de crear valor para las personas a crear valor con ellas. (EIP, 2018)

Productividad y eficiencia

Existen varios conceptos que se relacionan con el término eficiencia y que contribuyen a brindar un campo más amplio para su entendimiento, uno de ellos es la productividad. Ambas nociones conducen a una misma dirección, puesto que la eficiencia es una medición del nivel de la productividad, y se refiere a lograr los resultados deseados con la menor cantidad de recursos.

La productividad es entendida como la relación o razón entre el nivel de producción final obtenido y los recursos o insumos utilizados para lograrlo."la productividad nos indica cuánto producto generan los insumos usados en una actividad económica y, expresada como un índice, permite ver cómo ha cambiado la relación entre productos e insumos a través del tiempo, es decir, si se ha vuelto o no más eficiente la transformación de los insumos en producto" (Silvestre y Chamú, 2015, p. 21).

Para la Real Academia Española (RAE) (2018), la eficiencia es la capacidad de disponer de alguien o de algo para conseguir un efecto u objetivo determinado. Dicho objetivo debe optimizar el uso de recursos y tiempo, y está enfocado principalmente en los resultados o beneficios que se pueden generar. Según Mokate (1999) en la aplicación de eficiencia al análisis de políticas se evidencia una relación entre medios y fines que, como habíamos mencionado, se considera eficiente si se cumplen los objetivos en el menor tiempo posible; entre tanto, Cohen y Franco (1988) definieron la eficiencia como la relación entre costos y productos obtenidos.

Lockheed y Hanushek (1994) señalaron que "un sistema eficiente obtiene más productos con un determinado conjunto de recursos, insumos o logra niveles comparables de productos con menos insumos, manteniendo a lo demás igual". Por su parte, Cohen y Franco (1988) sugirieron que el concepto de eficiencia se utiliza predominantemente en el análisis financiero y tiene un parentesco cercano con la noción de óptimo uso, cuando se introduce el costo de los insumos, se homogeneiza esta dimensión y se pasa a la consideración de la eficiencia. De acuerdo con lo anterior, no lograr que los tiempos u objetivos pactados al inicio de un proyecto se cumplan, bajo los marcos previamente definidos, puede traducirse en que el nivel de eficiencia del proyecto está por debajo de lo esperado.

La eficiencia tiene su base en la gestión empresarial y en la comparación de la productividad, esta busca craer un equilibrio positivo entre los recursos (input) y los resultados (output), manteniendo los estándares de calidad.

Según Mora y Vivas (2001, p. 17), la eficiencia en el sector público debe ir más allá de comunicar las ideas, deben existir espacios donde los ciudadanos puedan valorar los aportes de las entidades públicas, con el fin de que estas puedan tener de manera más tangible la aprobación o no de las ideas.

"El no cumplir cabalmente los objetivos y/o el desperdicio de recursos o insumos hacen que una iniciativa resulte ineficiente" (Mokate, 2001, p. 4). La optimización de dichos recursos puede verse reflejada en los costos, en los ingresos o en los beneficios obtenidos. Para el caso de los costos, es preciso tener en cuenta que estos no están directamente relacionados con el dinero, dentro de este rubro deben considerarse recursos como el tiempo, pérdidas en la productividad, el capital intelectual, el costo de oportunidad, entre otros. Con respecto a los beneficios obtenidos, están relacionados con la eficiencia técnica, donde es necesario medir la relación entre producto final y el recurso utilizado para su producción, es decir, supone que la entidad es capaz de crear más output sin consumir más de ninguno de los inputs; por último, la eficiencia económica, la cual va de la mano con la anterior, asociada a los ingresos generados al relacionar costo-efectividad, eligiendo aquellos procesos que, determinados por la eficiencia técnica de la entidad, son susceptibles de generar más ganancias.

Autores como Carter (1994) y Stewart y Ranson (1994), afirmaron que el rendimiento de las organizaciones públicas no puede definirse mediante resultados (outputs) únicos, dado que una actividad puede tener muchos resultados que pueden ser igualmente deseables y tiene como consecuencia el que los términos (outputs) y efectos o impactos sean utilizados de forma intercambiable por los gobiernos y las autoridades públicas (Aibar, 2003). En este sentido, Carter (1994) distingue entre los outputs de la actuación de una entidad pública (los servicios que la misma proporciona a los ciudadanos) y los resultados de dicha actuación (representados por el impacto que los servicios suministrados tienen sobre los receptores), tal y como se representa en la figura 1.

Existen diferentes tipos de eficiencia, entre ellas la técnica, que se da cuando hay una combinación factible de recursos y productos (Koopmans, 1951), si es tecnológicamente imposible aumentar algún producto o reducir algún recurso, sin reducir simultáneamente al menos otro producto o aumentar al menos otro recurso (Färe et al., 1985, p. 6). Farrell (1957) fue el primero en proponer la forma de cuantificar la eficiencia técnica construyendo una frontera eficiente que consiste básicamente en hacer una muestra representativa entre varias empresas del mismo sector y, luego, comparar los resultados obtenidos para cada empresa con la frontera eficiente. Para el sector público se podrían reunir diferentes proyectos de determinados sectores como la educación, salud, seguridad, entre otros. A partir de esta propuesta se han desarrollado diversas metodologías que difieren principalmente en la forma de obtener la frontera eficiente. Estas metodologías pueden ser divididas en dos grandes grupos, según la herramienta empleada para obtener la frontera eficiente: los métodos paramétricos, que emplean técnicas econométricas y los métodos no paramétricos, que utilizan la programación lineal (Färe et al., 1985, pp. 260-267).

La eficiencia técnica relaciona un vector de recursos (inputs) con el máximo nivel de resultados (outputs) posibles, de esta manera se deduce que una empresa es eficiente cuando opera en la frontera de producción. Dicha eficiencia se incrementa mejorando los elementos y factores que se involucran en los procesos de producción de outputs. Estas mejoras pueden estar relacionadas con gestión del conocimiento, formación de profesionales o capacitación del capital humano, con la adopción de sistemas de gestión o el desarrollo de herramientas, y con la apuesta por nuevas tecnologías que lleven a simplificar y mejorar los procesos actuales incrementando la producción, la rentabilidad y los beneficios.

El concepto de eficiencia relativa parte de la necesidad de comparar la productividad de varias unidades de decisión (en este caso proyectos), es decir, tener variables que permitan hacer relaciones y comparaciones del uso de los recursos y los resultados obtenidos; para esto se debe contar con la información de entidades o proyectos que se ejecutan en un determinado horizonte de evaluación, entre más completa y objetiva sea, se obtendrán resultados de evaluación con mayor confiabilidad. Para poder cuantificar y medir la eficiencia relativa es necesario aplicar diferentes herramientas que permitan identificar la eficiencia o la ineficiencia de las cantidades de insumos o recursos y de productos necesarios para maximizar los beneficios.

Uno de los métodos más utilizados es el Índice de Malmquist, propuesto por Färe et al. (1985), el cual se define como el producto de dos términos: el "Movimiento de la Frontera" y el "Cambio de eficiencia" (Convergencia a la Frontera o Catch-Up). Este último se relaciona con el grado en que una unidad de toma de decisiones (DMU, por sus siglas en inglés) mejora su eficiencia relativa a sus comparadores (son circuitos capaces de comparar dos señales de entrada y variar la salida en función de cuál es mayor), mientras que el Movimiento de la Frontera refleja los movimientos hacia mayor productividad de las DMU inicialmente eficientes, entre dos periodos de tiempo (Ferro y Romero, 2003, p. 7). El índice Malmquist con orientación al input mide las diferencias de productividad como diferencias en el mínimo nivel de inputs, lo cual permite producir unos niveles de outputs determinados. Mientras que el índice Malmquist con orientación al output mide las diferencias de productividad en términos del máximo nivel de producción dadas las cantidades de factores (Silvestre y Chamú, 2015, p. 23).

La relación entre la evaluación de proyectos y la eficiencia radica en comprender cuáles son los objetivos establecidos y poder optimizar el uso de recursos para alcanzar los resultados. En cuanto a los proyectos de innovación pública, se caracterizan por un nivel de incertidumbre alto, por no tener mecanismos para determinar los rendimientos técnicos, sus resultados pueden depender del entorno y otros factores en los que se desarrollen los proyectos; por lo anterior, una forma de evaluación de este tipo de proyectos es la medición de eficiencia relativa, que implica la comparación del uso de los recursos y los resultados de otros proyectos, e identificar cuáles son las variables que llevan al éxito o al fracaso del proyecto. Se entiende por proyecto una serie de actividades y objetivos interrelacionados que se desarrollan en pro de crear o mejorar una forma de organización, los cuales están compuestos de variables como recursos, costos, entre otros, que deben desarrollarse en tiempos claramente definidos.

Métodos de análisis de eficiencia relativa no paramétrica

El DEA es una técnica que sirve para medir la eficiencia relativa de cada una de las unidades de toma de decisiones (DMU). Esta técnica engloba el uso de programación matemática para seleccionar de una muestra aquellas unidades productivas que son eficientes, y, a partir de ellas, construir una envolvente de las observaciones. A cada una de las unidades por evaluar se le asigna una puntuación de eficiencia relativa. Dicha herramienta admite crear objetivos que permitan mejorar las unidades que resultaron ineficientes frente a las unidades que sí alcanzaron la frontera eficiente, razón por la cual se considera un modelo de benchmarking. Asimismo, al proyectar cada unidad ineficiente sobre la envolvente eficiente destaca áreas de mejora por cada una de las unidades.

DEA es una herramienta que tiene la capacidad de analizar situaciones con múltiples recursos y resultados (inputs y outputs), expresados en diferentes unidades (no paramétricas), para el objeto de la presente investigación, dichas unidades se evidencian como: cantidad de información disponible de los proyectos para la ciudadanía, número de personas de la comunidad que participan en un proyecto específico, cantidad de entidades públicas que apoyan el proyecto, entre otras. Al ser una técnica no paramétrica, no supone ninguna relación funcional entre recursos y resultados, lo que busca es determinar la frontera de mejores prácticas e identificar las unidades ineficientes para ser comparadas con las eficientes. Se sustenta en rendimientos variables a escala (VRS), donde cada unidad analizada (para este caso proyectos de innovación pública ejecutados) es comparada con aquellas de tamaño similar (por ejemplo, monto de inversión similar) y no con todas las unidades del problema.

La idea básica de DEA, que en general supone una ampliación del tradicional análisis de cocientes (ratios) para el caso de múltiples inputs y outputs, es que, para analizar la eficiencia de una DMU en particular, esta se considera eficiente si ninguna otra DMU es capaz de producir un nivel superior de outputs utilizando los mismos inputs, o producir el mismo nivel de output a partir de un menor nivel de inputs. Así se podrán distinguir, en principio, aquellas unidades que se comportan de forma eficiente de aquellas que no lo son, de manera que las unidades eficientes definen la "frontera eficiente".

La mayor ventaja de DEA es su flexibilidad, en el sentido de que impone condiciones menos restrictivas sobre la tecnología de referencia y también en cuanto a que se adapta a contextos multiproducto con relativa sencillez. Otra ventaja es que permite relacionar simultáneamente todos los inputs con los outputs (Fraser y Cordina, 1999), pudiendo identificarse cuáles inputs están siendo infrautilizados.

El modelo DEA-CCR desarrollado por Chames et al. (1978), el cual proporcionó medidas de eficiencia de recursos o resultados (input u output) orientadas, como un modelo de programación lineal. En el modelo DEA-CCR, la eficiencia se define como la razón de la suma ponderada de las salidas a la suma ponderada de las entradas (por lo cual se conoce programa fraccionado). La idea fundamental del modelo es determinar el peso que maximiza la función objetivo. En el modelo CCR un aumento en las entradas de las DMU conduce a un incremento proporcional en sus salidas y por tal razón se produce una evaluación objetiva de la eficiencia global (Wong y Wong, 2008).

MODELO DE PROGRAMACIÓN MATEMÁTICA DE ANÁLISIS ENVOLVENTE DE DATOS

Los modelos inicialmente propuestos por Chames et al. (1978) eran modelos inputs-orientados, con rendimientos constantes a escala, denominados CRS; posteriormente se extendieron a modelos output-orientados permitiendo estudiar rendimientos a escala variables por medio de los modelos VRS (Banker et al., 1984). Consideremos la evolución de varias expresiones con las cuales se puede estimar la eficiencia relativa de una DMU que consiste en calcular los siguientes cocientes que miden la relación input-output. Las DMU emplean varios inputs para obtener simultáneamente varios outputs y se pueden generalizar en la expresión de la eficiencia de la DMU como cociente de la suma ponderada de los outputs sobre la suma ponderada da los inputs. Para el caso de M outputs y N inputs tenemos la expresión:

donde:

Índices
j: índice asociado a la DMU
r: índice asociado al output genérico
i: índice asociado al input genérico

Variables
θj : eficiencia relativa de la DMU j
: peso asociado al ouput genérico r
Ρi: peso asociado al input genérico i

Parámetros
Y_r,j: cantidad de output genérico r en la DMU j
X_i,j: cantidad de input genérico i en la DMU j

En consecuencia, a partir de la definición de eficiencia relativa se plantea el problema de determinar los conjuntos de pesos y Ρi que permiten normalizar tanto los outputs como los inputs para determinar θj. Una primera cuestión consiste en dilucidar si los pesos por aplicar a las diferentes DMU deben o no ser los mismos. Los primeros trabajos en este campo (Farrell, 1957; Farrell y Fieldhouse, 1962) abordaron este problema intentando establecer un mismo conjunto de pesos para ponderar los outputs e inputs de todas las DMU. Por el contrario, Chames et al. (1978) sostuvieron que cada DMU puede valorar sus outputs e inputs de manera diferente. En el caso de este modelo matemático, los inpus se definirán como los recursos disponibles para la ejecución de los proyectos y los outputs son los resultados obtenidos (la explicación de cómo se definirán se abordará más adelante); la ventaja de este tipo de modelos es que los pesos asociados a cada input y cada output no son predeterminados por el evaluador, sino que son valorados por el modelo, lo que en términos prácticos le impedirá al evaluador sesgar los resultados, preestableciendo un peso a una variable; por el contrario, cada DMU puede obtener pesos diferentes y ser evaluado por la relación que hace de sus inputs y outputs.

La forma de determinar los mejores conjuntos de pesos para los outputs y para inputs de cada DMU constituye el núcleo analítico de la metodología DEA. De esta manera, asumiendo la hipótesis de que a mayor productividad mayor eficiencia, la eficiencia de la DMU j se obtendrá maximizando el cociente que mide la eficiencia de dicha unidad y restringiendo el proceso de optimización a que la eficiencia de todas las DMU sea menor o igual que 1 (o 100% de eficiencia ebtenido por la DMU con mayor productividad)

Para el caso de rendimientos constantes a escala (CRS), en términos analíticos, se puede formular un modelo de programación fraccional (llamado así porque el valor máximo que pueden tomar las variables es 1), cuyas variables representan los pesos más favorables para la DMU_j. La estructura algebraica del modelo, para resolver el modelo de programación lineal fraccional orientado a la maximización de los outputs es la siguiente:

Maximizar

Sujeto a

Donde m es un índice asociado a las DMU, es un pequeño término de perturbación (por ejemplo, igual a 0,001).

METODOLOGÍA

Esta investigadón es de enfoque cantitativo; con alcance explicativo, de tipo no experimental. Se desarrolló en dos etapas; la primera consistió en el análisis sobre las implicaciones en los proyectos de innovación pública y sus métodos de evaluación de eficiencia, y la segunda, la apliacación de la metodología de análisis envolvente de datos (DEA), en la cual se desarrollaron los siguientes pasos: 1) seleccionar las variables de productos e insumos necesarias para modelar y aplicar el DEA sobre los proyectos de innovación pública estudiados. 2) Determinar cuáles son las DMU (en este caso de evaluación de proyectos de innovación pública, las DMU serían los proyectos por evaluar, teniendo en cuenta los recursos empleados y los resultados obtenidos) empleadas para el estudio y categorizadas. 3) Sistematizar los datos para aplicar y desarrollar los modelos de DEA planteados con las variables determinadas. 4) Desarrollar los modelos DEA y analizar los resultados de eficiencia arrojados por el software empleado. 5) Utilizar técnicas estadísticas reconocidas que permitan analizar diferencias en la evaluación de proyectos de innovación pública (figura 2). Los datos obtenidos se analizaron con el software Frontier Analyst, especializado en DEA.

Propuesta metodológica para evaluar proyectos de innovación pública

Con el fin de aplicar la metodología propuesta, se escogió una muestra de nueve proyectos que han sido desarrollados por el Centro de Innovación Social del departamento de Nariño (CISNA), el cual propicia y gestiona procesos de innovación social orientados al desarrollo del territorio y la generación de bienestar y paz desde Nariño. El CISNA construye ambientes y soluciones colaborativas centradas en las personas, para visibilizar conocimientos y crear valor. Estos proyectos están orientados a diferentes temas y objetivos, algunos de ellos son: 1) desarrollo del territorio, 2) generación de bienestar, 3) promoción de la paz, 4) innovación social, definida como un proceso de creación colectiva en el que los miembros de una determinada unidad colectiva aprenden, inventan y diseñan nuevas reglas para el juego social de la colaboración y de, conflicto, o, en una palabra, una nueva práctica social, y en este proceso adquieren las habilidades cognitivas, racionales, de organización (Crozier y Friedberg, 1993) y educación necesarias, entre otros. Estos objetivos buscan generar desde lo público transformaciones sociales.

Selección de variables

Esta selección fue el resultado de una revisión de literatura que brindó una aproximación de variables que han sido utilizadas tanto para innovación privada como pública. Por otra parte, se construyeron otras variables que fueron la consecuencia de un estudio de un conjunto de proyectos que poseían características similares. El resultado de estos aspectos se refleja en la tabla 3.

Teniendo claros algunos aspectos de los indicadores en el sector público, es pertinente tratar este mismo tema enfocado en la innovación donde, según Salinas (2012), para poder monitorear y evaluar todos los procesos o proyectos de innovación, es necesario identificar indicadores de gestión, resultados e impacto; el resultado se enfoca en el fruto de lo que se está haciendo y el impacto mide los efectos positivos o negativos a los que lleva cierta acción y permiten corroborar el desempeño que se ha tenido a fin de identificar cuáles son los puntos de mejora, para alcanzar los resultados trazados.

Es necesario enunciar algunos de los indicadores (combinación de variables) que se pueden ajustar a la combinación de la innovación pública, para poder monitorear y evaluar todos los procesos o proyectos de innovación, estos indicadores pueden ser de gestión, resultados e impacto, que permitan corroborar el desempeño que se ha tenido para identificar los puntos de mejora a fin de alcanzar los resultados trazados. Por ello hay que entender la evolución que ha tenido la medición de la innovación.

Durante los setenta, la innovación se medía fundamentalmente a través de patentes y gastos en I+D realizados por empresas. Pronto se comprendería que por ese camino no se medía innovación sino oferta de conocimientos o invención: no se había abandonado el territorio de la I+D […] Las primeras definiciones metodológicas destinadas a medir innovación estaban orientadas más hacia la medición de resultados o "outputs", que de actividades o procesos. Con el tiempo, sin embargo, el foco se fue centrando más sobre las actividades. (Albornoz, 2009, pp. 16-17)

A partir de lo anterior, es necesario enunciar algunos de los indicadores que se pueden ajustar a la combinación del sector público con la innovación, esto con el fin de tener una aproximación a los indicadores que se establecerán en este artículo; algunos de los indicadores podrían ser: grado de satisfacción ciudadana con los resultados del proyecto de innovación pública, aumento de percepción ciudadana sobre los beneficios recibidos por los proyectos de innovación pública, reducción de costos internos en la organización pública por eficiencia y beneficios de la innovación, entre otras.

Las variables que se determinaron para aplicar a las DMU fueron: 1) acceso a la información, esta variable tiene como finalidad medir la cantidad de información que la entidad comparte con los ciudadanos sobre el proyecto; 2) participación comunitaria, mide el número de personas de una comunidad que esté participando en el proyecto; 3) personal especializado, mide el número de personas capacitadas para apoyar o dirigir el proyecto; 4) fuentes de financiación, mide el número de fuentes de financiamiento del proyecto, lo que da una aproximación al apoyo recibido por parte de diferentes sectores o entidades; 5) sostenibilidad económica, mide el costo del proyecto por periodo (4 años), esto en relación con los periodos electorales, para dar visibilidad al apoyo de las diferentes administraciones públicas al proyecto; 6) alianzas intersectoriales, mide la cantidad de entidades públicas que apoyan el proyecto; 7) aceptación, mide el número de testimonios positivos del proyecto, en el cual se puede hacer un seguimiento de escucha social; 8) replicabilidad, mide el número de veces que el proyecto fue implementado en otras entidades o regiones; 9) generación de nuevos proyectos, mide el número de proyectos comunitarios desarrollados a partir del Proyecto macro (tabla 4).

Determinación de las DMU

Se seleccionaron nueve DMU de CISNA. Estos proyectos tienen objetivos y temáticas diferentes, desde fortalecimiento de lugares infrautilizados, potenciación de productos agrícolas, hasta metodologías para desarrollar proyectos sostenibles de innovación social. Estas DMU son consideradas parte de la muestra piloto para desarrollar el ejemplo de aplicación del modelo propuesto en este artículo. Los datos de las DMU se obtuvieron en su gran mayoría de fuentes primarias, las cuales fueron algunas entrevistas con los coordinadores de los proyectos, las bitácoras de estos, grabaciones de videos con testimonios de la comunidad favorecida e información financiera de la Gobernación de Nariño, entre otras.

Identificación inputs y outputs

Para la identificación de las categorías se determina si estas corresponden a un recurso (input) para la ejecución del proyecto, es decir, un insumo, o si, por el contrario, corresponden a un resultado (output), es decir, el objeto o la finalidad del proyecto. En este caso, los inputs serán: 1) la democracia, que para cuestiones de esta metodología su significado se limitará a dos variables (acceso a la información y participación comunitaria); 2) capital humano, con su variable (personal especializado); 3) económico, con sus variables (fuentes de financiación y sostenibilidad económica); 4) cooperación y su variable (alianzas intersectoriales); Los output serán la categoría de resultados, con sus variables: 1) aceptación; 2) replicabilidad; 3) generación de nuevos proyectos.

Estandarización de la data y generación de indicadores

La estandarización de datos se realizó para buscar homogeneidad en la estructuración de las variables que van a alimentar a los modelos DEA; es decir, se hacía necesario la misma periodicidad de los datos cuantitativos de cada variable, las mismas unidades para disponer de patrones de comparación, con el fin de generar indicadores de cada variable. Para la generación de los indicadores, todos los datos cuantitativos de las variables se debían normalizar, es decir, se seleccionaron los datos obtenidos en cada variable y se tomó como referente el número más alto. Posteriormente, se promedió con los demás resultados de la variable, con el fin de generar los indicadores compuestos. Los datos deben ser normalizados para los proyectos y ponderados para cada DMU (tabla 5), estos serán procesados con el modelo matemático planteado de DEA y analizados con la herramienta Frontier Analyst.

Posterior a la creación de las categorías, variables e indicadores, se tomó la muestra piloto de los nueve proyectos del CISNA, y se comenzó a investigar sobre cada uno, analizando de manera detallada los datos que estos tenían en su página web; sin embargo, en algunas ocasiones los datos no estaban de manera expuesta, lo que generó que en algunos datos existieran aproximaciones. En la tabla 6 se observan los datos obtenidos en la investigación.

Luego de obtener los datos de la investigación de los proyectos, fue necesario normalizarlos (estandarizarlos de forma estadística), con el fin de generar los indicadores; este paso es un diferenciador frente a los modelos convencionales de medición, que se enfocan en la creación de indicadores que proporcionan datos, sin embargo, estos no son procesados, lo que impide obtener resultados más precisos al momento de evaluar y comparar, en este caso, los proyectos de innovación pública. La estandarización de los anteriores indicadores se realizó mediante la selección de los resultados por variable y de promediar el mayor resultado con el resto de información, para generar datos a dimensiones de 1 a 100. La tabla 7 muestra el cálculo de los indicadores por variable.

Con los anteriores datos normalizados de los proyectos (DMU) se determina un promedio de las variables en cada indicador, para generar un valor ponderado. Los proyectos de cada input y output requeridos para medir la eficiencia relativa de cada proyecto con respecto al grupo de estos.

Frontier Analyst analiza las categorías y genera un resultado sobre la eficiencia relativa de los proyectos de la muestra piloto, desarrollando para cada proyecto el modelo matemático output orientado, anteriormente descrito. Como se muestra en la figura 3, la eficiencia relativa de cada uno de los proyectos se determina calculando la distancia de cada uno a la frontera Pareto eficiente; para este caso específico, se obtiene que cuatro de los nueve proyectos tienen oportunidad de mejora para llegar a ser eficientes, ya que actualmente son ineficientes relativos con respecto a las productividades del grupo de los proyectos analizados.

Análisis de resultados

Con la aplicación de estos datos al modelo de programación matemática, sa analizan las categorías y se genera un resultado sobre la eficiencia relativa de los proyectos de la muestra piloto desarrollando para cada proyecto el modelo matemático output orientado anteriormente descrito. De acuerdo con la figura 4 se determina la eficiencia relativa de cada uno de los proyectos, calculando la distancia de cada uno a la frontera Pareto eficiente, para este caso específico se observa que cuatro de los nueve proyectos tienen oportunidad de mejora para llegar a ser eficientes, ya que actualmente son ineficientes relativos con respecto a las productividades del grupo de los proyectos analizados. Para este caso, cinco de las DMU están en la proyección de la fronreta eficiente, en el sentido de que un proyecto que opera en la frontera no puede aumentar sus outputs sin incrementar los inputs, o no podrá reducir la utilización de inputs sin reducir los outputs. Este tipo de modelo genera la fronrera eficiente con las DMU que crean las máximas productividades que resultan de la combinación (output/input).

La mejora potencial (en porcentaje), reducción input o incremento output, que debería experimentar una unidad ineficiente (por ejemplo, el proyecto 9) para convertirse en eficiente, es decir, la proyección de dicha DMU sobre la frontera (figura 5), permite determinar el objetivo, consecuencia de la reducción radial o movimiento holgura para cada variable, es decir, se obtiene la cantidad porcentual en que deberían reducirse los inputs o incrementarse los outputs.

En el caso del proyecto 9, y dada la cantidad de inputs utilizada por esta Unidad, para convertirse en eficiente debería generar el 159 % más de resultados e implementar una reducción del 12 % de capital humano y una reducción del indicador del 35 % en la categoría económica.

Esta metodología permite la comparación de una DMU con el conjunto de referencia, así, se comparan las cantidades de inputs y outputs de una unidad ineficiente con las de aquellas eficientes que constituyen su conjunto de referencia, es decir, se podría detectar DMU de comportamiento similar, pero eficiente. Esto le podría ayudar a una DMU no eficiente a comparar sus mejores prácticas con una DMU eficiente que tiene el mismo perfil de combinación de inputs y outputs. Otra forma de indagar las comparaciones es establecer si existe alguna relación entre los resultados de la eficiencia y las entidades que adelantan los proyectos; de ser así, se podrían analizar las prácticas de las entidades con proyectos más eficientes, para ser aplicados a los menos eficientes, o evaluar con DEA las entidades que ejecutan los proyectos asumiéndolas como DMU, para lo cual se debería iniciar un nuevo proceso de evaluación y definir inputs y outputs apropiados a las entidades.

La metodología nos permite crear un plan de mejoramiento de las unidades no eficientes, a través de la mejora potencial global de los proyectos, que muestra un panorama general del estado de los indicadores del grupo de proyectos, lo cual les permitirá a las entidades financiadoras de los proyectos buscar estrategias de mejoramiento (figura 6). Este análisis muestra que la entidad generadora de proyectos debe enfocar sus mejoras en proyectos de forma global, así: aumentar sus resultados en un 88,31 %, disminuir su capital humano en un 9,3 % y sus indicadores de democracia un 1,84 %.

El DEA va más allá de mostrar la eficiencia relativa de los DMU, en este caso de los nueve proyectos, puesto que este modelo puede dar un diagnóstico donde se identifiquen deficiencias en las variables que lleven a tener un mal resultado. Además, puede permitir a la persona que aplica esta herramienta identificar posibles alternativas de mejora que llevan la generación de un plan de mejoramiento, donde sea posible identificar las variables por priorizar. Asimismo, con este modelo se pueden comparar los resultados entre proyectos (DMU) similares, en pro de acoger las mejores prácticas y ejecutar estrategias de mejora individual que se traduzcan en proyectos (DMU) con mayor eficiencia.

CONCLUSIONES

En el desarrollo de esta investigación se analizó que la relación entre el concepto de eficiencia relativa e innovación pública se centra inicialmente en comprender cuáles son los recursos que se deben tener en cuenta para lograr la optimización máxima de los resultados y, de esta manera, lograr los objetivos propuestos.

La metodología planteada en este trabajo permite crear una serie de pasos para la aplicación del modelo DEA, con el cual se puede medir la eficiencia relativa, en este caso, de proyectos de innovación pública. Adicionalmente, la contribución del software Frontier Analyst, como herramienta de procesamiento de datos de este modelo, permite, en un poco tiempo y de manera sencilla, comprender cuáles proyectos necesitan ajustes, cuáles variables son las responsables de un mal desempeño, cuáles son los proyectos que con menores inputs consiguen mejores resultados, entre otros aspectos, que ayudan a los tomadores de decisión a generar retroalimentaciones periódicas, con el fin de ir cambiando y ajustando los inputs de los proyectos, con el fin de que, al final de este, los resultados sean diferentes y puedan mostrar que existió eficiencia en el desarrollo del proyecto.

Por otra parte, se identificaron las variables que permiten medir la productividad en un proyecto en el sector público, las cuales son la aceptación, replicabilidad y generación de nuevos proyectos. Esta selección fue el resultado de una investigación de literatura que brindó una aproximación a las variables que han sido utilizadas tanto para innovación privada como pública. Por otra parte, se construyeron otras variables que fueron la consecuencia del estudio de un conjunto de proyectos que poseían patrones similares. Los resultados obtenidos después de la medición de estos indicadores asignados a estas variables podrían dar un panorama del nivel de satisfacción de los proyectos y del porcentaje de eficiencia obtenido.

REFERENCIAS

Aibar Guzmán, C. (2003). El logro del value for money en la gestión pública: consideraciones en torno a los indicadores de eficiencia, eficacia y economía. Contabilidade & Finanças, 14(32), 99-110.

Albornoz, M. (2009). Indicadores de innovación: las dificultades de un concepto en evolución. Revista Iberoamericana de Ciencia Tecnología y Sociedad, 5(13), 9-25. http://www.scielo.org.ar/scielo.php?script=sci_arttext&pid=S1850-00132009000200002

Alfaro, C. y Gómez, J. (2016). Un sistema de indicadores para la medición, evaluación, innovación y participación orientado a la administración pública. Methaodos. Revista de Ciencias Sociales, 4(2), 274-290. https://doi.org/10.17502/m.rcs.v4i2.124

ANAO (2009). Innovation in the Public Sector: Enabling Better Performance, Driving New Directions Better Practice Guide. http://www.anao.gov.au

Arros, V. (2016). La experiencia del laboratorio de gobierno y su contribución en el desarrollo de la innovación en el sector público chileno. Universidad de Chile. http://repositorio.uchile.cl/bitstream/handle/2250/138133/ArrosValentina_TesisMGGPpdf;sequence=1

Banker, R. D., Charnes, A. y Cooper, W. W. (1984). Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management science, 30(9), 1078-1092.

Bason, C. (2018). Leading Public Sector Innovation 2E: Co-creating for a Better Society. Policy Press.

Bonnefoy, J. C. y Armijo, M. (2005). Indicadores de desempeño en el sector público. Santiago de Chile. www.cepal.org/es/suscripciones

Carter, A. O. (1994). Public health surveillance: Historical origins, methods and evaluation. Bulletin of the World Health Organization, 72(2), 285.

Centro de Innovación Social de Nariño (CISNA) (2018). Info -somos, hacemos, queremos-. http://innovacionsocialnarino.com/v2/info/

Chames, A., Cooper, W. W. y Rhodes, E. (1981). Evaluación del programa y la eficiencia administrativa: una aplicación de análisis de envoltura de datos para el seguimiento del programa. Ciencias de la gestión, 27(6), 668-697.

Chames, A., Cooper, W. W. y Rhodes, E. (1978). Medición de la eficiencia de las unidades de toma de decisiones. Revista europea de investigación operativa, 2(6), 429-444.

Cilleruelo, E., Sánchez, F. y Begoña, R. (2007). Compendio de definiciones del concepto "innovación" realizadas por autores relevantes: diseño híbrido actualizado del concepto. Revista de Ingeniería de Organización, 0(36), 61-68. http://revistadyo.com/index.php/dyo/article/view/71/71

Cohen, E. y Franco, R. (1988). Evaluación de proyectos sociales. Grupo Editor Latinoamericano S.R.L. https://repositorio.cepal.org/bitstream/handle/11362/9051/S3092C678S.pdf?sequence=1

Coll Serrano, V. y Blasco Blasco, O. M. (2000). Evaluación de la eficiencia mediante el análisis envolvente de datos: introducción a los modelos básicos. B - EUMED. https://books.google.es/books?hl=es&lr=&id=HKs1VbFeFg8C&oi=fnd&pg=PR3&dq=análisis+envolvente+de+datos&ots=awxzHisrtj&sig=KoaAKDk6kpEMoE-eywaQ43ceaNA#v=onepage&q=análisisenvolventededatos&f=false

Comisión Económica para América Latina y el Caribe (CEPAL) (2014). La innovación pública es crucial para mejorar la calidad de vida de los ciudadanos. https://www.cepal.org/es/comunicados/la-innovacion-publica-es-crucial-para-mejorar-la-calidad-de-vida-de-los-ciudadanos

Crozier, M. y Friedberg, E. (1993). Die Zwänge kollektiven Handelns. Über Macht und Organisation. Verlag Anton Hain.

Departamento Nacional de Planeación (DNP) (2018a). Evaluación de la inversión pública en Colombia. Resultados de la metodología RIEPI para la vigencia fiscal 2018. https://colaboracion.dnp.gov.co/CDT/Prensa/Evaluaci%C3%B3n%20de%20la%20inversi%C3%B3n%20p%C3%BAblica%20en%20Colombia.%20RIEPI.pdf

Departamento Nacional de Planeación (DNP) (2018b). DNP establece lineamientos de la política de innovación pública. https://www.dnp.gov.co/Paginas/DNP-establece-lineamientos-de-la-política-de-innovación-pública.aspx

Equipo de Innovación Pública (2018). Introducción. https://innovacionpublica.atavist.com/eipd-np2016

Escobar Gálvez, G., Forero Rubiano, T. y Vargas Pérez, P. (2017). Las instituciones de la economía naranja en Colombia: un estudio neo-institucional para el periodo 2010-2014. Universidad de La Salle. http://repository.lasalle.edu.co/bitstream/handle/10185/21469/64122151_2017.pdf?sequence=1&isAllowed=y

Färe, R., Grosskopf, S. y Lovell, C. A. K. (1985). The Measurement of Efficiency of Production. Springer Netherlands. https://books.google.es/books?hl=es&lr=&id=T7LnCAAAQBAJ&oi=fnd&pg=PA21&dq=Koopmans+(1951)+&ots=x7QDqu2_Bz&sig=DkmSmBG-9vfp5U2f9qLVPsDrFBs#v=onepage&q&f=false

Farrell, M. J. (1957). The Measurement of Productive Efficiency. Journal of the Royal Statistical Society. Series A (General), vol.(núm), pp.

Farrell, M. J. y Fieldhouse, M. (1962). Estimating efficient production functions under increasing returns to scale. Journal of the Royal Statistical Society: Series A (General), 125(2), 252-267.

Ferro, G. y Romero, C. A. (2003). Las aproximaciones de Malmquist y Luenberger en una aplicación al mercado de seguros. Hal, 25(2), 108-115. https://doi.org/10.1016/j.gaceta.2016.10.007

Fonseca, G., Valenzuela, C., Perrand, M. V. y Cosme, J. (2017). Términos económicos más utilizados en la salud (II parte). http://scielo.sld.cu/pdf/san/v21n7/san19217.pdf

Fraser, I. y Cordina, D. (1999). Una aplicación de análisis de envoltura de datos a granjas lecheras irrigadas en el norte de Victoria, Australia. Sistemas agrícolas, 59(3), 267-282.

Gobernación de Nariño (2016). Plan participativo de desarrollo departamental -Nariño corazón del mundo-. http://xn--nario-rta.gov.co/inicio/files/PlanDesarrollo/PLAN_DE_DESARROLLO_DEPARTAMENTAL_20I6-20I9_NARINO_CORAZON_DEL_MUNDO.pdf

Godin, B. (2015). Innovation contested: The idea of innovation over the centuries. Routledge.

Gómez, H. J. y Mitchell, D. (2014). Innovación y emprendimiento en Colombia: balance, perspectivas y recomendaciones de polícica, 2014-2018. https://gestionemprendimiento.weebly.com/uploads/3/7/4/3/37432395/innovacion_emprendimiento_colombia2014-2018.pdf

Guerra, K., Pérez, R. y Fornet, E. (2014). Propuesta de una tecnología para la gestión de proyectos de innovación en el sistema territorial de ciencia e innovación en Cuba. Revista Cubana de Información en Ciencias de la Salud, 25. http://scielo.sld.cu/scielo.php?pid=S2307-21132014000400002&script=sci_arttext&tlng=en

Hernández-Ascanio, J., Tirado-Valencia, P. y Ariza-Montes, A. (2016). El concepto de innovación social: ámbitos, definiciones y alcances teóricos. Revista de Economía Pública, Social y Cooperativa, 88, 165-199. www.ciriec.eswww.ciriec-revistaeconomia.es

INNPULSA (2013). Términos de referencia convocatoria EDI 013. Bogotá. www.innpulsacolombia.com/convocatorias

Koopmans, T. C. (1951). Analysis of production as an efficient combination of activities. En T. C. Koopmans (ed). Activity Analysis of Production and Allocation. Wiley.

Lockheed, M. E., & Hanushek, E. A. (1994). Concepts of educational efficiency and effectiveness. Washington, DC: World Bank.

Lugones, G. (2008). Módulo de capacitación para la recolección y el análisis de indicadores de innovación. http://docs.politicascti.net/documents/Doc08-capacitacionlugonesES.pdf

Marcelo, J. y Hurtado, C. (2011). Los proyectos y los planes de negocios. Perspectivas, 27, 23-45. https://www.redalyc.org/pdf/4259/425941231003.pdf

Matas, C. R. (2001). Los problemas de la implantación de la nueva gestión pública en las administraciones públicas latinas: modelo de Estado y cultura institucional. Revista del CLAD Reforma y Democracia, 21, 1-24.

Mathison, L., Gándara, J., Primera, C. y García, L. (2007). Innovación: factor clave para lograr ventajas competitivas. Revista Negotium, 7, 46-83. http://www.revistanegotium.org.ve/pdf/7/Art4.pdf

Mazzucato, M. (2019). El Estado emprendedor: mitos del sector público frente al privado. RBA Libros.

Mokate, K. M. (1999). Eficacia, eficiencia, equidad y sostenibilidad: ¿qué queremos decir? CEPAL. https://www.cepal.org/ilpes/noticias/paginas/9/37779/gover_2006_03_eficacia_eficiencia.pdf

Mokate, K. M. (2001). Eficacia, eficiencia, equidad y sostenibilidad: ¿Qué queremos decir? Banco Interamericano de Desarrollo. https://publications.iadb.org/bitstream/handle/11319/1193/Eficacia%2Ceficiencia%2Cequidadysostenibilidad¿quéqueremosdecir%3F%28I-24%29.pdf?sequence=1&isAllowed=y

Mora Holguín H. y Lucio Arias, D. (2013). Una aproximación a la innovación en el sector público colombiano. http://congreso2013.ricyt.org/files/mesas/2bInnovacion/MoraLucio.pdf

Mora Corral, A. J. y Vivas Urieta, C. (2001). Nuevas herramientas de la gestión públicas. El cuadro de mando integral. AECA.

Organización para la Cooperación y el Desarrollo Económico (OCDE) (2005). Manual de Oslo para la cooperación y el desarrollo económico, UE y Eurostat. http://www.itq.edu.mx/convocatorias/manualdeoslo.pdf

Organisation for Economic Co-Operation and Development (OECD) (2019). Oslo Manual 2018: Guidelines for Collecting, Reporting and Using Data on Innovation (4 ed. The Measurement of Scientific, Technological and Innovation Activities). OECD Publishing, Paris/Eurostat. https://doi.org/10.1787/9789264304604-en.

Ranson, S., & Stewart, J. (1994). Management for the public domain: enabling the learning society. Macmillan International Higher Education

Real Academia Española (RAE) (2018). eficiencia | Definición de eficiencia. http://dle.rae.es/?id=EPVwpUD

Salinas, M. I. (2012). Metodología para implementar sistemas de gestión de la innovación en el sector público chileno. Universidad de Chile. http://repositorio.uchile.cl/bitstream/handle/2250/111361/cf-salinas_ma.pdf?sequence=1

Sánchez, C., Lasagna, M. y Marget, X. (2013). Innovación pública: un modelo de aportación de valor. RIL® editores. http://talentoinnovador.fosis.cl/doc/InnovacionPublica.pdf

Schumpeter, J. A. (1939). Business cycles (Vol. 1, pp. 161-174). New York: McGraw-Hill.

Seo, I., Kim, Y. y Choi, J. (2018). Assessment of efficiency in public service - focused on Government 3.0 case in Korea. Total Quality Management & Business Excellence, 29(9-10), 1161-1184. https://doi.org/10.1080/14783363.2018.1487596

Silvestre, R. y Chamú, F. (2015). Eficiencia técnica y cambio tecnológico. Economía y Sociedad, 33, 17-35.

Veeduría Distrital (2016). LAB Capital: Al servicio de la ciudadanía y el Distrito | Veeduría Distrital. http://veeduriadistrital.gov.co/noticias/LAB-Capital-Al-servicio-la-ciudadanía-y-Distrito#

Veeduría Distrital (2016). Laboratorio de innovación para la gestión pública distrital. http://www.veeduriadistrital.gov.co/sites/default/files/files/FormulacionProyecto1060.pdf

Wong, W. P. y Wong, K. Y. (2008). A review on benchmarking of supply chain performance measures. Benchmarking: An international journal, 19(4/5):444-462

Zamora Torres, A. I. y Favila Tello, A. (2018). Medición de la eficiencia de la Innovación 2013-2016 mediante el análisis envolvente de datos (AED) en red dinámica. Economía, Sociedad y Territorio, XVIII(57), 557-584. https://doi.org/10.22136/est20181184