Resumen
El uso de indicadores para determinar la sostenibilidad es una herramienta relativamente nueva y cargada de oportunidades de mejora. En este trabajo se realizó un análisis de 19 sistemas de indicadores de diferente naturaleza, analizando desde los que miden únicamente la conservación de las áreas protegidas, los que miden la actividad del turismo y los que miden el turismo en zonas de reserva. Una vez analizados los diferentes sistemas, se procedió a seleccionar aquellos que cumplían conlas condiciones de ser compuestos por indicadores que comprendieran las dimensiones desostenibilidad (ambiental, social, económica e institucional) y se construyó un modelo basado en el enfoque sistémico de desarrollo sostenible. Para validar el sistema de indicadores diseñado se consultó a la comunidad que tiene algún tipo de interés en esta clase deáreas o las utiliza como turista y a diferentes expertos en el tema. Para esta fase se seleccionó la técnica 3s propuesta por Cloquell (2003) y el método Delphi. Tras la aplicaciónde la metodología 3s-Delphi, fue necesario reformular 9 indicadores que no alcanzaron un promedio en la calificación otorgada por los consultados de mínimo 4 en una escala de 1 a 5 siendo 5 el máximo valor posible; estos indicadores fueron reformulados y puestos avalidación nuevamente, con lo cual el resultado final fue un sistema construido con los aportes de expertos y personas interesadas, el cual se considera validado y de aplicación acualquier área natural con uso turístico.
Palabras clave: Indicadores, Sostenibilidad,Técnica 3s, Áreas naturales, Turismo.
Abstract
The use of indicators to measure sustainability is a relatively new tool and loaded with opportunities for improvement. In this work, an analysis of 19 indicators systems of different nature, analyzing from which measure only the conservation of protected areas, which measure the activity of measuring tourism and tourism in reserve areas. Following analysis of the different systems, we proceeded to select those that met the criteria of being composed of indicators to understand the dimensions of sustainability (environmental, social, economic and institutional) and built a model based on the systems approach to sustainable development. To validate the designed system indicators were consulted community that has an interesting this kind of areas or used as a tourist and various experts. For this phase was selected technique proposed by Cloquell 3s (2003) and the Delphi method, after the application of the 3s-Delphi methodology was necessary to reformulate 9 indicators that averaged therating given by respondents for at least 4 ascale of 1-5 with 5 being the highest possible value, these indicators were reformulated and made validation again, making the end result was a system built with input from experts and stake holders, which is considered validated and application any natural area with tourist use.
Keywords: Indicators, Sustainability, AHP, Natural Areas, 3s Technique, Tourism.
1. Introducción
Cuando se habla de indicadores de sostenibilidad, una de las primeras preguntas que surge es ¿por qué medir el desarrollo sostenible? Este concepto en general responde a la necesidad de mejorar la calidad de vida de todos los ciudadanos de la tierra, sin aumentar el uso de recursos naturales más allá de la capacidad del ambiente de proporcionar los indefinidamente, respetar las tasas de asimilación de efluentes y de soporte de actividades que el ambiente proporciona a las actividades humanas.
Los indicadores de sostenibilidad son una herramienta relativamente nueva. El primer indicador utilizado en el ámbito internacional, pero que solo media la parte económica, fue el cálculo anual del producto interno bruto (GDP o PIB), utilizado en los años cuarenta. En poco tiempo, la facilidad de cálculo de este tipo de indicador lo condujo a su popularización como indicador del bienestar total de una nación dada (HARDI, 1997).
Lo que demuestra que no es desacertado pensar que el desarrollo de la humanidad está encierta forma relacionado con los avances en materia de mediciones. Muchos fenómenos serían imposibles de analizar y, por consiguiente, de estudiar, si no existiera algún medio para observarlos o medirlos.
En el terreno de la investigación científica, es esa permanente búsqueda por encontrar nuevos sistemas o medios que permitan observar, registrar y relacionar con alguna magnitud de medición el medio ambiente, lo que permite que se sepa si se están consiguiendo avances hacia el desarrollo sostenible.
La preocupación por el deterioro ambiental y el aumento de espacios naturales hace que los indicadores sean empleados para determinar si en realidad las zonas protegidas se encuentran cumpliendo con los objetivos del desarrollo sostenible, medido en sus cuatro dimensiones: económica, ambiental, social e institucional.
Por lo anterior es que este trabajo se enfoca en la revisión de los indicadores ya existentes, como base para formular un verdadero sistema de indicadores vinculantes desde sus inicios, y construir un modelo de indicadores desde la visión sistémica.
Con el sistema propuesto se pretende tener una visión global de la eficiencia, la eficacia y la efectividad de las áreas naturales protegidas, y que sirva para realizar comparaciones que lleven a mejorar la toma de decisiones que se realiza sobre la gestión de estas áreas.
2. Marco conceptual
La primera definición internacionalmente reconocida de desarrollo sostenible o desarrollo sustentable hace su aparición en 1987 con el informe Brundtland, que se publicó bajo el título de "Nuestro Futuro Común", fruto de los trabajos de la Comisión de Medio Ambiente y Desarrollo, creada en la Asamblea de las Naciones Unidas en 1983.
En ese momento se definió el desarrollo sostenible como "aquel desarrollo que satisface las necesidades de las generaciones presentes sin comprometer las posibilidades de las generaciones futuras para atender sus propias necesidades" (CMMAD1, 1988: 67). Definición que posteriormente se recogió en el Principio 3 de la Declaración de Río (1992).
Desde ese momento han sido muchas las disciplinas y más aun los autores que han involucrado el concepto a diferentes declaraciones, investigaciones y discursos, pretendiendo indicar una declaración de intenciones dentro del ámbito del Medio Ambiente.
Es así como disciplinas muy diferentes a lasciencias básicas (biología, ecología etc.), en este caso la economía, ha involucrado el concepto de desarrollo sostenible, lo que ha permitido que se convierta en una especie de conjuro para solucionar los problemas en el mundo y permitir a los países industrializados soslayar los problemas ecológicos que existen en la realidad, así como incorporar las connotaciones éticas que se derivan del crecimiento económico (NAREDO, 1996).
El desarrollo sostenible se entiende como un concepto que engloba cuatro niveles, en donde se encuentran los elementos que han sido tradicionalmente monitoreados: económicos, sociales, medio ambientales, y finalmente los indicadores institucionales, los mismos que miden los trabajos de la UN-CDS (1996), UNCSD (2001) y algunos sistemas de indicadores, como el del Ministerio de Salud y Ambientede la Nación (Argentina) realizado en el año 2005.
2.1. ¿Qué son los indicadores?
En la bibliografía encontramos multiplicidad de indicadores y la definición de que es un indicador es igualmente extensa y depende en gran medida de quien este empleando los indicadores, es decir que depende de la entidad, empresa o persona que emplee esta herramienta y del enfoque que le dé en su uso; el término indicador, como ya se expuso, empezó a utilizarse por primera vez en la literatura estadística y económica. Desde ese momento algunas de las definiciones que podemos encontrar son las siguientes:
2.2. ¿Qué es la participación pública?
Para responder a la pregunta de qué es la participación pública, se encuentran varias definiciones, siendo unas de las más comunes las siguientes:
2.3. Técnicas de participación pública
Encuesta: se trata de una técnica cuantitativa que consiste en una investigación realizada sobre una muestra de sujetos, representativa de un colectivo más amplio, que se llevaa cabo en el contexto de la vida cotidiana, utilizando procedimientos estandarizados de interrogación con el fin de conseguir mediciones cuantitativas sobre una gran cantidad de características objetivas y subjetivas de la población.
Discusiones de grupo: este método se deriva de las estrategias de investigación de mercado en las que se aplicaron teorías de psicología y comunicación social, que posteriormente fueron incorporadas a los métodos de investigación social. En una discusión en grupo sere únen personas con experiencias similares (por ejemplo, madres, hombres casados jóvenes, parteras) para tratar un tema específico de interés a los investigadores. Se prefiere muestras homogéneas, ya que los grupos mixtos pueden inhibir a algunas personas, en especiala las mujeres, de expresar sus puntos de vista.
Método Delphi: se desarrolló en la década de los sesenta, de acuerdo con los trabajos desarrollados por OLAF, HELMER y DALKER, investigadores de la Rand Corporation (ESTES & KUESPERT, 1976), como un instrumento para realizar predicciones sobre un caso de catástrofe nuclear. Desde entonces, ha sido utilizado frecuentemente como sistema para obtener información sobre el futuro.
3. Metodología y resultados
3.1. Construcción del árbol de requerimientos
Para la construcción del Sistema de Indicadores de Sostenibilidad para Áreas Naturales con Uso Turístico, se empleó una metodología que involucró varias técnicas, las cuales se explican a continuación.
El primer paso fue emplear la propuesta presentada por ALARÓN (2005) denominada Árbol de requerimientos, en el que se emplearon únicamente 3 niveles: dimensiones ocategorías, temas e indicadores.
El árbol se puede desplegar en niveles, de acuerdo con las preferencias del decisor, encargado de la gestión, o cualquier otro actor interesado; no obstante, si bien no existe un número óptimo de niveles para desplegar el árbol, la bibliografía revisada aconseja desarrollar pocos (tres o cuatro) (ALARCÓN, 2005).
Para seleccionar los componentes del árbol de requerimientos, se llevó a cabo un análisis de los sistemas propuestos por:
La selección de los sistemas de indicadores a considerar en este trabajo de investigación se realizó mediante el análisis de los incluidos en cada uno de ellos, analizando la inclusión de las cuatro dimensiones del desarrollo sostenible: social, económica, institucional y ambiental, que propone la Comisión de Desarrollo Sostenible de las Naciones Unidas en la definición de dicho concepto.
Lo anterior con el fin de determinar si efectivamente se trataba de sistemas que miden las cuatro dimensiones o si, por el contrario, solo evalúan la dimensión ambiental.
Una vez analizados los 19 sistemas de indicadores (ver Tabla 1), se concluye que solo 6 miden el Desarrollo Sostenible.
Las propuestas que miden el desarrollo sostenible, de acuerdo con lo propuesto por la Comisión de Desarrollo Sostenible de las Naciones Unidas, fueron:
Cabe destacar que en lo que respecta a áreas naturales no se encontraron trabajos en esta línea, lo cual se puede deber a la tendencia de los gestores de estas zonas a vincular la sostenibilidad de las mismas a la protección y preservación de la naturaleza, descuidando los otros tres vectores del desarrollo.
Los seis sistemas de indicadores seleccionados son los que se tienen en cuenta para continuar con el análisis y la construcción de un sistema de indicadores realmente vinculantes y que mida efectivamente el desarrollo sostenible en las cuatro dimensiones que lo componen.
Los resultados dejan al descubierto que anivel de instituciones, gobiernos e investigadores se ha venido trabajando más en los sistemas de indicadores ambientales (físico naturales), aunque en ocasiones se incluyan indicadores de las otras 3 dimensiones.
Como se manifestó antes, para la construcción de la propuesta de sistemas de indicadores se empleó el árbol de requerimientos en tres niveles: dimensiones o categorías, temas e indicadores.
Para el desarrollo de la presente investigación teniendo en cuenta que los Sistemas de indicadores seleccionados y que son la base para construir la propuesta de este nuevo sistema, ya incorporan la visión de las 4 dimensiones del desarrollo sostenible. Teniendo en cuenta que las áreas naturales en donde se pretende medir la sostenibilidad tienen una característica especial, se pueden dividir en dos clases:
Se propuso usar dos categorías:
Estas categorías se establecieron debido a la esencia de las zonas de estudio (áreas naturales) y al uso que se les da (turístico, el cual claramente genera actividades humanas asociadas), además de esta forma se logra agregarlos temas únicamente en dos clases y agrupar los dependiendo de si tienen una mayor tendencia a ser mediciones de las actividades humanas o de la naturaleza, lo que a su vez es una herramienta importante al permitirle alas dos corrientes principales que se han dado sobre el desarrollo sostenible de las áreas protegidas y que a su vez son contrapuestas-la liberal y la ecologista-, considerar una categoría más importante que otra, si alguno de estos dos grupos llegase a considerar lo necesario en algún momento.
La anterior clasificación permitirá que la presente investigación se encamine específicamente al desarrollo de un sistema de indicadores para el monitoreo de la sostenibilidad de las áreas naturales con uso turístico, ya que al presentar estas áreas características semejantes entre sí, pueden ser medidas con un sistema común de indicadores de sostenibilidad, que es el objetivo final de este estudio.
Cabe señalar que ante el incesante crecimiento del turismo que se dirige actualmente a las áreas naturales, ya desde 1988 se encuentra que The Economist consideraba previsible que aquellos espacios que aún no prestan servicios turísticos, tarde o temprano comiencen a ofertarlos, lo que supondría la modificación en sus características iníciales, y el ingreso a la categoría de áreas naturales con uso turístico.
3.2. Selección de temas
Se realizó una agrupación de todos los temas presentados en los sistemas de indicadores seleccionados, para determinar los principales argumentos que son tenidos en cuenta por los mismos. Después de realizar dicha unión se encontraron en total 473 temas diferentes, distribuidos como se observa en la Tabla 2, que hace referencia al número de temas por cada uno de los sistemas seleccionados.
Los temas que se incluyen en los sistemas de indicadores seleccionados fueron comparados con los propuestos por expertos en un focus group que se llevó a cabo en el Departamento de Proyectos de Ingenieria, de la Universidad Politécnica de Valencia -España, en el 2007:como se muestra en la Tabla 3, donde se incluyeron los temas que mínimo están citados en 2 de los sistemas seleccionados, con el fin de construir una propuesta de sistema de indicadores con mayor grado de universalidad.
Finalmente, de los 27 temas que son citados mínimo dos veces en los sistemas seleccionados y realizada la comparación con los temas propuestos por los expertos, se decidió seleccionar aquellos con una citación mayor o igual a 3 veces, lo que supone un mayor uso científico y practico como elemento para la evaluación del desarrollo sostenible.
De los 18 temas que obtuvieron un puntaje superior a 3 veces citados, se suprime por considerarlo demasiado detallado, ya que no es aplicable en muchos de los casos de áreas naturales: el tema de océanos, costas y mares4.
3.3. Selección de indicadores
Para realizar la selección de los indicadores de la presente investigación se empleó la metodología utilizada por CHOI & SIRAKAYA (2005), autores que emplearon una valoración en escala LIKERT5, para cuatro criterios de selección: que sean fáciles de obtener, que sean fáciles de usar, que los costos asociados a su uso o consecución sean bajos y que sean de uso universal.
Para llevar a cabo la selección de los indicadores en el presente estudio se llevó a cabo la sui validatio, que, como define CLOQUELL (2003), "…es la autovalidación que realiza el propio equipo redactor del estudio", empleando la misma escala LIKERT , y los 4 criterios de selección descritos anteriormente.
Para la valoración fue empleado un listado inicial de 336 indicadores6 (ver Anexo 1. Listado de indicadores analizados). La selección de los indicadores se llevó a cabo mediante escogencia de aquellos que la suma de la ponderación de los criterios evaluados diera mayor o igual a 18, en promedio 4.5 (cabe resaltar que el punto de corte establecido por CHOI & SIRAKAYA en 2005 fue de 3.57), número que se consideró como relevante, debido a que al ser elevado, permitiría seleccionar solo aquellos indicadores que realmente fuesen los principales en la estructuración de un sistema para monitorear la sostenibilidad de las áreas naturales.
Con el empleo de esta metodología fueron seleccionados 38 indicadores, con lo que finalmente se propone un Sistema de Indicadores de Sostenibilidad para Áreas Naturales con Uso Turístico, compuesto por 2 categorías,17 temas y 38 indicadores.
3.4. Etapa de validación
3.4.1. Validación del sistema
Metodología de validación
El sistema propuesto fue sometido a validación, mediante la metodología 3s propuesta por Cloquell en 2003; para seleccionar el método se consideró que fuese una herramienta de fácil uso y que hubiera sido empleada en validación de indicadores con participación pública.
Metodología de validación 3s
Se trata de una metodología de validación en 3 niveles:
Estos tres niveles de validación son complementarios y según se aumenta el nivel de validación, las herramientas adquieren un mayor grado de adecuación para su uso (JURAN, 1996; tomado de CLOQUELL, 2003) en los estudios y proyectos particulares en los que son aplicados.
El objetivo principal de dicha metodología es garantizar la objetividad de los instrumentos de cuantificación (CLOQUELL, 2003). Lo que, trasladado al problema de investigación del presente trabajo, permite saber con certeza si la construcción del árbol de requerimientos se realizó adecuadamente, constituyéndose así en un elemento primordial y que soportala propuesta de sistema de indicadores que finalmente se expone.
Para la validación del sistema se propuso como técnica complementaria a la metodología 3s, el método Delphi, dado que este procedimiento tiene como objetivo extraer y maximizar las ventajas que presentan los métodos basados en grupos de expertos y minimizar sus inconvenientes, afirmación que es sustentada por la definición por KAYNAK & MACAULEY (1984) (ver Figura 2. Metodología de validación propuesta).
Adicional a lo citado, este método ha sido empleado para la resolución de problemas en estudios parecidos, como los presentados por CLOQUELL (2003), li, Z. (2004), CHOI & SIRAKAYA (2005), por citar algunos autores.
3.4.2. Resultados de la validación del sistema
Cuando se menciona que se realizó la validación del sistema, se debe pensar que el trabajo que se realizó fue validar el sistema como un todo8, con el objetivo de que una vez validado (aprobado) el sistema9, se realizara una fase siguiente y se validaran los componentes10 de forma independiente.
Como se dijo en la parte metodológica, la metodología 3s se complementó con la técnica de consulta a terceros conocida como Delphi, con lo cual se fortalece la metodología propuesta inicialmente por CLOQUELL (2003), y su empleo se realizó en los niveles descritos: sui validatio, scienciatis validatio y societatis valcidatio.
Para comprobar que los criterios (preguntas) y escalas (opciones de respuesta) propuestosen el cuestionario (ver Tabla 3), y proceder a la evaluación de forma individual de los indicadores identificados, se realizó un pre-test de fiabilidad, mediante el cálculo del coeficiente Alfa de cronbach11, el cual es el método de fiabilidad más utilizado en psicometría12, un índice de consistencia interna que toma valores entre 0 y 1 y que sirve para comprobar si el instrumento que se está evaluando recopila información defectuosa y por tanto que conduciría a conclusiones equivocadas o si, por el contrario, se trata de un instrumento fiable que hace mediciones estables y consistentes (CRONBACH; 1943, 1946, 1951).
Las calificaciones de las cinco primeras encuestas son consideradas como el pre-test y arrojaron un valor de α cronbach = 0,83, porlo que se puede afirmar que tanto los criterios como las escalas utilizadas para medir el fenómeno son consistentes y por lo tanto que la fiabilidad de los resultados de la evaluación son aceptables.
Después de analizar el valor resultante de aplicar el método de cronbach para la encuesta en su totalidad y obtenido durante el pre-test, se concluye que tanto los criterios como las escalas utilizadas para medir la sostenibilidad de las áreas naturales son consistentes y por lo tanto que los resultados son fiables.
Posteriormente se analizaron las calificaciones otorgadas por cada uno de los 24 evaluadores (expertos y ONG o turistas), para cada una de las 5 preguntas efectuadas; se determinó la desviación típica o estándar de la misma, lo que permitió establecer si hubo consensopor parte de los evaluadores al considerar el Sistema de Indicadores propuesto como un instrumento idóneo para medir la sostenibilidad de las áreas naturales con uso turístico.
Como puede observarse, el resultado de la desviación típica o estándar es menor a la unidad, y por lo tanto se considera que existe consenso en la evaluación de los diferentes criterios.
3.5. Validación de los indicadores
Al igual que el sistema, se empleó la misma metodología para la validación de los indicadores que lo componen, de forma independiente. Los pasos empleados fueron iguales a la utilizada para la validación del sistema.
Posteriormente se realizó una tabla por cada indicador, para un total de 38 tablas, en donde se recogieron las calificaciones otorgadas por cada uno de los 10 evaluadores14, para cada uno de los criterios (preguntas).
En las tablas se recogieron las puntuaciones dadas a cada una de las 10 preguntas de las que consta el cuestionario por cada uno de los evaluadores, estableciendo, de esta manera, una valoración común para dicha pregunta o criterio; se realizó luego el mismo ejercicio que se hizo para la validación del sistema y se determinó la desviación típica o estándar de la misma, lo que permitió establecer si hubo consenso por parte de los evaluadores para considerar el indicador propuesto como un buen instrumento de medición. De los 38 indicadores que componen el Sistema, 9 de ellos obtuvieron calificaciones inferiores a 4 (4 indicadores pertenecen a la categoría de actividades humanas y 5 a la categoría de temas ambientales), y por lo tanto se considera necesario reformular el indicador y volverlo a validar. Los indicadores que no obtuvieron la calificación mínima deseada se muestran en la Tabla 5.
Fue necesario reformular los indicadores que no alcanzaron la calificación de 4; para hacerlo se tuvieron en cuenta los comentarios manifestados por los evaluadores, con lo cual se logró modificar 7 indicadores únicamente en aquellas partes en donde éstos habían manifestado mayor desacuerdo. Para aquellos indicadores (2 en total) en los cuales se analizó que los desacuerdos eran demasiado grandes, se diseñaron nuevos indicadores.
Una vez se rediseñaron los indicadores, buscando mejorar aquellos elementos en los que los evaluadores no estaban de acuerdo, se validaron nuevamente por cuatro evaluadores (de estos 3 pertenecen al nivel 2 - Scienciatis Validatio, y uno (1) al nivel 3 - Societatis Validatio), obteniendo los siguientes resultados 15.
Quedando finalmente conformado como se puede observar en la Tabla 7 el Sistema de Indicadores de Sostenibilidad para Áreas Naturales con Uso Turístico, el cual es una propuesta que se logra con la visión de lograr un verdadero sistema que mida el desarrollo sostenible de aquellas áreas naturales que seven sometidas al uso del turismo.
4. Conclusiones
La metodología empleada y el tipo de enfoque para realizar la construcción de la propuesta del Sistema de Indicadores permite el resultado al que se llegó, novedoso y actual, lo que posibilita su uso en cualquier área natural en la que se lleve a cabo la actividad del turismo, independiente del tipo de legislación que cobije dicho espacio.
De igual forma, el sistema propuesto permite medir independientemente de los intereses propios de cada país en donde se ubican, admitiendo la realización de comparacion es en el ámbito mundial, con lo cual estas áreas pueden tener un referente para iniciar planes de mejoramiento de su propia gestión si obtienen un valor muy bajo en alguno de los indicadores.
Se hizo necesario validar el sistema de indicadores como un todo, atendiendo lo expuesto por BERTALANFFY en su Teoría General de Sistemas, donde describe los sistemas como aquella entidad que no puede ser interpretada solo por la suma de sus elementos, ya que hay relaciones entre ellos que hacen que surjan nuevas propiedades. En la investigación el sistema como un todo fue validado sin necesidad de realizar ajustes; sin embargo, fue necesario reformular 9 de sus componentes (indicadores).
De la misma forma, la validación mediante el empleo de la técnica 3s, en la cual se preguntó a la comunidad y a los expertos en el tema de áreas naturales, permite asegurar que el Sistema propuesto es acorde con el problema planteado y se incluyen todos los elementos necesarios para poder determinar con un mínimo error la sostenibilidad de las áreas naturales con uso turístico.
El proceso de validación requiere de bastante disponibilidad de tiempo por parte de los evaluadores y, por ello, la disponibilidad para participar en cada una de las etapas de la validación va decreciendo, por lo que se debe contar con algún tipo de estímulo económico para los participantes y de esta forma llegar al final de la validación con el mismo número con el que comienzan, o diseñar otro tipo de metodología de validación en donde se pueda superar este inconveniente.
El sistema propuesto para medir la sostenibilidad de las áreas naturales que se ven sometidas al uso turístico incorpora la visión de desarrollo sostenible desde su formulación,y no solo se centra en medir la parte ambiental (físico-natural), logrando de esta forma que se mida teniendo una visión global de la eficiencia, la eficacia y la efectividad, de las áreas naturales protegidas.
Pie de página
2 El Sistema propuesto por la Comisión de Desarrollo Sostenible de las Naciones Unidas en 1996 y 2001, básicamente es el mismo, únicamente que en 2001 reducen el número de indicadores para facilitar su aplicación; sin embargo, para la presente investigación se tienen en cuenta ambos con el fin de determinar si la eliminación de indicadores que se llevó a cabo en 2001 afectó la medición del Desarrollo Sostenible teniendo en cuenta las cuatro dimensiones.Bibliografía
Alarcón, D. (2005). Modelo integrado de valores para estructuras sostenibles. Barcelona: Universitat Politècnica de Catalunya.
Choi, H; SiraKaya, E. (2005). Sustainability indicators for managing community tourism. Tourism Management. (Article In Press)
Cloquell, V. (2003). Propuesta metodológica para la validación previa de indicadores y funciones de valor en el problema unificado de lo calización y evaluación del impacto ambiental de proyectos. Tesis doctoral. Universidad Politécnica de Valencia.
Cloquell, V; Martínez, E. Cloquell, V; Gomez, T. (2006). Modelos de sistemas de indicadores ambientales: una revisión internacional. X Congreso Internacional de Ingeniería de Proyectos. Valencia.
Cortina, J. M. (1993). "What Is Coefficient Alpha? An Examination of Theory and Applications", en Journal of Applied Psychology. Vol. 78, n.° 1, pp. 98-104.
Cronbach, L. J. (1943). "On estimates of test reliability", en The Journal of Educational Psychology. 34 (4), pp. 485-494.
Cronbach, L. J. (1946). "A case study of the split-half reliability coefficient", en The Journal of Educational Psychology. 37 (3), pp. 473-480.
cronbach, L. J. (1947). "Test 'reliability': its meaning and determination", en Psychometrika, 12 (1), pp. 1-16.
Cronbach, L. J. (1951). "Coefficient alpha and the internal structure of tests", en Psychometrika, 16 (2), pp. 297-334.
Estes, G. M & Kuespert, D.(1976). Delphi in industrial forecasting. Chemical and Engineering News, EUA, pp. 40-47.
Gutiérrez-Fernández, F., et al. (2007). Análisis de los sistemas de indicadores ambientales de acuerdo a la visión polidimensional de desarrollo sostenible. XI Congreso Internacional de Ingeniería de Proyectos. lugo, 26-28, septiembre, 2007.
Gutiérrez-Fernández, F., et al. (2007). Propuesta de un sistema de indicadores de sostenibilidad para áreas naturales con uso turístico. XI Congreso Internacional de Ingeniería de Proyectos. lugo, 26-28, septiembre, 2007
Guttman, Louis (1945). "A basis for analyzing test-retest reliability", en Psychometrika 10 (4), pp. 255-282. ISSN 0033-3123.
Hoyt, Cyril (1941). "Test reliability estimated by analysis of variance", en Psychometrika 6 (3), pp.153-160. ISSN 0033-3123.
Li, W. (2004). "Environmental management indicators for ecoturism in China's nature reserves: A case study in Tianmushan Nature Reserve", en Tourism Management 25, pp. 559-564.
Malhotra, N. K. (1981). "A scale to measure selfconcepts, person concepts and products concepts", en Journal of Marketing Research, vol. 18, n.º 4, pp. 456-464.
Miller, G. (2001). "The development of indicators for sustainable tourism: Results of a Delphi survey of tourism researchers", en Tourism Management, 22, pp. 351-362.
Naredo, J. M. (1996). "Sobre el origen, el uso y el contenido del término Sostenible", en Primer catálogo español de buenas prácticas, vol. 1, pp.21-28. Madrid: Ministerio de Obras Públicas, Transportes y Medio Ambiente.
Nunnally, J. C. (1978): Psycometric theory. 2.ª ed. Nueva York: McGraw-Hill.
OECD (1993). OECD Core set of indicators for environmental performance reviews. Paris: Organisation For The Economic Co-Operation And Development.
OMT (2005). Indicadores de desarrollo sostenible para los destinos turísticos. Guía práctica. Madrid: Organización Mundial del Turismo. ISBN. 92-844-0838-5.
Saaty, T. L. (1980). The analytic Hierarchy Process. Mew York: McGraw-Hill.
Anexo n.º 1. Listado de indicadores analizados