DOI: http://dx.doi.org/10.18601/01245996.v17n33.12
Artículo
El nivel de inglés después de cursar la educación superior en colombia: una comparación de distribuciones
English proficiency in Colombia after post-secondary education: A relative distribution analysis
Julio César Alonso* , Juan David Martin**, Beatriz Gallo ***
* Doctor en Economía, director del Cienfi, Universidad ICESI, Cali, Colombia, [jcalonso@icesi.edu.co].
** Economista, asistente de investigación del Cienfi, Universidad ICESI, Cali, Colombia, [juandavid.de@hotmail.com].
*** Magíster en Economía, investigadora del Cienfi, Universidad ICESI, Cali, Colombia, [begallo@icesi.edu.co].
Sugerencia de citación: Alfonso, J. C.; J. D. Martin y B. Gallo. "El nivel de inglés después de cursar la educación superior en Colombia: una comparación de distribuciones", Revista de Economía Institucional 17, 33, 2015, pp. 275-298. DOI: http://dx.doi.org/10.18601/01245996.v17n33.12
Fecha de recepción: 4 de abril de 2014, fecha de modificación: 5 de septiembre de 2014, fecha de aceptación: 29 de octubre 2015.
Resumen
El gobierno colombiano impulsa una política nacional para fortalecer las competencias comunicativas en inglés en todos los niveles educativos, en especial en la educación superior, pero poco se ha escrito sobre los logros de esa política. Este artículo describe los cambios en la distribución del nivel de inglés entre el ingreso y la terminación de la educación superior. Los resultados muestran que hay una mejora, dado el paso a niveles más altos de calificación, y un aumento de la polarización.
Palabras clave: Bilingüismo, competencias lingüísticas, distribución relativa, desigualdad, medidas de polarización; JEL: J24, C40.
Abstract
The Colombian Government has adopted a policy to improve communication skills in English at all education levels and especially in higher education, but little has been written about the achievements of the policy. This paper examines changes in the distribution of students' English proficiency level between the start and completion of their higher education programs. The results suggest an improvement in the distribution after graduating from higher education, characterized by a greater impact at higher scoring levels and an increased polarization.
Keywords: Bilingualism, linguistic skills, relative distribution, inequality, polarization measures; JEL: J24, C40.
El dominio de una segunda lengua ha pasado de ser una cualidad deseable a una necesidad para mantener la competitividad. Desde hace más de treinta años se han diseñado políticas para fortalecer la enseñanza del idioma inglés en el país. En 1982 el Ministerio de Educación Nacional (MEN), con apoyo del Consejo Británico y del Centro Colombo Americano, creó el programa The English Syllabus para enseñanza secundaria. A este le siguió el Colombian Framework for English (COFE), para mejorar la capacitación de los profesores de inglés. En 1994 la Ley General de Educación incluyó una lengua extranjera como materia obligatoria en educación primaria, pero solo en 1999 el MEN propuso los lineamientos curriculares (Usma, 2009).
Hoy el MEN lidera el Programa de Fortalecimiento al Desarrollo de Competencias en Lenguas Extranjeras (PFDCLE), cuyo objetivo es formar "ciudadanos y ciudadanas capaces de comunicarse en inglés, con estándares internacionalmente comparables, que inserten al país en los procesos de comunicación universal, en la economía global y en la apertura cultural". Para ellos se establecieron los estándares de competencia en inglés como lengua extranjera (MEN, 2006) acordes con los estándares del Marco Común Europeo de Referencia para las Lenguas (MCERL), que se emplearon para alinear los exámenes de inglés realizados por el Icfes. Además, se trazaron diversas estrategias para mejorar la preparación de los docentes del sector oficial y fortalecer los programas de licenciatura en inglés.
El gobierno fija las metas del nivel de dominio que deben alcanzar los estudiantes al finalizar cada ciclo: al terminar la secundaria deben alcanzar el nivel de usuario independiente de umbral (grado B1 del MCERL); al terminar la educación profesional, el de dominio operativo eficaz (grado C1) si se licencian en idiomas, y el de usuario independiente avanzado (grado B2) para otras carreras (MEN, 2004). El PFDCLE ha recibido diversas críticas. Entre ellas que los profesores de inglés fueron excluidos de su formulación y que no está bien adaptado al contexto colombiano, como es el caso de los estándares que fijó el MCERL. Según Sánchez y Obando (2008), las políticas son creadas con un esquema piramidal, en el que solo unos pocos saben lo que se debe hacer y por qué, y los profesores de los colegios prácticamente no han participado en la formulación de los estándares. Crítica que comparten Shohamy (2009), Cárdenas (2006) y Usma (2009).
En cuanto a si el PFDCLE se adapta o no al contexto colombiano, Cárdenas argumenta que el sistema educativo y las características socioculturales, políticas y económicas del país no se reflejan en la clasificación del MCERL. Usma advierte que el problema no es la adopción de estándares extranjeros, sino las condiciones de aprendizaje y enseñanza que el gobierno parece ignorar. Y señala que aunque el PFDCLE y la reforma lingüística y educativa que lo acompañan ofrecen oportunidades para algunos grupos, generan inequidad, exclusión y estratificación. Para Shohamy, el PFDCLE es resultado de planes económicos y políticos ambiciosos, pero que dejan de lado aspectos educativos que afectan su factibilidad; y cuestiona la pertinencia de una política de bilingüismo para todos los estudiantes, en especial, para los indígenas, que además de su lengua deben dominar el español. Por su parte, García y García (2012) sostienen que el bilingüismo castellano-inglés interfiere el conocimiento de las lenguas minoritarias.
A pesar de estas críticas, pocos estudios se ocupan del dominio del idioma inglés, en particular desde el punto de vista cuantitativo; y se centran en el Valle del Cauca y la Costa Caribe. Alonso, Gallo y Torres (2012) describen la situación del bilingüismo en los municipios del Valle del Cauca, comparan la situación del departamento con la de otros departamentos; y encuentran que muy pocas personas dicen hablar inglés (el 3,85% de la población colombiana) y que hay grandes disparidades entre algunos departamentos, así como diferencias entre géneros, situación laboral y grupos de edad. Para tener una medida objetiva del nivel de dominio del inglés, Alonso, Casasbuenas et al. (2012) también analizan datos de las pruebas Saber 11 y Saber Pro. Encontraron que en Barranquilla, Bogotá, Cali y Medellín las personas de 18 a 20 años de edad, los hombres, quienes estudian en jornada completa o en la mañana y quienes pagan una pensión superior a 0,49 SMMLV tienden a clasificarse como "usuario independiente de umbral" (B1) o en niveles superiores (B+, en la clasificación del Icfes).
Por su parte, Sánchez (2012) utiliza los resultados de la prueba Saber 11 de inglés para explicar por qué el desempeño de los estudiantes bilingües de la costa Caribe colombiana es superior al de los estudiantes de otras regiones, aunque el desempeño de los bachilleres colombianos en esa prueba no es satisfactorio. De acuerdo con este autor, los estudiantes con mejor desempeño tienen características socioeconómicas más favorables, son costeños y egresan de colegios bilingües. Más recientemente, el mismo autor hizo un análisis descriptivo del bilingüismo en Colombia (Sánchez, 2013) y encontró que la mayoría de los estudiantes y los profesores se clasifican en los niveles más bajos. Además, que el desempeño de quienes hacen exámenes internacionales de competencias en inglés es también muy bajo, frente a los resultados de personas de otros países.
Hasta donde sabemos, en Colombia aún no se han examinado el efecto de la educación superior en el dominio del inglés, y en particular no se ha evaluado si la educación mejora ese dominio. En este artículo se examinan los cambios en la distribución de los resultados de una prueba estandarizada que se aplica a los estudiantes que han cursado educación superior. En particular, analiza los posibles cambios en la forma de la distribución del nivel de competencias luego de graduarse, e identifica los grupos de población con menores competencias. Para ello, se emplea el nivel en el que se clasifica el estudiante en el módulo de inglés de las pruebas que se hacen al terminar secundaria (Saber 11) y al terminar la educación superior en sus niveles técnico, tecnológico y profesional (Saber Pro).
Para comparar el comportamiento de una población antes y después de una intervención, o dos poblaciones, se suelen usar estadísticas descriptivas como la media, antes y después del tratamiento, o modelos de regresión del comportamiento promedio condicionado. A veces el análisis se complementa usando otras medidas de tendencia central, como la mediana, y de dispersión, como la varianza1. Pero una estadística descriptiva como la media oculta mucha información sobre el comportamiento de una población; por ello nos centramos en el comportamiento de la distribución y no en momentos centrales de la distribución.
La metodología que empleamos se basa en el concepto de distribución relativa de Handcock y Morris (1999), quienes proponen comparar directamente las distribuciones de dos poblaciones, en vez de usar únicamente medidas de tendencia central. Esa herramienta estadística ayuda a representar en forma integral las diferencias entre las distribuciones y hace posible analizar las diferencias en su composición en todo momento.
Handcock et al. (1997) usan este método para analizar la desigualdad económica, y Hermeto y Rangel (2009) para estudiar la distribución relativa de los salarios. Otros autores usan distribuciones relativas en trabajos sobre la educación2. En este artículo se usan para comparar la distribución de la clasificación en el dominio de inglés antes y después de cursar educación superior. El Icfes administra las pruebas Saber 11 y Saber Pro que contienen pruebas de inglés acordes con los estándares del MCERL. Estas dos pruebas permiten clasificar a los examinados en diferentes niveles de dominio del idioma como indica el cuadro 1.
En la siguiente sección se describe la metodología, y después la naturaleza y las bondades de los datos. Luego se presentan los resultados para la muestra total, el tipo de institución (IES) y el sector al que esta pertenece (oficial o privado). Al final se comentan los resultados y se hacen algunas recomendaciones de política.
METODOLOGÍA: LA DISTRIBUCIÓN RELATIVA
Las medidas de tendencia central que se usan para detectar cambios en la población ocultan información relevante para ciertos análisis. En particular, no permiten saber si la diferencia entre dos poblaciones se debe a desplazamientos hacia la cola superior o inferior de la distribución. Para resolver este inconveniente, Handcock y Morris proponen comparar directamente las distribuciones en vez de emplear únicamente medidas de tendencia central, un método que llaman distribución relativa (DR) y que es adecuado para analizar cambios en la distribución de variables en ciencias sociales. Este método se emplea para representar en forma integral las diferencias entre dos distribuciones; compara el comportamiento de ambas distribuciones en sus extremos y en su centro, y proporciona un marco que incluye un componente gráfico que simplifica el análisis exploratorio de los datos. Además, permite un nivel de desagregación que facilita el análisis de las características de las distribuciones.
Handcock et al. usan la DR de los salarios por hora de los hombres estadounidenses entre 16 y 66 años para mostrar en forma gráfica y analítica la creciente polarización de estos salarios entre 1975 y 1993. Descomponen la distribución relativa entre trabajadores de medio tiempo y de tiempo completo, y encuentran que este cambio en la composición solo explica una pequeña parte de la polarización. Hermeto y Rangel la emplean para analizar y descomponer los cambios en la distribución relativa del ingreso en Brasil entre hombres y mujeres por cohortes, entre 1981 y 2005. El análisis por grupos de edad indica que en las cohortes más recientes la brecha de salarios es menor entre hombres y mujeres.
Penner (2008) fue el primero que aplicó este método al sector educativo, para comparar las distribuciones del desempeño en matemáticas entre hombres y mujeres de todo el mundo. Penner destaca la utilidad de las distribuciones relativas para entender el comportamiento en los extremos de la distribución del desempeño en matemáticas. Encuentra que los hombres se desempeñan mejor que las mujeres en la cola superior, pero tienen peores puntajes que las mujeres en la cola inferior. Badr et al. (2012) emplean el método para comparar el puntaje de hombres y mujeres en la prueba de matemáticas TIMSS 2007, en países del Medio Oriente y el Norte de África. Encuentran que las diferencias entre hombres y mujeres varían y que, en la mayoría de los países, las brechas se encuentran en los extremos de la distribución y no en el centro. Guimaráes et al. (2013) usan las DR para determinar si la reducción del puntaje promedio en matemáticas de los niños de cuarto grado en Brasil entre 1997 y 2005 se debe a un cambio en la cola superior o inferior de la distribución. Y encuentran que toda la distribución se desplazó a la izquierda en el periodo. Por último, Sousa et al. (2014) usan las DR para comparar la distribución del ingreso y los años de educación en Portugal entre 1985 y 1991. Encuentran que en ese periodo aumentó la desigualdad en ingresos y en educación.
La DR es en esencia la serie de cuantiles que resulta de asignar a la distribución de probabilidad de referencia el nivel que toma la variable de estudio en la población (comparación). Es decir, representa la proporción de individuos de la población de comparación asociada a un nivel dado de la variable de estudio, en el caso hipotético de que esos individuos se comporten conforme a la distribución de referencia. En suma, la DR es la probabilidad de encontrar un individuo, perteneciente a una población de comparación, dentro de la población de referencia. En lo que resta de la sección se discute el método de DR en términos formales.
La función de densidad relativa
Siguiendo a Handcock y Morris, sea Y0 una variable aleatoria generada por la distribución de referencia, con una función de probabilidad acumulada F0(Y) y una función de densidad f0(y); F0(Y) y f0(y) son las funciones de referencia de probabilidad acumulada y de densidad. Además, sea Y la misma variable aleatoria, pero generada por otro proceso generador de datos, cuyas funciones de probabilidad acumulada y de densidad se denotan como F(Y) y fy), y corresponden a las funciones de comparación de probabilidad acumulada y densidad, respectivamente.
El objetivo del método de DR es determinar si ambas distribuciones de probabilidad acumulada son estadísticamente iguales o no. Es decir, si el comportamiento de F(Y) es suficientemente parecido al de F0(Y) para afirmar que en ambos casos la variable Y es generada por la misma distribución; y por tanto, que ambas tienen el mismo comportamiento. Es decir, que corresponden e la misma población. La distribución relativa de Y con respecto a Y0 se define como la variable aleatoria:
Handcock y Morris demuestran que R es continua en el espacio [0,1], con una distribución de probabilidad acumulada G(r), definida así:
donde Q0 es la función cuantil de F0 y r representa la realización de R. En otras palabras, la distribución relativa es la probabilidad de encontrar un individuo de una población de comparación con ciertas características (Y) en una población de referencia (F0). Y la función de densidad relativa (FDR) es la función de densidad de R,g(r), definida como la derivada de G(r):
La FDR se puede interpretar como una razón de densidad, es decir, como la razón de probabilidades entre la población de comparación y la población de referencia asociada a un cierto nivel de la variable de estudio. Pero, a diferencia de una razón de probabilidades común, g(r) tiene la propiedad básica de una función de densidad: su integral en todo el espacio de r es 1.
La formalización anterior corresponde al caso en que la variable aleatoria en estudio es continua. Pero se puede extender fácilmente al caso de variables discretas (como es nuestro caso). Handcock y Morris demuestran que, al hacer cualquier transformación aleatoria de la distribución discreta, los resultados se mantienen. De modo que la distribución relativa discreta será continua a pesar de que las distribuciones que la conforman sean decretas.
San Y0 y Y variables aleatorias discreta que proviene de las poblaciones de referencia y de comparación respectivamente, con un número finito de realizaciones N definidas en el conjunto Y, además,
son las funciones de densidad discretas correspondientes. Se tiene entonces que la función de probabilidad acumulada de Y0 es:
Dado que F0(Y) no necesariamente es continua, para obtener una transformación , como la de (1), que produzca una escala adecuada de comparación, Handcock y Morris modifican la función discreta empleando la distribución uniforme. Así, los "huecos" entre los posibles valores de la distribución se "llenan" con la distribución uniforme, cuyos valores se integran a 1 en el intervalo antes vacío. La versión continua de la función acumulada de probabilidad decreta de referencia, , se define como:
donde y Y U [a, b] denotan una distribución uniforme en el intervalo (a,b] Handcock y Morris demuestran que F0d (y) es una extensión continua de F0(Y) y que la transformación no afecto las propiedades de la distribución discreta. La distribución relativa discreta se define así:
En esta versión R mantiene las mismas propiedades que cuando se emplean directamente variables continuas. Es decir R es continua y acotada en el intervalo [0 ,1]. De modo análogo al caso continuo, las funciones de probabilidad acumulada, G(r), y de densidad, g(r), están dadas por:
Handcock y Morris aclaran que g(i) es discreta pero se puede seguir interpretando como la FDR definida en. Una vez se construye una FDR se procede a comparar las distribuciones de referencia y de comparación. De acuerdo con, la FDR es una razón entre la probabilidad en la población de comparación y la probabilidad en la población de referencia para un cuantil dado. Así, la probabilidad de encontrar individuos en la población de comparación con un nivel dado de la variable de estudio es g(i) veces la probabilidad correspondiente en la población de referencia: es decir, si g(i)=1, las dos distribuciones coinciden en el cuantil i. Si g(i)>1 la probabilidad de la población de comparación es mayor que la de referencia para ese cuantil. Y si g(i)<1 la distribución de probabilidad de la población de comparación es menor que la de referencia.
Aquí la población de comparación corresponde a la clasificación del estudiante (A-, A1, A2, B1 o B+) en las pruebas de inglés Saber Pro, y la de referencia a su clasificación en el módulo de inglés de la prueba Saber 11. La gráfica 1 ilustra el caso en que ambas distribuciones son idénticas, y la FDR es estadísticamente igual a 1. La gráfica 2 muestra el caso en que hay un cambio "favorable" o "deseable" en la distribución de la clasificación de los estudiantes. La FDR toma una forma con menor proporción de estudiantes en niveles bajos y mayor en niveles altos. En la gráfica 3 ocurre lo contrario, la distribución "empeora" y la FDR tiene forma decreciente.
En la práctica no se suelen conocer ambas distribuciones y es necesario estimarlas de algún modo. Dadas unas muestras de tamaño n (para la población de referencia) y m (para la de comparación), Handcock y Morris demuestran que un estimador insesgado para g(i) se define así:
En particular, demuestran que sigue una distribución asintóticamente normal:
La expresión (7) permite estimar fácilmente la FDR. Esta función indica la proporción entre la probabilidad de la distribución de comparación (Saber Pro) y la probabilidad de la distribución de referencia (Saber 11) asociada al i-ésimo cuantil de la distribución de referencia. Y (8) permite construir intervalos de confianza para los valores estimados de g(i). Así se tiene una herramienta gráfica para determinar si las dos distribuciones se parecen o no (gráficas 1 a 3), que incluye un intervalo de confianza para los valores estimados de g(i). Además, en caso de que las distribuciones no sean similares, permite identificar dónde ha ocurrido el cambio, en la parte superior o en la parte inferior, y su magnitud.
Índice mediano de polarización
La FDR permite saber qué tan iguales son dos distribuciones. Pero en algunos casos es necesario conocer detalles relacionados con la forma de la distribución; por ejemplo, si una distribución es más igualitaria que otra. En este trabajo se intenta determinar si la distribución de los niveles de inglés sigue siendo polarizada después de terminar la educación superior, si es más igualitaria o si la polarización llega a ser más "deseable".
Las medidas de polarización detectan los niveles de desigualdad entre poblaciones, es decir, qué tan concentrada está una variable en los extremos (polos). Por ello, están diseñadas para captar discrepancias en toda la distribución y no solo con respecto a una de sus características. Handcock y Morris proponen un indicador de polarización que se ajusta al concepto de DR, revela las similitudes o diferencias entre las distribuciones de referencia y de comparación, y detecta polarizaciones, cambios en ambas colas y aumentos del número de individuos en la superior o en la inferior.
Como ellos señalan, una medida de polarización idealmente debería medir las desviaciones en la forma de la distribución de una población con respecto a una distribución uniforme. En el caso de este trabajo, con respecto a una distribución relativa uniforme. Si se considera la distribución relativa de YL con respecto a Y0 (denotada por R0L), donde YL corresponde a Y ajustada a la mediana de Y0, o de otra manera:
el índice de polarización mediado MRP (Median Relative Polarization) de Y se define así:
La razón para usar R0L en vez de R es que se elimina el efecto de las diferencias de ubicación y se pueden analizar únicamente las diferencias en la forma de ambas distribuciones. Un MRP positivo indica, un aumento del grado de polarización; es decir, un mayor estiramiento de las colas de la distribución de comparación frente a la de referencia. Un MRP negativo indica menor polarización, es decir, mayor convergencia hacia el centro de la distribución de comparación que en la de referencia. Si no hay diferencias en la forma de las distribuciones, MRP es 0.
Además, el MRP se sitúa en el intervalo [-1,1] y se puede interpretar como una proporción de cambio. Un MRP> 0 (MRP<0) indica un cambio de MRP x 100% mayor en la "masa poblacional" hacia los extremos (centro) de la distribución de comparación con respecto a la distribución de referencia. Otra propiedad útil del MRP es la simetría. Si el MRP es el Indice para la DR de Y en Y0 y MRP0 el índice para la DR de Y0 en Y, entonces MRP = MRP0.
Así, el MRP se puede descomponer paara las colas inferior (baja) y superior (alta) de la distribución de R0L. Entonces, se obtienen índices de polarización para la cola baja (LRP, Lower Polarization Index) y para, la cola alta de las distribuciones (URP, Upper Polarization Index) que miden el grado de polarización en cada cola. Estos índices se definen así:
A partir de estas definiciones el MRP se puede expresar como el promedio simple entre el LRP y el URP:
Esta descomposición ayuda a Identificar la contribución de las diferencias de las colas bajas y altas a la polarización mediana. Cabe resaltar que un MRP=0 no implica necesariamente que la forma de las distribuciones sea idéntica, ya que puede ser el resultado de la compensación de un LRP y un URP de signos opuestos pero de igual magnitud. Handeock y Morris sugieren los siguientes estimadores de los índices de polarización:
Por último, el estimador del MRP se define simplemente como
Aquí usamos los índices de polarización para determinar si la distribución da quienes terminan la educación superior es más o menos polarizada hacia los niveles altos con respecto a la de quienes terminan la educación básica. Es decir, si después de cursar la educación superior hay cambios favorables en la distribución del dominio de inglés entre la población en estudio.
DATOS Y APLICACIÓN
Los datos que usamos corresponden a los resultados de las pruebas Saber 11 y Saber Pro de los estudiantes que presentaron ambas pruebas al terminar el nivel educativo respectivo, y provienen directamente del Icfes. La muestra se describe en más detalle en el Anexo 1. En total, se tienen 28.422 estudiantes que tomaron la prueba Saber 11 entre el segundo semestre de 2007 y el segundo semestre de 2011, y la prueba Saber Pro desde 2008 hasta el segundo semestre de 2011. Así, la muestra solo cubre a los estudiantes que terminaron educación superior y cuyas pruebas Saber 11 se pudieron rastrear, y no a todos los estudiantes que terminaron alguno de esos niveles.
La prueba Saber 11 reporta un resultado criterio-referenciado y muestra el desempeño "absoluto" de cada estudiante. La prueba Saber Pro reporta un resultado normal-referenciado y muestra cómo se desempeñó en comparación con los demás, es decir, su desempeño "relativo". Los puntajes que se obtienen en ambas pruebas de inglés no son entonces directamente comparables pero permiten clasificar el dominio del inglés conforme a los criterios del cuadro 1. Tomando esta clasificación como variable de interés se pueden analizar los cambios en la distribución poblacional ajustando la escala ordinal del MCERL como se indica en el cuadro 2.
La secuencia para determinar si existe o no un cambio en la distribución del dominio del inglés antes y después de cursar educación superior es la siguiente: primero se estima la DR, usando como población de referencia la clasificación de los estudiantes en la prueba de inglés de Saber 11 y, como población de comparación, la clasificación en la prueba Saber Pro. Y si se detecta un cambio entre la primera y la segunda distribución, se usan los índices MRP, LRP y URP para determinar dónde ocurrió el cambio.
El patrón de cambio "ideal" correspondería a una reducción de la población situada en niveles de inglés muy bajos (A-) junto a un aumento en los niveles más altos (B1 o B+). La combinación de los índices de polarización que describe este patrón de cambio correspondería a un LRP negativo y un URP positivo (preferiblemente de mayor magnitud al inferior).
Hicimos este análisis para los siguientes subconjuntos de la muestra: total, por tipo de formación y por sector de la institución educativa (oficial o privado). En la siguiente sección se presentan los resultados.
RESULTADOS
La gráfica 4 muestra la clasificación de cada estudiante en ambas pruebas. Alrededor del 47% mantiene el mismo nivel de desempeño, un poco más del 41% avanza y un 12% empeora. Casi el 50% de quienes tienen nivel A2 al terminar la educación básica mejoran el nivel de dominio al terminar la educación superior. El 82% de los estudiantes de nivel B+ (el más alto) en Saber 11 mantiene ese nivel en Saber Pro. Esta descripción indica que sí existen cambios en el nivel de desempeño de los estudiantes entre el final de la educación básica y el final de la educación superior.
La gráfica 5 presenta los histogramas de los resultados de ambas pruebas (paneles a y b) para la muestra. En ambas, más de la mitad de la población se concentran en niveles inferiores a A1. Y en los cuantiles más altos se observa un aumento de la proporción con nivel A2 o superior. En el panel c se presenta la FDR estimada correspondiente y sus intervalos de confianza respectivos. En el eje horizontal se ordenan los cuantiles de corte (i) de la distribución de referencia (Saber 11), cada uno asociado a la clasificación del MCERL. En el eje vertical se ordena el valor estimado de la FDR para cada cuantil g(i).
Las líneas punteadas alrededor de la curva indican el intervalo de confianza respectivo del 95%.
Para cuantiles inferiores a la mediana de Saber 11 (A-), la FDR está cerca de 0,70 (significativamente diferente de 1), es decir, la probabilidad de encontrar estudiantes con calificación A- en Saber Pro es un 30% menor que en Saber 11. Para cuantiles situados entre 0,4 y 0,8, el intervalo de confianza incluye la unidad, es decir, en el nivel A1 las distribuciones de probabilidad de Saber 11 y Saber Pro no son estadísticamente diferentes. Y para menos del 20% de la población, con niveles A2, B1 y B+, la FDR aproximada es de 1,5, 2,0 y 2,3, respectivamente, lo que indica que en Saber Pro hay una probabilidad un 50% mayor de encontrar estudiantes con nivel A2, y que en los niveles B1 o B+ la probabilidad es más del doble que en Saber 11. Los índices de polarización confirman que hay un cambio en la forma de la distribución. El MRP estimado para la FDR de la gráfica 5 es 0,07 y significativo con un 99% de confianza. El LRP es no significativo y el URP es 0,15 (significativo con un 99% de confianza). Estos resultados indican un patrón de cambio "deseable", dado por un paso del 7% de la masa de la distribución de niveles medios de inglés a niveles más altos.
Cabe resaltar tres resultados: primero, a nivel agregado, la forma de la distribución cambia en la dirección "deseable" luego de cursar educación superior; segundo, hay un aumento de la desigualdad, una mayor proporción de la población en las colas altas de la distribución con una masa relativamente grande en la cola inferior. Tercero, de acuerdo con la FDR, la magnitud del cambio es mayor cuanto mayor es el nivel de competencias. No obstante el resultado "deseable" a nivel agregado, es necesario determinar si el cambio en la distribución agregada se mantiene en todos los tipos de educación superior y en todos los sectores. En los siguientes apartados se comparan las distribuciones de ambas pruebas para cada subconjunto.
Por tipo de formación
En este apartado se analiza si hay diferencias en las distribuciones de dominio del inglés por el tipo de formación en educación superior: universitario, técnico profesional y tecnológico terminal.
Al observar los resultados de ambas pruebas (gráfica 6) se ve que el patrón que sigue la población en su conjunto se mantiene cuando se desagrega por tipo de formación. Pero la proporción de universitarios que mejoran (casi el 50%) supera a la de técnicos (42%) y tecnólogos (39%), que también obtienen mejores resultados en Saber Pro que en Saber 11.
En educación técnica y tecnológica, la mayor parte de la masa de la distribución de Saber Pro se concentra en A- y A1, con una gran similitud a la de Saber 11. Pero aumenta la proporción de personas que llega al nivel superior. Esto lo confirma la FDR de cada tipo. En educación universitaria es estadísticamente diferente de 1 para todas las clasificaciones, salvo el nivel A2. En las clasificaciones más bajas, se ubica entre 0,6 y 0,7, lo que indica una reducción de hasta el 40% en la proporción de individuos que obtienen estos resultados. En los niveles B1 y B+, en cambio, la FDR estimada es de 1,4 y 2, respectivamente, es decir, la probabilidad de encontrar estudiantes con clasificación B+ es casi el doble después de cursar educación universitaria.
En educación técnica y tecnológica también se reduce la proporción de personas con bajo dominio del inglés, como indica la FDR; cuyos valores son cercanos a 0,7 en A-, muy cercanos a 1 en A1 y a 2 en A2. Pero en las clasificaciones más altas, el cambio es más pronunciado en la educación tecnológica. Mientras que en la educación técnica la FDR estimada para estas clasificaciones es cercana a 2,8, en la educación tecnológica la FDR correspondiente a B1 y B+ es igual a 3,0 y 3,8, respectivamente.
Otro resultado que cabe resaltar es que, cuanto mayor es el nivel educativo del programa de educación superior, mayor es la proporción de personas que modifican su dominio del idioma. En educación universitaria, por ejemplo, el paso a las clasificaciones B1 y B+ se presenta en más del 30% (1,0-0,7), mientras que en educación técnica y tecnológica la proporción que pasa a estos niveles no supera el 12% y el 10%, respectivamente.
El cuadro 3 presenta los índices de polarización correspondientes al análisis gráfico anterior. En educación universitaria, su comportamiento es muy similar al del agregado, con un MRP estimado de 0,07 y mayor polarización hacia niveles altos de dominio del idioma. En educación técnica, el MRP es mayor que el del agregado e indica un paso del 9% de la masa de la distribución a los niveles más altos. La educación tecnológica presenta la combinación de índices más "deseable"; con un MRP similar al de la educación universitaria, muestra un LRP negativo y un URP positivo mayores (-0,08 y 0,2). En suma, el cambio en la distribución del nivel de inglés que se observa en la muestra total difiere parcialmente en los tres tipos de educación superior. En la educación universitaria es relativamente más pequeño, pero es más uniforme a lo largo de la población. Y en la técnica y tecnológica el cambio en las clasificaciones más altas es relativamente mayor pero el porcentaje de población que mejora es bajo. En otras palabras, hay una relación inversa entre la magnitud del cambio y la proporción de población en las clasificaciones más altas: a menor nivel de formación, mayor es el cambio en el nivel de competencias, pero menor la proporción de la población que mejora su desempeño.
Por sectores
En esta sección se examinan las diferencias en las distribuciones del desempeño de quienes estudian en instituciones de educación superior (IES) por sectores: oficial y privado.
La gráfica 10, que muestra los resultados de los estudiantes de los dos sectores educativos, indica que hay una diferencia visible entre estudiantes de IES oficiales y privadas. Mientras que el 46% de los estudiantes de IES privadas mejoran el dominio del inglés, un 38% de los egresados de instituciones oficiales aumentan su puntaje. Pero casi la mitad de estos últimos se clasifican en el mismo nivel antes y después de ingresar a la educación superior.
El análisis de la distribución relativa muestra que los estudiantes de IES oficiales pasan a los niveles A1, A2 y B1 después de la educación superior: la probabilidad de encontrar estudiantes clasificados en A1 después de estudiar en una IES oficial es 1,04 veces mayor que antes de ingresar a la educación superior. También es más probable encontrar estudiantes en A2 (1,6 veces más) y B1 (2,35 veces más). La gráfica 11 muestra que a esos niveles llega una proporción mayor de estudiantes. En las IES privadas (gráfica 12) los estudiantes pasan a los niveles A2, B1 y B+. La reducción de la proporción de clasificados en A- (que disminuye un 35%) y A1 (que se reduce en un 6%) es compensada por un aumento de la proporción que logra clasificarse en A2 (1,55 veces más que en Saber 11), B1 (1,84 veces más) y B+ (2,04 veces más). Los índices de polarización que se muestran en el cuadro 4 indican una polarización media positiva para los estudiantes de ambos sectores. En particular, que el 6% de la masa de la distribución de las IES oficiales pasa del nivel A- a niveles más extremos. Además, puesto que el URP es positivo y el LRP es negativo, este cambio va en dirección de niveles más altos de dominio del idioma. En cambio, en las IES privadas el 5% de la masa de la distribución pasa de A2 a niveles más extremos. Y de nuevo, como el URP es positivo y el LRP es negativo, este cambio también va en esa dirección.
Cabe destacar que el cambio es más favorable en las instituciones privadas que en las oficiales, pues la FDR es significativa en todos los percentiles y los índices de polarización muestran un paso a niveles más altos, junto con un menor aumento de la desigualdad.
COMENTARIOS FINALES
La distribución del nivel de inglés dista mucho de seguir una forma "ideal" al comenzar la educación superior. Más del 80% de los bachilleres se ubican en el nivel más bajo (usuario básico). Pero mejora después de cursar la educación superior. El análisis de la distribución relativa indica que, en la muestra total, los resultados de las pruebas Saber 11 y Saber Pro varían en la dirección "deseable"3; en otras palabras, hay un mejor nivel al finalizar la educación superior. En particular se reduce el porcentaje situado en los niveles más bajos y aumenta el porcentaje situado en los niveles medios y altos. La magnitud del cambio es mayor cuanto mayor es el nivel de competencias, y aumenta la polarización.
Este patrón de cambio no es uniforme en los tres tipos de formación profesional. La magnitud del cambio es mucho mayor en los egresados de programas técnico profesional y tecnológico terminal que en los de formación universitaria. Y el aumento del nivel de polarización es más alto en los dos primeros tipos. Esta particularidad quizá se deba a que, en esta parte de la población estudiantil, la proporción de bachilleres que obtienen las clasificaciones más altas es muy baja, y el margen para que la distribución mejore es mucho mayor. Cuando la población se divide por sectores educativos, los cambios son mucho más favorables en las instituciones privadas, donde el paso a mejores niveles de desempeño en la prueba Saber Pro no está asociado con un mayor nivel de desigualdad.
Los resultados de este trabajo se pueden resumir en los siguientes puntos: 1. El paso por la educación superior modifica la distribución de la competencia en inglés en la dirección deseable; 2. La distribución de la prueba Saber 11 difiere por tipos de formación y sector educativo: la distribución del nivel de inglés de los estudiantes que ingresan a universidades privadas es más favorable que la de los que ingresan a educación tecnológica y al sector oficial; 3. Este segmento de población estudiantil tiene el mayor potencial de mejora y, por tanto, amplio margen de intervención mediante políticas públicas, las cuales deben dar prioridad a la enseñanza de inglés en las instituciones oficiales y en la formación técnica y tecnológica para cerrar las brechas en materia de bilingüismo.
Puesto que el tiempo requerido para que una persona pase al nivel es menor cuanto más bajo es su nivel inicial, la relación costo-beneficio de un peso destinado a la enseñanza de inglés es mucho más alta para niveles bajos, y se requieren menos recursos para que un estudiante pase de A- a A1 o de A1 a A2 que de B1 a B+ (Ministerio de Educación, Cultura y Deporte, 2002). Cabe resaltar que los resultados muestran una gran diferencia entre el nivel de competencia después de terminar la educación secundaria y superior y las metas del PFDCLE. No sobra recordar que los resultados de este análisis no indican relaciones causales, es decir, que terminar la educación superior cause una mejora en la distribución del dominio del idioma. Y es tarea de investigaciones futuras el estudio de los efectos de la educación superior en el dominio del idioma y de sus determinantes.
ANEXO
Estructura de la muestra
El total agregado se compone de 28.426 observaciones que incluyen 4 faltantes. En el nivel de agregación por nivel de formación se presentan 1,524 faltantes, tanto para Saber 11 como para Saber Pro. Estos corresponden a ciertos individuos que no clasifican en ninguno de los grupos de referencia establecidos por el Icfes (2013) y, por lo tanto, se desconoce el nivel de formación de su programa.
Pie de página
1 Los textos de estadística aplicada en general incluyen uno o varios capítulos sobre estas herramientas estadísticas; ver Lind et al. (2011), Pfenning (2010) y Hanneman et al. (2012).
2 Ver Badr et al. (2012), Guimaráes et al. (2013), Penner (2008) y Sousa et al (2014).
3 No obstante aún lejos de la meta de que los egresados del sistema de educación superior lleguen al nivel de usuario independiente avanzado (B2).
REFERENCIAS BIBLIOGRÁFICAS
1. Alonso, J.; P. Casasbuenas, B. Gallo y G. Torres. Bilingüismo en Santiago de Cali: análisis de los resultados de las Pruebas Saber 11 y Saber Pro, Cali, Universidad Icesi, 2012.
2. Alonso, J.; B. Gallo y G. Torres. "Elementos para la construcción de una política pública de bilingüismo en el Valle del Cauca: un análisis descriptivo a partir del censo ampliado 2005", Estudios Gerenciales 28, 125, 2012, pp. 59-67.
3. Badr, M.; O. Morrissey y S. Appleton. "Gender differentials in maths test scores in MENA countries", CREDIT research paper 12/04, University of Nottingham, 2012.
4. Cárdenas, M. L. "Bilingual Colombia: Are we ready for it? What is needed?", paper presented at the 19th Annual EA Education Conference 2006, Australia, 2006, [http://qa.englishaustralia.com.au/index.cgi?E=http://qa.englishaustralia.com.au/index.cgi?E=hcatfuncs&PT=sl&X=getdoc&Lev1=pub_c07_07&Lev2=c06_carde].
5. García, J. y D. García. "Políticas lingüísticas en Colombia: tensiones entre políticas para lenguas mayoritarias y lenguas minoritarias", Boletín de Filología 47, 2, 2012, pp. 47-70.
6. Guimaráes R., C.; E. Goncalves y C. Campos. "Changes in test scores distribution for students of the fourth grade in Brazil: A relative distribution analysis for the years 1997-2005", Economics of Education Review 34, 2013, pp. 227-242.
7. Handcock, M. S. y M. Morris. Relative distribution methods in the social sciences, Nueva York, Springer-Verlag, 1999.
8. Handcock, M. S.; M. Morris y A. Bernhardt. "A distributional approach to measuring changes in economic inequality", 1997, [http://sites.stat.psu.edu/reports/1997/tr9703.pdf"].
9. Hanneman, R.; A. Kposowa y M. Riddle. Basic statistics for social research, San Francisco, Ca., Bossey-Bass, 2012.
10. Hermeto, A. M. y R. Rangel. "Cohort trends in the relative wage distribution by gender in Brazil", paper presented at the Population Association of America, 2009 Annual Meeting, Detroit, 2009.
11. Icfes. Guías Saber Pro - Inglés, Bogotá, 2012.
12. Icfes. "Grupos de referencia 2013-2", 2013, [http://www2.icfes.gov.co/examenes/saber-pro/informacion-general/estructura-general-del-examen/grupos-de-referencia-2014-1/104-saber-pro/informacion-general/estructura-general-del-examen/483-grupos-de-referencia-2013-2].
13. Lind, D.; W. Marchal y S. Wathen. Statistical techniques in business & economics, 15th ed., Irwin, McGraw-Hill, 2011.
14. Ministerio de Educación, Cultura y Deporte. Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación, Madrid, Consejo de Europa para la publicación en inglés y francés, 2002.
15. MEN. "Programa de fortalecimiento de competencias en lengua extranjera", consulta del 25 de febrero de 2014, [http://www.colombiaaprende.edu.co/html/micrositios/1752/w3-article-315515.html].
16. MEN. Programa Nacional de Bilingüismo, Colombia 2004-2019, Bogotá, Ministerio de Educación Nacional, 2004.
17. MEN. Estándares básicos de competencias en lenguas extranjeras: inglés, Guía 22, Bogotá, 2006.
18. Penner, A. M. "Gender differences in extreme mathematical achievement: An international perspective on biological, social, and societal factors", American Journal of Sociology 114, 2008, supl., pp. 138-170.
19. Pfenning, N. Elementary statistics: Looking at the big picture, Boston, Cengage Learning, 2010.
20. Shohamy, E. "Language teachers as partners in crafting educational language policies?", Íkala, Revista de lenguaje y cultura 14, 22, 2009, pp. 45-67.
21. Sousa A., J.; A. Duarte y M. C. Simoes. "Earnings and education in Portugal", International Journal of Social Economics 41, 7, 2014, pp. 586-608.
22. Sánchez, A. "El bilingüismo en los bachilleres colombiano", Documentos de trabajo sobre economía regional, Cartagena, Banco de la República, 2012.
23. Sánchez, A. C. y G. V. Obando. "Is Colombia ready for 'bilingualism'"?, Profile Issues in Teachers' Professional Development 9, 2008, pp. 181-195.
24. Sánchez J., A. "Bilingüismo en Colombia", documento de trabajo sobre economía regional 191, Cartagena, Banco de la República, 2013.
25. Usma, J. A. "Education and language policy in Colombia: Exploring processes of inclusion, exclusion, and stratification in times of global reform", Profile Issues in Teachers' Professional Development 11, 2009, pp. 123-141.