Metodología estadística para
la generación de indicadores
en la Educación Superior
Ecuatoriana
Statistical methodology for the
generation of indicators in
Ecuadorian Higher Education
Rubén Antonio Pazmiño Maji
Magíster en Informática Educativa y Multimedios.
Dr. en Matemática. Grupo de Investigación Ciencia
de Datos CIDED.
Escuela Superior Politécnica de Chimborazo
(ESPOCH)
rpazmino@espoch.edu.ec
https://orcid.org/0000-0002-6811-7876
Marina Leonor Bonilla Lucero
Magíster en Educación Sexual, Grados académicos,
Grupo de Investigación Ciencia de Datos CIDED
Escuela Superior Politécnica de Chimborazo
(ESPOCH)
marina.bonilla@espoch.edu.ec
https://orcid.org/0000-0003-2119-4126
Bertha Jacqueline Pazmiño Maji
Magíster en Seguridad y Prevención de Riesgos del
Grupo de Investigación Ciencia de Datos CIDED,
Escuela Superior Politécnica de Chimborazo
(ESPOCH)
cided@espoch.edu.ec
https://orcid.org/0000-0002-1855-9991
Victor Oswaldo Cevallos Vique
Máster en Dirección de Empresas. Grupo de
Investigación Ciencia de Datos CIDED.
Escuela Superior Politécnica de Chimborazo
(ESPOCH), Riobamba, Ecuador.
vicevallos@espoch.edu.ec
https://orcid.org/0000-0001-5525-5818
Resumen
Imaginario Social
Entidad editora
REDICME (reg-red-18-0061)
e-ISSN: 2737-6362
julio-diciembre 2022 Vol. 5-2-2022
http://revista-
imaginariosocial.com/index.php/es/index
Recepción: 10 de mayo de 2022
Aceptación: 25 de junio de 2022
178-187
179
El presente trabajo estableció una metodología estadística para la generación de
indicadores en la educación superior ecuatoriana, para ello utilizó una investigación
cualitativa específicamente una investigación documental basada en el análisis de tres
artículos científicos resultados de una revisión sistemática reciente. El método de
investigación documental se basó en los siguientes pasos: La elección y delimitación
del tema, la formulación del propósito de la investigación, el bosquejo de ideas, el plan
de trabajo y la aplicación de los pasos de la planificación. La metodología estadística
construida para la generación de indicadores está formada por tres pasos globales:
revisión bibliográfica, selección de indicadores y modelización estadística. La
metodología estadística lograda permitirá generar indicadores educativos a cualquier
institución de educación superior ecuatoriana.
Palabras claves: metodología estadística, generación, indicadores, educación
superior, Ecuador.
Abstract
The present work established a statistical methodology for the generation of indicators
in Ecuadorian higher education, for which it used qualitative research, specifically a
documentary research based on the analysis of three scientific articles resulting from
a recent systematic review. The documentary research method was based on the
following steps: The choice and delimitation of the topic, the formulation of the
purpose of the research, the outline of ideas, the work plan and the application of the
planning steps. The statistical methodology built for the generation of indicators is
made up of three global steps: literature review, selection of indicators and statistical
modeling. The statistical methodology achieved will allow the generation of
educational indicators for any Ecuadorian higher education institution.
Keywords: statistical methodology, generation, indicators, higher education,
Ecuador.
Introducción
180
La generación de indicadores es un problema complejo (Ahmed, 2010), en forma
particular la generación de indicadores educativos (Gorsky & Mold, 2020), es por ello
la necesidad de una metodología estadística para su generación (Morgan, 2022). En
particular una metodología estadística es un conjunto de métodos, técnicas y
procedimientos estadísticos para el manejo de datos, su ordenación, presentación,
descripción, análisis e interpretación, que contribuyen al estudio científico de los
problemas planteados en el ámbito de la educación y a la adquisición de conocimiento
sobre las realidades educativas, a la toma de decisiones y a la mejora de la práctica
desarrollada por los profesionales de la educación (Flores, 2003).
En esta investigación se analizaron principalmente tres artículos científicos
relacionados con estadística, matemática y la generación de indicadores. Mediante
éstos tres artículos y la experiencia de los autores se pudo proponer la metodología de
generación de indicadores buscada. Los artículos fueron obtenidos mediante una
revisión sistemática de literatura realizada previamente. A continuación, comentamos
los artículos antes mencionados:
El primer artículo titulado: Metodología alternativa en la construcción de indicadores
de eficiencia para la evaluación de escuela, escrito por (Bolívar, 2011), aquí se presenta
la metodología para el diseño de sistemas de indicadores sistematizada en el Instituto
Nacional para la Evaluación de la Educación, a partir de la experiencia del autor, y
recogiendo elementos de Shavelson y de la Comisión Europea (1999). La metodología
comprende cuatro etapas.
• Elaboración de la lista de indicadores
• Desarrollo de cada indicador
• Jueceo inicial
• Prueba piloto o primera aplicación
El segundo artículo titulado: Eficiencia técnica y eficacia como indicadores de
desempeño de instituciones educativas, escrito por (Antequera, 2019), aquí se
propone una metodología para la evaluación de la eficiencia y la eficacia, se utilizan
técnicas estadísticas como los Modelos Multinivel, el Análisis Envolvente de Datos y
el Análisis de Fronteras Estocásticas. Los Modelos Multinivel (Aitkin & Longford,
1986), son un conjunto de técnicas que permiten trabajar con datos que presentan la
181
particularidad de proceder de una estructura jerárquica. En el caso de la educación los
alumnos se encuentran anidados en escuelas que están agrupadas de acuerdo con su
distrito escolar. Esta metodología nos permite estimar la eficacia de cada
establecimiento educativo. El análisis envolvente de datos (Charnes et al., 1978) es una
metodología no paramétrica que permite la construcción de la frontera con los mejores
resultados obtenidos a partir de las distintas combinaciones de insumo y producto de
las firmas analizadas. De esta forma, a través de la resolución de un problema de
optimización lineal, se puede comparar el resultado obtenido por cada unidad de
decisión con la frontera y obtener un indicador de su eficiencia técnica. El análisis de
fronteras estocásticas (Meeusen, 1977), es una metodología paramétrica que permite
obtener la frontera de producción y la distancia a la que se encuentra cada unidad
analizada de ella. A diferencia del análisis envolvente de datos, el análisis de fronteras
estocásticas no construye la envolvente de los resultados obtenidos ya que permite que
unidades de decisión se encuentren por encima de la frontera por el accionar de
eventos aleatorios que incluyeron en su resultado. La distancia entre la frontera y el
resultado obtenido por una unidad de decisión dada, una vez eliminado el efecto
aleatorio, es una medida de su eficiencia técnica.
El tercer artículo titulado: Valor agregado y las competencias genéricas de los
estudiantes de educación superior en Colombia y escrito por (Rodríguez-Revilla &
Vallejo-Molina, 2022), sugiere que debido a que es muy probable que la experiencia
educativa en diferentes universidades (por ejemplo, ingeniería, ciencias, artes
liberales) no sea la misma, se debe declarar el tratamiento elegido. Contabilidad ha
sido uno de los cinco campos más importantes de estudios de pregrado en Colombia
desde 2009. Actualmente ocupa el tercer lugar en número de programas de pregrado
en Colombia y el cuarto en número de inscripciones, solo por debajo de Derecho,
Pedagogía y Negocios. Sin embargo, las cifras son inquietantes en otros frentes. Solo
el 30% de solicitantes aprobaron el examen de competencia 2019-2 aplicado por la
Junta Federal de Contadores. En tanto, 1.101 programas de licenciatura en Contaduría
tuvieron alumnos que cursaron la Enade 2019 y obtuvieron los siguientes niveles de
calidad: 50 calificados 1 (peor nivel); 348, 2; 478, 3 (nivel satisfactorio); 166, 4; y 42,
5 (mejor nivel) , es decir, el 36% de ellos no alcanzó un nivel de calidad satisfactorio
según los criterios establecidos por el SINAES (CNA - SINAES, 2022).
182
Metodología
El tipo de investigación es el cualitativo en particular la investigación documental
(Lisboa, 2018). Los documentos en los cuales se basó la investigación documental se
muestran en la Tabla 1 y son el resultado de una revisión sistemática de literatura
realizada sobre artículos que traten de metodologías estadísticas de generación de
indicadores educativos desde los años 2016 hasta el 2021.
Tabla 1: Documentos utilizados en la investigación documental
Título
Cita
Eficiencia técnica y eficacia como
indicadores de desempeño de instituciones
educativas
(Antequera,
2019)
Metodología alternativa en la construcción
de indicadores de eficiencia para la
evaluación de escuela
(Bolívar, 2011)
Valor agregado y las competencias genéricas
de los estudiantes de educación superior en
Colombia.
(Rodríguez-
Revilla &
Vallejo-
Molina, 2022)
Fuente: Autores,2022
Los pasos seguidos en la investigación documental fueron los propuestos por
(Bretschneider et al., 2017) y se muestran a continuación:
1. La elección y delimitación del tema
2. Formulación del propósito de la investigación
3. Bosquejo de ideas
4. El plan de trabajo o cronograma
• Lectura y recopilación de material
• Organización de la información
• Redacción
5. Aplicación de los pasos de la planificación en trabajo investigativo documental
Aplicando la investigación documental se obtuvo una metodología para la generación
de indicadores educativos en la educación superior ecuatoriana basada en las
183
siguientes etapas globales: revisión bibliográfica, selección de indicadores y
modelización estadística.
La aplicación de los pasos anteriores se muestra en la siguiente sección de resultados.
Resultados
A continuación, se muestra detalladamente el desarrollo de los pasos de la
investigación documental.
1. La elección y delimitación del tema
El objetivo de la investigación fue proponer una metodología estadística que permita
la generación de indicadores. Los indicadores tienen que ser exclusivamente
pertenecientes a la Educación Superior Ecuatoriana, además referentes al aprendizaje
y en los cuales se puedan aplicar analíticas de aprendizaje.
2. Formulación del propósito de la investigación
Proponer una metodología estadística para la generación de indicadores de
aprendizaje de la Educación Superior Ecuatoriana en los cuales se puedan aplicar
analíticas de aprendizaje (Pazmiño-Maji Rubén et al., 2021).
3. Bosquejo de ideas
• Generación de indicadores
• Generación de indicadores educativos
• Generación de indicadores educativos de aprendizaje
• Generación de indicadores educativos de aprendizaje en la Educación Superior
• Generación de indicadores educativos de aprendizaje en la Educación Superior
Ecuatoriana
• Generación de indicadores educativos de aprendizaje en la Educación Superior
Ecuatoriana en los cuales se puedan aplicar analíticas de aprendizaje
4. El plan de trabajo o cronograma
• Lectura y recopilación de material: El material recopilado fue sobre
indicadores internacionales, indicadores nacionales, indicadores e indicadores
de aprendizaje de la Escuela Superior Politécnica de Chimborazo.
184
• Organización de la información: Se utilizaron técnicas cluster para
determinar clases de indicadores similares y poder determinar los más
importantes.
• Hallazgos de la investigación: Con los indicadores seleccionados se
determinaron las variables asociadas, los tipos de datos asociados, la cuasi-
implicación, los modelos estadísticos asociados y las ecuaciones estructurales
asociadas utilizando el programa AMOS (Barnidge & De Zúñiga, 2017).
5. Aplicación de los pasos de la planificación en el trabajo investigativo
documental
La aplicación de los pasos del trabajo investigativo documental dio origen a la
metodología estadística que se muestra en la Figura 1.
Figura 1: Metodología estadística para la generación de indicadores educativos en la educación
superior (versión preliminar)
Fuente: Autores, 2022
Los pasos se describen a continuación:
• REVISIÓN BIBLIOGRÁFICA. – Se utilizaron como fuentes los materiales sobre
indicadores internacionales, indicadores nacionales, indicadores de la Escuela
Superior Politécnica de Chimborazo e indicadores de aprendizaje de la Escuela
Superior Politécnica de Chimborazo.
REVISIÓN BIBLIOGRÁFICA
•Indicadores
internacionales
• Indicadores nacionales
•Indicadores de la espoch
• Indicadores de
aprendizaje de la espoch
SELECCIÓN DE
INDICADORES
•Catálogo de Indicadores
•Operacionalización de
Variables
•Similaridad de Lerman
•Método de expertos
•Clasificación
•Implicación
MODELIZACIÓN
ESTADÍSTICA
•Determinación de
relaciones de causalidad
•Análisis del tipo de
variables
•Selección del modelo
•Ajustes del modelo
185
• SELECCIÓN DE INDICADORES. - Mediante la revisión bibliográfica se
seleccionaron un primer conjunto de indicadores, luego éstos se deben seleccionar
por su importancia entre los otros.
• MODELIZACIÓN ESTADÍSTICA. - En los indicadores seleccionados se
determinaron las variables asociadas, los tipos de datos asociados, la cuasi-
implicación, los modelos estadísticos asociados y las ecuaciones estructurales
(Medrano & Muñoz-Navarro, 2017) asociadas utilizando el programa AMOS. A
continuación, en la Figura 2 se muestra un modelo estructural inicial basado en los
indicadores por seleccionar.
Figura 2: Diagrama de ruta realizado en AMOS que permite la utilización de la modelización de
los indicadores seleccionados (versión básica)
Fuente: Autores, 2022
Conclusiones
186
La metodología de investigación documental permitió desarrollar una metodología
estadística para la generación de indicadores en la educación superior ecuatoriana,
utilizables en las analíticas de aprendizaje. La metodología estadística para la
generación de indicadores está formada por tres pasos globales: revisión bibliográfica,
selección de indicadores y modelización estadística. La revisión bibliográfica permite
un acercamiento a los indicadores mundiales, nacionales y locales; la selección de
indicadores permite utilizar técnicas estadísticas de similaridad y clasificación para la
selección de indicadores; la modelización estadística permite modelizar
estadísticamente los indicadores seleccionados.
La metodología estadística lograda permitirá generar objetivamente indicadores
educativos universitarios a nivel del Ecuador, permitiendo su optimización,
seguimiento y evaluación, mediante los modelos estadísticos y ecuaciones
estructurales utilizadas.
Bibliografía
Ahmed, J. U. (2010). Documentary research method: New dimensions. Indus Journal of
Management & Social Sciences, 4(1), 1-14.
Aitkin, M., & Longford, N. (1986). Statistical modelling issues in school effectiveness studies.
Journal of the Royal Statistical Society: Series A (General), 149(1), 1-26.
Antequera, G. O. (2019). Eficiencia técnica y eficacia como indicadores de desempeño de
instituciones educativas.
Barnidge, M., & De Zúñiga, H. G. (2017). Amos (software). The International Encyclopedia
of Communication Research Methods, 1-3.
Bolívar, H. (2011). Metodologías e indicadores de evaluación de sistemas agrícolas hacia el
desarrollo sostenible. CICAG: Revista del Centro de Investigación de Ciencias
Administrativas y Gerenciales, 8(1), 1-18.
Bretschneider, P. J., Cirilli, S., Jones, T., Lynch, S., & Wilson, N. A. (2017). Document review
as a qualitative research data collection method for teacher research. SAGE
Publications Ltd.
187
Charnes, A., Cooper, W. W., & Rhodes, E. (1978). Measuring the efficiency of decision making
units. European journal of operational research, 2(6), 429-444.
CNA - SINAES. (2022). https://www.mineducacion.gov.co/CNA/1741/article-186532.html
Flores, J. G. (2003). La estadística en la investigación educativa. Revista de investigación
educativa, 21(1), 231-248.
Gorsky, M., & Mold, A. (2020). Documentary analysis. Qualitative research in health care,
83-96.
Lisboa, J. L. C. (2018). Qualitative research: Epistemological, theoretical and methodological
foundations. Vivat Academia, 21(144), 69-76.
Medrano, L. A., & Muñoz-Navarro, R. (2017). Aproximación conceptual y práctica a los
modelos de ecuaciones estructurales. Revista digital de investigación en docencia
universitaria, 11(1), 219-239.
Meeusen, W. (1977). Van den Broeck, 1977.". Efficiency Estimation from Cobb.
Morgan, H. (2022). Conducting a Qualitative Document Analysis. Qualitative Report, 27(1).
Pazmiño-Maji Rubén, Conde-Gonzales M.A., & Garcia-Penalvo F.J. (2021). What are
Learning Analytics ?: Analysis from its definition. 1, 10.
Rodríguez-Revilla, R., & Vallejo-Molina, R.-D. (2022). Valor agregado y las competencias
genéricas de los estudiantes de educación superior en Colombia. Revista
iberoamericana de educación superior, 13(36), 44-62.