ALTERNATIVAS METODOLOGICAS PARA EVALUAR LA CALIDAD
DE
PROGRAMAS EN EDUCACION SUPERIOR
MARIA DE LA LUZ ROMAY MUÑOZ
María de la Luz Romay Muñoz es profesora-investigadora
del Departamento de Desarrollo Humano de la Universidad Iberoamericana.
Contenido del Artículo:
|
Estudios sistemáticos sobre la calidad de la educación superior no se han intentado en México. Ciertamente existen diversas prácticas institucionales para evaluar sus programas académicos, pero rara vez constituyen esfuerzos permanentes e integrados con otras acciones administrativas y formativas. Además, las distintas condiciones y tipos de instituciones y programas en educación superior hacen que "no solamente [sea] muy difícil medir la calidad, sino que sería injusto comparar diversas instituciones que operan en muy variados contextos o circunstancias históricas" (Alvarez Tostado, 1986: 26). Tomando en cuenta la problemática antes descrita, este artículo intenta clarificar qué significa el término calidad aplicado a acciones educativas y cuáles son los principales enfoques que a nivel internacional se conocen como modelos para evaluar la calidad de los programas en Instituciones de Educación Superior. El concepto de calidad tiene múltiples dimensiones y diferentes significados. El diccionario de la Real Academia lo define como "algo que es esencial o valioso" (Arredondo, 1983: 44); sin embargo Arredondo (1983) recomienda que uno se pregunte "quién está cuestionándose acerca de la calidad, con qué propósitos y desde qué perspectiva" (p. 45). El concepto de calidad tiene distintos enfoques dependiendo del marco teórico que se use. Por ejemplo, Levin sostiene que preocuparse por la calidad de la educación es muy diferente cuando se hace desde una perspectiva humanista que cuando se considera desde la visión de teorías económicas o sociológicas (Alvarez Tostado, 1991). En educación, calidad frecuentemente implica una búsqueda de constante mejoramiento, competencia técnica, excelencia en la acción, o por obtener un mayor desarrollo personal y se relaciona con el cumplimiento de los propósitos educativos (Carabaña & Torreblanca, en Alvarez Tostado, 1991). Calidad y excelencia son dos términos esencialmente interrelacionados; ambos conllevan una dimensión de estilo, no solamente en cuanto a logros sobresalientes, sino que implica altos estándares y una decisión de no contentarse sino con aquello más valioso que se puede lograr. Sin embargo, existen importantes diferencias entre los dos términos. Excelencia es más usado en relación con lo que hacen las personas, mientras que calidad es una característica que se aplica más a los procesos grupales. Ambos conceptos están asociados con cierto nivel de mérito o valor. Lincoln y Guba (1979) han argumentado que tener mérito representa una característica objetiva, independiente de cualquier requisito o del uso que se le dé. En otras palabras, la idea de que algo es valioso, supone una apreciación o concepción axiológica. Excelencia tiene una connotación de lograr estándares absolutamente superiores, no necesariamente relacionados con un determinado tiempo o contexto. El concepto de calidad incluye elementos tanto de mérito como de valor; esto significa que un alto nivel de logro es obtenido, pero no necesariamente tiene que ser el máximo nivel, lo cual quiere decir que se considera que es valioso para quienes toman parte en la experiencia. Estándares y necesidades varían en los individuos y situaciones históricas y sociales, de ahí que la definición de calidad necesariamente cambia. George Kuh (1981) señala que calidad es un término relativo. Algo es percibido como de "alta calidad" si cumple con ciertos estándares o si responde adecuadamente a necesidades específicas de los individuos o grupos sociales. Esta noción ha sido enfatizada por expertos como Carnoy, Coombs, Llereña y Levin, quienes han analizado el problema de la calidad de la educación en los países del Tercer Mundo. También con relación a la subjetividad del significado de calidad, Diez Hochleitner dice que "la calidad en educación está relacionada con el sistema de valores de los principales actores de los procesos educativos, los maestros y estudiantes, así como también incluye las percepciones de la sociedad como tal." (Alvarez Tostado, 1991: 27). Comparando la calidad con otros términos que se usan frecuentemente como sinónimos, tales como eficiencia, eficacia y relevancia, uno podría decir que un programa es eficaz y relevante si responde a las necesidades sociales y/o individuales para las que fue creado y si cumple con un mínimo de condiciones académicas preestablecidas. Eficiencia es un concepto que tiene un tono económico, implica que el programa consigue sus propósitos con un bajo costo. En cambio, calidad sugiere que sus objetivos y metas se logren en forma completa y uno deberá enfocarse más sobre los procesos. "Adecuación" sugiere un nivel de suficiencia para determinadas personas en un determinado contexto o lugar y abarca los elementos de valor, pero no necesariamente de mérito. La mayoría de los investigadores está de acuerdo en que calidad es un concepto multidimensional que alude a una noción operativa. Calidad está también intrínsecamente ligada a problemas tales como equidad: "Analizando cómo ha sido evaluada la calidad, uno puede comprender en qué contextos ha sido medida y qué acciones podrían haberla mejorado" (Lawrence & Green, 1980: 3). La calidad de la educación es juzgada continuamente al comparar instituciones (Astin, 1979; Young, 1976). Lawrence y Green (1980) sugieren que la calidad debería referirse a los objetivos y metas definidos a nivel departamental o institucional. Por tanto, existe casi consenso acerca de que la calidad debería ser analizada a la luz de aquellos propósitos que supuestamente una institución o programa tienen que servir, pero aún existe desacuerdo respecto a cuáles son los mejores medios para identificarla o evaluarla. La evaluación de la calidad de los programas de educación superior generalmente "ha estado referida a las características de los docentes, en otras ocasiones se han considerado la disponibilidad de instalaciones o apoyos materiales, la pertinencia del currículo o el perfil de los estudiantes como dimensiones de calidad" (Smart, 1988, Conrad & Blackburn: 283). Con frecuencia se piensa que un programa es de calidad si cuenta con las instalaciones necesarias, una clara definición de su currículo y una demanda suficiente. Algunos estudiosos identifican atributos más difíciles de cuantificar como indicadores de calidad; ellos han señalado cualidades como: liderazgo, mística, claridad en sus propósitos y un clima organizacional sano. Para mucha gente la calidad de un programa no puede reducirse a un conjunto de indicadores cuantitativos, sino que es más el conjunto de ciertas características. Diversos autores afirman que la calidad en un programa o institución educativa exige la convergencia de muchos elementos, pero ninguno de ellos en forma aislada, ni la suma de todos ellos garantiza resultados de calidad. Diez Hochleitner y Delval afirman que todos los indicadores usados para medir calidad influyen en ella, pero no son determinantes de ella (Alvarez Tostado, 1991: 27). En educación superior la mayoría de los enfoques para evaluar la calidad ha sido cuantitativa, determinando calificaciones o rangos para las instituciones, estableciendo estándares para los cuerpos docentes; sin embargo, los enfoques cualitativos representan también un camino válido para evaluar la calidad. Aunque una perspectiva ecléctica u holística que incluyera elementos cuantitativos y cualitativos sería quizás la más valiosa. De acuerdo con Morgan y Mitchell (1988) hay al menos seis distintos enfoques para definir la calidad de la educación: 1) Vinculando la excelencia académica con el logro de resultados económicos o políticos (Heyneman, 1986); 2) centrándose en la racionalidad del proceso educativo y el control de sus componentes con objeto de impulsar la "productividad" educativa; 3) reconociendo los valores culturales, las limitaciones del contexto, las oportunidades y el mejoramiento del desarrollo educativo (Pescador Osuna, 1983); 4) identificando la habilidad de los maestros para suscitar en los estudiantes altas metas, así como dando importancia al clima y características de la escuela y del sistema de enseñanza (Cohen, 1981; Edmonds, 1982); 5) considerando el currículo como el componente clave de los procesos educativos; o bien, 6) combinando algunos aspectos de los anteriores enfoques mediante el juicio de si las instituciones cumplen objetivos previamente definidos. Estos enfoques no son mutuamente excluyentes. En su libro Planeación efectiva para una educación de calidad, Berquist y Armstrong (1986) señalan que "la educación superior ha tendido a buscar indicadores cuantitativos para identificar y evaluar lo que significa una elevada calidad". Tales criterios con frecuencia responden a preguntas relacionadas con "cuántos" y "cuánto vale". Esas medidas cuantitativas proporcionan descripciones, datos estadísticos o estándares, pero no explican qué ocurre realmente dentro de las instituciones en relación con el proceso educativo. Las medidas de la calidad centradas en resultados se enfocan típicamente sobre "las características de los egresados, o en su nivel de éxito una vez que entran en el ejercicio profesional". Aun cuando estas mediciones dan un cierto sentido de las condiciones académicas de una institución en particular, proveen información poco útil para juzgar la verdadera calidad de los programas que se ofrecen. La calidad de un programa educativo puede ser adecuadamente apreciada sólo si uno puede determinar hasta qué punto dicho programa contribuye directamente a obtener los objetivos deseados. A esto se le llama la definición del "valor" del programa. En la medida en que la institución ha añadido "determinados valores" a las características de sus estudiantes (en sus habilidades y capacitación profesional) especificando la forma en que se han logrado dichos resultados, en esa medida se puede decir que esa institución está ofreciendo una educación de calidad. Una amplia definición de calidad educativa debe tener todas esas dimensiones. Por tanto, los criterios para valorar la calidad de los programas podrían incluir las siguientes características: 1. Ser atractiva: esto significa que por sus propias características resulta que la gente la busca. Intentos por definir "calidad" y por determinar qué tipos de indicadores deberían ser usados siempre han existido. Por ejemplo, se han llevado a cabo diversos estudios para evaluar la calidad de la educación superior de Estados Unidos (Carnegie, 1968; Cartter, 1966; Webster, 1986). La literatura más reciente revela que hay cuatro perspectivas para valorar la calidad de los programas educativos (Conrad & Wilson, 1985: 50-54): 1. Estudios sobre el prestigio de las instituciones En este caso la calidad se determina mediante la evaluación de expertos y se supone que personas conocedoras del campo son quienes pueden hacer los mejores juicios usando criterios establecidos previamente. Este estilo de evaluación refleja la convicción de que la mejor manera de apreciar la calidad es buscar opiniones de sujetos bien informados. El principal acierto de este método descansa en el hecho de que quienes califican a las instituciones supuestamente conocen qué significa la calidad en educación superior. Ha existido una gran tendencia a creer en esas clasificaciones, pensado que reflejan lo que la mayoría de la gente cree que es la verdad (Webster, 1981). Los rangos o índices de reputación han sido criticados porque quienes los establecen no siempre tienen, como se suponía, un conocimiento profundo sobre los programas evaluados. La falta de "visibilidad" de muchos programas y los "efectos de halo" son otras de las limitaciones de este enfoque de evaluación. En otras palabras, los estudios basados en la reputación han incluido principalmente a las instituciones más importantes, las cuales obtienen calificaciones altas porque la opinión pública las tiene en un alto concepto (Webster, 1981). Los estudios reputacionales han predominado en Estados Unidos en la investigación sobre calidad de los programas e instituciones educativas (Cartter, 1966; Jones, Lindsay, 1982; Roose & Anderson, 1970). Otra forma de seleccionar a evaluadores es también la identificación de "pares" o especialistas en las disciplinas afines al programa. En general, la mayoría de esos estudios sigue procedimientos similares: los investigadores seleccionan una serie de criterios que sirve como base para la evaluación, encargan a un conjunto de "expertos" que califiquen los programas en relación con esos criterios y entonces se comparan las calificaciones, obteniendo un puntaje que ordena en rangos los programas. Comparando los rangos producidos por todos esos estudios se puede notar un patrón consistente en los resultados; la valoración de la reputación ha identificado repetidamente a los mismos programas en los rangos más altos. Por ejemplo, Astin y Solomon (1981) admiten que su estudio evaluativo basado en el prestigio de los programas sólo arroja datos preliminares dada la pequeñez de la muestra. Ellos encontraron que diversificando los criterios de clasificación se podría mejorar la apreciación de la calidad de los programas, y que de otra manera algunos programas podrían ser sobrevalorados. Las críticas metodológicas de los estudios reputacionales arguyen que los jueces calificadores no están suficientemente bien informados para que puedan hacer juicios acerca de la calidad de programas en otras instituciones. Por tanto, esos estudios solamente describen medidas relativas basadas en el prestigio de las instituciones. Los factores externos que influyen en la reputación académica de los programas raramente son considerados. 2. Enfasis en la calidad de los recursos existentes Otra visión particular sobre la calidad enfatiza la existencia de recursos humanos, financieros y materiales que se dedican a un programa determinado. Se considera que una alta calidad se da en la medida en que abunden recursos como alumnos brillantes, excelentes maestros, suficiente presupuesto, apoyo económico a la investigación y adecuadas instalaciones. La disponibilidad de esos recursos se mide de diversas maneras, incluyendo por ejemplo promedios obtenidos por alumnos, número de becas y volúmenes en la biblioteca, etc. Las ventajas de usar esta forma de evaluación es que esos datos son fáciles de obtener; en la mayoría de las instituciones se puede saber qué recursos existen y comparar la situación de diversas instituciones. Pero no existe evidencia suficiente sobre si la disponibilidad de más recursos asegura o favorece el mejoramiento del aprendizaje de los estudiantes (Astin, 1991). Esta perspectiva pone un techo falso para apreciar la calidad, ya que hay que considerar que la cantidad de recursos tendrá siempre un límite. Los investigadores que usan este método siguen el siguiente procedimiento: seleccionan cierto número de criterios, y a priori desarrollan índices sobre esos indicadores; conforme a esos índices clasifican los programas. Sin embargo, existe falta de acuerdo entre los investigadores respecto a los indicadores apropiados para valorar la calidad, de ahí que una gran cantidad de indicadores y criterios han, sido usados para realizar evaluaciones de programas de educación superior. Cada vez más se tiende a multiplicar los criterios e indicadores de referencia. Existe una clara correspondencia entre dichas evaluaciones y los rangos obtenidos por distintas universidades en diferentes estudios reputacionales, aunque las calificaciones obtenidas por programas particulares varían ligeramente. Buscando formas de medir la calidad de los programas, los investigadores tendrían que tomar en consideración criterios de adecuación, frecuencia o cantidad al emplear indicadores de calidad. Es un hecho que los criterios para elegir los indicadores que permiten apreciar la calidad de los programas tienen que ser mejorados. Las críticas de este enfoque señalan que la mayoría de los estudios que lo han aplicado reflejan los sesgos de los investigadores en la selección de los indicadores o subrayan fuertemente en el nivel de formación de los docentes. La mayor parte de los indicadores utilizados para valorar la calidad son aplicables sólo a las instituciones más importantes y muchos investigadores han fallado al intentar aislar el efecto independiente que tiene la correlación de variables particulares. Sin embargo, los estudios basados en indicadores objetivos han contribuido a evaluar la calidad si se emplea un criterio multidimensional. 3. Enfoque sobre los resultados Otra forma de valorar la calidad es poner atención especial en los resultados; es decir, se trata de analizar qué producen los recursos invertidos. Este enfoque se centra en la calidad del producto. Indicadores asociados típicamente con esta perspectiva son la productividad de los docentes, los logros de los estudiantes al término de sus estudios, el grado de satisfacción de los empleadores con el desempeño de los graduados y la contribución de la institución a la solución de problemas locales, regionales o nacionales. Esta perspectiva tiene varias ventajas. El énfasis se pone en lo que está pasando con quienes son o han sido parte del programa. La clave estará en las formas de medir esos resultados, las cuales deben ser factibles de aplicar en todos los casos estudiados (Webster, 1981). 4. Valoración del impacto producido Este enfoque considera que la auténtica calidad reside en "la capacidad de la institución para dejar una huella favorable en los estudiantes y lograr efectos positivos en su desarrollo intelectual y personal" (Astin, 1980: 4). Este enfoque toma de manera particular en consideración la calidad de los estudiantes que ingresan a la universidad. Las limitaciones para aplicarlo son el tiempo y dinero, ya que estos estudios requieren amplios sistemas de registro de datos que permitan hacer seguimiento de gran cantidad de estudiantes. Además es difícil conseguir consenso respecto a lo que los estudiantes tienen que aprender y cómo ese aprendizaje podría ser medido. No es fácil determinar cuál es la contribución directa de un programa en el desarrollo de los estudiantes. Los efectos de otros factores son difíciles de controlar. Basándonos en la literatura revisada, podríamos concluir que existen necesidades prácticas
y teóricas para ampliar los estudios acerca de la calidad de programas educativos con objeto de identificar
los factores que la afectan y desarrollar teorías al respecto. Por ejemplo, se debe poner mayor atención
sobre factores ambientales que influyen en los programas. Se puede esperar que, dada la preocupación actual
sobre la calidad de la educación, los resultados de futuras investigaciones contribuirán a aclarar
qué métodos permiten evaluar más integralmente la calidad de los programas educativos. Arredondo, Martiniano, "El Concepto de Calidad de la Educación Superior", en Perfiles Educativos, México, UNAM/CISE, n. 19,1983. Astin, A.W. & Solomon L.C., "Measuring Academic Quality" en Change, 1979, 11, 48-51. -, Achieving Educational Excellence, Jossey-Bass, San Francisco, 1985. -, The Assessment for Excellence: The philosophy and practice of assessment and evaluation in higher education, American Council on Education, New York, Macmillan, 1991. Berquist, W. and Armstrong, J., Planning Effectively for Educational Quality, Jossey-Bass, San Francisco, 1986. Carnegie Commission on Higher Education, Quality and Equality: New Levels of Federal Responsibility for Higher Education, New York, Mc Graw Hill, 1968. Cartter, A.A., An Assessment of Quality in Graduate Education, Washington, D.C., American Council on Education, 1966. Cohen, M., "Effective Schools: What the research says", en Today's Education, 1981, 70, 466-496. Conrad, C.F. & Wilson, R.F., Academic Program Reviews: Institutional Approaches, expectations and controversies, ASHE-ERIC, Higher Education Report, No. 5, Washington, 1985. Edmonds, R., "Program for school improvement: An Overview", en Educational Leadership, 40, 1982, 4-11. Guba, E. & Lincoln, Y., Effective evaluation: Improving the usefulness of evaluation results through responsive and naturalistic approaches, San Francisco, Jossey-Bass, 1981. Heyneman & Siev White. The Quality of Education in Developing, Countries, Washington, World Bank, 1986. Jones, L. V., Linzey, G., & Coggeshall, P.E., An Assessment of Research doctorate programs in the United States, Washington, National Academy Press, 1982. Kuh, George, Indices of Quality in the Undergraduate Experience, ERIC-AAHE, Reprot No. 4, Washington, 1981. Lawrence, J.K. & Green K.C., A Question of Quality: The Higher Education Ratings Game, ASHE-ERIC, Research Report No. 5, Washington, 1980. Lindsay, A.W., "Institutional performance in higher education: The efficiency dimension", en Review of Educational Research, 1982, 52, 175-199. Morgan, D.R., "Assessing Quality among Graduate Institution of Higher Education in U.S.", en Social Sciencies Quaterly, 1976, No. 57, 671-679. Roose, K.D. & Anderson, C.J., A Rating of Graduate Programs. Washington, American Council in Education, 1970. Smart, J., Handbook of Theory and Research in Higher Education, New York, Agathon Press, 1990. (Program Quality in Higher Education Clifton Conrad and Brackburn, Robert, p. 283-308. The Quest for Excellence - Morgan Antony and Mitchell Brad, p. 309-348. Webster, D.S., "Advantages and disadvantages of methods of assessing quality", en Change, 1981, 13, 20-24. -, Academic quality Rankings of American Colleges and Universities, Springfield, Charles Thomas Pub., 1986. Young, A., "Quality: The competitive strategy", en Science, 1983, 222, |