SUGERENCIAS PARA LA
EVALUACION
DE LAS INSTITUCIONES DE
EDUCACION SUPERIOR

Felipe Martínez Rizo

Contenido del Artículo:

INTRODUCCION.
1.- Lo que no hay que hacer.
2.- Lo que hay que reforzar.
3.- Lo que está previsto.
4.- Lo que se sugiere añadir.
BIBLIOGRAFIA.

INTRODUCCION Contenido Hace ya un cuarto de siglo que se comenzó a hablar de planeación de la educación superior en nuestro país y, simultáneamente, como es lógico, de evaluación institucional. El Instituto Tecnológico de Monterrey realizó su primer autoestudio en 1967, y fue seguido rápidamente por otras instituciones, tanto privadas (U. Iberoamericana, U.A. de Guadalajara, ITAM) como públicas (U.A. de Chihuahua, U. de Sonora) cfr. Latapi, 1982, y Martínez Rizo, 1983) En el nivel suprainstitucional existe desde 1968 el antecedente de la Comisión para la Planeación Integral de la Educación y luego, desde principios de los años 70, los esfuerzos de la SEP y la ANUIES mediante la promoción de autoestudios. Algunas de las nuevas instituciones surgidas en esa época lo hicieron con base en trabajos de planeación más o menos consistentes. Piénsese, por ejemplo, en las tres unidades de la U.A. Metropolitana, las Escuelas Nacionales de Estudios Profesionales de la UNAM, y la U.A. de Aguascalientes. Durante el sexenio de López Portillo nació el Sistema Nacional de Planeación de la Educación Superior, en la Asamblea General de la ANUIES celebrada en Puebla en 1978. Desde entonces y hasta 1988, la planeación y la evaluación institucionales se promovieron con mucho énfasis retórico pero poca insistencia efectiva, con el resultado obvio de que la heterogeneidad institucional siguió siendo la regla. En este contexto puede apreciarse que el énfasis que se está dando a la evaluación de las instituciones de educación superior en los 90, como parte importante de la política de modernización de la educación del actual gobierno, constituye una novedad real en el mundo de la educación superior mexicana, en la medida en que lleva a la práctica por vez primera planteamientos teóricos muy anteriores, y siguiendo lo que parece una de las más claras "macrotendencias" en el mundo de la educación superior contemporánea. En este trabajo se presentan algunas de las conclusiones de un libro que se encuentra en proceso de publicación sobre el tema de la evaluación de las instituciones de educación superior (Martínez Rizo 1991). Con base en una extensa revisión bibliográfica sobre las tendencias mundiales en este terreno, se ofrecen algunas sugerencias que podrían enriquecer los mecanismos de evaluación institucional que se están implantando en el país. 1.- Lo que no hay que hacer. Contenido En primer lugar, nos referiremos a algunos enfoques que, con base en la experiencia de otros países, no parece deseable impulsar en el nuestro. Por una parte, ubicaremos en este apartado a las clasificaciones de instituciones basadas en su prestigio, a partir de las opiniones de conocedores (reputational rankings). La densidad de las redes de interacción (por contactos personales, cambios de trabajo, egresados, investigaciones conjuntas, publicaciones, congresos, etc.) que une a las comunidades académicas de áreas específicas del conocimiento, en un país como los Estados Unidos, hace que allí un acercamiento "subjetivo" de evaluación como éste tenga cierta confiabilidad, pero aún así los riesgos de efectos de halo, u otros sesgos son muy reales. En un país como el nuestro, sin esos mecanismos de comunicación, definitivamente no parece haber condiciones para que una clasificación así resulte mínimamente confiable. Por lo demás, y como señalan los críticos de estas clasificaciones, sus efectos resultan negativos, propiciando una competencia destructiva entre instituciones, y dando lugar a círculos viciosos de falta de prestigio por falta de recursos y viceversa. Si el propósito de la evaluación es el de contribuir al mejoramiento de la calidad institucional, los "reputational rankings" no ayudan. Y otro tanto puede decirse de clasificaciones basadas en una apreciación más objetiva de los insumos o recursos institucionales. Por ello también las incluímos en este apartado de lo que no hay que hacer. El otro tipo de acercamiento que creemos conveniente evitar, aunque por razones muy diferentes, es el que en el estado del arte se designo con la expresión "estudios del valor agregado", en sentido educativo. En principio es deseable poder llegar a evaluar el nivel de entrada de los alumnos a su ingreso a las IES, así como su nivel de salida y, consiguientemente, llegar a detectar lo que añadió la institución, no sólo en cuanto a conocimientos, sino también en cuanto a capacidad de razonamiento, madurez intelectual, cultura general, actitudes, valores, etc. Pero, como ha mostrado uno de los principales impulsores de este tipo de trabajos, Alexander Astin, es tan complejo y prolongado lo que se requiere para hacer con seriedad este tipo de estudios, que no se pueden recomendar como el estándar al que deberían tender las ES. Y si esto es verdad en el sistema de educación superior más grande y rico del mundo, a fortiori lo será en México. Tal vez en el futuro, y como un ambicioso proyecto de investigación, algunas IES lleguen a desarrollar un trabajo sobre el valor educativo agregado; pero pretender hacerlo ahora y, por mucho tiempo pretender hacerlo masivamente sería ingenuo y estéril. 2.- Lo que hay que reforzar. Contenido En segundo lugar, mencionaremos algunos tipos de evaluación institucional que se están desarrollando ya en México y que, en nuestra opinión, son adecuados en principio, permitiéndonos sugerir algunas formas de mejorar tales esfuerzos. El ejercicio de evaluación realizado por las IES mexicanas durante 1990 consistió en una autoevaluación con base en una lista común de indicadores. Para 1991 se tiene previsto un segundo ejercicio semejante, con la lista de indicadores depurada; se considera también el inicio de evaluaciones externas por pares, comenzando a evaluar las licenciaturas más importantes. Esos elementos son adecuados, y todos pueden mejorar aprovechando la experiencia internacional. Por lo que se refiere a los autoestudios, son esenciales especialmente tratándose de IES autónomas, ya que cualquier evaluación externa será inútil si la propia institución no asume dicha tarea. Pero también es claro que los autoestudios institucionales puedan ser mucho más completos y ricos de lo que parecen haber sido en muchos casos en 1990. También es claro que una evaluación profunda no puede ni debe hacerse actualmente, sino a intervalos bastante mayores. Deberán combinarse evaluaciones anuales más sencillas (probablemente limitandolas al análisis de indicadores básicos, cfr. infra) con evaluaciones más profundas con intervalos trienales, quinquenales, etc., sea toda una institución, sea de algunas de sus partes, programas, o aspectos. Una instancia como la SEP, que de diversas maneras puede inducir a las IES a la evaluación, deberá tener en cuenta lo anterior, para no atosigar a instituciones serias con evaluaciones innecesariamente frecuentes, y para así exigir o presionar a instituciones remisas. Al respecto parece desproporcionada la atención a las universidades autónomas, frente a las que se pone para promover la evaluación y planeación de las instituciones públicas no autónomas, federales. Llama la atención que se haya llegado, aunque sea con dificultad, a un consenso de las universidades en cuanto a los lineamientos para la evaluación, al tiempo que el subsistema de tecnológicos maneja sus propios criterios, completamente diferentes. Por lo que se refiere a los indicadores de resultados, creemos que la experiencia internacional permite identificar dos extremos que deberán evitarse: el que consiste en concederles excesivo y exclusivo valor, como si fueran la única manera aceptable de evaluar una IES; y el que consiste en negarles cualquier utilidad y descartarlos como necesariamente superficiales e incapaces de informar sobre lo más importante. En la actualidad se tiende a un consenso tanto en el sentido de que sí es válido sintetizar información relevante en indicadores, como en el de que es indispensable complementar tales informaciones con acercamientos cualitativos y contextualizados, que tengan en cuenta la especificidad de las circunstancias de cada institución. Partiendo de lo anterior, parece que aún el nuevo listado de indicadores cuantitativos y cualitativos propuesto por la CONAEVA para la evaluación de 1991 es demasiado extenso y desigual. Al lado de puntos muy adecuados (tanto porque se refiere a elementos básicos de información, como porque debería ser muy sencillo contar con ellos), se encuentran items que parecen poco adecuados, por diversas razones: - su dudosa utilidad; v. gr.: distribución absoluta y relativa de las instancias colegiadas de acuerdo con el número de ocasiones que se reunieron en 1990 para la formulación de los planes de trabajo, la evaluación de los mismos y el estudio y sanción de casos particulares; - la complejidad de su obtención o la ambigüedad de su significado; v. gr.: la distribución porcentual de las horas semanales de trabajo estudiantil (clases teóricas, seminarios, tutorías, prácticas de laboratorio y de campo, trabajo en biblioteca, etc.) que considera cada plan de estudios, cada facultad en promedio, y toda la institución (promedio institucional); - subjetividad y riesgo de sesgo de las apreciaciones en que se basa el indicador; v. gr.: proporción de las disposiciones del cuerpo normativo básico de la institución (ley orgánica, estatuto general, estatuto del personal académico, reglamento estudiantil y reglamento escolar) que cuentan con todos los elementos requeridos en una disposición jurídica. Si vemos los listados de indicadores que, con distinto enfoque, se utilizan en el Reino Unido, Francia, Holanda o los Estados Unidos, veremos que contienen pocos elementos, pero muy precisos. Es cierto que la falta de tradición evaluadora en muchas IES mexicanas hace necesario un esfuerzo inicial considerable para crear la infraestructura de información básica sobre la que luego será fácil y seguro construir el edificio de un amplio sistema de indicadores. Pero también es cierto que un diseño más sencillo ayudaría a la construcción del sistema. Se propone concretamente: - que se distinga un listado realmente básico de indicadores, y que ese sí se requiera obligatoriamente de todas las IES, y se verifique su confiabilidad; así como no es razonable pedir información confiable con respecto a indicadores tan rebuscados como los mencionados a título de ejemplo líneas arriba, tampoco es admisible - y la autonomía no debería amparar tales situaciones- que una IES no pueda ofrecer los datos mínimos del número de sus alumnos, graduados, profesores de diverso tipo, proyectos de investigación iniciados, terminados o en curso, o presupuestos de egresos e ingresos según los rubros convencionales; si hay fundamento para temer que algunas instituciones alteren sus datos de matrícula al doble de su tamaño real, no es lógico pedir información fina sin asegurar primero la confiabilidad de los datos más elementales.,mediante muestreos de campo si es preciso; - que se proponga un conjunto más amplio de indicadores deseables y se apoye a las IES para que, progresivamente, estén en condiciones de contar con la información respectiva; aquí no se pretendería que desde la primera vez se tuviera todo, y lo que se premiaría serían los avances en la cobertura informativa de cada institución; - que los aspectos cualitativos y contextuales se manejen por separado, con otros acercamientos; - que se añadan ciertos aspectos sencillos de cuantificar y controlar relativos a procesos (cfr. infra). Por lo que se refiere a la evaluación externa de carreras por pares (así como la de otros aspectos como la investigación, la extensión, la administración, también previstos), se trata de un complemento fundamental de la autoevaluación y del acercamiento vía indicadores. Dado que este nuevo elemento está apenas comenzando a implementarse habrá que esperar a conocer las primeras experiencias para valorarlas y sugerir mejoras. Obviamente no deberá partirse de cero, ya que existe una larga experiencia y una abundante literatura a nivel internacional, y también una importante experiencia nacional en el nivel de posgrado. 3.- Lo que está previsto Contenido En este apartado trataremos brevemente de otro elemento del sistema de evaluación de las IES que está considerado tanto en el Programa para la Modernización Educativa como en el documento de Lineamientos generales y estrategia de la CONAEVA. Nos referimos a lo que en este último texto se designa con la expresión "exámenes nacionales de carácter indicativo", cuyo establecimiento, en relación con "las principales carreras profesionales", y junto con "criterios, normas y estándares mínimos de calidad" está previsto dentro de la segunda etapa del proceso, en 1991 1992, y como derivándose de las evaluaciones por pares de las carreras. Al respecto hay que decir algo semejante a lo que se dijo con respecto a los indicadores de resultados: evitando los extremos de sobrevaloración y de rechazo, este tipo de "exámenes nacionales" constituye un elemento que puede enriquecer considerablemente al conjunto de elementos de evaluación, con tal que se maneje adecuadamente. El que se hable de exámenes indicativos hace pensar que quienes prepararon el documento de que se trata tenían conciencia de lo delicado del asunto, y quisieran evitar expresamente el que se pensara en mecanismos de carácter "sumativo", que plantearían graves problemas. En efecto: dada la enorme variedad de planes y programas de estudio, así como de contextos institucionales, que caracteriza al conjunto de las IES mexicanas, sobre todo en el subsistema de universidades autónomas, sería muy inadecuado establecer exámenes únicos con valor decisorio para la acreditación individual de los estudios por parte de los alumnos. Pero, por otra parte, esa misma heterogeneidad hace conveniente que se cuente con mecanismos que permitan comparar unas instituciones con otras en algunos aspectos, y con todas las salvedades del caso. Aceptando como muy razonable que muchos de esos "exámenes nacionales indicativos" se refieran a carreras particulares, hay que observar que -con idénticas precauciones- procederá también evaluar aspectos más generales, para conjuntos de carreras afines, o aún para cualquier carrera. Piénsese, por ejemplo, en aspectos actitudinales, o en cuestiones de cultura general, o de ciencias básicas, etcétera. La sugerencia que se quiere hacer en relación con este punto se basa en la siguiente consideración: ciertamente la elaboración de "exámenes nacionales" como los que se mencionan requerirá de cuidadosas consultas entre académicos de las diversas instituciones, para tener en cuenta la variedad de situaciones reales. Pero también requerirá de un grupo importante y estable de personal altamente calificado en cuestiones técnicas relativas al diseño de pruebas, al procesamiento de grandes volúmenes de datos, a la administración de complejos procesos de construcción, validación, aplicación masiva y tratamiento de pruebas, etcétera. En pocas palabras, no bastarán los mecanismos de consulta, sino que se requerirá de una entidad -centro, instituto, o como decida llamarla- con recursos humanos y materiales suficientes y con mecanismos que aseguren su independencia, la contratación del personal con base únicamente en la competencia profesional, remuneraciones adecuadas y suficiente estabilidad. La creación de un centro así puede hacerse muy rápido desde el punto de vista legal, pero lleva mucho tiempo desde el punto de vista científico. Por otra parte, no depende del avance de otros aspectos, como los procesos de autoevaluación o la evaluación de carreras por pares externos. Por consiguiente, se sugiere que lo antes posible se inicie el establecimiento de esa instancia nacional para que pueda estar en condiciones de operar efectivamente en el horizonte de 1994. 4.- Lo que se sugiere añadir. Contenido Parece posible detectar una tendencia importante en las experiencias de otros países en el campo de la evaluación de la calidad de las IES: se comenzó centrando la atención en los insumos, luego se pasó a los productos, y finalmente se atendió a los procesos. Creemos que esto encierra una lección la evaluación de los insumos es la más fácil, aunque no la más adecuada, y puede ser muy injusta si se maneja aisladamente. En efecto: si una institución con pocos recursos produce buenos resultados esto no se apreciará atendiendo solamente a los insumos, como tampoco se valorará el derroche de una institución rica en insumos y pobre en resultados. Por ello parece muy razonable volver la atención hacia el lado de los productos. Pero, por una parte, evaluar con exactitud éstos últimos es bastante más complejo y, además, la heterogeneidad de las características institucionales y sus entornos puede hacer prácticamente imposibles las comparaciones. Los procesos, por su parte, son de muy diverso tipo y algunos son también muy difíciles de evaluar. Piénsese en los procesos de enseñanza aprendizaje de habilidades congnoscitivas superiores, o de actitudes y valores. Pero, como ya hemos señalado, hay procesos mucho más fáciles de evaluar, y cuya importancia también es muy grande, por constituir una especie de basamento, de condiciones sine quibus non de procesos más finos. Nos referimos de nuevo a lo que en alguna ocasión Don Pablo Latapí designó con la expresión "normalidad mínima": que profesores y alumnos asistan a las clases u otras actividades académicas; que unos y otros realicen la parte de trabajo que les corresponde; que haya programas y que se cumplan; que se respeten calendario y horarios, etc. Es cierto que en la actualidad existen múltiples alternativas frente a las formas tradicionales de concebir la enseñanza; pero también lo es que no se ha podido establecer una clara superioridad de unos métodos de enseñanza respecto de otros, y que el entusiasmo y el tiempo efectivo dedicado a una tarea siguen siendo decisivos para su éxito. Por esto puede afirmarse que si no se cumple religiosamente con esos procesos básicos que constituyen la "normalidad mínima" no se obtendrán resultados adecuados, por más abundantes que sean los insumos con que se cuente, y por más avanzados que sean las concepciones educativas de referencia. Y la evaluación de esos procesos básicos con razonable precisión es técnicamente muy sencilla, si bien pueden oponerse a ella preocupaciones políticas e intereses diversos. Así, no son ciertamente dificultades técnicas las que impiden el establecimiento de un control confiable de asistencias de profesores o alumnos, o de la relación entre el nivel de unos exámenes y los objetivos de los programas correspondientes. Y seguramente un indicador como el porcentaje de asistencia efectiva a clases por parte de los profesores de una IES sería más revelador de su calidad que muchos otros. Ahora bien para verificar la confiabilidad de un indicador así, tenemos que acudir a un concepto que no dejará de provocar molestia, pero que ya hemos encontrado en el estado del arte, ligado al enfoque de evaluación de procesos: el concepto de auditoría académica. Para atender bien esta idea precisamente antes lo que es una auditoría contable, la más antigua de los procedimientos de este tipo, en la que se inspiran otras desarrolladas más recientemente, como las auditorías administrativas, de proyectos de investigación, o las auditorías académicas. Una auditoría contable no es una investigación detectivesca para descubrir desviaciones de recursos o sancionar a funcionarios corruptos, aunque pueda servir para ello. No es algo que deba hacerse únicamente cuando se sospecha de alguien. Por el contrario, es un procedimiento de rutina para verificar la Corrección de los procedimientos contables, el que éstos se apeguen a "las prácticas aceptadas en la profesión". Mediante auditoría contable no se pretende ni se puede llegar a juicios sobre, por ejemplo, la calidad de las estrategias de la empresa para aumentar sus utilidades, o su participación en cierto mercado; mucho menos sobre el impacto de la empresa en la calidad de la vida de los clientes de sus productos o los usuarios de sus servicios. Este tipo de juicios, que son muy importantes, podrá buscarse de otras maneras, pero no se oponen ni substituyen al juicio bastante sencillo de formular, sobre la corrección de los procedimientos contables. Para esto se requiere sencillamente que un auditor competente (técnicamente no es algo difícil) e independiente, para asegurar su imparcialidad (por ello externo), revise (generalmente en forma selectiva, por muestreo) los registros de la empresa o institución auditada. Con lo anterior basta para saber si los procedimientos seguidos fueron correctos, ortodoxos. En caso afirmativo no se va más allá y puede perfectamente suceder que se hayan realizado fraudes o cometido graves errores que tal vez nunca se detecten. En caso negativo procederá, por una parte, a corregir los procedimientos para el futuro; por la otra, a investigar más a fondo -ahora si- para ver si las fallas eran intencionales y servían para ocultar cosas peores, o si todo quedaba allí. En forma análoga, una auditoría de procesos académicos básicos sería una inspección de la corrección de ciertos procedimientos, lo que supone que éstos últimos existan y también que haya registros cuya revisión permita apreciar si los primeros se respetan o no. Así, para poder juzgar si se cumple la normalidad mínima en lo que respecta a la asistencia de los profesores a sus clases, se requiere que la institución tenga establecido un procedimiento oficial de control de asistencias, y que queden registros de ello; una sencilla revisión de tales registros en forma selectiva permitirá juzgar si los procedimientos son confiables y se cumplen y, por lo tanto, si una evaluación basada en ellos podrá tener validez. En forma semejante se podrían revisar los procedimientos de Control Escolar, lo que permitiría valorar la confiabilidad de los datos de matrícula; o bien la existencia de programas de estudio y la de exámenes de conocimientos, así como la correspondencia que haya entre el nivel de ambos, para una misma materia; o los sistemas de control de acervos y préstamo domiciliario o en sala de las bibliotecas, así como el registro de usuarios, etcétera. En nuestra apinión, "auditorías" de este tipo son perfectamente compatibles -al igual que las contables- con el más estricto concepto de autonomía y, además, serían fundamentales en un proceso de búsqueda de la calidad. En cuanto a la autonomía, así como cada empresa puede llevar su contabilidad en forma diferente, con tal que cumpla con ciertos estándares formales, y tienen ciertos estándares formales, y tienen sus propias metas que la auditoría no considera en absoluto, así también cada IES tendrá procedimientos propios, pero deberán manejarse bien, y fijará sus objetivos educativos que no tienen por qué ser cuestionados para opinar sobre la confiabilidad de los procedimientos que se analicen. Y en cuanto a la importancia de estos controles para la búsqueda de la calidad, creemos que ellos permitirán monitorear precisamente si se cumple con la famosa normalidad mínima. Conviene señalar que varios de los "indicadores" propuestos por la CONAEVA serían probablemente más adecuados si se les concibiera como objetivos dentro de un sistema de auditoría académica. Sería el caso, por ejemplo, de items como los siguientes: - políticas y mecanismos de admisión, permanencia y titulación de alumnos aplicados por la institución; - políticas y mecanismos de acreditación del aprendizaje; - políticas y mecanismos de ingreso, promoción y permanencia del personal académico; - políticas y mecanismos para la revisión y actualización de los planes de estudio; - proporción de los planes y programas de estudio de licenciatura y prosgrado que han sido evaluados, revisados y actualizados en los últimos 5, 4, 3 y 2 años; - proporción de planes y programas de estudio que utilizan la evaluación departamental...; - proporción del personal académico de la institución que ha sido objeto de dictamen y promoción en los últimos 5, 4, 3 y 2 años; A guisa de ejemplo sugerimos algunos aspectos que podrían añadirse a la lista de indicadores básicos a que ya nos hemos referido, o tenerse en cuenta en auditorías de procesos académicos como las que se sugieren: - limpieza de la planta física; - conservación del mobiliario de las aulas; - déficit de cubículos para profesores de tiempo; - existencia de equipos que no están en operación; - orden de los acervos de las bibliotecas; - utilización de las bibliotecas por profesores y alumnos; - proporción de profesores titulares o de base sobre el total; - asistencia de profesores y alumnos; - existencia de archivos de programas y exámenes; - eficiencia de los sistemas de control escolar; - mecanismos para determinar la baja de alumnos en situación de irregularidad; - existencia de manuales de sistemas y procedimientos completos; - cumplimiento de calendarios y frecuencia de interrupciones oficiales o extraoficiales; - cumplimiento de horarios por funcionarios. Para terminar esta parte, volvamos sobre una expresión de uso consagrado en los reportes de auditoría, que ya hemos citado: "de conformidad con las prácticas aceptadas en la profesión". Evidentemente la concepción de cuáles son esas prácticas "aceptadas" va cambiando con el tiempo, y precisamente la práctica de auditar las va haciendo cambiar con mejores fundamentos. En el terreno educativo hoy por hoy está mucho menos claro cuáles serían prácticas aceptables y cuáles no. Pero sería precisamente la práctica de auditarlas, y de poner en común y discutir los resultados de tales revisiones, lo que permitiría avanzar en su definición. Resulta ilustrativo citar finalmente los objetivos de la ya mencionada Unidad de Auditoría Académica creada en 1989 por el Comité de Rectores de las universidades del Reino Unido, según su documento constitutivo: - considerar y revisar los mecanismos con que cuentan las universidades para monitonear y promover los estándares académicos que se requieren para alcanzar sus fines y objetivos; - opinar sobre la medida en que los procedimientos existentes en una universidad en particular reflejan las prácticas más adecuadas para mantener la calidad, y son aplicados en la práctica; - identificar y recomendar a las universidades las prácticas más adecuadas en relación con el mantenimiento de estándares académicos a nivel nacional (cfr. Young, 1990). BIBLIOGRAFIA Contenido LATAPI SARRE P., "Cuatro autoestudios asesorados: la experiencia del Centro de Estudios Educativos, A.C.", Revista Latinoamericana de Estudios Educativos, Vol. XII (1982), No. 1 pp. 43-55. MARTINEZ RIZO F. "Planeación de la educación superior en México 1968-1982", Revista de la Educación Superior, Vol. XII (1983) No. 1 (45), pp. 49-58. MARTINEZ RIZO F. La calidad de las instituciones de educación superior. Su evaluación y su promoción, por aparecer, 1991. YOUNG D., "The Academic Audit Unit", en Goedgebuure L. C. J., Maassen P.A.M. y Westerheijden D.F. eds., Peer Review and Performance Indicators, Utrecht, Uitgeverij Lemma, 1990, pp. 71-79