INTRODUCCIÓN Contenido El catálogo de principios acciones y líneas de política en relación al desarrollo social y económico de nuestras comunidades incluye invariablemente, desde fecha inmemorial, un conjunto de afirmaciones que tienen como propósito común el vincular a la educación con dicho desarrollo. Los efectos de la educación en la calidad de vida de una comunidad son tan evidentes que forman parte de esa sabiduría "natural" que los grupos humanos pasan de generación en generación. Sólo en los grupos marcadamente primitivos y rezagados se subestima o ignora la importancia y trascendencia que tiene educar a los integrantes del grupo social. No obstante la evidencia de tales vínculos entre la educación y el desarrollo social, nuestras naciones aún presentan casos y viven lapsos en los cuales es clara la incongruencia entre un discurso vigoroso en favor de la educación y una acción débil o ineficaz. Unas veces por imposibilidad económica y otras por una incapacidad técnica que puede tener orígenes muy remotos. Desde el colonialismo primitivo hasta el telemático y satelital, y desde el presupuesto de una "economía de guerra" hasta la corruptela más rudimentaria de un intendente escolar le han llegado a la educación los atentados y también las explicaciones y "justificaciones" de su rezago. Los retos para la educación siguen siendo enormes, quizá no para todos los países, pero ciertamente para las naciones latinoamericanas. Este documento trata acerca de uno de esos retos: lograr que la educación sea de buena calidad. El tratamiento se hace, casi exclusivamente, en cuanto a lo que sucede en México en el momento presente, digamos los últimos diez años, y con particular énfasis en la educación superior. ¿Por qué destacar este propósito tan poco novedoso? Si la educación ha ser un factor del desarrollo económico y social en una nación; si la educación -o la sola instrucción- ha de ser un determinante en la calidad de vida de una persona, entonces la educación ha de ser no sólo un servicio público de fácil alcance para el universo de la población, sino una función social permanente de buena calidad. Sólo así es efectivo ese servicio. Educación para todos sí, no hay duda; pero, ¿la misma clase o modalidad de educación para todos? No, pues la población es diversa; pero en cada caso la educación ha de ser de buena calidad, cualquiera que sea el nivel, modalidad o tipo de educación que se ofrezca. La oportunidad de educarse que una sociedad ofrezca a sus integrantes solamente será auténtica cuando sea de buena calidad. La educación defectuosa podría concluir en una falsa oportunidad. Los indicadores y las estadísticas de carácter demográfico y económico que suelen emplearse han de complementarse con indicadores cualitativos. La evaluación de los sistemas educativos; la evaluación de los quehaceres y servicios que entraña educar a un ciudadano o adiestrar a un profesional va más allá del porcentaje del PIB, de la relación con la cohorte de población, de la proporción de graduados o de la tasa de retorno, indicadores ya muy importantes por sí mismos. En México, y con toda seguridad en los demás países, se tiene conciencia de los asuntos antes mencionados, pero el grado de compromiso de los protagonistas de la educación es diverso y el entusiasmo y la voluntad de unos se enfrenta al escepticismo de otros. Lo mismo sucede respecto a la idoneidad y capacidad para realizar las tareas de la educación, en lo general, y las de su evaluación, en lo particular. No hay sorpresas: durante el proceso para evaluar sistemáticamente al sistema de educación ocurren los mismos fenómenos -individuales y grupales- que caracterizan todo intento de cambio o transformación. Las reacciones son explicables, ya que es trivial pasar, por ejemplo, de una situación en la que el "bien hacer" de una universidad era un acto de fe generalizado a una circunstancia en la que se debe verificar y dar evidencias de ese desempeño a la luz de criterios externos, además de los de la propia institución educativa. Y así por el estilo en cuanto a las diversas líneas de acción seguidas desde la creación del Sistema Nacional de Planeación Permanente de la Educación Superior (SNAPPES) en 1978 y de la Comisión Nacional de Evaluación de la Educación Superior (CONAEVA) en 1990. En la primera parte de este texto se explican, a grandes trazos, la concepción y los cinco criterios esenciales que orientan o caracterizan la calidad de un programa1 educativo. Asimismo, se explica la relación entre estos cinco ejes con los componentes, los procesos y los resultados de cada una de las funciones que realiza una Institución de Educación Superior (docencia, investigación, difusión, administración y gobierno). La segunda parte contiene la información inherente a las estrategias y acciones concretas más relevantes e ilustrativas que describen lo que actualmente se hace en México en materia de evaluación para la educación superior. Por último, se presenta un bosquejo de los escenarios futuros en el campo de la evaluación, los cuales tienden hacia la constitución de sistemas para certificar periódicamente a los profesionales y para acreditar a los programas e Instituciones de Educación Superior de manera formal y sistemática. Como podrá colegirse al final de esta exposición: en todas partes se cuecen habas y nada nuevo hay bajo el sol. PRIMERA PARTE: LOS CRITERIOS DE CALIDAD Contenido Si la finalidad última de un acto de evaluación es aportar elementos para mejorar la calidad de aquello que es evaluado, un sistema para evaluar la educación superior ha de comenzar estableciendo lo que asume como criterios, indicadores y parámetros de buena calidad para esa tarea. Ciertamente se trata de un compromiso difícil y complejo, pero no es admisible soslayarlo ni escamotear, al menos, la toma de una posición. Aun con la certeza de que al abordar estos asuntos uno se mueve en terreno resbaladizo, es necesario moverse. De lo contrario, se puede terminar en la parálisis, en la cancelación o el ejercicio simulado de la función evaluativa. Este es un paso trascendente si se desea poner en práctica dicha función, especialmente cuando el propósito es hacerlo de manera formal, sistemática y con alcance nacional. Quien pretende evaluar un sistema educativo ha de fijar los puntos de vista, los criterios, los enfoques, etcétera que orientarán su quehacer, seguramente no convencerá a todos, pero ello no es su obligación. Lo que no puede omitir es expresar su modo de ver lo que hace. En documentos específicos y detallados2 la CONPES, la CONAEVA, la SEP, la ANUIES, el CONACyT, los CIEES, el CENEVAL, algunas academias nacionales, algunos colegios de profesionistas y algunos consejos de acreditación han publicado los marcos conceptuales y los criterios que orientan las actividades de evaluación que realizan. La manera de abordar el asunto obviamente diversa y congruente con su particular objetivo; sin embargo, es factible hacer una síntesis de los aspectos esenciales que caracterizan a todos los enfoques particulares. Los cinco ejes esenciales Contenido En México, la mayoría de los responsables de evaluar en la educación superior han construido esquemas y marcos de referencia. De diversas formas se adopta la idea de que la calidad de un programa3 educativo se establece en la medida que sea eficaz, eficiente, pertinente, trascendente y equitativo. Por supuesto que no se trata de una mera selección de adjetivos. Cada uno de estos ejes tiene implícitos múltiples atributos, pero cada uno de ellos es conceptualmente distinto; no se trata de sinónimos. Cada eje implica un criterio de calidad distinto, así, un programa puede ser eficiente, pero intrascendente. Por lo tanto, una premisa necesaria es asumir que ninguno de los criterios por sí solo basta para identificar cabalmente la calidad de un programa educativo. Con distinto peso e importancia (que puede ponderarse según la naturaleza de cada programa o institución) los cinco criterios han de tenerse en cuenta como aspectos complementarios entre sí. El criterio de eficacia Contenido En su esencia, la noción de eficacia se refiere a la medida en que se logran los propósitos. Un programa será eficaz según la proporción de metas que alcance o cubra satisfactoriamente (lo cual no basta para calificarlo como bueno o malo). En el caso de un programa inherente a la educación superior, la eficacia suele expresarse con indicadores como: - Proporción de objetivos de aprendizaje que logra un alumno. - Proporción de alumnos participantes que logran el estándar o parámetro establecido como meta del programa. - Proporción de las veces en que un programa logra cumplir los estándares establecidos. A partir de lo anterior surgen las habituales expresiones mediante índices y coeficientes como "tasa de graduación o titulación", "tasa de reprobación", "eficacia terminal", etcétera. Es claro que la puesta en práctica de los indicadores relativos al criterio de eficacia depende necesariamente de la existencia de objetivos, metas, propósitos, etcétera, clara y cabalmente expresados. Esto suena como una obviedad que ofende, pero la inexistencia o vaguedad o imposibilidad de constatación en lo que se refiere a las metas, objetivos, estándares, etcétera, en los programas educativos de nuestro país es un problema frecuentísimo. De esta circunstancia se desprendió uno de los propósitos iniciales de la CONAEVA: lograr que cada institución de educación comunicara sus propósitos, objetivos y metas en términos que permitieran la constatación y verificación de su eventual logro. En cierta forma, se viene tratando de explicitar el compromiso de cada quien. Cumplir lo prometido es otra forma de llamar a la eficacia. El criterio de la eficiencia Contenido Ya se ha descrito la noción general del concepto y se ha destacado la importancia que tiene la eficacia de un programa; también debe decirse que cubrir ese aspecto de la calidad en un nivel alto de desempeño es todavía un arduo desafío para la mayoría de los programas educativos mexicanos. El asunto se complica cuando se pasa a evaluar a la luz del siguiente criterio: el de eficiencia. El núcleo del concepto "eficiencia" estriba en la forma de usar los recursos. Se es eficiente en la medida que se aprovechan al máximo los elementos disponibles (personas, talentos, capacidades, tiempo, tecnologías, circunstancias, oportunidades, etcétera); hay quienes simplifican quizá demasiado y condensan todos estos elementos en el rubro "dinero". Con el ajuste de cada caso, puede decirse que un programa educativo será eficiente según el provecho que obtenga ~e los recursos disponibles. Pero hay tamices y aspectos que deben tenerse en cuenta. Un aspecto crucial es diferenciar entre "eficiencia con recursos suficientes" y "eficiencia sin recursos suficientes". Hacer lo anterior implica un ejercicio para determinar lo que podría llamarse "recursos indispensables para lograr los objetivos y metas" (cosa que se hace en cualquier planificación medianamente, sensata) y con estos elementos identificados -las metas alcanzadas y los recursos- puede procederse a establecer la eficiencia. En la práctica, la evaluación de la eficiencia conduce a situaciones típicas como las siguientes: - Eficiencia agregada a la eficacia, en la cual se logran los objetivos y metas (conforme a estándares) aprovechando al máximo los recursos. - Eficiencia sin eficacia, circunstancia engañosa en la cual los indicadores de eficiencia son adecuados, pero no se alcanzan las metas en una medida satisfactoria. - Eficacia sin eficiencia, caso no negativo necesariamente en el cual se logran las metas, aunque con altos costos, largos plazos, repercusiones indeseables, etcétera (victorias pírricas). - Por último queda el tipo de casos en los cuales no hay eficiencia ni eficacia, es decir, cuando el programa no logra sus metas pese a disponer de los recursos suficientes. Los enfoques y políticas de evaluación que hacen énfasis en los indicadores de eficiencia entran en juego cuando se utilizan los resultados de la evaluación con propósitos de financiamiento. El procedimiento de evaluación que se conoce como "rendimiento de cuentas" (accountability) es el ejemplo más socorrido. La historia de las relaciones del gobierno y las agencias financiadoras con las universidades podría analizar miles de batallas por el financiamiento que van desde la polémica entre trascendentes concepciones y valores hasta una que otra guerra sucia. En este contexto debe afirmarse que la eficiencia por sí sola es un criterio pobre o, al menos, insuficiente. Para empezar, la eficiencia necesariamente ha de supeditarse al logro de los propósitos. En la práctica, la medida en que se obtiene un provecho óptimo de los recursos debe entenderse como un atributo adicional de la eficacia. Por ello, en las políticas de financiamiento tienen especial relevancia los antecedentes de las instituciones educativas en el logro de sus metas y en el uso de los recursos. Cuando hay ciertas restricciones en el logro de las metas, pero se acompañan de altos índices de eficiencia, puede asumirse una buena "potencialidad" en dicho programa. Lo anterior, como política de financiamiento, contrarresta la tendencia que haría cada vez más grande la brecha entre los programas eficaces y los no eficaces. Así, una política de apoyar no sólo lo demostradamente bueno, sino lo potencialmente bueno se aplica a menudo en México. En síntesis, eficacia y eficiencia son criterios inseparables. En un ejercicio de evaluación, los indicadores de eficacia y eficiencia se podrían combinar estableciendo estándares como los siguientes: 1) Se calificará como "desempeño excelente" en el rubro de eficacia a aquel programa de formación de profesionales (nivel de licenciatura) que alcance los siguientes estándares: - Los alumnos que concluyen el programa logran el 90% de los objetivos esenciales del currículo y al menos el 80% de los objetivos complementarios. (Aquí sería necesario hacer diversas precisiones según la naturaleza de cada programa). 2)La eficiencia en el logro del anterior estándar de eficacia podría calificarse así: - Excelente: a) cuando el estándar es logrado por el 90% de los alumnos que iniciaron el programa en un lapso no mayor de 8 semestres. b) cuando el estándar anterior se alcanza a un costo no mayor a X pesos constantes. c) cuando la población cubierta no es inferior a X alumnos. Este tipo de ejercicios han de realizarse cuidadosa y sistemáticamente en cada programa de la educación superior. Las características de los propios procedimientos y los niveles de los estándares que cada institución fija para evaluar sus programas constituyen, a su vez, un valioso indicador de la calidad del modelo de administración y gobierno en dicha institución. Por su parte, la CONAEVA publicó en 19904 un documento que incluye una amplia relación de indicadores y parámetros inherentes a los más diversos propósitos del sistema educativo nacional. Criterios operativos y criterios esenciales Contenido Dejar el juicio de la calidad de un programa de educación superior solamente a merced de los resultados conforme a los criterios de eficacia y eficiencia sería una decisión muy pobre, al menos desde el punto de vista estrictamente cualitativo. El argumento más evidente es el muy cuestionable valor de una eficacia y una eficiencia en el logro de objetivos educativos que fueran irrelevantes, intrascendentes, discriminadores, etcétera. Ciertamente la eficacia y la eficiencia son criterios supeditados a otros de mayor jerarquía en la escala de valores de una comunidad genuinamente comprometida con la justicia social, el bienestar de la mayoría, el conocimiento científico, el desarrollo tecnológico que libera del trabajo bestial, el disfrute de las expresiones artísticas y muchas otras aspiraciones y postulados como los que la Constitución Federal establece en México en su ideal educativo. Así, los distintos organismos e instancias de evaluación para la educación superior que operan en México, sobre todo a partir del establecimiento de la CONAEVA, incorporan indicadores que corresponden no sólo a los ejes de la eficacia y la eficiencia (los cuales son imprescindibles por sus posibilidades operativas y su facilidad de comunicación), sino a muchos otros aspectos en verdad sustantivos y esenciales dada la naturaleza -un bien social- de la educación. Estos aspectos pueden organizarse conforme a tres criterios o ejes de juicio: la pertinencia, la trascendencia y la equidad social. El eje de la pertinencia Contenido Un programa de educación superior es pertinente en la medida que sus resultados (sea la destreza de un técnico o un descubrimiento que enriquece el conocimiento) corresponden y son congruentes con las expectativas, necesidades, postulados, preceptos, etcétera, que provienen de dos ámbitos (que podrían considerarse uno solo, pero que conviene distinguir): - El desarrollo social, en su concepción amplia que cubre aspectos culturales, económicos, políticos, etc. - El conocimiento, independientemente de las disciplinas, los métodos y los usos que se hagan de él. Organizar la vida de los individuos en una sociedad parece la mejor opción y se dice, además, que esto es inevitable; sin embargo, el funcionamiento de los tejidos y las instituciones sociales siempre ha sido complejo y problemático. En la búsqueda de soluciones para la intrincada vida social, todas las comunidades humanas han generado alguna forma de educación. En el lenguaje de hoy la educación es designada como palanca del desarrollo, como factor de innovación, como ventaja estratégica en el proceso productivo, como medio insustituible para promover la identidad nacional, etcétera. En síntesis, la educación tiene razón de ser en función de las expectativas de la sociedad en que ocurre. Todavía más: las sociedades esperan que sus educadores cumplan el papel de visionarios o, al menos, de vanguardistas y anticipen o intuyan eventuales necesidades y problemas en el futuro. En el caso de la educación superior, especialmente la universitaria, la responsabilidad en estos asuntos es suprema. A nadie escapa que la dinámica relación entre las distintas instituciones sociales es a menudo conflictiva y que la interacción entre las IES y las otras instituciones de la comunidad no son la excepción. La educación superior, las universidades, viven en un proceso cíclico de amor y odio con otros actores sociales (gobiernos, empresarios, líderes de opinión, partidos políticos, gremios de profesionistas, incluso cada familia y cada ciudadano). Entre ellos se da el reconocimiento mutuo y el máximo crédito, hasta la esperanza mágica, lo mismo que el recíproco reclamo y la decepción total. Para propósitos prácticos en los quehaceres de la evaluación, la estrategia obligada es incorporar a la pertinencia (social, económica, política y cultural) como criterio para identificar la calidad de un programa educativo. La construcción de indicadores y parámetros en esta línea requiere inevitablemente de una ponderación, clasificación y jerarquización de las expectativas, necesidades y problemas en cada sociedad y en cada uno de sus sectores. Esto se hace de manera peculiar, ejerciendo su soberanía, en cada nación y en cada entidad política. Los educadores y los evaluadores de la educación han de ser plenamente conscientes de esta circunstancia. La planeación y la evaluación de los programas educativos, por ende, no deben ser tarea exclusiva de los educadores. Otros sectores de la sociedad tienen algo que decidir al respecto; sin embargo, el derecho para decidir tiene mucho que ver con la capacidad para hacerlo. Por lo general deciden los mejor calificados; de ahí la conciencia de distinguir un segundo ámbito en el que debe darse la pertinencia de un programa educativo. Por ello, tanto los resultados como los procesos y elementos de un programa de educación superior han de ser congruentes y corresponder también a lo que las ciencias, las tecnologías, las disciplinas humanistas, los códigos éticos, etcétera, establezcan o acepten como algo permitido, verdadero, vigente, benéfico, útil. Ciertamente sería muy difícil responder a las necesidades del desarrollo y el bienestar social con un conocimiento obsoleto, con supersticiones o con prácticas ilícitas. De ahí, pues, que deba hablarse también de "pertinencia académica" (la vigencia tecnológica es parte de ella) en lo que hace a un programa educativo. Esta modalidad del análisis se refiere a la vigencia de las teorías, a la veracidad de los conocimientos, la certidumbre de los principios, la legitimidad de los valores, la factibilidad de las estrategias. Cada institución expone y pondera estos atributos al definir sus programas; cada instancia evaluadora hace lo propio al establecer los respectivos indicadores y estándares. La trascendencia de un programa educativo Contenido Hasta ahora se tiene anotado que la calidad de un programa de educación superior puede establecerse en relación al grado en que sea eficaz, eficiente y pertinente. Hay otro conjunto de atributos que también es deseable tengan los programas universitarios, los cuales se refieren a la potencialidad que estos tienen para "trascender", para ir más allá en el tiempo, en la cobertura de campos del conocimiento, en la relevancia que logra al formar personas. Un programa universitario será bueno, además, en la medida que sus resultados y beneficios permanezcan más tiempo, cubran más áreas de la cultura, impliquen mayor profundidad en lo que constituye la "formación de personas". Un programa educativo cuyos efectos positivos trascienden la etapa escolar y son benéficos a lo largo de la vida es mejor que uno que no lo logra. Un programa que consigue los resultados previstos (eficacia) en varios dominios y perfiles de la formación humana es mejor que uno que también logra los resultados, pero en un campo reducido. El aprendizaje de las ideas y las teorías o el uso de las técnicas y los métodos se enriquecen cuando, además, el programa logra despertar o pulir la sensibilidad ante las emociones, y cuando logra dotar a los educandos para las relaciones interpersonales. Un programa educativo es "trascendente" cuando sirve hoy y sirve mañana; cuando es útil en distintos ámbitos: cuando el logro de sus objetivos hace factible no sólo la comprensión de ideas, sino la operación de instrumentos y la relación con las demás personas, donde destacan la inherente a la formación ciudadana y la relativa a la creación de una nueva rama familiar. En la práctica de los organismos evaluadores suele omitirse la consideración de los elementos de este criterio de calidad educativa, tanto por ser asuntos que rara vez aparecen explícitos en un currículo, como por ser cuestiones más factibles de interpretación que de medición. Sin embargo, ello no impide que sean considerados como un eje de análisis para juzgar la calidad de un programa de educación superior. La interpretación y el juicio personal, incluso subjetivo, no deben satanizarse ni descartarse a ultranza; en muchas circunstancias constituyen la única opción viable. Varios modelos de evaluación a juicio de expertos, por ejemplo) se sustentan en interpretaciones y ejercicios de intersubjetividad. La equidad de un programa Contenido El esquema o marco de referencia que se ha venido explicando, para caracterizar lo que se entiende por "buena calidad" de un programa de educación superior, se cierra con un quinto criterio, el de la equidad. Un concepto con tantas implicaciones requiere ser acotado, a fin de entender en qué sentido se habla aquí de la "equidad de un programa educativo". En este esquema se entiende como el conjunto de características que hacen de un programa algo asequible y viable a mas personas. Un programa educativo está al alcance de más personas en la medida que ofrece opciones distintas ante circunstancias diferentes, en la medida que no trata igual a los desiguales. De ahí la selección del vocablo. La equidad de un programa puede referirse (para efectos de la evaluación correspondiente) a diferentes aspectos, de los cuales hay que destacar el económico-social y el pedagógico. Así, las preguntas que debe hacerse en este sentido un evaluador de programas son como las siguientes: ¿En qué medida este programa tiene restricciones? (de edad, de costo, de distancia, de raza, de género, de religión, de filiación ideológica, de capacidad física, etcétera). Una vez identificadas esas restricciones, y antes de hacer juicios, el evaluador podrá preguntar ¿Qué elementos compensatorios posee el programa? En el ámbito socio-económico los tratos diferenciados y compensatorios de un programa suelen expresarse en cuotas especiales, exenciones de pago, otorgamiento de créditos, becas y empleos a los estudiantes. El otro aspecto de la equidad o trato diferenciado se tiene en la pedagogía, en la posibilidad de optar entre distintas estrategias para lograr los objetivos de aprendizaje del programa. Los indicadores más evidentes de este aspecto se refieren a la multiplicidad de profesores y horarios, a la disponibilidad de tutores, a la accesibilidad de las fuentes de consulta e información, a la racionalidad de los reglamentos escolares, a la multiplicidad de oportunidades. En fin, todo aquello que atiende a la diversidad personal, cultural, de nivel económico, etcétera. Antes de cerrar este apartado es necesario hacer una advertencia; la búsqueda de equidad en un programa de educación superior no debe confundirse con la adopción de políticas paternalistas. No se trata de disminuir los estándares de logro y desempeño del programa como una compensación para una persona o un grupo cuyas circunstancias sean peculiares y se consideran desventajosas. Se trata de crear condiciones para que dichas peculiaridades no sean un impedimento en el propósito de alcanzar los objetivos conforme a los estándares. Muchas experiencias demuestran que la equidad mal entendida ha sido la causa de graves descensos en la calidad de la educación. Fijar una eficacia para unos y una eficacia para otros puede ser una práctica discriminatoria. Ciertamente la búsqueda de este tipo de soluciones tiene límites y nadie espera que un programa de educación superior sea viable para todo ciudadano. En nada se afecta el criterio de la equidad si se asume que, por su naturaleza, la educación universitaria es de cierta manera elitista, ya que son minoría los que tienen el interés, el talento, la disciplina y la motivación para desempeñarse satisfactoriamente en los niveles de exigencia implícitos en ella. Lo inequitativo de un programa estará en la marginación, por otras razones, de quienes sí tienen los atributos pertinentes. Para quienes no los tengan, la sociedad en aras del criterio de equidad debe proveer distintas y suficientes opciones en su sistema educativo. Conclusión. El concepto de la calidad, aplicado a un programa educativo, es sumamente complejo y necesariamente diverso en sus criterios y enfoques. En México, los distintos organismos e instancias de evaluación han adoptado (en diferente grado y distinta relevancia) cinco ejes o líneas de criterio generales para caracterizar la calidad de un programa educativo. - La eficacia. - La eficiencia. - La pertinencia (social y académica). - La trascendencia (relevancia, vigencia, amplitud). - La equidad (socio-económica y pedagógica). En la segunda parte de este documento se expone sintéticamente lo que se ha hecho en el sistema educativo mexicano, en particular la educación universitaria, para poner en práctica estos criterios de calidad mediante varias estrategias de evaluación. SEGUNDA PARTE: PRINCIPALES PROGRAMAS DE EVALUACIÓN EN MÉXICO Contenido La última década registra un incremento evidente en las actividades de evaluación en los diversos ámbitos de la educación superior en México. Para bien o para mal las opciones son contrarias a la buena calidad de la educación dejó de ser algo invariablemente creído, a la manera de un acto de fe. Ciertamente, en diversos sectores de la sociedad y mediante variados canales de expresión, la opinión pública- y la opinión de los expertos- hizo evidente que la calidad atribuida a cada programa y cada institución ya no debería seguir siendo un asunto de creencias, sino de evidencias. Conocer los atributos de cada programa y cada institución por vías más objetivas y racionales que las campañas promocionales, o las estrategias mercadológicas, se asumió como un compromiso del gobierno federal y de las universidades de manera conjunta. Se trataba -y sigue tratándose- de obtener elementos para orientar la inversión pública y los subsidios a las universidades, pero el propósito esencial y verdaderamente trascendente al sistematizar los procesos de evaluación han sido la búsqueda de elementos de juicio para mejorar la calidad de la educación. La idea rectora sigue siendo mantener a la educación como un bien social -que tiene una evidente expresión de beneficio para cada individuo- lo cual deja de ser legítimo y auténtico cuando la capacitación, la instrucción o la educación toda no son de buena o excelente calidad. En síntesis, el hilo conductor ha sido evaluar para mejorar, lo cual implica realizar, para poner en práctica la decisión, una multitud de tareas, estrategias e inversiones. A continuación una rápida revisión de estos asuntos, los cuales, en su conjunto, están conformando el sistema para evaluar la educación superior en el país. La CONAEVA (Comisión Nacional de Evaluación para la Educación Superior) Contenido En México es virtualmente imposible prosperar en una acción que ataña a universidades sin una concertación previa entre el gobierno federal y las casas de estudios. La unilateralidad resta eficacia y genera desconfianza en el trato global entre las partes. De ahí la abundancia de organismos e instancias en las cuales gobierno y universidades dialogan, negocian y conciertan. Desde 1978 la instancia (no es un órgano burocrático) de concertación por excelencia ha sido la COMPES (Coordinación Nacional para la Planeación de la Educación Superior). A la luz de los problemas y circunstancias que vivir n las universidades durante las décadas de los 70 y 80 puede afirmarse que la CONPES ha sido un mecanismo eficaz y conveniente. La racionalización del crecimiento, la descentralización de los servicios educativos y la construcción de un cuerpo de leyes y normas que han regulado las relaciones laborales en las universidades son algunos ejemplos de lo realizado. En 1990 la CONPES acuerda la creación de la CONAEVA como instancia dedicada a promover y respaldar la creación de un sistema de evaluación de la educación superior con cobertura nacional. En la CONAEVA participan representantes del gobierno federal (Secretaría de Educación Pública) y de las universidades (Secretaría General de la ANUIES y algunos rectores). Las realizaciones y los acuerdos de la CONAEVA con miras a ese sistema nacional de evaluación pueden resumirse así: * Se han definido y promovido los criterios generales inherentes a la calidad de la educación superior (ver primera parte de este documento). * Se acordó evaluar no sólo desde la tradicional perspectiva de la evaluación interna, sino, además, desde una visión externa. * Se adoptó una concepción sistémica de la educación superior que permite evaluar tanto a los componentes (inputs) del sistema educativo como a los procesos y a los resultados (outputs). En este contexto se ha considerado conveniente hacer énfasis en la evaluación de resultados y sus repercusiones. * Se mantiene el deslinde tradicional de las funciones universitarias, lo cual lleva a crear estrategias distintas para la evaluación de programas de docencia, de investigación, de difusión de la cultura y de administración. * Se decidió "especializar" las responsabilidades (diagnosticar, certificar, acreditar) al efectuar tareas de evaluación y, así, crear varios programas y organismos con tareas y propósitos claramente acotados. * Se han puesto en práctica programas con importantes recursos económicos para asociar los resultados de la evaluación y la calidad identificada con líneas específicas de financiamiento. * Se han creado condiciones propicias para desarrollar en los protagonistas de la educación superior una "actitud evaluadora", con lo cual se intenta eliminar la actitud de indiferencia (en México se dice "valemadrismo") hacia la eficacia, la eficiencia, la pertinencia y demás atributos de la buena calidad. * Se han establecido formalmente distintos órganos que realizan evaluaciones externas con el fin de ACREDITAR PROGRAMAS Y CERTIFICAR PERSONAS. Un paso posterior será la ACREDITACIÓN DE INSTITUCIQNES EDUCATIVAS (práctica usual en varios países). * Se ha optado por definir y poner al alcance del público los resultados de la evaluación. Otras políticas igualmente importantes son hacer usos educativos de la evaluación y dejar para casos extremos las prácticas punitivas y desahuciatorias ante resultados negativos. A la inversa, ha de estimularse todo rendimiento sobresaliente. Algunas acciones concretas En el vasto y complejo universo de la educación superior mexicana destacan algunos programas de carácter esencialmente evaluatorio. Sistema Nacional de Investigadores (SIN) Contenido A cargo del CONACYT (Consejo Nacional de Ciencia y Tecnología). Evalúa a las personas que realizan investigación y desarrollan tecnologías en universidades, institutos nacionales, centros de producción, etcétera. Opera con base en el análisis de jurados o grupos dictaminadores y adopta estrategias de evaluación que corresponden, según la clasificación de Madaus et. al.5, a los modelos de "evaluación de resultados" (estudios por objetivos), "rendimiento de cuentas" (accountability) y "opinión o juicio de expertos". Con base en estas evaluaciones se conceden distinciones (investigador nacional) y recompensas económicas substanciales. Padrón de Programas de Posgrado de Excelencia para Ciencia y Tecnología Contenido También a cargo del CONACyT. Evalúa programas de especialidad, maestría y doctorado (se cursan después de una licenciatura). Opera con grupos de investigadores distinguidos que establecen paradigmas, criterios y estándares en cada caso. Sus estrategias corresponden a los modelos "Sistemas de información" (mediciones periódicas sobre indicadores previamente establecidos) y "Opinión de expertos". Sus resultados conducen a la acreditación periódica de programas específicos. Estas acreditaciones influyen o determinan el otorgamiento de becas para estudiar posgrados, así como el eventual financiamiento a las instituciones educativas respectivas. Programa de estímulos al desempeño docente Contenido A cargo de cada Institución de Educación Superior pública. Cada una lo designa con una o varias denominaciones peculiares. El propósito esencial, y por tanto común denominador, es identificar los distintos niveles de calidad en el desempeño de los profesores (se excluye al personal que no realiza docencia). Por lo general es operado por "comisiones dictaminadoras" que verifican el cumplimiento y logro de estándares previamente establecidos y difundidos. Los modelos de evaluación más frecuentes son: "evaluación de resultados" (en particular el aprendizaje por parte de los alumnos);"pruebas y exámenes"; "opinión de usuarios"; "opinión de pares" y "juicio de expertos". Los resultados de estas evaluaciones influyen y determinan el otorgamiento de estímulos económicos, independientes de las condiciones pactadas en los contratos laborales. Fondo para Modernizar la Educación Superior (FOMES) Contenido A cargo de la SEP (Subsecretaría de Educación Superior e Investigación Científica). Evalúa propuestas que hacen las IES para obtener financiamientos extraordinarios y adicionales al subsidio básico. En dichas evaluaciones prevalecen los criterios de pertinencia y eficiencia, ya que se intenta, sobre todo, solucionar rezagos en la infraestructura tecnológica (equipos, métodos, sistemas administrativos, estrategias didácticas) así como la deficiente vinculación con los sectores sociales y económicos. El programa opera con base en especificaciones previamente difundidas que establece el secretariado técnico de la CONAEVA. La evaluación es realizada por comités mixtos (representantes de la SEP, de las universidades y expertos independientes). Los modelos de evaluación habituales son: "Rendimiento de cuentas" (especialmente en el caso de proyectos de continuidad), "Estudios para ponderar ventajas y desventajas", "Sistema de Información Administrativa" (análisis de factibilidad) y "Opinión de expertos". Esta estrategia de financiamiento tiene importancia cada vez más relevante. Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES) Contenido Este programa está a cargo de la ANUIES y se creó por acuerdo de la CONPES (presidida por el secretario de Educación Pública). Su propósito principal es evaluar la calidad de los programas, especialmente los de formación de profesionales en el nivel de licenciatura. Además, también se evalúan las funciones de "Administración Institucional" y "Difusión de la Cultura". El programa opera con base en 9 comités (integrados por "pares" académicos de distintas universidades) que evalúan los componentes (inputs) y los procesos de cada programa de una institución educativa (por ejemplo, currículo, profesores, laboratorios). Cada comité se ocupa de un área de profesiones (salud, agropecuarias, ingeniarías, socioeconómicas, etcétera.) o de alguna función general (administración) de la institución. Los comités revisan y analizan la información y los elementos proporcionados por cada responsable de programa y luego realizan visitas, reciben información in situ, constatan y verifican. Como resultante, el comité redacta un amplio documento con observaciones, juicios y sugerencias, el cual es revisado con los propios responsables del programa evaluado antes de su entrega formal y circulación en las instancias pertinentes. De estas evaluaciones se derivan -o deben derivarse- las correspondientes acciones a cargo de cada centro educativo, así como elementos de juicio para decisiones pertinentes en instancias externas (gobierno, asociaciones de escuelas y facultades, colegios de profesionistas). Evaluación nacional de los estudiantes Contenido Se trata de un conjunto de programas a cargo del CENEVAL (Centro Nacional de Evaluación para la Educación Superior), organismo de carácter privado creado por recomendación de la ANUIES y por acuerdo de la CONPES en 1994. El Centro evalúa la medida en que logran los objetivos de aprendizaje los alumnos que concluyen la educación secundaria, el bachillerato o la formación universitaria (nivel licenciatura) en las profesiones que regula la ley correspondiente. Opera con base en "perfiles de referencia" y "tablas de especificaciones" (conocimientos y habilidades) acordados por consejos técnicos (académicos, colegios de profesionistas, usuarios de servicios). El modelo relevante es "evaluación de resultados" con base en exámenes de validez nacional. Los exámenes del CENEVAL aportan elementos complementarios (CIEES) para establecer la calidad de los programas con base en el criterio de eficacia. Los resultados de estas evaluaciones pueden incidir en la admisión de alumnos en las instituciones y en la titulación de profesionistas. El CENEVAL reporta anualmente los resultados de los exámenes y realiza análisis y estudios diversos. Dichos resultados se tienen en cuenta en la acreditación de programas. El Centro otorga el premio CENEVAL y el Certificado de Calidad Profesional a los sustentantes que satisfacen el estándar correspondiente. Acreditación de programas Contenido La experiencia y los resultados de los programas de evaluación antes mencionados han creado condiciones para integrar los primeros "consejos de acreditación". Se trata de organismos independientes del gobierno y de las instituciones educativas cuyo propósito es generar y recoger evidencias de la calidad de los programas de formación de recursos humanos (principalmente en una licenciatura). Su forma de operar y los modelos que adoptan son muy semejantes a los de las CIEES. Sus resultados pueden determinar el otorgamiento de una "acreditación" cuya vigencia es variable. La acreditación de un programa constituye un aval extemo y debe significar una distinción reconocida socialmente. Como puede colegirse, las funciones y los resultados de los tres últimos programas (CIEES, CENEVAL y Consejos de Acreditación) son complementarios y su síntesis ha de ser la evaluación de la calidad de cada programa, primero, y de ahí pasar a la agregación de los concernientes a una institución o los del subsistema de educación superior en su conjunto. Los efectos inmediatos Contenido La operación de los programas antes mencionados ha dado a la evaluación una gran prioridad entre las líneas de trabajo del sistema educativo nacional. Los beneficios son evidentes: hay más información en las propias universidades; se están formando especialistas en evaluación; la reflexión y el análisis para elaborar constructos de criterio, indicadores y parámetros de calidad tienden a ser prácticas generalizadas; la sociedad está más alerta y demanda información sobre las evaluaciones, etc. Otros efectos notables es la expansión de la "cultura de la evaluación" y la adopción cada vez más frecuente de la "actitud evaluadora". Para los profesores ya no es indiferente cumplir o evadir los objetivos de su curso; los investigadores no pueden "etemizar" sus proyectos improductivamente; los subsidios ya no se negocian mediante presiones extra académicas; hay elementos para formar prestigios y reputaciones con base en hechos; las instancias externas a cada programa y universidad participan en la evaluación educativa (el cocinero dejó de ser el único juez de sus platillos); se están construyendo bases más objetivas para la comparación entre programas, instituciones, entidades federativas, subsistemas, etcétera; los investigadores del proceso educativo tienen muchos más elementos para explicar y corregir problemas como la reprobación, la deserción el aprendizaje irrelevante, la ineficacia, la improductividad, etc. Una precisión necesaria Contenido Antes de concluir es indispensable advertir algunas circunstancias y, así prevenir al lector de una interpretación demasiado optimista de la situación mexicana. Ciertamente el balance general es positivo y lo avanzado en los últimos años es sustancial. De eso no hay duda. Pero este impulso y esta preocupación por el mejoramiento cualitativo ha sido tardío; Antes se acumularon enormes rezagos y se propiciaron actitudes negligentes durante largos lapsos, cuya inercia todavía tiene efectos hoy. La propia realización de evaluaciones más sistemáticas y objetivas ha permitido afinar los diagnósticos y varios maquillajes se han diluido. Evidentemente se han producido reacciones contrarias a la evaluación, aunque cada vez más débiles y esporádicas. Sin embargo, aún hay gatopardismo y simulación. El uso de técnicas adecuadas y la construcción de sistemas de evaluación, y sobre todo la capacidad e idoneidad para aprovechar los resultados de las evaluaciones de nueva cuenta reflejan la proverbial coexistencia de la medianía y la excelencia; de los innovadores y los conservadores; de los impulsores y los escépticos; de los que velan por el avance de la sociedad y los que ven por sí mismos ¡en fin... el mundo de la educación superior también es ancho y ajeno! Expectativas más inmediatas Contenido A pesar de las evidentes muestras de mejoría y la indiscutible buena calidad de ciertos programas e instituciones educativas, nuestro país está lejos de alcanzar niveles satisfactorios de calidad en la mayoría de los programas. Dado que los programas ofrecen acceso virtualmente irrestricto y teniendo en cuenta que los certificados y títulos que expiden las instituciones tienen la misma validez legal en todo el país, se hace indispensable asegurar y garantizar a la sociedad que todo programa, certificado, titulo y grado que reconoce la autoridad gubernamental cumple con los requisitos y niveles de calidad esenciales en cada caso. Ese aseguramiento y garantía a la sociedad implica consolidar lo ya hecho, pero obliga a ganar mucho más terreno en la práctica de la planeación estratégica y la evaluación. Implica depurar técnicamente los modelos y estrategias para medir, evaluar y juzgar e implica apuntalar jurídica y políticamente las resultantes de los procesos de evaluación. Las certificaciones y acreditaciones otorgadas por organismos independientes han de tener un peso moral incuestionable y un gran valor simbólico, pero también debe dárseles una mayor relevancia formal y práctica mediante su incorporación a la normatividad jurídica. Al interior de las universidades y demás instituciones de educación superior, la expectativa es de mayor congruencia y articulación entre los resultados de h evaluación y la reorientación del rumbo. La evaluación deviene ejercicio estéril ante la indiferencia de quienes dirigen, marcan pautas y toman decisiones. Encontrar las causas y orígenes de los problemas e insuficiencias es bueno, pero mejor es ponerles remedio. El gobierno y la sociedad habrán de apoyar a las instituciones más activas en estos propósitos. Por todo lo antes expuesto, la síntesis de las expectativas en materia de evaluación para la educación superior es crear condiciones técnicas, jurídicas y económicas para propiciar y asegurar reacciones y decisiones congruentes con lo que reflejan las evaluaciones. A los esfuerzos realizados para construir un conjunto de estrategias y organismos de evaluación, o para concebir esquemas y modelos, así como criterios, indicadores, parámetros e instrumentos de evaluación, a todos esos esfuerzos deben agregarse decisiones políticas que impidan la continuidad de programas y la permanencia impune de personas cuya deficiencia es evidente. Se trata de mejorar, de substituir o de reorientar recursos. Se trata de resolver un añejo problema cultural: hacer lo que se concibe y ser congruente con lo que se hace. Un problema de los mexicanos y de los latinoamericanos no es la falta de ideas o iniciativas, es la dificultad para ponerlas en práctica y actuar en consecuencia de manera sostenida. Viejas canciones que ya no deberíamos cantar en el siglo XXI. ANEXO 1 Contenido En este texto se han presentado los puntos de vista de los autores en su intento por hacer una síntesis que englobe las principales características y los distintos enfoques con que se realizan actividades para evaluar algún aspecto o función de la educación superior. Sin embargo, cada uno de los organismos e instancias que tienen a su cargo un programa específico de evaluación puede proporcionar información mucho más detallada y relevante según su propia concepción; incluso, cada uno de ellos puede avalar o desmentir lo que aquí se dice. La siguiente información puede ser útil al lector que desee dar continuidad o ganar en profundidad a partir de lo que aquí expuesto. SINAPPES (Sistema Nacional de Planeación Permanente de la Educación Superior).- Se trata de una estructura formal (casi un ideal) que prevé el funcionamiento coordinado y articulado de organismos de planeación en tres ámbitos: el de una institución universitaria, el de una entidad de la República y el de cada región del país. Se puso en marcha en 1978. CONPES (Coordinación Nacional para la Planeación de la Educación Superior).-Es la instancia (no una estructura o dependencia, sino un grupo de trabajo) que establece lineamientos y políticas generales para planear el desarrollo del sistema de educación superior (SINAPPES). La preside el secretario de Educación Pública y la integran más de 20 personas que representan al gobierno federal a las instituciones educativas (públicas y privadas) y al sector empresarial. Cuenta con un secretariado técnico que instrumenta y ejecuta acuerdos. Inició sus funciones en 1978 y aprobó los lineamientos para crear el SINAPPES. A imagen y semejanza, en cada entidad federativa existe una "coordinación estatal" (COEPES). El intento de una organización regional ha fracasado, pero existe como una asignatura pendiente. CONAEVA (Comisión Nacional de Evaluación para la Educación Superior).- Es una instancia creada por resolución de h CONPES. La integran representantes del gobierno federal (SEP) y rectores de universidades. Su propósito es establecer un sistema para evaluar la educación superior con cobertura nacional. En lo que hace a los programas de la CONPES y la CONAEVA lo recomendable es acudir a: * Subsecretaría de Educación Superior e Investigación Científica (SESIC). Subsecretario: Dr. Luis Lloréns Báez Domicilio: Brasil No. 31, Col. Centro 06029 México, D.F. Tel.: 328-10-30 *Dirección General de Educación Superior (DGES). Director general: Dr. Víctor Arredondo Alvarez Domicilio: San Fernando No. 1, Col. Toriello Guerra 01450 México, D.F. Tel.: 626-03-27 *Secretaría General Ejecutiva de la ANUIES (Asociación Nacional de Universidades e Instituciones de Educación Superior). Secretario General: Mtro. Carlos Pallán Figueroa Dornicilio: Tenayuca No. 200, Col. Sta. Cruz Atoyac 03310 México, D.F. Tels.: 605-95-18 y 604-36-03 * COSNET (Consejo del Sistema Nacional de Educación Tecnológica). Secretario Ejecutivo: Ing. José Luis Rodríguez García Domicilio: Nicolás San Juan No. 1319-Bis, Col. del Valle 03100 México, D.F. Tel.: 605-62-84 Para información respecto a programas más concretos y vinculados a los anteriores se puede acudir a: * CIEES (Comités Interinstitucionales para la Evaluación de la Educación Superior). Evaluación de Programas. Coordinador General: Ing. Manuel Pérez Rocha Domicilio: Periférico Sur No. 5478, Col. Olímpica México, D.F. Tels.: 666-94-lOy665-47-91 * CENEVAL (Centro Nacional de Evaluación para la Educación Superior). Exámenes Nacionales. Director General: Mtro. Antonio Gago Huguet Domicilio: Vito Alessio Robles No.114-P.B., Col. Florida 01030 México, D.F. Tel.: 661-10-90, Fax: 661-37-94 * CONACyT (Consejo Nacional de Ciencia y Tecnología). Padrón de Programas de Posgrado de Excelencia. Director General: Lic. Carlos Baszdrech Parada Domicilio: Av. Constituyentes No. 1046, Col. Lomas Altas 11950 México, D.F. Tel.: 327-75-75 * CACEI (Consejo para la Acreditación de la Erlseñanza de Ingeniería). Presidente: Ing. Fernando Ocampo Domicilio: Playa Caleta No. 510 México, D.F. Tel.: 579-82-57 * Academia Mexicana de Medicina. Acreditación de especialidades médicas. Secretario General: Dr. Enrique Piña Garza Domicilio: Facultad de Medicina de la UNAM Edificio «B»-ler. Piso, C.U. Tel.: 623-24-03, Fax: 623-21-55 * Dirección General de Enseñanza para la Salud. Exámenes para las residencias médicas. Director General: Dr. Joaquín López Bárcenas Domicilio: Insurgentes Sur No. 235-ler. Piso, Col. Roma 06700 México, D.F. Tel.: 207-95-14, Fax: 525-29-78 * Consejo Nacional de Educación de la Medicina Veterinaria y Zootecnia. Acreditación de programas. Presidente: MVZ Francisco Trigo Tavera Domicilio: Manzanillo No. 83-8O.Piso, Col. Roma Sur 06760 México, D.F. Tel.: 264-76-95, Fax: 264-78-90 NOTAS Contenido 1 De manera convencional, en México se intenta juzgar la calidad de una institución educativa (una universidad o una escuela) con base en la calidad de sus diversos programas (El currículo de cada carrera, cada proyecto de investigación, etcétera.) 2 Al final del texto se incluye un anexo con los datos para establecer comunicación con los responsables de estos organismos e instancias. 3 La de "programa" es una categoría arbitraria. Ejemplos de "programa" son una licenciatura y un doctorado; también un proyecto de un centro de investigación o una campaña para difundir el conocimiento científico o la literatura nacional. Se ha preferido referir los criterios de calidad hacia cada "programa" por ser una entidad intermedia cuya desagregación permite evaluar a individuos, componentes, procesos y resultados con suficiente especialidad y particularidad para decidir acciones posteriores. De igual forma, la agregación de las evaluaciones de "programa" permiten caracterizar, e incluso evaluar, a instituciones educativas y subsistemas. 4 CONPES-CONAEVA, Lineamientos generales y estrategias para evaluar la educación superior, SEP, México, 1991. 5 Madaus, George, et. al., Evaluation Models, Kluwer-Nijhofr, Boston, 1986.