1. NECESIDAD E IMPORTANCIA DE EVALUAR EL SISTEMA DE EDUCACION SUPERIOR La evaluación del sistema de educación superior, según los distintos trabajos presentados en la XXI Asamblea de la ANUIES, se fundamenta en las siguientes razones: La exigencia que en los últimos años ha planteado el poder público federal para que se institucionalice la función evaluadora en todo el sector oficial. La coordinación de funciones con el Sistema Nacional de Planeación, el cual orienta el desarrollo armónico del país. El mejoramiento del sistema de educación superior como imperativo social. Según la Dirección General de Institutos Tecnológicos "...en la administración pública mexicana, la evaluación ha ido adquiriendo cartilla de identidad hasta hacerse exigencia del poder público federal, sus programas y sus instituciones buscando una correspondencia permanente entre los objetivos y las estrategias, entre los fines y los medios, de ahí la enorme importancia de esa conciencia vigilante que constituye la evaluación; de ahí también que una de las características de las últimas administraciones del gobierno federal mexicano haya sido precisamente su preocupación por las actividades de evaluación, ya de sectores ya de programas, ya de regiones". Bajo el punto de vista de las universidades de Colima, Guadalajara, Guanajuato, Nayarit y Michoacana de San Nicolás de Hidalgo "...la necesidad de la evaluación surge del conjunto de acciones que concurren en el desarrollo integral de nuestro país y con responsabilidad jurídica en un sistema nacional de planeación, en donde la educación superior debe sistemáticamente analizar su acción para que cumpla racionalmente con sus fines, en donde se mida el grado de avance y se tracen nuevos caminos que agilicen el quehacer educativo". Por su parte, la Universidad de Baja California hace ver que la evaluación es "el antecedente necesario en la determinación de prioridades, de objetivos, metas y políticas para el desarrollo futuro" del sistema como de cada una de las instituciones de educación superior. Por esta razón "la evaluación no tiene importancia por sí misma, como proceso único y terminal, sino que su utilidad se concreta y materializa en las medidas operativas que se toman para impulsar el desarrollo futuro de las instituciones". Contenido 2. CONCEPTO DE EVALUACION DEL SISTEMA DE EDUCACION SUPERIOR Este apartado es un resumen del pensamiento de las universidades autónomas del Estado de México, de Sinaloa, de Puebla y de Baja California. Dichas instituciones conciben la evaluación del Sistema de Educación Superior como: a) Un proceso de comparación. b) La determinación de la calidad educativa en términos mensurables. c) La detección de causas y la emisión de juicio de valor respecto de una problemática. A juicio de la Universidad Autónoma del Estado de México la evaluación es un proceso que se sustenta en la comparación; "Evaluar es básicamente comparar." Este planteamiento conduce a fijar parámetros, paradigmas, sistemas de valores con los cuales debe compararse el Sistema Nacional de Educación Superior y los subsistemas de las instituciones que lo integran. Por su parte, la Universidad Autónoma de Sinaloa afirma: "Determinar calidad significa evaluar, pero no sólo en términos de medición sino en el sentido de la coherencia, racionalidad y significación de la labor de las instituciones educativas y del impacto social, científico y cultural que imprime el Sistema de Educación Superior en el desarrollo del país." Finalmente, según la apreciación de la Universidad Autónoma de Baja California, la evaluación no consiste en una simple descripción de la situación actual, sino que implica la detección de causas determinantes de los problemas, que involucran juicios de valor. Según este criterio, ambos aspectos son indispensables para dar soluciones alternativas y determinar la normalidad de la situación analizada. Contenido 3. CONSIDERACIONES PREVIAS EN TORNO A LA EVALUACION DEL TERCER NIVEL EDUCATIVO Esta parte contiene las recomendaciones metodológicas más importantes formuladas por la Universidad Autónoma de Puebla y que debe considerarse previamente para establecer todo acuerdo que se realice en materia de evaluación, tanto del sistema como de las instituciones de educación superior. La referida universidad asume una posición cuestionadora y crítica frente a las concepciones tecnocráticas que han caracterizado al Sistema de Planeación Nacional y a la Planeación del Sistema de Educación Superior. Al respecto declara que "la lógica de la crisis se impone a la racionalidad de los proyectos de planeación". Asimismo, advierte que es necesario hacer un análisis previo a fin de establecer los "criterios y procedimientos generales para la evaluación de la educación superior", esto con el propósito de avanzar efectivamente hacia un modelo democrático de planeación y evaluación. Este examen debe plantearse cuestiones tales como: ¿quién evalúa?, ¿para quién se evalúa?, ¿para qué se evalúa? Dicho cuestionamiento pretende evitar situaciones riesgosas que comprometan la autonomía universitaria e impidan a las instituciones de educación superior ser promotoras del cambio social. Trataremos de presentar brevemente las respuestas que dicha Universidad da especialmente a las dos primeras preguntas. a) ¿Quién evalúa? La responsabilidad plena y la participación real del universitario se ven limitadas por una concepción que niega su papel de protagonista, o cuando menos lo disminuye. Así "el sujeto del sistema educativo superior continúa marginado de los procesos de decisión en nombre de una concepción que privilegia la racionalidad y la eficacia". Ante esta situación, la Universidad ya citada demanda "que muchas de las decisiones acerca de la educación superior corresponden solamente a la comunidad universitaria, por lo cual se torna imprescindible restituir a ésta su propia capacidad de decisión". b) ¿Para quién se evalúa? El Sistema de Educación Superior, según el criterio de la Universidad Autónoma de Puebla, está influido por un complejo de intereses. En éste se reflejan los intereses de las diversas clases sociales, del Estado, de las distintas instancias de la sociedad civil, de los usuarios directos del sistema y de los funcionarios y técnicos que mantienen una determinada posición política o ideológica. En este sentido es inimaginable la existencia de un sujeto neutral a quien fuera posible encomendar la tarea de evaluar con la certeza de que emitiría un punto de vista absolutamente objetivo e imparcial. En resumen, según la Universidad Autónoma de Puebla, parece difícil evaluar y planificar una universidad sin que se vea implícito el afán de las capas dominantes de consolidar su poder, más que de transformar estructuralmente a la sociedad. Contenido 4. CRITERIOS PARA EVALUAR EL SISTEMA DE EDUCACION SUPERIOR 4.1. Criterios generales Dentro de este tópico relacionamos las normas generales que, según los autores de dos ponencias, se consideran útiles en la evaluación del sistema de educación superior. Los criterios generales que, en su ponencia conjunta, plantean las universidades de Colima, Guadalajara, Guanajuato, Nayarit y Michoacana, son los siguientes: "La evaluación general de la educación superior es del nivel de competencia del Estado y de las instancias suprainstitucionales (ANUIES, CONPES, CORPES y COEPES) toda vez que la educación superior en su conjunto no es simplemente el resultado de la suma de las instituciones y que la autonomía de las instituciones de educación superior ha sido elevada a rango constitucional. "Para evaluar en su conjunto a la educación superior habrá que definir la eficacia en términos de la medida en que se satisfacen las necesidades y requerimientos de la sociedad en cuanto a ciencia, tecnología, cuadros profesionales y superación cultural. "La eficiencia, definida como la racionalización adecuada para el mejor uso de los recursos disponibles, tiene dos vertientes: la cuantitativa y la cualitativa. "La evaluación debe ser dinámica en cuanto que pueden variar los parámetros o medidas utilizadas en cada ocasión." Sobre este asunto, el Instituto Tecnológico y de Estudios Superiores de Monterrey estima que lo procedente es: "Tener propósitos claros, entendidos y apoyados por la comunidad universitaria. "Buscar instrumentar indicadores o criterios de calidad que reflejen que caminemos en la dirección que señalen los propósitos y respetarlos seriamente mientras estén vigentes. "Revisar y ajustar periódicamente los indicadores. Las condiciones en las que se instituyen y los indicadores suelen cambiar más rápido de lo que uno cree. "No trasplantar indicadores de manera ciega. Es muy difícil que haya dos situaciones idénticas, no se diga si hay serias diferencias culturales. "Recordar que casi siempre hay que enfrentar, al menos calidad contra gastos. Esto nos lleva constantemente a planteamientos de optimización. Si lo complicamos con más elementos como motivación, destreza, coordinación de humanos, etc., el problema resulta extraordinario. "Los puntos anteriores favorecen la excelencia, pero requieren nuestro esfuerzo. Sin embargo, la búsqueda de la calidad requiere, además de recursos, la actitud sui generis que se manifiesta DANDO UN POQUITO MAS..." 4.2. Marco de referencia y factores que es preciso evaluar Los propósitos y objetivos que se le asignan al Sistema de Educación Superior, o que éste espera alcanzar, se constituyen en los parámetros de comparación y medición bajo los cuales se debe evaluar. Tal es el criterio de la Universidad Autónoma del Estado de México. Para esta Universidad "los criterios de medición", sobre los que no existen definiciones unívocas, pueden revisarse desde una perspectiva programática considerando los siguientes aspectos: -En relación con la eficacia: "Medir la eficacia de un programa consiste en establecer si la operación de un programa está produciendo los efectos esperados, mediante la comparación de los logros reales con lo que se esperaba alcanzar al realizar el programa." "...La evaluación de la eficacia se ocupa principalmente de establecer si la operación del programa está produciendo los efectos esperados, y no de si el programa está siendo operado como se planeó originalmente. A pesar de que la eficacia es frecuentemente interpretada en términos estrictos de logro de objetivos y metas, el análisis exhaustivo de la eficacia de un programa debe considerar, además, los efectos secundarios, no buscados, externos e inclusive negativos del mismo." -En relación con la eficiencia: "Medir la eficiencia consiste en analizar la relación entre los productos de un programa y los costos de la operación del mismo. "Con dos propósitos puede utilizarse el criterio de eficiencia: a) maximizar el valor del producto por unidad de costo; b) minimizar el costo por unidad de producto. "Los dos criterios pueden relacionarse mutuamente sin ser necesariamente excluyentes entre sí, ya que un programa simultáneamente puede ser el más eficiente y eficaz." Para las universidades de Colima, Guadalajara, Guanajuato, Nayarit y Michoacana, la evaluación de la educación superior ha de atender los siguientes aspectos: "La distribución geográfica de las posibilidades de investigación, docencia y difusión de la cultura. "La situación real de la distribución presupuestal de carácter federal, estatal o de fuentes alternativas. "La eficiencia y eficacia en los mecanismos de aprovechamiento de los recursos humanos de la comunidad científica nacional para el desarrollo de las funciones de educación superior. "La determinación de la importancia relativa de las instituciones de amplitud nacional (UNAM, IPN) y de las universidades estatales. "Las necesidades generales para el fortalecimiento de la educación pública, entre otras. Contenido 5. PROBLEMAS Y DIFICULTADES QUE PRESENTA LA EVALUACION DEL SISTEMA DE EDUCACION SUPERIOR Y SUS INSTITUCIONES Alternativas de sólución En esta sección se hace una relación de los principales obstáculos que encuentran distintos centros de enseñanza superior al concebir o realizar criterios de evaluación. Afortunadamente se exponen también, en forma sucinta, algunas alternativas de solución a fin de darle viabilidad al análisis evaluativo. Institución Problemas y dificultades Alternativas de solución y propuestas UNIVERSIDAD AUTONOMA DEL ESTADO DE MEXICO La medición de la eficacia y la eficiencia presenta los siguientes problemas: 1. Al comparar una institución con otra, bajo estos criterios, "sólo podrá afirmarse que una es más eficiente que otra si produce el mismo producto al menor costo, pero esta 'mismidad' es muy difícil de establecer". 2. "La medición frecuente puede distraer los esfuerzos de las instituciones porque, por regla general, algunos aspectos de su 'producción' son más cuantificables que otros."   UNIVERSIDAD AUTONOMA DE SINALOA La evaluación de la educación no es fácil de realizar precisamente por la importancia que debe asignarse a lo cualitativo. Asimismo, la evaluación cualitativa, en educación, está insuficientemente desarrollada y la literatura disponible se refiere abrumadoramente a los aspectos cuantitativos. Respecto a la eficiencia y la eficacia plantea lo siguiente: ¿Qué se debe ponderar más: la eficiencia o la eficacia?, o para obtener resultados más confiables, ¿no deberíamos buscar insertar una y otra en un cuadro de concepciones y definiciones más amplias que son las que las contienen y le dan coherencia y validez? En relación con la evaluación institucional plantea otro problema especialmente en lo referente a la relación calidad de la educación y absorción de egresados por el mercado institucional. Es necesario "ponernos de acuerdo en un código común para entender cuáles son los factores que nos permitan establecer comparativamente los niveles de rendimiento y optimización de las instituiones educativas y cuál será la ponderación que de ellos se hará en el proceso de asignación de recursos". Propuestas: Para llevar a cabo lo anterior se requiere conformar un equipo técnico interinstitucional, el cual en un plazo prudente presente un proyecto que, después de aprobado, pudiera transformarse en el instrumentorector para la evaluación y asignación presupuestal en la educación superior. Definir objetivos comunes de evaluación por parte de las diferentes instancias e instituciones que participan en este proceso, a fin de dar una solución integrada al mejoramiento del sistema. UNIVERSIDAD AUTONOMA DE SINALOA A juicio de este centro de estudios, la relación entre estos factores no es ni coherente ni sistemática; por el contrario, el concepto de calidad de la educación y oferta del mercado ocupacional son dos sistemas que se articulan a partir de dos lógicas diametralmente diferentes y no siempre compatibles, la del sistema educativo y la del mercado ocupacional, especialmente el privado. Otro problema que plantea es sobre la presupuestación, en el sentido de que los parámetros establecidos hasta ahora sólo apoyan las funciones adjetivas descartando el privilegio que tiene lo académico; así la invocación académica se convierte en una carga presupuestal que se debe financiar con lo estimado a las actividades ya establecidas. Se pretendió corregir esta anormalidad con el programa 34 del Plan Nacional de Educación Superior, programa que nunca se cumplió. Estos objetivos deben contener y sustentar las diferentes posiciones acerca de lasituación, desarrollo y problemática del sistema universitario en su conjunto y de todas y cada una de las instituciones en particular, de acuerdoa sus condiciones internas yal contexto sociopolítico en el cual se desarrollan. Necesidad de revisar el programa señalado anteriormente y de "instrumentar criterios de evaluación que permitan establecer niveles de calidad y del trabajo actual, de factibilidad de las innovaciones y de apoyo efectivo a las transformaciones que se visualizan como válidas y factibles". UNIVERSIDAD AUTONOMA DE BAJA CALIFORNIA Esta casa de estudios presenta la problemática en torno a la evaluación de la eficacia y eficiencia referida tanto al sistema de educación superior como a sus instituciones. Evaluación de eficacia El principal problema en relación con la eficacia del Sistema de Educación Superior es que no existe un acuerdo unánime sobre cuáles son las necesidades del contexto social a las que deben adecuarse las universidades. En el campo institucional, la evaluación de la eficacia manifiesta muchos problemas, entre otros los siguientes: ¿Cómo conocer la cantidad de profesionales que demanda el sector productivo y la parte de oferta que le corresponde a cada institución? ¿Cuál es el ámbito regional que le corresponde a la institución? ¿Cómo evaluar la adecuada correspondencia entre los conocimientos, habilidades y aptitudes de los egresados y de aquellos que requieren los sectores productivos? De la misma manera se puede plantear una serie de interrogantes en el caso de las funciones de investigación y extensión. Evaluación de la eficiencia A nivel del conjunto de instituciones de educación superior, si bien es cierto que pueden utilizarse indicadores comunes para evaluar la eficiencia, también pueden presentarse serios problemas de confiabilidad y validez, especialmente al pretender comparar la eficiencia de una institución con respecto a otra. Dentro de esta situación podemos decir que: 1. "Son pocos los indicadores que pueden utilizarse de manera común para el conjunto de instituciones, es decir, que sean independientes de los procesos y estructuras que caracterizan a cada universidad." 2. "Existen algunos indicadores aparentemente resultan ser comunes a todas las instituciones, pero que en realidad están condicionados a una serie de consideraciones, sin las cuales se distorsiona la evaluación de la eficiencia." En relación con la eficacia (en los dos niveles) 1. "Más que utilización de indicadores cuantitativos específicos, la evaluación de la eficacia podría enfocarse hacia la existencia y efectividad de mecanismosde relación entre lastres funciones sustantivas de la universidad y el macrosistema representado por los organismos motores del desarrollo, los sistemas productivosy los grupos y clases sociales de la entidad y el paísen general." 2. La evaluación de programas, proyectos y acciones tendientes a relacionarla universidad con su contexto pondría énfasisenlos siguientes aspectos: Existencia, grado de formalización institucional, continuidad, impacto y trascendencia en losprocesos, estructuras y demás elementos de la universidad. Una evaluación en este sentido permite observar: el esfuerzo institucional por captar los problemas de la realidad social y la efectividad en resolverlos. 3. Los programas, proyectos y acciones para observar la efectividad operativa de la universidad estarían referidos a lasfunciones sustantivas. Por ejemplo proyectos de investigación sobre la ocupaciónde egresados; análisis sobreofertay demanda estudiantil mecanismosde relación conel contextopara orientar la investigación científica. En relación con la eficiencia A nivel del conjunto de las instituciones de educación superior: 1. Definir y establecer un mínimo de criterios normativos que permitan darun primer paso en la evaluación del sistema educativo superior.Por ejemplo: número mínimo de créditos que deben reunir las licenciaturas y posgrados; porcentaje mínimo de las horas totales de un curso que debe cumplir un alumnoacreditado; requisitosmínimos que debe reunir un candidato para aspirara una categoría de profesor o investigador UNIVERSIDAD AUTONOMA DE BAJA CALIFORNIA Los dos problemas señalados anteriormente se presentan también a nivel institucional, claro está que con menor magnitud ya que existe la facilidad de homogeneizar ciertos criterios, procedimientos, estructuras y procesos; situación que difícilmente se puede dar en el conjunto de instituciones de educación superior. 3. El problema fundamental de la evaluación de la eficiencia a nivel institucional es que no se impulsa como un proceso continuo y permanente, sino que la mayor parte de los esfuerzos se realizan de manera esporádica y circunstancial. 2. Definir y establecer criterios normativos para planificarel desarrollo de todo el sistemaypara garantizar un nivel aceptable de racionalización en la asignación, distribución y uso de los recursos que se destinana la educación superior. A nivel institucional Impulsar y fortalecer laplaneación institucional como un proceso continuo, permanente y sistemático, lo cual llevará a que la autoevaluación también adquiera estas mismas características. Proposición general Es fundamental estar de acuerdo para poner enmarcha los mecanismosde participación a fin de que todas las universidades, a travésde sus recursos humanos especializados intercambien experiencias, propongan alternativas y perfilen esquemas operativos para darle viabilidad ala evaluación. Institución Problemas y Alternativas de dificultades solución y propuestas UNIVERSIDAD DE COLIMA, GUADALAJARA GUANAJUATO, NAYARIT Y MICHOACANA DE SAN NICOLAS DE HIDALGO Para este grupo de universidades: "La falta de orientación y apoyo integral a las instituciones por parte del, Estado, resultado de una inconsistencia en la evaluación de la educación superior y de las autoevaluaciones institucionales, es lo que ha provocado desigualdad de criterios en las decisiones, lo que a su vez ha generado condiciones de injusticia distributiva en la asignación de recursos ."   Contenido