1. ANTECEDENTES Este primer apartado es un resumen de lo que a juicio de las universidades de Colima, Guadalajara, Guanajuato, Nayarit y Michoacana, y de la Dirección General de Institutos Tecnológicos, se considera como antecedente de la autoevaluación institucional. Las experiencias en esta materia son relativamente recientes. Se puede afirmar que datan de los planteamientos formulados en las reuniones nacionales de Puebla (1978) y de Morelia (1981), donde se señaló la necesidad de evaluar el Sistema de Educación Superior, así como de realizar la autoevaluación en las instituciones que componen este sistema. Antes de la reunión de Puebla (1978), se habían dado evaluaciones parciales de facultades o escuelas. En 1979 la Subdirección de Planeación de la Dirección General de Institutos Tecnológicos elaboró un anteproyecto de evaluación institucional en el cual se valoran las acciones cumplidas en cinco "funciones" consideradas como fundamentales. La Dirección mencionada, por una parte afirma que el poco desarrollo en el área de evaluación institucional "se debe tanto a las organizaciones mismas (en cuanto reflejo de sus propios y limitados intereses iniciales), como a las diversas teorías organizacionales utilizadas para estudiarlas, analizarlas y entenderlas"; por otra parte, señala que la evaluación institucional se ha reducido a tres tipos: La evaluación costo-beneficio/costo-efectividad. La evaluación burocrática relacionada con el análisis de las estructuras, proceso y/o procedimientos organizacionales. La evaluación del clima organizacional. Estos tres tipos de evaluación, si bien valoran aspectos complementarios y diversos de la organización, es evidente también que: a) Parten de supuestos distintos de la organización. b) No miden o no examinan los mismos elementos. c) Cada una conduce a resultados o juicios totalmente diversos sobre la misma organización. Contenido 2. NECESIDAD E IMPORTANCIA DE LA AUTOEVALUACION Dentro de este rubro, cinco de las catorce ponencias (Universidad Nacional Autónoma de México, Universidad de Yucatán, Universidad Autónoma de Baja California, Universidad del Estado de México y el Instituto Tecnológico de Sonora), hacen una justificación expresa de la importancia que tiene la autoevaluación institucional. Las razones que se señalan son las siguientes: "La evaluación es un proceso necesario y vital para determinar las acciones futuras que tienen que desarrollarse para mejorar el funcionamiento de las instituciones de educación superior" (Universidad Autónoma de Baja California) La misma institución prosigue: La evaluación "es un antecedente necesario para la determinación de prioridades, objetivos, metas y políticas para el desarrollo futuro. Por esto la evaluación no tiene valor por sí misma, como proceso único y terminal, pues su utilidad se concreta y materializa en las medidas operativas que se toman para impulsar el desarrollo futuro de las instituciones". Por otra parte, la UNAM indica que la evaluación sistemática "es un segmento de la planeación sin el cual ésta no tiene una perspectiva suficiente". Asimismo la evaluación retroalimenta en forma constante el desarrollo de todas las actividades. La Universidad Autónoma del Estado de México advierte que sólo mediante la evaluación podrán las instituciones de educación superior "identificar y corregir deficiencias e impulsar y orientar las acciones necesariasenlos ámbitos académico-administrativo, para el cumplimiento pleno de los fines que les corresponden". Esta misma universidad agrega que "si la universidad y los universitarios deben ser capaces de ejercer la crítica, esencialmente la crítica social, deben consecuentemente ser capaces de ejercer también la autocrítica, y de realizar los procesos de evaluación que permitan superar gradualmente condiciones negativas internas, semejantes en muchos casos a las que se manifiestan fuera de la universidad, y que son objeto de la crítica generada en nuestras comunidades académicas". A su vez, la Universidad Autónoma de Yucatán manifiesta "que la evaluación institucional es un procedimiento necesario, no sólo para conocer nuestro desempeño sino también para valorarlo, y es necesario efectuarlo constantemente con objeto de saber con qué ritmo nos estamos desarrollando". El Instituto Tecnológico de Sonora sostiene que la función de la evaluación es "una necesidad prevista en el proceso de planeación institucional" y que es una exigencia para el aprovechamiento racional y riguroso de los recursos. A esta afirmación, agrega: "pretendemos de esta manera satisfacer una verdadera necesidad institucional así como atender a una prioridad señalada en el Plan Nacional de Desarrollo". Contenido 3. CONCEPTO DE EVALUACION INSTITUCIONAL Este apartado es un condensado que relaciona los conceptos que tienen de la evaluación institucional distintas instituciones de educación superior. También se hace referencia a aquellos aspectos que, según algunas instituciones, no deben considerarse como evaluación institucional. Y en la última columna del cuadro en que se relacionan estos conceptos, se enlistan distintos términos utilizados indiscriminadamente como sinónimos del proceso en cuestión. Universidad o Instituto Qué es evaluación institucional o autoevaluación lo que no es evaluación institucional Sinónimos de autoevaluación VERACRUZANA Es la consecución y organización de información de los logros y avances cualitativos de los programas de estudios para la toma adecuada de decisiones. Las cifras, las estadísticas, anuarios u otros indicadores numéricos, no constituyen evaluación en sí, sino apoyo de ésta. El término más adecuado que propone es el de autoevaluació n cualitativa. YUCATAN Evaluación en general es "el proceso consistente en delinear, obtener y suministrar información útil para juzgar alternativas de decisión". Dentro del contexto de la IES la evaluación puede ser contemplada "como una revisión de programas que traerá consigo no sólo la valoración buscada de las actividades, sino además conducirá a desarrollar un mejor entendimiento de la institución". Revisión de programas. GUANAJUATO NAYARIT MICHOACAN COLIMA GUADALAJARA "Es una etapa de la planeación que corresponde a un estudio científico adecuado, realizado por grupos idóneos que cuentan con instrumentos confiables para medir el grado en que los objetivos han sido alcanzados, con el fin de estudiar el valor de la transformación de los elementos partici-pantes y de los medios utilizadosque proporcionen fundamentación adecuada para futuros plantea mientos." No debe considerarse como un mecanismo de fiscalización.   INSTITUTO POLITECNICO NACIONAL "Es el proceso a través del cual los sujetos de cada unidad evaluable, mediante una actividad de investigación evaluativa participante, ponen en relación los contenidos de los objetivos y políticas institucionales con el funcionamiento cotidiano de la unidad, de manera que ésta identifique, analice, jerarquice, y valide su problemática, y así se propongan alternativas para su solución."     INSTITUTO TECNOLOGICO DE SONORA Es "un proceso participativo que en forma integral y permanente: define, obtiene y proporciona de una manera sistemática y oportuna información válida, confiable y relevante, que sirve de apoyo a la toma de decisiones".     AGUASCALIENTES Es "la emisión de juicios sobre el producto universitario, desde el nivel de calidad y eficacia de sus egresados hasta el de la contribución al conocimiento y mejoramiento de su comunidad. Todo en función de los objetivos de la institución dentro de los marcos valorativos de la sociedad a través del contenido estructural académico y administrativo de la universidad".     UNAM DIRECCIÓN GENERAL DE INSTITUTOS TECNOLÓGICOS Es "el proceso de conocimiento integral y determinación del valor de las instituciones, sus productos, actividades, procesos y funciones, para informar la toma de decisiones". "La evaluación institucional nopuede comprenderse solamente como la determinación de la eficacia terminal, o por la relación entre egresados y alumnos de primer ingreso; tampoco debe limitarse a las percepciones de la comunidad sobre la efectividad aparente de la institución." Diagnóstico: La UNAM adopta este término al referirse a la evaluación como "información sistematizada" La DGIT manifiesta que existen una serie de términos no convenidos para referirse a la evaluación institucional . Así, se habla de: diagnóstico organizaciona l, análisis institucional , determinación dela eficiencia organizaciona l, análisis organizaciona l y evaluación organizaciona l. Otro términoal cual se recurreal hablar de evaluación institucional es el de autoestudio, entendido éste como el procesode auto-revisión . Este vocabloes utilizado por la Dirección Generalde Institutos Tecnológicos, el Instituto Tecnológico de Monterrey y el Instituto Tecnológico de Sonora. PUEBLA La "evaluación debe ser un instrumento que permita internamente imprimir una orientación al quehacer académico de la educación superior". Debe ser concebida como autoevaluación en el uso irrestricto de la autonomía que gozan las universidades y donde sus ejes principales sean las tres funciones sustantivas de la universidad.     Contenido 4. CONDICIONES Y CARACTERISTICAS GENERALES DE LA AUTOEVALUACION El propósito de este apartado es resumir las condiciones o requisitos que algunas instituciones de educación superior consideran necesarios para llevar a cabo un proceso de autoevaluación. Estas condiciones giran en torno a la participación, la capacitación para la evaluación, el apoyo con recursos a esta labor y la constatación de que aquello que se quiere evaluar opera efectivamente. Por otra parte, las instituciones, al caracterizar la función evaluativa, la conciben como un proceso particular de cada entidad que además es sistemático, integral, crítico, histórico, participativo, continuo y permanente. En lo que toca a las condiciones, se han extractado los siguientes criterios: El Instituto Politécnico Nacional anota que una condición de la autoevaluación es la participación directa de todos los miembros que integran la comunidad educativa: alumnos y docentes; personal técnico, administrativo y de servicios; autoridades y egresados. Su participación es concebida no como de simples suministradores de información, sino como elementos activos que discuten, reflexionan y analizan sus problemas y logros. Asimismo, subraya el hecho de que participar en la autoevaluación institucional implica una intensa capacitación del personal, de manera que quienes lo integren conozcan y se identifiquen con la concepción y metodología del proceso, y que además sirvan como coordinadores de grupos de evaluación. En este mismo orden de ideas, el Instituto Tecnológico de Sonora sostiene que dada la complejidad y magnitud de la evaluación "la institución deberá asignar para su ejecución un equipo de trabajo capacitado y con experiencia". Para ese Instituto esta condición es fundamental ya que una universidad, al pretender llevar a cabo la autoevaluación, "se encuentra con multitud de ideologías, metodologías y enfoques evaluativos que pueden dificultar la elección más adecuada, aun cuando al final se impongan las propias tendencias y preferencias valorales". Otra condición que establece el Instituto mencionado para que se pueda realizar el proceso de evaluación consiste en "asignar los recursos necesarios de todo tipo para la operación y mantenimiento del sistema, en particular se debe disponer de un sistema de información amplio y actualizado". Finalmente recalca que debido a las implicaciones del proceso evaluativo "debe existir la voluntad política de las autoridades para apoyarlo, sin la cual no sería factible". Por otra parte, la Universidad Autónoma del Estado de México hace especial énfasis en que se debe tener en cuenta una condición esencial antes de evaluar una institución. Esta condición indispensable es la de constatar que los aspectos que se quieren evaluar estén operando efectivamente en la realidad. En otros términos, esta institución considera que "un proceso de evaluación interna debe darse una vez que esté asegurada la operación institucional de ciertos elementos académicos". Los aspectos que se deben revisar a fin de "verificar la operatividad del sistema" están relacionados con la formación de profesionales (docencia), con la labor de investigación y con la extensión y difusión de la cultura. En lo tocante a las características de la evaluación, algunas universidades mencionan las siguientes como las más importantes: La evaluación de las instituciones de educación superior debe formularse considerando las diferencias individuales que guarda cada institución y no de manera excesivamente compleja, de tal forma que pudiera impedir su instrumentación generalizada, o llevar a la introducción de cambios inorgánicos en nuestras instituciones con su secuela de tensiones innecesarias (UAEM). Las universidades de Colima, Guanajuato, Nayarit, Guadalajara y Michoacana, en su ponencia colectiva, determinan las siguientes características: "La evaluación debe ser: sistemática, integral, crítica, histórica y participativa." (Esta última propiedad no la definen.) Sistemática: porque forma parte del proceso de planeación. Integral: porque abarca las funciones sustantivas y adjetivas, tanto desde el punto de vista cualitativo como cuantitativo, dentro de su propio perfil institucional y en su relación con el entorno. Por su parte la Dirección General de Institutos Tecnológicos, al caracterizar la evaluación institucional como integral, afirma que ésta comprende: "la evaluación de los fines, de los medios y de los medios en cuanto a fines". Crítica: porque el análisis que se haga acepta un cuestionamiento y una reorientación. Histórica: porque recoge retrospectivamente las experiencias de la institución dentro de las posibilidades y restricciones del momento y permite establecer la prospectiva de la propia institución. Sobre esta última característica, la Universidad Autónoma de Puebla subraya: "se debe establecer que la evaluación no es ahistórica, esto es, no se puede efectuar haciendo abstracción del proceso histórico que explica el presente de las instituciones". La Universidad Autónoma de Baja California recalca sobre las mismas propiedades al decir que la autoevaluación debe tener las mismas características de la planeación, la cual es un proceso continuo, permanente y sistemático. La Universidad Autónoma de Aguascalientes señala expresamente como característica de la autoevaluación, el hecho de que ésta se efectúe continuamente. En tal sentido afirma que "el Plan de Desarrollo Institucional debe evaluarse constantemente", a fin de corregir errores en su momento oportuno y no dar ocasión a que se presenten problemas de diversa índole. Contenido 5. CRITERIOS SOBRE LA AUTOEVALUACION En esta sección se recapitulan los criterios generales y específicos que expusieron algunas instituciones asistentes a la XXI Reunión Ordinaria de la Asamblea de la ANUIES respecto de la autoevaluación. Esos criterios generales ponen de manifiesto los enfoques generales que las entidades tienen sobre la autoevaluación, así como las pautas genéricas que señalan para que ésta se cumpla, agregando algunos factores que se deben tener en cuenta en dicha tarea. Los criterios específicos son puntualizaciones que se hacen en torno a los siguientes aspectos: -en torno a qué se debería evaluar -cuáles son los factores sujetos a evaluación -cuál debería ser la utilización de los resultados -con qué metodología y procedimientos se debería llevar a cabo la evaluación Las consideraciones en torno a la participación, el ámbito de la evaluación, la periodicidad o momentos en que se debe evaluar, son expuestos en otras partes de este trabajo. 5.1. Criterios generales - Universidad Veracruzana El criterio general que propone esta universidad en su modelo de autoevaluación es: "determinar la eficacia y la eficiencia de la administración de los recursos en función de los resultados obtenidos y de los objetivos de la institución". - Universidad de Yucatán "Los criterios para guiar la práctica de las revisiones o evaluaciones se agrupan en 3 conjuntos: 1. "Criterios utilizados para seleccionar programas que hay que revisar... 2. "Criterios usados para describir el programa que es preciso revisar... 3. "Criterios usados para juzgar el valor del programa..." - Universidades de Guadalajara, Nayarit, Colima, Michoacan y Guanajuato Para este grupo de universidades las pautas generales que deben guiar la autoevaluación se centran en las siguientes proposiciones: "Las instituciones de educación superior, autónomas por ley, tienen derecho de autoevaluarse según las modalidades que ellas determinen. "La autoevaluación debe realizarse atendiendo a la dimensión de la institución, a las funciones que cumple, a su desarrollo alcanzado y a sus propios recursos. "La autoevaluación debe medir lo que es la institución, según su propio paradigma. "Las instituciones harán una autoevaluación de significación científica según su capacidad y podrán solicitar ayuda a otra institución para realizarla. "La autoevaluación debe ser auxiliar en la prevención de contingencias perjudiciales a la institución. "La autoevaluación se hará en forma global (si se orienta a observar el desarrollo armónico de las funciones básicas) o parcial (si se analiza alguna función específica o dependencia particular). "Tanto la autoevaluación global como parcial atenderán las vinculaciones orgánicas entre las funciones. "La autoevaluación puede realizarse bajo diferentes ópticas: la académica, la financiera, la administrativa, la política, etc. "La autoevaluación detectará el equilibrio entre formación científica, tecnológica y humanística." - Universidad Autónoma de Puebla Esta institución disiente de quienes toman los criterios de eficiencia como los más relevantes para la evaluación, puesto que en el caso de evaluar la eficiencia se "pueden generar juicios unilaterales que conducen al menosprecio y trato diferenciado hacia las instituciones". En cuanto a evaluar la eficacia, esa Universidad afirma: "no se puede establecer de manera simple que una institución sea más eficaz que otra por el hecho de que gradúe, en un periodo determinado, más profesionales que la otra, sin tomar en cuenta factores propios que tienen que ver con la función que desempeñan los diferentes tipos de institución y que se relacionan con las necesidades que han satisfecho históricamente". Este centro de estudios hace hincapié en el criterio de que "la autoevaluación supone el respeto a la autonomía universitaria", de lo cual se infiere que la autoevaluación significa: "Tener un espacio para que se desarrolle creativamente la capacidad de los universitarios en el desarrollo de la ciencia y la cultura." Tener un espacio que permita a las instituciones "ser centros generadores de ideas y valores tanto materiales como espirituales". "La defensa de la universidad y de los universitarios, de sus métodos de enseñanza-aprendizaje, de la libertad de establecer condiciones para el desarrollo de la actividad crítica, el pensamiento libre, el debate y la discusión de los problemas nacionales." "El derechode los universitarios para autogobernarse sin interferencias externas." - Instituto Tecnológico de Sonora Enfoca la evaluación desde una perspectiva amplia que comprende tres tipos de criterios operativos, a saber: "El cumplimiento de los objetivos institucionales." Se pretende conocer mediante la evaluación en qué grado y con qué calidad fueron alcanzados. "La consecución de mejores resultados" durante un periodo de referencia dado. "La obtención de beneficios que superen los costos", o análisis de costo-beneficio. El análisis cuantitativo, constituido por un conjunto de indicadores, mide la eficacia, eficiencia y el efecto o impacto de las acciones institucionales. Este análisis se complementa con una interpretación cualitativa adecuada y amplia, y por juicios de valor sobre estas acciones. - Universidad Autónoma de Aguascalientes Señala dos grandes factores que debe evaluar la universidad: por un lado el nivel de calidad y eficacia de los egresados; es decir, su contribución al conocimiento y al mejoramiento de la comunidad; por otro lado, los objetivos y estructura de la institución. Para medir el primer factor sugiere que se utilicen indicadores estadísticos de: Eficacia. Se refiere a la comparación entre los objetivos propuestos y los resultados obtenidos. "Eficiencia. Este tipo de indicador define la relación entre los insumos y los productos del mismo sistema." "Relevancia. Se refiere a la comparación entre los objetivos propuestos y los resultados obtenidos. Aquí lo que se trata de evaluar es si los recursos y las acciones se encaminaron precisamente al cumplimiento de las metas a lograr." "Los indicadores pueden ser básicos o complementarios y, a su vez, cuantitativos o cualitativos." "Estos indicadores servirán de base para el diagnóstico y la planeación de la universidad, pues por sí solos no significan nada, se convertirían en datos aislados, carentes de interpretación." - Universidad Autónoma de Baja California Existen, según esta institución, dos criterios o categorías que perfilan la estructura de la evalución: La eficacia universitaria y la eficiencia universitaria. La eficacia evalúa el grado de integración, complementación y congruencia entre los servicios generados por la universidad, y las necesidades de su contexto social, económico, político y cultural. La eficiencia evalúa los servicios finales generados por la universidad y sus insumos bajo parámetros de racionalidad y de optimización de recursos. -Universidad Nacional Autónoma de México Lo que esta compleja casa de estudios expone dentro de este rubro son las grandes directrices que orientaron recientemente su diagnóstico institucional. Lo que se trató de lograr en el programa fue: "Conocer la precisión de los planes académicos, la operatividad y eficiencia en el cumplimiento de estos mismos planes, ...la calidad con que estos planes y proyectos académicos se llevan a cabo..." "Se pretendió hacer este mismo análisis en las funciones de investigación, extensión universitaria y difusión cul tural", en los servicios de apoyo (bibliotecas, planes editoriales, administración). "Tener una imagen no solamente de su desarrollo cuantitativo y de su quehacer cotidiano, sino de la calidad de los procesos que efectúa." 5.2. Marco de referencia de la evaluación Este punto hace alusión a los distintos planteamientos que sustentan las instituciones al tratar de definir la base o fundamento alrededor del cual va a girar la evaluación. La exposición que se abre en este sentido es una amplia gama de conceptos, los cuales pretenden resolver la cuestión de qué se debe evaluar. -Universidad Autónoma del Estado de México Para esta Universidad el Plan de Desarrollo Institucional se constituye en el modelo o paradigma conceptual respecto del cual se debe evaluar el funcionamiento de la universidad. En este sentido, sostiene que "la comparación entre lo establecido en el modelo de funcionamiento y el funcionamiento real observable en determinado momento, es un elemento útil para intentar la corrección de los diversos problemas según su importancia e implicación". Dentro de esta perspectiva la UAEM ha decidido revisar aspectos relacionados con la formación de profesionales, con la labor de investigación y con la extensión y difusión. - Universidad Veracruzana Según esta casa de estudios, se debe evaluar: "La capacidad que tiene la institución para responder a las necesidades del sector productivo, es decir, la adecuación de las características de la enseñanza a las necesidades presentes y futuras de las entidades públicas o privadas que generan empleos. "La facultad de innovación y de dinamismo de la universidad. Es decir, el establecimiento de nuevas carreras que se anticipen a los cambios tecnológicos previsibles o la adaptación de los que ya existen pero cuyos planes de estudio son ya obsoletos o desajustables. "El rendimiento en la productividad académica tanto en términos cuantitativos como cualitativos. "El grado de penetración de la universidad en el mercado de trabajo y la opinión cualitativa que los empleadores tienen de las actividades de la universidad. Este aspecto cuestiona y evalúa el crecimiento de la universidad." -Universidad de Yucatán Esta universidad, al sugerir un modelo de evaluación institucional, propone tres parámetros de análisis alrededor de los cuales debe hacerse lo que denomina revisión o evaluación de los programas institucionales. Dichos parámetros son: "valor, calidad y uso efectivo de los recursos". Valor: definido como la "estimación de la naturaleza, importancia e interés de las metas de un programa en relación con las necesidades de la sociedad". Calidad: "evaluación de la extensión con que un programa logra sus metas; sus fortalezas, debilidades, eficacia y eficiencia. Uso efectivo de los recursos: "en la apreciación de la propiedad con la que se asignan y organizan los recursos humanos, físicos, financieros y de información". - Universidades de Colima, Guadalajara, Guanajuato, Nayarit y Michoacana Estas instituciones, que forman parte de la Región IV Occidente, toman en cuenta los factores o áreas de evaluación enunciadas en la Reunión de ANUIES en Morelia. Consideran que la evaluación de las funciones sustantivas y de apoyo a nivel institucional deberá realizarse en torno a cuatro factores: a. "En atención a la identidad de la institución. b. "La vinculación con el contexto. c. "El crecimiento industrial. d. "La calidad y la funcionalidad." Asimismo señalan que la evaluación de la asignación presupuestal deberá hacerse basada en los parámetros sugeridos por la Asamblea General de la ANUIES en Morelia: Dedicar entre el 44% y el 58% del presupuesto institucional a la docencia; entre el 15% y el 20% a la investigación y el 10% a la tarea de difusión cultural y de extensión universitaria. - Instituto Politécnico Nacional Para los representantes del Instituto Politécnico Nacional el parámetro de evaluación se fundamenta en la concepción de un ideal o paradigma institucional que se denomina "movimiento esperado", el cual contempla los siguientes factores: "Marco histórico-filosófico de la institución. "Análisis de la Ley Orgánica. "Funciones de las distintas unidades de la institución. "Políticas y delineamientos internos. Detectar en ellas su congruencia entre sí y con las políticas limitadas del subsector de Educación Tecnológica, de la Secretaría de Educación Pública y del Ejecutivo Federal. "Aspectos inherentes a las funciones sustantivas como a las adjetivas." - Universidad Autónoma de Puebla Esta institución, de acuerdo con la Secretaría General Ejecutiva de la ANUIES, reconoce que "el punto de partida para la evaluación institucional debe consistir en precisar su paradigma, entendido dicho paradigma como el conjunto de propósitos ideales de la institución en el marco del país al que aspira". (Documento sobre Evaluación Institucional de la ANUIES 1982.) - Instituto Tecnológico de Sonora Al resolver la cuestión de qué se debe evaluar, considera que es preciso evaluar los distintos componentes del sistema o institución. Estas partes son: El contexto: constituido por los aspectos relevantes de la sociedad, sus necesidades y los factores de mutua influencia entre institución y sociedad. Los insumos: recursos materiales, humanos, administrativos, etc. Los procesos: características de la operación y ejecución de planes y programas. Los productos y su impacto: permiten conocer la medida en que han sido satisfechas las necesidades sociales que en un principio se tuvo como propósito satisfacerlas. Estos factores o elementos están enmarcados dentro de 3 grandes criterios operativos de evaluación, los cuales son: El cumplimiento de objetivos institucionales. La consecución de mejores resultados. La obtención de beneficios que superen los costos. - Universidad Autónoma de Aguascalientes Los representantes de está Universidad estiman que la planeación es la base de comparación para poder emitir los juicios de valoración y es la que da todos los elementos necesarios para poder evaluar. Esta proposición nos indica que lo que se debe evaluar son las tareas planeadas por la universidad. -Universidad Nacional Autónoma de México La UNAM considera que son cuatro los aspectos generales sujetos a la evaluación en esta institución: Los diversos sistemas educativos. Los subsistemas de investigación. El subsistema de extensión universitaria. Los procesos de apoyo. -Dirección General de Institutos Tecnológicos Según el primer modelo de evaluación institucional, elaborado en 1979, se dirigen las acciones de evaluación hacia la detección del cumplimiento de cinco funciones consideradas fundamentales en el quehacer de los institutos tecnológicos; éstas son: Servicios educativos. Currículo Desarrollo organizacional. Instalaciones escolares. Programación presupuestaria. Luego, en 1981, se diseñó un modelo de evaluación institucional, el cual toma en cuenta los siguientes factores para ser evaluados: Función de docencia. Función de investigación. Función de extensión. Función de administración. De los anteriores elementos se pretende determinar los niveles de eficiencia, eficacia y congruencia logrados por cada instituto tecnológico, con el objeto de retroalimentar la toma de decisiones, tanto a nivel institucional como del sistema en su conjunto. La Dirección General de Institutos Tecnológicos observa que los esfuerzos realizados para el conocimiento de las instituciones se han orientado solamente hacia la medición del cumplimiento de funciones, el logro de objetivos y la eficacia y eficiencia en la realización de las tareas institucionales. Por ello recomienda que se evalúen también aspectos importantes en la vida de las organizaciones como son la dinámica generada por las relaciones interpersonales y los intereses de individuos y grupos. Esos aspectos, según esta Dirección, están cobrando especial importancia en el proceso evaluativo que se pretende aplicar en fecha próxima en el Sistema Nacional de Institutos Tecnológicos. - Universidad Autónoma de San Luis Potosí Finalmente, esta Universidad hace referencia en su trabajo a los aspectos básicos que ha venido evaluando en los últimos años. -Organización administrativa. -Programa de desarrollo (1978-1982). -Plan de trabajo (1970-1984). -Desarrollo de la Universidad. -Evaluación y crecimiento de la población escolar. -Atención a la demanda. -Planta física. 5.3. Factores o aspectos que hay que evaluar Tres ponencias, las presentadas por la Universidad Nacional Autónoma de México, la Universidad Veracruzana y la de la Universidad Autónoma de Baja California, de las catorce que se expusieron en la XXI Reunión Ordinaria de la Asamblea de la ANUIES, dan una muestra de aspectos específicos que deben ser objeto de evaluación; algunos de éstos tienen características de indicadores. A continuación relacionamos los principales elementos que la UNAM tiene en cuenta para evaluar sus distintos sistemas: a) Para la evaluación de los sistemas educativos, esta Universidad pone especial énfasis en conocer: -El perfil del alumno a su ingreso. -El perfil de los estudios por realizar. -La preparación previa de los estudiantes. -La preparación de los docentes. -Los métodos y mecanismos de enseñanza-aprendizaje. -La puntualidad y precisión con que se efectúa el proceso de enseñanza-aprendizaje. -Los recursos modernos para dar apoyo al proceso referido. -Los sistemas de apoyo bibliotecario y hemerográfico. -Los apoyos audiovisuales. -El sistema de evaluación del aprendizaje. -Porcentaje de acreditación por semestre. -Porcentaje de acreditación por generación al término de los estudios. -La eficiencia terminal medida a la terminación de los estudios. -Las dificultades encontradas, tanto por profesores como por alumnos, en el desarrollo del proceso. b) En la evaluación de los subsistemas de investigación, la UNAM tiene cuidado en conocer: -La productividad de cada investigador. -La productividad de cada instituto y centro por separado. -La calidad de la producción medida por el número de artículos publicados en revistas con comité editorial. -El número de libros publicados. -El número de artículos de difusión. -El número de tesis dirigidas de posgrado. -El valor que tenían los estudios como proyectos de solución de problemas fundamentales. -La valoración de los recursos destinados a la investigación, en relación con la producción en sí. -Porcentaje de proyectos derivados de la planeación académica institucional. c) En la evaluación de subsistemas de extensión universitaria se pretende establecer: -El número de eventos realizados dentro del campo de la universidad. -El número de eventos realizados fuera de la universidad. -El material y mecanismo de la extensión. -Porcentaje de procesos de extensión que se realizan, obedeciendo a una planeación. -Calidad de las manifestaciones artísticas y académicas, motivo de la extensión. -Cantidad de eventos artísticos y académicos realizados que responden a una política de extensión cultural de las instituciones. d) En la evaluación de los procesos de apoyo se trata de conocer: -El grado de eficacia y eficiencia de estos procesos. -El grado de desviación que existe en los diversos procesos de apoyo y la función que le corresponde cumplir. - Universidad Veracruzana Esta Universidad da algunos ejemplos de indicadores de eficacia y eficiencia en su modelo de autoevaluación como los que se relacionan a continuación: Indicadores de eficacia Horas-clase impartidas Investigaciones concluidas Terminación de estudios Asignación de personal docente a estudiantes Asignación de investigaciones a investigadores Indicadores de eficiencia Costo de enseñanza por alumno Costo por plaza de investigación Costo por horas clase Proporción de inversiones a gasto Proporción de egresos totales a alumno inscrito. La Universidad Autónoma de Baja California da algunos ejemplos de indicadores para realizar la evaluación a nivel de eficiencia; éstos son: Relación alumno-profesor Porcentaje de carga académica cubierta por tipo de profesor Porcentaje de egresos destinados a cada función Deserción estudiantil Indice de reprobación Porcentaje de profesores por grado académico (licenciatura y posgrado, etc.) 5.4. Utilización de los resultados de la evaluación Los principales beneficios que se pueden obtener con la práctica de la autoevaluación están expuestos claramente en las ponencias presentadas por la Dirección General de Institutos Tecnológicos y por las universidades de Guanajuato, Guadalajara, Colima, Michoacana y Nayarit. Los resultados de la evaluación institucional, según estas instituciones, son útiles por las siguientes razones: Proporcionan a quienes toman decisiones elementos tanto descriptivos como explicativos sobre la institución y no un juicio valorativo de la misma. Planean el futuro de la institución sobre aspectos como las tendencias de crecimiento, desarrollo o transformación. Facilitan la descripción y explicación de relaciones significativas entre la institución y su contexto. Proveen de realimentación formativa antes que los resultados sean plasmados en un informe final. Esto es, el personal involucrado tomará decisiones basándose en la información por ellos obtenida. Permiten conocer la realidad con mayor precisión para así perfeccionar las funciones de la educación superior de modo que alcancen más eficiencia y eficacia. Permiten realizar una adecuada visualización, coordinación y vinculación de las diversas actividades de la institución. Facilitan la orientación del proceso de desarrollo institucional y miden el grado en que las instituciones han actuado como agente de cambio social. Conducen a establecer mecanismos de ajuste en materia de distribución presupuestal sobre las funciones institucionales, al mismo tiempo que permiten racionalizar el gasto público en las instituciones de educación superior. 5.5. Metodología y procedimientos Dentro de este tópico se exponen cinco propuestas que emiten distintas instituciones de educación superior en torno a cómo se debe proceder para ejecutar las acciones de evaluación. Los lineamientos de la UNAM son un procedimiento lógico ideado para delimitar el ámbito de la evaluación, a fin de diseñar los instrumentos para obtener la información necesaria. En cambio la Dirección General de Institutos Tecnológicos propone una serie de procedimientos para la implantación de la evaluación. A su vez, la Universidad Veracruzana recomienda una metodología estadísticamente válida para obtener información de la comunidad educativa y propone como metodología para la autoevaluación la llamada "Investigación Demoscópica" (estudios de opinión), que se fundamenta en las leyes de probabilidad, mediante la cual, para conocer una respuesta, no es necesario recurrir a todo el conjunto de una población en estudio, sino a una muestra representativa de ésta y luego proyectar los resultados a toda la población. Las universidades de Colima, Guadalajara, Guanajuato, Nayarit y Michoacana, consideran que lo referente a los procedimientos para hacer operativa la evaluación institucional sea estudiado en la próxima reunión de la Asamblea de la ANUIES. Esto porque una vez definidos, discutidos y acordados los criterios, constituirán la base sobre la que se podrán diseñar los procedimientos válidos. A continuación se expone la metodología que siguió la UNAM al evaluar recientemente sus sistemas educativos. Esta metodología consta de las siguientes fases: "Definir con claridad los propósitos que debería seguir el diagnóstico según cada sistema. "Determinar los aspectos sujetos a evaluación. "Establecer los criterios de evaluación con base en la legislación universitaria, los objetivos y las funciones de cada sistema. "Analizar los bancos de información con que cuenta la universidad. "Formular los instrumentos idóneos para recabar la información adicional y su validación a través de diversas pruebas." Por su parte, la Dirección General de Institutos Tecnológicos da una serie de lineamientos generales para la implantación de la evaluación institucional; éstos son: Incluir desde el inicio de la evaluación al personal clave del proceso y a los afectados por ésta. Mantenerlos constantemente informados. Unir el proceso directamente con la tarea de toma de decisiones a fin de ganar rapidez en la solución de problemas. Realizar una autoevaluación (núcleo central de la evaluación institucional) para crear confianza y facilitar la heteroevaluación (evaluación realizada por otros organismos). Llevar a cabo el proceso evaluatorio anualmente. No es necesario crear una burocracia exprofeso que efectúe la evaluación, sino formar un equipo de trabajo con miembros de la propia institución. Iniciar la evaluación con las unidades orgánicas más pequeñas e ir ampliándola de acuerdo con el organigrama operativo de la institución (este proceso de evaluación lo denomina helicoidal). En el caso de los institutos tecnológicos, la implantación de la evaluación debe hacerse a instancias de la Dirección del Instituto o de los niveles directivos de la Unidad central en el momento en que éstos lo consideren conveniente. Por último, el Instituto Tecnológico y de Estudios Superiores de Monterrey indica dos grandes etapas de la metodología que siguió en el autoestudio realizado entre 1976 y 1977. Primera etapa: identificación de problemas. Las fases del procedimiento que se siguió, fueron: Descongelamiento. Definición de términos. Lista personal de síntomas (manifestación de problemas). El facilitador escribe los síntomas dictados de uno en uno por los integrantes del grupo. Revisión colectiva de síntomas. Es en esta etapa cuando surgen los síntomas más profundos. Formación de columnas. Van del 0 (cero) al 20 (veinte), dependiendo de su relación causa-efecto. En la columna cero se colocan los síntomas no controlables por el grupo. Las columnas sobre las cuales se van a relacionar los síntomas son las siguientes: -Columna I: actitudes, estilos y valores. -Columna II: estructura institucional. -Columna III: proceso institucional, misión, principios, propósitos de alta jerarquía. -Columna IV: estructura intermedia. -Columna V: Proceso administrativo. -Columna VI: síndromes (causas). -Columna VII: síntomas. -Columna VIII, IX y X: manifestaciones provenientes de los síntomas como conjunto. f. Evaluación de la importancia relativa de los problemas, después de que hayan sido identificados. Segunda etapa: calificación de los problemas según su grado de prioridad (alta, baja y media). Esta calificación orienta la estrategia para la solución de los problemas. Clasificación de los problemas en cinco áreas: a) Vida institucional b) Vida académica c) Comunicación y promoción d) Fianzas e) Administración 5.6. Objetivos de la autoevaluación Esta sección se ha reservado para señalar lo que las instituciones han considerado como propósitos de la autoevaluación y que se constituyen en ejes de esta teoría institucional. Los objetivos concebidos son los siguientes: - Determinar la eficacia y la eficiencia de la administración de los recursos de la institución en función de los resultados obtenidos y de los objetivos de ésta (Universidad Veracruzana). - Captar, analizar e interpretar de manera oportuna, información válida, confiable y relevante que sirva de base para juzgar de manera más objetiva las diferentes alternativas de solución (Instituto Tecnológico de Sonora). - Determinar la eficiencia y la eficacia del funcionamiento interno de la institución (Instituto Tecnológico de Sonora). - Conocer el impacto y efecto de las acciones y programas institucionales en la sociedad y en la economía (Instituto Tecnológico de Sonora). - Obtener información válida y con un alto grado de confiabilidad, que apoye el proceso de toma de decisiones en los diferentes niveles de gestión (Instituto Politécnico Nacional). - Validar el proceso metodológico, en sí mismo, de acuerdo a las características de la institución (Instituto Politécnico Nacional). - Revisar en qué medida se están cumpliendo los propósitos institucionales y determinar la calidad de los resultados de la acción docente (Universidad Autónoma del Estado de México). - Conducir al diseño de políticas y a la preparación en la toma de decisiones, a fin de orientar la educación superior en la dirección establecida por el Estado (universidades de Colima, Guadalajara, Guanajuato, Michoacana y Nayarit). Mejorar el proceso educativo (Instituto Tecnológico y de Estudios Superiores de Monterrey). - Ayudar a replantear los objetivos, corroborar logros, explorar formas y recursos con los cuales se pueda superar la educación en respuesta a las demandas sociales (Instituto Tecnológico y de Estudios Superiores de Monterrey). Conocer la precisión de los planes académicos, la operatividad y eficiencia en el cumplimiento de éstos y la calidad de los programas como de los proyectos académicos (Universidad Nacional Autónoma de México). Contenido 6. MODELOS DE AUTOEVALUACION Damos a conocer a continuación los modelos de autoevaluación sustentados por las universidades de Yucatán y Veracruzana y por los institutos Tecnológico de Sonora y Politécnico Nacional. Estos modelos, en general, presentan un mismo tipo de componentes: objetivo general o propósitos, requisitos o condiciones para que se lleven a cabo, etapas y acciones que incluye. Las otras universidades, si bien hablan de un modelo en sus ponencias (que lo tienen concebido, lo están instrumentando o ya está en ejecución), ese modelo al que se refieren no lo dan a conocer expresamente. Los modelos que aquí se compendian, derivan de concepciones particulares de las instituciones anteriormente mencionadas y son adecuados a sus características y condiciones. 6.1. Modelo de autoevaluación de la Universidad Veracruzana - Justificación: la necesidad de instrumentar el modelo surge de dos razones importantes. Por un lado el hecho de que todo sistema demanda una retroalimentación del mismo, y por el otro que administrativamente se requiere de una fase de control para evaluar los resultados obtenidos en su funcionamiento. - Objeto: determinar la eficacia y la eficiencia de la administración de los recursos de la institución en función de los resultados obtenidos y los objetivos de ésta. - Integración del modelo: la integración del modelo se da a partir de la relación entre la información financiera y la información académico-administrativa y se presenta en 3 niveles: A nivel de la información oportuna y confiable de los elementos para evaluar, obtenida de las funciones docencia, investigación, difusión y extensión universitaria. A nivel de los indicadores de eficiencia y eficacia, los cuales relacionan datos de lo logrado y lo esperado. A nivel de los informes sujetos a interpretación y análisis para la toma de decisiones. Requisito: para la aplicación de este modelo se hace necesario establecer un sistema de información de la actividadfinanciera yde la actividad académico-administrativa de la Universidad que opere a nivel de centros y unidades de medición, bajo la responsabilidad de una dependencia de la propia Universidad. En este caso los centros de medición son las dependencias de la estructura orgánica de la Universidad y las unidades las integran los sujetos, los cuales se constituyen en patrones de verificación. 6.2. Modelo de autoevaluación de la Universidad de Yucatán - Propósito: Superar los programas de la Universidad. - Parámetros: los parámetros que se consideran para la evaluación son los de valor, calidad y uso efectivo de recursos (sobre estos aspectos ya se habló en la sección 5.2). Desde estas tres ópticas (valor, calidad y uso efectivo de los recursos), se analizan los siguientes elementos de los programas: elección estratégica, metas, actividades, estructura, participantes, proceso y recursos. Requisitos: las condiciones que es necesario cumplir para la instrumentación de este modelo son: Buscar un tipo de revisión (evaluación) adecuada para cada programa. Definir los programas a evaluar. Producir un autoestudio (autoevaluación) más regenerativo que reactivo, centrando su atención no tanto en los datos sino en lo que éstos significan. Propiciar la participación sincera y la continua comunicación entre los individuos involucrados en el proceso. Considerar la participación de evaluadores externos a la institución, que trabajen en educación superior. Esto permitirá que el sistema permanezca abierto al cambio. Elaborar un plan de acción institucional, que indique el responsable de la labor y cómo se podrá saber que se ha cumplido. 6.3. Modelo de autoevaluación del Instituto Tecnológico de Sonora - Objetivo: captar, analizar e interpretar de manera oportuna, información válida, confiable y relevante que sirva de base a los cuadros directivos del Instituto para juzgar con objetividad las diferentes alternativas de solución. - Componentes: el modelo está constituido por cuatro etapas cíclicas, las cuales a su vez contienen subfases que las componen. Primera etapa: planeación de la evaluación. Son componentes de esta etapa: 1.1. Conceptualización de los fines de los planes. 1.2. Definición de criterios, parámetros, estándares e indicadores. 1.3. Elaboración de instrumentos. 1.4. Programación de la evaluación. Segunda etapa: recopilación y procesamiento de la información. Son factores de esta etapa: 2.1. Fase de entrada de la información requerida. 2.2. Fase de procesamiento de la información. La cual tiene las siguientes subfases: -captación de información -organización de la información -cálculo de indicadores numéricos -obtención de indicadores estimativos -ponderación de opiniones 2.3. Fase de salida de información y formulaciones cualitativas para ser analizadas e interpretadas. Tercera etapa: análisis e interpretación de la información. Son elementos de esta etapa: 3.1. Fase de entrada de información, formulaciones cualitativas e indicadores. 3.2. Fase de proceso, en la cual se analiza e interpreta la información a la luz de los criterios de evaluación, los estándares de comparación, los objetivos y metas a alcanzar. 3.3. Fase de salida, en la que se produce un diagnóstico y un pronóstico, además se dan propuestas alternativas de desarrollo. Cuarta etapa: decisiones. Son fases de esta etapa: 4.1. Fase de entrada del diagnóstico y pronóstico institucional como del entorno. 4.2. Fase de toma de decisiones, en la cual los cuadros directivos seleccionan las alternativas de cambio o mantenimiento de las políticas y programas incluyendo al proceso de evaluación. Con esta etapa se cierra el ciclo de planeación institucional. Errores que se deben evitar en la aplicación del modelo: Homologar la visión principal de la universidad con la de una empresa productiva y basar la evaluación única y simplemente en un análisis económico de costo-beneficio. Pretender evaluar el funcionamiento interno de las universidades sobre la base de un mismo cuadro de indicadores de evaluación, ya que cada institución posee objetivos, naturaleza y características muy particulares. 6.4. Modelo de autoevaluación del Instituto Politéctico Nacional Propósitos: Obtener información válida y con un alto grado de confiabilidad, que apoyará el proceso de toma de decisiones en los diferentes niveles de gestión. Validar el proceso metodológico en sí mismo, de acuerdo a las características del Instituto. Requisitos: La condición que se propone tener en cuenta el Instituto en su modelo es la de evaluar prioritariamente los aspectos cualitativos, haciendo uso del modelo propuesto por el Consejo Nacional de Educación Tecnológica. Parámetro de evaluación: El marco de referencia para la evaluación institucional se denomina "movimiento esperado" y se constituye en el ideal que quiere alcanzar la institución. Características del modelo: El modelo diseñado tiene cuatro características fundamentales: ser integral, global, participativo y permanente. Metodología: Para ajustarse a las características anteriores el proceso metodológicomásadecuadoeseldela investigación-participante, el cual es una forma aproximada al de la investigación-acción. Contenido 7. PROPOSICIONES Y RECOMENDACIONES GENERALES Esta sección se dedica a relacionar las sugerencias que señalan algunas instituciones de educación superior en relación tanto con la evaluación del sistema como de la autoevaluación y que, por razones de ordenamiento, no han podido incluirse en otros apartados de este compendio. - Universidad de Baja California "La necesidad e importancia de evaluar nuestro sistema y las instituciones que lo integran, no es discutible. Sólo que es recomendable definir conceptos, analizar problemas, diseñar mecanismos y plantear soluciones que hagan de la evaluación un instrumento útil, confiable y válido para cumplir sus propósitos." Esta misma casa de estudios afirma que es fundamental que las universidades se pongan de acuerdo respecto de los mecanismos de participación, a fin de que todas las universidades intercambien experiencias, propongan alternativas y perfilen esquemas operativos a fin de poderle dar viabilidad a la evaluación. - Instituto Politécnico Nacional Se hace necesario "la búsqueda de procesos que evalúen a varias instituciones o a todo un subsector de educación. Además, enfatiza la "necesidad de intercambiar opiniones en este campo entre las diferentes instituciones de educación superior". - Instituto Tecnológico de Sonora "Consideramos que adolece de limitaciones el tratar de evaluar el funcionamiento de las instituciones con base en un mismo cuadro de indicadores de evaluación. Es esencial la coordinación e integración de nuestras instituciones; debemos reconocer que cada una posee sus objetivos, naturaleza y características muy particulares." Sobre este mismo punto, el Instituto Politécnico Nacional recomienda que "cada organismo educativo genera un modelo de evaluación, apegado a sus propias características, ya que es prácticamente imposible utilizar lo hecho exprofeso para determinada institución, salvo que se realicen las adaptaciones necesarias". La Universidad Autónoma del Estado de México está totalmente de acuerdo con lo que precede, y agrega que deben tenerse en cuenta las diferencias entre las instituciones con el fin de desarrollar diferentes alternativas para evaluar. Contenido