INTRODUCCIÓN Contenido
El proceso de evaluación que se propone en este documento parte de la descripción de un problema recurrente en las instituciones educativas: los bajos niveles de eficiencia escolar que ha sido consignado en la literatura sobre ciencias de la educación desde hace poco más de dos décadas. Es usual que ante este problema se esbocen procesos de reforma global o cuando menos programas de solución parcial que para ser implantados de manera permanente necesitan demostrar su validez.
El procedimiento lógico sistemático y de mayar relevancia comprende en un sentido cuasicientífico(1) la identificación de las variables que afectan la buena marcha de la institución educativa el diseño de un plan cuyo propósito es modificar suprimir o sustituir esas variables y finalmente la aplicación del plan al medio real.
Este supuesto no le quita relevancia al procedimiento dado que los escenarios reales están multideterminados y una institución es similar pero no idéntica a otra. En toda caso es un procedimiento de intervención profesional y no de búsqueda de hechoas científicos aunque implica necesariamente elementos científicamente comprobados o comprobables.
Este proceso de resolución del problema de la eficiencia implica también en un sentido cuasicientífico el desarrollo de un medio de control tanto de la identificación de las variables como del diseño y aplicación de las modificaciones o reformas.
La evaluación es el sistema de control de la actividad institucional. En tanto que medio de control del proceso antes citado, aquélla se puede realizar en tres momentos: antes del diseño de un plan, en este caso su función es identificar las variables que obstruyen o facilitan la eficiencia escolar (valoración previa o diagnóstica): Durante la aplicación de un plan, para verificar la adecuación de las estrategias de cambio, los procedimientos e instrumentos al problema que se pretende solucionar (valoración intermedia) y, al final, para constatar la persistencia de los cambios y su sintonía con la naturaleza de la institución (Evaluación final)(2).
El propósito de este traba jo es describir la secuencia, procedimientos, instrumentos y unidades de medida de una evaluación aplicada a instituciones de educación superior, considerando los momentos arriba señalados. Es preciso aclarar que se trata de evaluación institucional y no de un programa particular y específico, la diferencia estriba en que, en el primer caso, se juzga la actuación de una institución como entidad social, como un espacio de satisfacción de necesidades de una comunidad o como una organización de grupos humanos con intereses particulares. En cambio, la valoración de programas juzga, solamente, la efectividad del programa mismo, de su método y procedimientos, de la validez de sus instrumentos o sus posibilidades de generalización. La primera considera que todos los elementos de la institución están interrelacionados, la segunda atiende a variables unívocamente determinadas.
Se considera que una evaluación total y de alcances concluyentes significa, precisamente, enjuiciar una institución como tal, dar cuenta de su valor social. Esto implica poner en juego procedimientos intraescolares pero también contextuales, es decir, procedimientos para establecer el valor de sus funciones en relación al medio del que forma parte.
El trabajo se dividió en tres partes: la definición de la eficiencia escolar que es el concepto del que parten las propuestas de valoración; la definición del sistema escolar, en el que se describen los elementos, y sus interrelaciones, que componen a una institución educativa de nivel superior y que son la clave del problema; en la tercera parte se describirá la metodología de evaluación.
1. LA DEFINICION DE LA EFICIENCIA ESCOLAR Y LOS OBJETIVOS DE LA EDUCACION SUPERIOR Contenido
1.1. Los tipos de eficiencia escolar
En referencia a la eficiencia escolar universitaria, la literatura de las ciencias educativas define dos tipos(3): a) la eficiencia interna, que comprende el grado en que un programa educativo (currículum) atiende las necesidades individuales y grupales, de conocimientos básicos y especializados. Asimismo incluye el balance de la capacidad que una institución tiene para atender la demanda de la educación y la utilización de los recursos con que cuenta. b) La eficiencia externa que se define por las relaciones funcionales entre una institución y su contexto. En el caso de la educación superior, estas relaciones se estructuran a partir de la concordancia entre el programa educativo (currículum) y las necesidades sociales, extrainstitucionales, de aplicación de conocimientos científicos o tecnológicos. En otras palabras, es una relación entre la eficiencia interna y el contexto real; entre aspiraciones vocacionales personales y satisfacción de necesidades sociales.
Es obvio que estas definiciones no son aceptadas por todos los teóricos de las ciencias educativas. La razón es que tienen un trasfondo ideológico concreto. Supone que el estudiante es un ser dinámico, cuyo aprendizaje está determinado por el estado del conocimiento del tiempo que vive, pero a la vez, es portador de estilos cognoscitivos y actitudinales que determinan, en último término, su actuación profesional y científica.
Las definiciones de la eficiencia interna y externa permiten proponer algunos objetivos que concretan, de una manera más específica, los propósitos de creación y funcionamiento de instituciones educativas.
1.2. La definición de objetivos
Los objetivos, al mismo tiempo que trazan las líneas directrices de la institución, proporcionan un parámetro de referencia para la evaluación. Es decir, contienen el "ideal" de actuación institucional con el que se contrasta la actuación "real", a fin de emitir juicios acerca de sus bondades y defectos.
El procedimiento de definición de objetivos ha sido criticado tanto por educadores como por evaluadores. Por un lado se dice que restringe las posibilidades de creatividad y autonomía de los individuos con respecto a su educación; por otro se critica que, en procesos de evaluación, no permiten el análisis de fenómenos que, siendo elementos causales o intervinientes de una situación educativa, son ignorados por los objetivos.(4)
De cualquier manera, la definición de objetivos es un procedimiento que, si no imprescindible, sí permite la sistematización de ideas y la aplicación de ciertas metodologías de evaluación (apartado 3). Es evidente, por otro lado, que existen fines sociales, en este caso fines de educación, y los objetivos son una forma de expresar sus orientaciones, son enunciados que los concretan.
En las instituciones educativas, las actividades se diseñan de acuerdo al grupo humano al cual le dan servicio; se diferencian entre sí según los fines sociales para los que han sido creadas (por ejemplo, las diferencias entre los niveles básico, medio y superior consignadas por la reforma de 1982 en el caso de España)(5). De manera que los objetivos de educación superior tienen características singulares diferenciadas de otros niveles.
Es un acuerdo, casi universal, que las universidades tienen como fines la enseñanza, la investigación y la divulgación de la cultura(6); los conceptos de eficiencia descritos en el apartado 1 .1, se referían, obviamente, a los fines de enseñanza y, es este aspecto, de las instituciones de educación superior, el que se tratará en este proyecto, aunque es evidente que en términos ideales debe relacionarse con los otros dos fines universitarios.
De acuerdo, entonces, con las definiciones propuestas se pueden plantear los siguientes objetivos:
a) De eficiencia interna
-Formar profesionales en áreas de aplicación científica de acuerdo con el estado del conocimiento de cada disciplina.
b) De eficiencia externa
-Formar profesionales capaces de insertarse en el mercado de trabajo o de promover áreas de aplicación científica o tecnológica en un medio social determinado.
Algunos teóricos de la educación llaman a este tipo de enunciados, objetivos generales; denotan con esto que, por un lado tienen aún un grado de ambigüedad que los hacen susceptibles de ser interpretados de manera diversa y, por otro lado, es frecuente que formen parte del lenguaje de la política educativa o de propósitos de la administración gubernamental.
La forma como se pueden reinterpretar los objetivos generales es a través de una especificación más precisa, por ejemplo:
a) Eficiencia interna
-Organizar experiencias de aprendizaje a través de métodos activos de enseñanza
-Eliminar los fenómenos de deserción o de retención intrageneracional
b) Eficiencia externa
-Adiestrar en la aplicación del método científico a medios naturales
-Relacionar el número de individuos que demandan educación con las necesidades reales del mercado laboral.
A este tipo de enunciados se les llama objetivos específicos. Denotan un grado mayor de concreción y una mayor claridad sobre las orientaciones de la educación superior. No es intención de este proyecto describir de manera exhaustiva los distintos niveles de definición de objetivos, esto correspondería a un diseño de programas(7). Sólo se describen cuatro objetivos específicos para ejemplificar tres aspectos que la evaluación de instituciones educativas debe considerar: que las eficiencias interna y externa están interrelacionadas; que ambas están determinadas por elementos cuantitativos y cualitativos; y que las instituciones educativas están formadas de elementos propios que las diferencian de otras instituciones sociales. En consecuencia, la valoración debe tomar en cuenta, para aplicar sus procedimientos, las características únicas de cada tipo de institución, en este caso de las de educación superior.
2. ELEMENTOS DE LAS INSTITUCIONES DE EDUCACIÓN SUPERIOR Contenido
2.1 El objeto de evaluación
La definición de los elementos institucionales permitirá delimitar el objeto de valoración que, en atención a los fines universitarios y a la doble vertiente de eficiencia escolar, se dividirán en intra y extrauniversitarios. Es necesario señalar que la definición de elementos se da a un nivel teórico y abstracto, que es deducido de la tradición universitaria occidental(8).
2.1 Elementos intrauniversitarios(9)
En términos muy generales y pragmáticos, la enseñanza puede definirse como el proceso de comunicación entre profesores y alumnos para la adquisición de un corpus determinado de conocimientos. (Figura 1)
En una institución organizada para enseñar disciplinas profesionales específicas, el conocimiento
se elige del corpus generado por el sistema científico internacional; la elección es focalizada,
es decir, se escogen ciertas temáticas, teorías o metodologías afines a los propósitos
de la institucián. Una vez elegido un corpus, éste es reinterpretado, con fines de enseñanza
a través de la concepción curricular de los grupos de profesores, de autoridades o de los reglamentos
gubernamentales. El proceso de diseño curricular comprende: la selección de un corpus específico;
la divisián del canocimiento que se va a impartir (por materias, por módulos, etc.); el tipo de conocimiento
(básico, tecnológico, etc.) y la secuenciación de la enseñanza. (Fig. 2)
Los profesores al mismo tiempo que son los poseedores del conocimiento, tienen una relación laboral con
la institución. En otras palabras confluyen en ellos dos elementos: son el eje y portador de la enseñanza
y son trabajadores asalariados; en tanto que profesores, deben tener conocimientos adecuados y actualizados de
acuerdo con la materia que instruyen y estilos eficientes de instrucción (capacidad didáctica); en
tanto que trabajadores, tienen derechos adquiridos para organizarse como grupo político (asociaciones, sindicatos,
etc.) y, asimismo, por las características de su trabajo, tienen derecho también a ser administrados
en el cuerpo profesoral mediante sistemas de selección adecuados. (Fig 3)
Algunos de estos elementos tienen relación con el contexto extrauniversitario; por ejemplo, en el caso de las universidades españolas, los criterios de selección se deciden de manera centralizada desde la administración pública y son de aplicación para todo el territorio nacional; sin embargo, las facultades -los profesores mismos- tienen control sobre la aplicación efectiva de dichos criterios. El contexto universitario se tratará más adelante.
Los alumnos son finalmente el "objeto" y fin del trabajo de las instituciones educativas. Para su
análisis, pueden identificarse tres momentos en el proceso de adquisición de conocimientos. El primero
se da antes del proceso universitario: los alumnos traen consigo una historia previa personal y escolar que los
predispone para aprendizajes específicos. El segundo momento ocurre durante el proceso de enseñanza
en el que se produce el intercambio, propiamente dicho, entre profesores y alumnos. Por último, después
del proceso de enseñanza y aprendizaje, en el que se define su inserción en el medio laboral. (Fig.
4)
El proceso de enseñanza requiere de ciertas situaciones y elementos, al interior de la universidad, que
faciliten las experiencias de aprendizaje para la adquisición de conocimientos. Estas situaciones las proporciona
el aparato administrativo y redunda en un trabajo de apoyo a la enseñanza entre ellas se encuentran el acervo
bibliográfico y el funcionamiento adecuado de las bibliotecas, la prestancia de laboratorios, aulas y espacios
para tiempo libre; asimismo, se incluyen cuestiones como la fluidez en la tramitación burocrática.
Mención aparte merecen los medios de acceso a fuentes de financiamiento y a la distribución de recursos
materiales entre los diferentes sectores de enseñanza. (Fig. 5)
2.2 Elementos contextuales(10)
Los resultados del aprendiza je no sólo están relacionados con las situaciones internas de las universidades, sino también con las condiciones contextuales que facilitan o restringen el funcionamiento de la institución y el éxito profesional. Las aplicaciones reales que pueda tener un área de conocimiento en el contexto son, finalmente, las que determinan la eficiencia externa de las funciones de enseñanza.
En este sentido, las universidades modernas tienen una relación compleja con el medio social en el que se encuentran y que deben ponderar para el ejercicio de sus funciones. Por un lado, son objeto de subvenciones estatales, sin las que sería casi imposible su supervivencia; este hecho generalmente deviene en un conflicto de poder entre los administradores gubernamentales, que asumen el derecho y la obligación de controlar el financiamiento otorgado a las instituciones, y las autoridades universitarias que hacen valer sus bases de autonomía.
En segundo lugar, la estructura productiva -el medio laboral- tiene reglas propias, ajenas al adiestramiento universitario; trayendo esto también consigo un conflicto (pero esta vez sólo al interior de la universidad) entre colectivos que favorecen una adecuación teórica y técnica al empleo y los que proponen una actitud contestataria ante el medio laboral.
Finalmente, existe una relación entre el ejercicio profesional y las necesidades sociales. La aceptación
y el valor atribuido por diversos grupos humanos a ciertas áreas de aplicación de conocimientos son,
en último instancia, el motivo por el cual las universidades otorgan títulos de acreditación.
(Fig. 6)
El análisis anterior, aunque somero, permite dilucidar los elementos que deben considerarse como variables del proceso de enseñanza universitaria. Si se aplica la terminología experimental, se puede decir que la variable dependiente es la formación intelectual de los estudiantes o, en términos más precisos, la adquisición y aplicación de conocimientos; las variablesindependientes serán,anivel intrauniversitario, las correspondientes al currículum, al profesor, a los elementos de apoyo y al alumno mismo. Sin embargo, esta jerarquización de variables pierde definición y utilidad conceptual cuando se trata de analizar tal cantidad de elementos y, sobretodo, cuando se pretenden analizar las relaciones entre la institución y su contexto; en otras palabras, una institución universitaria está en función de su medio, pero también forma parte de la renovación cultural y científica. Sus relaciones no son unívocas sino multideterminadas. Universidad y contexto se condicionan mutuamente con una dinámica que va desde la tesis teórica a la síntesis práctica, retornando ésta para reformular las bases de la enseñanza. Son relaciones dialécticas; no de causa-efecto.
En conclusión, los objetivos de eficiencia escolar, al interior de la universidad y en relación con su contexto, tienen relevancia en tanto que son expresiones de los fines de enseñanza de la institución, son parte de su naturaleza y el motivo por el cual fue creada. Un proyecto de evaluación de lo enseñanza universitaria. Si se le quiere conferir validez a un proyecto evaluativo de la enseñanza superior, éste deberá considerar estos elementos. (Fig. 7)
3. LA METODOLOGÍA DE EVALUACIÓN Contenido
La evaluación de una institución se concibe como el juicio emitido acerca del cumplimiento de sus fines; es una evaluación que se hace cuando, después de un tiempo determinado de funcionamiento, se tiene el propósito de transformarla o de corregir problemas. Para ello, se requiere de una concepción previa acerca de su actividad. En el caso de las instituciones educativas, los conceptos de eficiencia interna y externa dan la pauta para un análisis objetivo de la realidad que se valora.
Si se considera que la universidad y su contexto tienen relaciones funcionales, mutuamente condicionadas, se
puede afirmar que la eficiencia interna y externa están relacionadas en términos mutuamente recíprocos.
Por ejemplo, uno de los problemas que aquejan a las universidades modernas en la mayor parte del mundo occidental
son las bajas tasas de financiamiento gubernamental; las consecuencias en la propia institución son múltiples:
salarios bajos, escasez de recursos, etc. (Fig. 7).
La idea de la universidad (en abstracto) relacionada con su contexto tiene relevancia para elegir el modelo de evaluación y para la definición de las unidades de medida.
3.1. El modelo de evaluación
Dada la complejidad del objeto de evaluación, es decir, sus determinantes de eficiencia, se puede considerar que la institución es un sistema formado por la interacción de los elementos que la conforman; su naturaleza es tal, que cualquier estímulo o cambio en algún elemento afecta a los demás(11).
La evaluación, en este caso, es una forma de retroalimentación y control de la actividad institucional, necesarios para la toma de decisiones, a fin de corregir las ineficiencias conocidas. La retroalimentación es un concepto cibernético, definido como un proceso en virtud del cual, cuando se actúa sobre un determinado sistema, se obtiene información de manera continua sobre los resultados de una actividad; a su vez, la información es útil para decidir la modificación, supresión o permanencia de tal actividad(12).
Steinmetz(13) menciona que la evaluación, en este sentido, se refiere a un modo de práctica que requiere que las actividades de la institución sean continua y sistemáticamente retroalimentadas. La retroalimentación adquiere, en sí misma, una connotación de juicio, basada en la medición de ciertas variables que aparecen como esenciales para la operación de la institución.
La esencialidad de las variables se establece en concordancia con el modelo sistémico que se diseña. Para la evaluación del problema que se trata en este proyecto, se elegirá un modelo global (holístico), en el que todos los elementos son determinantes: alumnos, profesores, administradores, financiamiento, etcétera.
Los modelos sistémicos de evaluación requieren de una concepción previa de la acción educativa, objetivada y cuantificada, es decir, una medida de eficiencia (que más adelante se definirá). El acto evaluativo, consiste en confrontar los datos obtenidos con los resultados esperados (objetivos).
El concepto de retroalimentación requiere que se definan, cuando menos, tres fases de evaluación: previa, intermedia y final. La evaluación previa tiene como propósito diagnosticar objetivamente un problema esbozado o inferido por los promotores de la evaluación. En concreto, verifica la adecuación entre los objetivos del sistema -institución- y sus elementos constituyentes; detecta las variables que obstruyen la comunicación entre los elementos del sistema, así como las causas de dicho obstáculo. El procedimiento consiste en contrastar las relaciones "ideales" al interior y al exterior de la universidad con el funcionamiento "real" del sistema. (Las relaciones ideales se esbozan en la Fig. 7).
En un proceso de planificación sistémica, el siguiente paso consistiría en el diseño de una reforma o de programas de solución; de hecho, la evaluación previa, estrictamente hablando, aun cuando tenga procedimientos solamente anecdóticos, se realiza antes de la creación de alguna institución(14).
La evaluación intermedia (véase nota 2) tiene como propósito verificar la adecuación de los procedimientos propuestos para la corrección del sistema; en este caso, para lograr el máximo de eficiencia educativa. En esta etapa, los planes correctivos toman el valor de una hipótesis que debe ser verificada en la realidad y, en tanto que hipótesis, reformulada y comprobada tantas veces se haga necesario.
La evaluación final se realiza para contrastar los resultados de la corrección del sistema con el problema esbozado al principio del proceso y, en última instancia, con los fines y objetivos de la actividad institucional. En otras palabras, cumple con dos propósitos: uno, de verificación de resolución de problemas; y otro, de control de la adecuación entre los resultados de un proceso de corrección o de reforma de la institución y los fines para los que fue creada. (Figura 8).
La aplicación de este modelo en una institución educativa, definida como un sistema cuyos elementos
se sintetizan en la figura 7, considera, por un lado, que los índices de ineficiencia en alguno de ellos
afecta la buena marcha de todo el sistema; por otro lado, supone que existe consenso acerca de los objetivos de
eficiencia tanto dentro de la universidad como fuera de ella; en consecuencia, la evaluación no tiene como
fin la redefinición de los objetivos generales.
El propósito de lograr la plena eficiencia interna y externa de una institución de educación
superior supone que, de cada generación de estudiantes que ingresa a la universidad egresará el mismo
número, cuando menos con todos los cursos terminados y que, a su vez, tendrán acceso a un puesto
de trabajo en un lapso razonable. (Figura. 9).
El logro de este proceso pasa por diversos obstáculos que constituyen el problema de la ineficiencia del sistema.
El problema se desglosa en tantos indicadores o variables como sea posible identificar, para hacerlos accesibles a procedimientos de medición. De acuerdo con los elementos del sistema, ya analizados en la sección 2, pueden distinguirse los siguientes indicadores de ineficiencia:
- Nivel y tipo de inteligencia inadecuado a la elección vocacional.
- Intereses y valores contradictorios con la elección profesional
- Conocimientos previos insuficientes para estudios universitarios.
- Deserción escolar, esto es, abandono de los estudios antes de completar algun ciclo escolar.
- Retención intrageneracional, es decir, utilizar más años de los prescritos en un currículum u ordenación administrativa para terminar algun ciclo universitario.
- Bajo rendimiento escolar, definido como la suspensión recurrente en alguna materia.
- Falta de indentificación profesional, definida camo el rechazo a las normas del colectivo profesional al que se pertenece, por ser contradictorias con la ideología del individuo.
- Subempleo, es decir, profesionales de algun área de conocimientos con empleo incompatible a sus estudios.
- Ausentismo del profesorado.
- Ineficiencia didáctica, es decir, dificultades para plan y experiencias de aprendizaje eficaces para el aprovechamiento escolar.
- Secuenciación inadecuada del currículum, definida como la impartición de materias de mayar complejidad, antes que otras que proporcionan conocimientos de base para la adquisición de aquéllas. Materiales y procedimientos de enseñanza inadecuados; este indicador se puede subdividir en dos: por un lado, denota una falta de adecuación entre conocimientos impartidos y práctica profesional; y por otro, una falta de correspondencia entre procedimientos y contenido de enseñanza y las formas de calificación de conocimientos.
Currículum obsoleto, es decir, la existencia de contenidos en las materias con conocimientos ya superadas.
- Falta de publicidad de mecanismos administrativos.
- Laboratorios precarios.
- Falta de atención de la burocracia al usuario.
- Falta de aceptación de una profesión, o, en otras palabras, la ausencia de demanda social de algún procedimiento profesional (por ejemplo, en relación con los arquitectos, la existencia de tradiciones de autoconstrucción de vivienda).
- La falta de impacto social de la profesión, definido como la irrelevancia profesional para resolver problemas detectados en el contexto.
- Financiamiento precario e insuficiente.
La inexistencia de puestos de trabajo para una profesión en instituciones gubernamentales o privadas, debida a dos factores: por ser irrelevante para la institución o por falta de rentabilidad económica.
Es evidente que el análisis del medio laboral no se agota en los indicadores mencionados, y que requieren de la identificación de variables económicas y sociales más precisas para explicar la movilidad laboral de una profesión. Baste considerar los indicadores apuntados como ejemplos que cumplen con los propósitos de este trabajo.
Un análisis somero de estos indicadores parece ubicar a algunos de ellos como causa y a otros como efecto; sin embargo, en la realidad esto no es tan claro y, tal vez, lo único que se pueda aventurar son hipótesis acerca de las relaciones estructurales entre indicadores.
Algunos de los enunciados arriba apuntados pueden cuantificarse y otros sólo permiten un análisis cualitativo. Por ejemplo, es evidente que el currículum, en donde la elección y división del conocimiento se basa en las preferencias profesionales y científicas de los colectivos de profesores, sólo puede ser analizado con criterios cualitativos.
El siguiente apartado analiza estos extremos.
Si se atiende al problema de la eficiencia educativa de las universidades, se puede observar que los aspectos cualitativos y cuantitativos son dos dimensiones de un mismo problema. La elección de procedimientos de valoración de uno u otro signo depende de la naturaleza de los indicadores; por tanto, plantear la elección entre un paradigma de calidad o de cantidad es irrelevante y, como estrategia de valoración, erróneo. Baste decir que la objetividad con la que se analizan los datos educativos (y probablemente cualquier dato) no depende de la sofisticación estadística sino de la fortaleza y rigurosidad teórica.
Reichardt y Cook(15), en un análisis acerca de los paradigmas cuantitativos y cualitativos y su relación con la elección de métodos de valoración, mencionan que "... los atributos de un paradigma no están ligados inherentemente a métodos cualitativos o cuantitativos. Ambos métodos pueden estar asociados con los atributos de paradigmas cuantitativos o cualitativos... La elección de un método debe depender también, cuando menos parcialmente, de las demandas de la situación que se va a investigar".
3.3 Procedimientos de evaluación
De acuerdo con el modelo de evaluación elegido, hay tres momentos para aplicar los procedimientos que permiten la emisión de juicios de valor acerca de la eficiencia de una institución. Se describirán los procedimientos para cada tipo de evaluación.
Evaluación previa
El diagnóstico de los elementos de la institución y de sus interrelaciones, que afectan positiva o negativamente el logro de la eficiencia, se realiza mediante el siguiente procedimiento: a) la definición operativa de los indicadores y de los instrumentos de medida de cada uno de los componentes de la institución y b) se establecen las correlaciones entre elementos que hipotéticamente estén afectando la eficiencia institucional y que, por lo tanto, deben ser modificados.
a) La definición operativa de los indicadores y los instrumentos de medida.(16)
| DEFINICION DE LOS INDICADORES | INSTRUMENTOS DE MEDIDA |
| De los alumnos -Características intelectuales, valorales y actitudinales de los alumnos recién ingresados. |
Batería de pruebas psicológicas aplicables a colectivos |
| -Nivel de conocimientos previos de los alumnos aspirantes a la universidad. | - Verificación por expediente escolar. Prueba de conocimientos mínimos afín al área vocacional elegida. |
| -Nivel de aprovechamiento durante los cursos. | Verificación por expediente. |
| -Nivel de satisfacción con la institución los profesores y el currículum. | Encuesta mediante cuestionario a una muestra de alumnos por curso. |
| deserción Número de matriculados al inicio del ciclo menos: a) número de matriculados por año y b) número de egresados por generación. | Verificación por expediente. Encuesta mediante cuestionario a desertores para investigar causas. |
| retención Número de alumnos egresados después del lapso previsto. Número de alumnos con materias suspendidas por año. | Verificación por expediente. Encuesta mediante cuestionario a una muestra representativa para indagar causas. |
| -Identificación profesional. Cambios de carrera a áreas incompatibles. Verificación por expediente escolar. Encuesta mediante cuestionario a una muestra de alumnos . -Subempleo o desempleo a) Tipos de trabajo diferentes al profesional; b) tiempo transcurrido entre la terminación de estudios y el primer empleo; c) salario medio. |
Seguimiento de la historia profesional de algunas generaciones a través de cuestionarios aplicados a muestras por generación. |
| De los profesores -Destreza didáctica Asistencia a clase; uso de procedimientos alternativos de enseñanza; renovación temática y bibliográfica de la materia que imparte; uso de espacios extrauniversitarios como complemento de la enseñanza. | Encuesta mediante cuestionarios aplicados a profesores y alumnos. |
| -Nivel de conocimientos en el área. Títulos universitarios; cursos de actualización; participación en congresos; publicaciones; discípulos con la misma temática disciplinaria . | Verificación por currículum Vitae y expediente profesional. |
| -Condiciones laborales Remuneración salarial; participación en decisiones académicas; participación en organizaciones laborales; retribuciones adicionales; becas y ayudas para estudios de actualización. | Encuesta mediante cuestionario aplicado o profesores y ex profesores. Análisis de las normas y regulaciones del Estado para la contratación y retribución de los profesores. |
| -Niveles de satisfacción de los profesores con el currículum y con la institución. | Encuesta mediante cuestionario a una muestra de profesores y ex profesores. |
| Del Currículum -Corpus de conocimiento Tendencias y teorías elegidos; nivel de modernidad del corpus. | Análisis de expertos por áreas profesionales elegidos por consenso. Encuesta a profesores e investigadores por área de conocimiento . |
| -Tipos de conocimiento Enfasis en la formación teórico o práctica; niveles de integración de conocimientos. | |
| -División del corpus por materias; por módulos interdisciplinarios; por problemas de aplicación. | |
| -Secuenciación para la enseñanza . | |
| De la Administración -Presupuestos Necesidades presupuestarias para la enseñanza; organización y distribución del presupuesto. | Análisis de fuentes de financiamiento. Análisis de costo-benefico económico. Inventario de bienes y de necesidades. |
| -Gestión administrativa Nivel de eficacia en la tramitación burocrática. Nivel de eficacia en la petición, compra y acceso a materiales de enseñanza. Organizacion del personal. | Análisis de normas gubernamentales y reglas internas. Verificación por archivo de gestiones burocráticas. Encuesta al personal de servicios administrativos. |
| -Servicios complementarios Limpieza, agua, luz, transportes, espacios de recreo. | Verificación por observación directa. |
| -Atención a la demanda de ingreso a la universidad. | Análisis de los criterios para la administración y ubicación del alumno. |
| Del Contexto -Político Relaciones entre la administración pública y la institución; relaciones diversas entre autoridades que involucren a la institución. |
Análisis de políticas gubernamentales y de programas de gobierno. Análisis de normas, leyes y reglamentos del sector educativo. Análisis y verificación de informaciones periodísticas y anónimas. |
| -Económicas Mercado de trabajo profesional; análisis de salarios, puestos y nivel socio-económico por profesiones. |
Análisis de programas gubernamentales, privados y extranjeros de inversión industrial o en servicios. Encuesta por cuestionario a funcionarios públicos ad hoc y a dueños de medios de producción de medios o servicios. |
| -Sociales Niveles de satisfacción de la comunidad con la actuación profesional. lmagen y valor público de la institución. | Encuesta por cuestionario a una muestra representativa de miembros de la comunidad, patrones, sindicatos, funcionarios relacionados con la institución. Análisis periodístico y bibliográfico. |
Los instrumentos de medida, además de tener un grado de validez aceptable, deben aplicarse en consonancia con los valores y usos y costumbres de la comunidad institucional, para evitar conflictos y rechazo durante el proceso de valoración. Por ejemplo, es posible que algunos grupos se nieguen a permitir la verificación de expedientes o a contestar encuestas en sus tiempos libres. Esto se considerará en la siguiente sección.
La literatura evaluativa divide a los instrumentos de medida, o con mayor exactitud, a las pruebas de evaluación, en dos conceptos: medidas con referencia a un criterio y medidas con referencia a una norma.
Las medidas con referencia a una norma están diseñadas para determinar el estado relativo de un individuo, en comparación con una norma grupal interna o externa. En contraste, las medidas con referencia a un criterio comparan a los estudiantes, no en relación con otros, sino en relación con el nivel de ejecución que se espera logre en un dominio conductual definido. Los desventajas y ventajas de uno y otro han sido analizadas de manera extensa(17). La elección de una u otra medida en proyectos de evaluación está relacionada con los grados de validez y confiabilidad de los resultados de un programa de intervención experimental; estos son casos de evaluación educativa en los que se considera que los niveles de rendimiento estudiantil son una variable dependiente relacionada, proporcionalmente, con el nivel de efectividad del programa, es decir, hay una relación lineal, unívoca.
No es este caso de la evaluación de instituciones educativas, en el que, si bien los niveles de rendimiento estudiantil son el foco principal de juicio, la actuación institucional para la adquisición de conocimientos, como entidad social que es, está multideterminada; es decir, su actividad está condicionada por factores objetivos (como el financiamiento) imbricados con factores subjetivos como lo son la "opinión" o "los grados de satisfacción" de la comunidad. En consecuencia, es relevante utilizar medidas estandarizadas cuando la naturaleza de la variable lo permite, pero no pueden estandarizarse las opiniones sociales o políticas .
Esto no quiere decir que, en la medida de lo posible, y dada la cantidad de datos que se manejan a la vez en un proyecto de este tipo, no se elijan análisis objetivos o estadísticos de la información; por ejemplo, se propone que las encuestas se realicen con cuestionarios cerrados, lo cual significa que las opiniones vertidas están cuantitativamente jerarquizadas. Esto permite el uso de medios electrónicos de análisis de la infonmación y la simulación de correlaciones entre indicadores.
b) Las correlaciones entre indicadores.
Una vez obtenida la información pertinente acerca de cada uno de los indicadores definidos en el proyecto, el siguiente paso consiste en determinar con mayor exactitud las causas de la ineficiencia de la institución. De acuerdo con el modelo sistémico de valoración propuesto en 3.1, cualquier elemento del sistema opera en virtud de las relaciones que tiene con otros elementos; su actuación puede ser funcional o disfuncional. Es funcional cuando ese elemento y sus relaciones mantienen intacta la estructura del sistema, sus procesos y sus productos (Fig. 7 y 9); es disfuncional cuando cualquier variación en él o en sus relaciones provoca un cambio que tiende a desequilibrar al sistema y, por lo tanto, no se logran los fines propuestos. En la valoración previa se definen las disfuncionalidades de la institución que provocan una baja eficiencia educativa. Un procedimiento relevante y pertinente para indagar las disfuncionalidades es la simulación de relaciones entre elementos.
Por ejemplo, supóngase que en una carrera X hay niveles de aprovechamiento muy bajos, la historia escolar previa de la mayoría de los alumnos no es muy buena, el currículum es absolutamente teórico; los profesores tienen problemas de reivindicaciones salariales y las autoridades no les dan el presupuesto suficiente. Figura 10.
La simulación consiste en observar si, alterando alguno o todos los elementos, se pueden elevar los índices de aprovechamiento. Es recomendable, por supuesto, la simulación por computadora; en cualquier caso, la simulación es una hipótesis que debe comprobarse; en consecuencia, la hipótesis es la proposición 1ógica que da origen al diseño de programas o planes de reforma tendientes a corregir las disfunciones del sistema.
Evalvación Intermedia
Esencialmente, la evaluación intermedia es un proceso de retroalimentación (Fig. 8) en donde los
juicios que se emiten son usados para controlar la veracidad de las hipótesis surgidas de la simulación
de elementos del sistema.
Sus procedimientos consisten en sondear el plan de modificación de los elementos de la institución, por medio de los mismos instrumentos de medida empleados en la evaluación previa, a fin de verificar si tiene efectos sobre los aspectos que se pretende corregir. Los datos obtenidos permiten tomar decisiones acerca de la reestructuración, invariabilidad o supresión de algún elemento o relación entre elementos que, hipotéticamente, afectan la buena marcha de la institución.
Generalmente, cuando se da un proceso de este tipo existen varios programas implantados a la vez, sobre todo cuando se siguen procesos de reforma educativa. En estos casos pueden provocarse interferencias entre programas y, por tanto, los sondeos deben ser sensibles a este hecho. Un procedimiento para medir interferencias, positivas o negativas, con respecto al problema que se pretende resolver, son las simulaciones.
Es importante observar que, si bien los instrumentos de medida son los mismos, las personas a las cuales se les aplica pueden ser diferentes; el control que se establece sobre la validez de las respuestas se realiza a través de muestras representativas del universo institucional que está siendo evaluado.
Evaluación final
Este período del proceso se realiza una vez que se tienen establecidas definitivamente las modificaciones estructurales al sistema, después de un plazo más o menos corto. Su propósito es determinar el grado en el que se han corregido las disfunciones de la institución. En rigor, una evaluación final tendría que aplicar los mismos procedimientos y medir el mismo número de indicadores de la evaluación previa, de manera que se completara el ciclo retroalimentador; en consecuencia, se podría establecer un juicio sobre todo el proceso anterior, sobre la evaluación misma y sus procedimientos. No obstante, en los modelos sistémicos de evaluación se presupone que cada paso del proceso tiene mecanismos de autocorrección (como los modelos de simulación) y que, al final, sólo es necesario medir las modificaciones a las relaciones entre elementos, su producto final.
3.4 La estrategia de evaluación. Los sujetos del proceso.(18)
Las consideraciones acerca de la estrategia evaluativa relacionan, de una manera más directa, los aspectos logísticos del proceso con las condiciones políticas de una institución y, en concreto, con la decisión de realizar una evaluación.
Por aspectos políticos se entiende, en este proyecto, las relaciones de poder entre los diferentes colectivos de una institución; en términos más específicos, son las relaciones de poder entre el promotor de la evaluación y los agentes que participan necesariamente en el proceso.
La definición de las relaciones políticas determina la estrategia general de aplicación de instrumentos de medida y permiten prever los grados de permeabilidad, aceptación y participación de un colectivo en procesos de evaluación.
Generalmente, la cooperación de los individuos está en relación directa con las ganancias que aspiran a obtener y con la inafectabilidad de sus intereses. El problema de la estrategia es, precisamente, que ni ganancias ni intereses están completamente a salvo cuando se emiten juicios de valor acerca de una institución.
La estrategia, por lo tanto, comprende la identificación de los mecanismos políticos que pueden hacer viable un proceso evaluativo; los mecanismos se descubren a medida que se definen a los participantes del proceso, divididos para su análisis en tres grupos: promotores, agentes y técnicos.
El promotor es el individuo o grupo que genera la idea o la necesidad de realizar una evaluación; el promotor siempre tiene, implícita o explícitamente, una concepción de lo que "debe ser" la institución; la idea de evaluar surge cuando la realidad no se a justa con lo idóneo y el promotor desea saber las causas. Los promotores deben cumplir dos requisitos para que sus propósitos sean factibles. Primero, un espacio de poder aceptado por los que deben participar en el proceso, por los técnicos y los agentes; el espacio de poder es necesario por razones de credibilidad en la toma de decisiones, para tener capacidad de convencimiento o de generar consenso con los grupos reacios a cooperar en el proceso. El segundo requisito es la capacidad de financiar el proyecto en todas sus fases; de no ser así, cualquier intento será infructuoso.
Los técnicos son los encargados de transformar la idea original en mecanismos tecnológicos propios para emitir juicios de valor confiables y para tomar decisiones acerca de las correcciones al funcionamiento de la institución.
Su papel no se limita solamente a una aplicación mecánica de conocimientos, sino también al análisis estratégico y presupuestario necesarios para evaluar.
Acerca de la actuación del técnico existen dos posturas que pueden considerarse extremas. Cronbach(19) propone que el papel del evaluador sea el de facilitador o educador. Menciona que el evaluador es llamado por una institución para "iluminar" el problema total en corto período de tiempo.
Para hacer esto, debe reconocer los temas relevantes del caso; selecciona los temas, guiado por consideraciones prácticas, políticas e históricamente sustantivas. El evaluador no debe establecer el valor de un programa, ni tomar decisiones ni juzgar por otros. Pero debe sentirse libre para tomar posturas y emitir opiniones que considere relevantes, sin omitir las evidencias inconsistentes con su opinión. Cronbach añade que la función propia de la evaluación es acelerar el proceso de aprendiza je por medio de la comunicación de lo que, de otra manera, podría ser soslayado o percibido erróneamente. Finalmente, advierte que no debe sorprender a nadie si el proceso por el que la evaluación contribuye a conformar la opinión de la comunidad es "menos disciplinado" que el generado por el consenso científico. Scheerens(20), por su parte, propone adoptar una actitud política, a fin de conseguir la viabilidad y aceptación de la evaluación; el objeto del evaluador, en este caso, es delinear cuidadosamente el contexto en el que la evaluación se va a llevar a cabo; el siguiente paso es explorar medios factibles de provisión de insumos satisfactorios para potenciar la investigación evaluativa y los medios para incrementar las condiciones contextuales favorables a la evaluación.
Finalmente, se deben decidir los cursos de acción en varios niveles: el nivel de los insumos de investigación y diseño, el nivel de transformar la evaluación en procesos de toma de decisiones y el nivel de modificación de estructuras organizativas. En otras palabras, el papel del evaluador es crear las condiciones propicias para ejecutar un proceso evaluativo.
La decisión acerca de tomar una u otra postura depende de la relación que el técnico tenga con la institución. Si es un evaluador externo, tiene una mayor libertad para permitirse "educar" sobre procesos de emisión de juicios. Si es un evaluador que forma parte del personal de la institución, es posible que intente crear en ella una especie de "cultura de evaluación", con procedimientos como los que propone Scheerens.
Los agentes son todos los miembros de la institución que, según el protocolo de evaluación, deben participar en el proceso de emisión de juicios. Pueden dividirse en dos grupos: los que forman parte de la institución, quienes, a su vez, se subdividen naturalmente, según las funciones que cumplen; y, los que no forman parte de la institución, pero son afectados directamente o indirectamente por sus servicios.
Dentro de instituciones de educación superior, los grupos que se forman de manera natural son las autoridades, los profesores, alumnos, administradores. Los agentes extrainstitucionales son los padres de familia, los dueños de medios de producción y administradores del gobierno de la institución.
Generalmente, los promotores de la evaluación son las autoridades pero, igualmente, la idea generadora puede surgir de parte de cualquiera de los otros grupos. No obstante, se tiene que lograr el consenso con otros colectivos y, sobre todo, el financiamiento para ejecutar el proceso de evaluación.
Al implantar un proceso tal, el estratega debe considerar, que cada grupo tiene intereses particulares.
Los promotores se enfrentan al conflicto de emitir juicios sobre una estructura institucional que les ha dado cierto espacio de poder, siendo altamente probable que alguno de ellos valore positivamente aquellos elementos que le han apoyado. Los técnicos se organizan, generalmente, como un grupo superpuesto a las estructuras institucionales; se consideran a sí mismos como los expertos, poseedores del "Know how" de la evaluación. Frente a ellos, el resto de los agentes frecuentemente hacen patente su condición de extraños e ignorantes de las actividades educativas.
Ante esta perspectiva hay varias alternativas. Entre ellas se pueden mencionar las dos extremas. Los promotores pueden hacer valer las actividades de los técnicos por medios autoritarios, o se pueden elegir, entre los agentes de la institución, un grupo que actúe como evaluador y que tenga la aceptación del resto de los agentes. De cualquier forma es indispensable la consulta con los expertos.
Todo proceso de evaluación debe tomar en cuenta la disponibilidad de la comunidad para participar y cooperar con los técnicos. Una forma de lograr esto es dar a conocer los propósitos y los instrumentos evaluativos y proceder con un sondeo de opinión; otra modalidad es negociar con los líderes de los grupos institucionales., así como dar publicidad al proceso.
Desde el punto de vista de los promotores, los propósitos para realizar la evaluación no son negociables, porque perdería sentido el proceso o tendrían que dar paso a una sustitución de promotores. No obstante, tanto el sondeo como las negociaciones son necesarias para ajustar los procedimientos a la sensibilidad de los participantes en el proceso.
Por último, la estrategia comprende también la consideración de la historia de la institución, su "espíritu" y su tradición. Una valoración que violente la misma naturaleza institucional es, en última instancia, una evaluación que ha sido promovida para justificar su desaparición. El evaluador debe saber o descubrir estos propósitos y decidir racionalmente su participación en estos casos.
BIBLIOGRAFIA Contenido
ARACIL, JAVIER (1978) Introducción a la dinámica de sistemas, España: Alianza Universidad.
ARIES, PHILIPPE (1981) Histoire mondiale de 1 'education, París, Fr.: Presses Universitaires de France.
ANDERSON, W. y G. FAUST (1973) Psicología Educacional, México: Ed. Trillas.
APPLE, M. y LANDON E. BAYER (1983) Social Evaluation of Curriculum. Educational Evaluation and Policy Administration. Vol. 5, No. 4, 425-434.
BERTALANFFY, LUDWIG VON (1952) Teoría General de Sistemas, México: Fondo de Cultura Económica.
CAMPSELL, D. y J.C. STANLEY (1963) Experimental and Quasiexperimental Designs Research. Chicago: Rand McNally.
CRONBACH, LEE J. (1982) Designing Evaluations of educational and social programs, San Francisco, Cal.: Jossey Bass Publishers.
FERNANDEZ ALFREDO (1984) "La planeación educativa". Entrevista realizada por C. Carrión. Transcripción multicopiada.
GRONLUND NORMAN (1970) Stating Behavioural objectives for classroom instruction, London: Collier MacMillan.
KOURGANOFF, VLADIMIR (1972) La face cachée de 1 'université, París, Fr.: Presses Universitaires de France.
LABARCA GUILLERMO (Comp.) (1980) Economía Política de la Educación, México: Edit. Nueva Imagen.
LAFOURCADE, PEDRO (1980) Planeamiento, conducción y evaluación en la enseñanza superior, Buenos Aires, Arg.: Edit. Kapeluz.
MARAVALL, J.M. (1984) La reforma de la enseñanza, Barcelona: Ed. Laia.
NOVAK, JOSEPH (1978) Teoría y práctica de la educación, Madrid: Alianza.
NOWAKOWSKI, JERI et al. (1985) A handbook of educational variables. A guide to evaluation, Boston, Mass.: Kluwer Nijhoff Publishing.
ORTEGA Y GASSET, JOSE (1917) Misión de la Universidad y otros ensayos sobre educación y pedagogía, Madrid: Alianza.
POPHAM, W. JAMES (Ed.) (1974) Evaluation in education, Berkeley, Cal .: McCutchan Publishing Corp.
REICHARDT, CH. y THOMAS COOK (1979) Beyond Qualitative versus quantitative methods, in Cook, Th. y Ch. Reichardt (1979) Qualitative and quantitative methods in evaluation research, Beverly Hills, Cal.: Sage Publications.
SAX, GILBERT (1974) The use of standarized tests in evaluation, in Popham, W.J. (1974) EYaluation in Education, Berkeley, Cal.: McCutchan Publishing Corp.
SCRIVEN, MICHAEL (1974) Evaluation perspectives and procedures, in Popham, W.J. Evaluation in education, Berkeley, Cal.: McCutchan Publishing Corp.
SCHEERENS, JAAP (1985) Contextual influences on evaluation: The case of innovative programs in Dutch Education. Educational evaluation and policy analysis, Vol. 7. No. 3, 309-317.
STEINMETZ ANDRES (1975) The ideology of educational evaluation. Educational Technology, 15 (5), 51 -57.
STENHOUSE, LAWRENCE (1981) Investigación y desarrollo del curriculum, Barcelona: Edic. Morata.
UNESCO (1979)
YOUNG, MICHAEL (ed.) (1972) Knowledge and control, London: Collier-MacMillan.
NOTAS Contenido
(1) El término cuasicientífico se usa en el sentido propuesto por Campbell y Stanley (1963 p. 5) como un procedimiento en el cual no se controlan (o no se pueden controlar) todas las variables intervinientes y en consecuencia los resutados no son generalizables.
(2) Los términos mencionados han sido utilizados por la tecnología psicológica aplicada a la educación (por ejemplo Anderson y Foust (1973) o Gronlund (1973). Los términos formativo y sumativo fueron acuñados por M. Scriven en 1967 (citado en Pophon 1974 p. 100). En este proyecto se utilizarán los terminos evaluación inicial intermedia y final para diferenciar la que se realiza en una institución de la evaluación de programas. En este último caso es donde se aplican propiamente los terminos de Scriven.
(3) Por ejemplo, Apple y Landon (1983)
(4) Por e jemplo L. Stenhouse (1981 Cap. V y VI) o Scriven (1974) respectivamente.
(5) Puede consultarse en J.M. Maravall (1984).
(6) Sobre los fines de las universidades, puede consultarse en Ortega y Gasset (1917).
(7) Consúltese, por ejemplo, en Novak (1978), para un análisis exhaustivo de la programación educativa. 2. Los elementos de las instituciones de educación superior.
(8) Cualquier historia de la educación puede dar cuenta de esta afirmación por ejemplo Ph. Aries (1981).
(9) Esta sección está basada en V. Kourganoff (1972 Cap. 1, 2, 3, 4 y 5) y en Stenhouse (1981 Cap. III, IV y XIII).
(10) Para un análisis exhaustivo se puede consultar a G. Labarca (1980)
(11) El concepto de sistema como conjunto de elementos interrelacionados fue propuesto por L. Bertalanffy (1952 p. 16) para describir sistemas biológicos; su propuesta dio las bases para el desarrollo de la cibernética y robótica y se aplica actualmente para esquematizar arganizaciones sociales.
(12) J. Aracil (1978 p. 15)
(13) A. Steinmetz (1975 pp 51-57)
(14) El desarrollo de la idea de la evaluación y la planeación como procesos muluamente complementarios desborda las propósitos de este trabajo. Puede consultarse P Lafourcade (1980) a UNESCO (1979)
(15) Reichardt y Cook (1979 p. 16).
(16) Para esta sección se consultó a Nowakowski et al. (1985). El problema con este tipo de lileratura es que analiza una realidad que se mueve bajo parámetros sociales normativas y educativos características de la cultura narteamericana que tienen que ver relativamente poco con otras realidades.
(17) Véase G. Sax (1974).
(18) Esta sección está basada en A. Fernández (1984)
(19) L. Cronbach (1982, Cap. 1, 2 y 3).
(20) J. Scheerens (1985, p. 316).