INTRODUCCIÓN Contenido Los responsables de los nuevos planes de estudio de diversas instituciones educativas del país solicitan que éstos sean objeto de una evaluación científica que les proporcione información en qué fundar sus decisiones y les oriente en sus acciones futuras. Las informaciones que piden cubren un área más vasta que la que habitualmente se ha considerado: aspectos sociológicos, económicos, políticos, fisiológicos, etc. Esto supone un nuevo estilo de evaluación que se aparta de la concepción positivista de la ciencia, para basarse en la comprensión de los fenómenos contemplados a partir de la realidad social integral. En consecuencia, la evaluación de dichos planes requiere la colaboración de profesores, autoridades, estudiantes y especialistas de distintas disciplinas. Este nuevo enfoque, denominado "Evaluación Ampliada" por J. Cardinet, (1975); "Evaluación Holista", por Wulf (1975)(1), es ante todo de carácter práctico, pues tiene como meta procurar información útil y significativa a las diversas personas responsables del sistema escolar, evitando simplificar la complejidad de las variables que intervienen en una situación dada. (1) Jean Cardinet. L'elargissment de l'Evaluation. Neuchatel. Institut romand de recherches et documentation pedagogiques. 1975. Una de las características de este nuevo enfoque es su flexibilidad y apertura, en oposición a la evaluación tal y como la concibe la práctica educativa actual, que busca medir los conocimientos y las aptitudes de las personas en sus aspectos más particulares, a partir de criterios preestablecidos. La evaluación ampliada considera que ya que los aspectos que deben tomarse en cuenta en cualquier innovación pedagógica son de distinta naturaleza, se necesita recurrir a la metodología de varias ciencias para obtener información que permita tomar mejores decisiones. Los resultados estadísticos, datos de tipo económico, puntos de vista jurídicos, documentos históricos, son algunos de los elementos que pueden considerarse en la evaluación ampliada. Si se admite la multidimensionalidad de los efectos de la enseñanza, no es congruente aceptar que son exclusivamente los objetivos establecidos los que habrán de señalarnos qué se va a enseñar y cómo habrá de examinarse, ni que los alumnos siguen siendo el único elemento del sistema escolar que se tome en cuenta. Los resultados de las pruebas de aprovechamiento no se descartan, pero se consideran como uno más de los elementos que es preciso esforzarse por comprender y explicar dentro de una situación global. Cronbach(2) fue uno de los primeros en criticar la evaluación pedagógica basada exclusivamente en la "medida de aprovechamiento", y en demandar una ampliación de sus funciones. (2) Jean Cardinet. Op. Cit. Es necesario, señala Cronbach, conocer con anticipación la ejecución de los alumnos en cada una de las dimensiones sicológicas y pedagógicas implicadas en lo que se va a enseñar; examinar la capacidad de generalización de los conocimientos una vez adquiridos, interesarse por los cambios de actitud que resulten de lo que se enseña, e incluso, procurar controlar los aspectos no explícitos del curriculum, para asegurarse que lo que se aprende no actúa en detrimento de otros conocimientos y aptitudes. Modelo Conductista vs. Modelo Holisto Contenido La evaluación que se desprende del primer modelo que denominaremos "calificativa" basada en la medida de aprovechamiento, y que es la que se practica habitualmente, se preocupa principalmente por los resultados (se sobreentiende que éstos deben ser mensurables). Otras de sus características son: - La causalidad es una relación que puede ser observada "desde afuera". - Los objetivos son "la columna vertebral" en esta evaluación, y su función principal es determinar el grado en que los estudiantes los han dominado. - Todo aparece fijado y definido de antemano. - En aras de una evaluación objetiva se despoja a la realidad de toda ambigüedad. La reacción que suscitan los cursos programados que siguen este modelo teórico, "descomponer cada problema en tantos elementos simples como sea posible" (técnica lineal), es reveladora. A pesar de que existe suficiente evidencia empírica sobre sus efectos positivos en el aprendizaje del alumno, ellos los aprecian muy poco y casi no los emplean, probablemente porque las respuestas a lo que se pregunta en este tipo de textos aparecen como fijadas de una vez por todas; incontrovertibles; lo que tiene un efecto negativo sobre la motivación del que estudia. La educación y la sociedad moderna se han vuelto tan complejas que la evaluación que sigue este modelo aparece como insuficiente e inadecuada puesto que no permite estudiar el fenómeno en toda su amplitud. Una breve revisión histórica, nos muestra que ya en 1920, investigadores del campo de la biología principalmente señalaban que "el todo tiene algo que no se encuentra en el conjunto de sus partes", con lo que rescataban la afirmación aristotélica de que "el todo es algo más que la suma de sus partes". Por 1930, L. Von Bertalanffi,R.A. Fisher y otros biólogos señalaron que "la ciencia de las partes habrá de ser completada por la ciencia de las totalidades".(3) (3) José Huerta. El proceso deformación de conceptos. ANUIES. 1977. El modelo conceptual holista, en contraste con el enfoque positivista, analítico, unidireccionalmente causal, del modelo conductista, parece que pueden dar mejor información de la compleja realidad humana, puesto que ésta constituye en verdad un problema de "sistemas", o sea problemas de interrelaciones entre gran número de variables. La evaluación ampliada, acorde con esta perspectiva, toma en cuenta a las partes, pero no en forma aislada, sino a partir de la situación global, vista en toda su complejidad. En la evaluación ampliada, la causalidad es más comprensiva, busca las relaciones entre la totalidad de los elementos que intervienen en una situación. Es decir, no le interesa exclusivamente un resultado, sino la situación íntegra y particular de que se trate. Se interesa en los procesos, más que en los productos; en las experiencias que han llevado a determinados resultados más que en estos mismos, de manera que los estudios comparativos entre diferentes experiencias pedagógicas hacen hincapié en las variables que conforman las experiencias y no tan sólo en los productos que reditúan. La clase de evaluación holística, que hace énfasis en los procesos, sólo es posible desde una perspectiva que contempla los problemas desde su particular expresión y tiene en cuenta la totalidad de las variables que intervienen. Es decir por una parte, cada situación se toma como lo que es, como una situación irrepetible, única por poseer características propias que la singularizan. Y por otra parte se considera a la mayoría de las variables que, en el transcurso de un proceso, contribuyen a que se obtenga determinado producto. Este enfoque se manifiesta en los trabajos realizados por distinguidos investigadores de la sicología, quienes, partiendo de concepciones muy diferentes, han llegado a la misma conclusión: "la manera en que se aprende es más importante que lo que se aprende". El modo de adquirir conocimientos condiciona los métodos de aprendizaje posteriores. Dentro de esta línea, para determinar por ejemplo, la bondad de un método de enseñanza, se requiere conocer en detalle los procesos de pensamiento que provoca en el alumno. Un método es valioso si contribuye a desarrollar en el estudiante actividades heurísticas (de búsqueda y de investigación). Los valores "implícitos" de un método de enseñanza o de cualquier otra innovación educativa, también son motivo de la evaluación ampliada. En el caso de los textos programados que veíamos antes, parte de la evaluación consistiría en preguntarse e investigar si los procesos mentales que se efectúan durante el estudio de dichos cursos pueden contribuir a la formación de hábitos de pasividad, carencia de crítica, relacionados con una condición no democrática de la sociedad. Estos aspectos cualitativos pueden significar mucho más para aceptar o rechazar una innovación educativa que el que ésta pueda tener muy buenos resultados en cuanto a cierto aprendizaje alcanzado. Sin embargo, en la realidad social integral, en que tienen lugar las innovaciones pedagógicas, las situaciones no son ni controlables ni repetibles, como supone este enfoque, puesto que en cada situación concurren diferentes clases de variables (incluso en distintas proporciones) alterándose, por lo tanto, las relaciones que se dan entre ellas. Por eso es que la evaluación ampliada se aparta de la concepción de "clases de situaciones equivalentes", ya que cada caso se considera único. Sin embargo, supone que en la medida en que se puede explicar cómo es que se ha llegado a una situación, es posible efectuar algunas generalizaciones futuras; es decir, en la medida en que concurran determinadas variables que supongan las mismas relaciones que en la situación conocida, se puede prever cuál será el resultado. Criterios de Validez en la Evaluación Ampliada Contenido Los criterios de validez, tal y como los concibe Wulf (1975), son los siguientes: a) Transparencia: Se refiere a la posibilidad que deben tener todos los participantes de reproducir el proceso de evaluación sobre la base de una explicitación de las funciones, de las intenciones, de los papeles y de los métodos de evaluación(4) (4) Jean Cardinet. Op. Cit. Ejemplo: gupongamos que se trata de evaluar la calidad de una clase. En esta tarea participan uno o varios "jueces", con base en criterios explícitos, establecidos conjuntamente. Independientemente a esta tarea, se efectúa una filmación de la clase, para ser proyectada posteriormente a los mismos o a diferentes personas, con el propósito de que realicen una nueva evaluación a partir de los mismos criterios. Los resultados de ambas evaluaciones se comparan y se procede a determinar el coeficiente de correlación de la validez de transparencia. b) Coherencia: Se refiere al acuerdo entre los procedimientos utilizados y las intenciones anunciadas (validez construida). c) Aceptabilidad: Es el reconocimiento, el "acuerdo" de los participantes acerca del carácter indiscutible de los resultados presentados (validez por consenso). d) Pertinencia: Es la importancia de los resultados de la evaluación para la toma de decisión prevista (validez de contenido). Es conveniente señalar que la evaluación ampliada no es propiamente un nuevo método, sino un conjunto de estrategias que se caracterizan por una ampliación del esquema experimental original. Las Técnicas y los Instrumentos de la Evaluación Contenido Nos complace constatar que la evaluación en pedagogía sigue un camino análogo al de otras ciencias: abordar en toda su complejidad, las variables que intervienen en una situación dada. Quisiéramos señalar desde luego que este nuevo enfoque presenta numerosos problemas y aspectos aún no desarrollados, si bien esto puede significar una gran ventaja, en la medida en que dé lugar a un orden diferente de conocimiento, más rico que el del positivismo, que es a la vez tan riguroso y poco realista dada la complejidad de los sistemas que nos ocupan. Sin embargo, considerar lo que se ha acentuado hasta aquí no tiene sentido si no contamos con las técnicas apropiadas y los instrumentos que nos permitan estudiar las numerosas variables que se pretenden considerar. Con el propósito de hacer evidente la amplitud de los recursos existentes para el evaluador, vamos a señalar algunos de los instrumentos y de las técnicas disponibles. Aunque no hay duda que prácticamente todas las ciencias que se ocupan del hombre de alguna manera, pueden aportar una contribución importante para la evaluación de experiencias en pedagogía. Cómo Operacionalizar la Evaluación Ampliada Contenido La concepción de la evaluación ampliada no puede identificarse con una metodología rigurosa que pueda aplicarse en todos los casos y situaciones. Por el contrario, debe ser contemplada como una estrategia general que se caracteriza por "la ampliación del esquema experimental original", como una nueva manera de abordar el problema de la evaluación en general. Etapas de la Evaluación Ampliada Contenido - La definición del problema Presentamos una lista de preguntas que pueden servir de guía para una exploración más sistemática acerca del problema que se va a investigar. 1. ¿Cuál es el problema principal que hace necesario un estudio evaluativo? 2. ¿Cuáles son los problemas secundarios que apoyan la posición de que es necesario un estudio evaluativo? 3. ¿Qué decisiones se espera que deberán tomarse? 4. ¿Qué clase de informaciones serían útiles para fundamentar las decisiones? 5. ¿Cuáles son las personas, instituciones, público en general, interesado en la evaluación? 6. ¿Qué tipo de motivaciones tienen los que solicitan la evaluación? 7. ¿Participan en las discusiones, influyen en las decisiones? 8. ¿Qué clase de informaciones solicitan? 9. ¿A qué fuentes de información tiene acceso el evaluador? 10. ¿Qué difusión podrá dar a los informes que prepare? - La observación de la situación La evaluación ampliada significa una interacción social directa y participante. El papel del evaluador consiste en ejercitar la capacidad de razonamiento y análisis crítico de todos los que participen en la experiencia. Para ello debe entrar en relacion con los hechos, observándolos directamente. Debe familiarizarse con la realidad cotidiana de la escuela o centro donde va a desempeñar sus funciones, visitando las distintas secciones, departamentos, facultades, etc., implicados en el caso, observando lo que pasa, escuchando a maestros y alumnos, procurando, en fin, comprender lo que ocurre "desde adentro". En esta primera etapa procurará recoger una vasta gama de informaciones sobre el comportamiento de los profesores y de los alumnos, estableciendo contactos múltiples en todos los medios involucrados. Observará si el comportamiento de los profesores es coherente con los propósitos enunciados en el nuevo plan de estudios o en relación a la innovación educativa de que se trate; si se han tomado las medidas administrativas necesarias, los costos del material, etc. Con la información reunida procurará desprender algunas hipótesis sobre la base de las semejanzas y diferencias observadas y las regularidades encontradas. - La recolección de datos Mediante el empleo de encuestas, entrevistas, cuestionarios, cédulas de observación, escalas de actividades, estudio de documentos, en fin, de todos aquellos instrumentos que puedan ser útiles, pero encuadrados en esta nueva metodología y marco teórico, se procederá a confirmar o disconfirmar las hipótesis planteadas, procurando evitar dar un tratamiento privilegiado a algún instrumento en particular. La presentación de los resultados.(5) (5) L. D'Hainaut. Conseils pour la conception, la mise en oeuvre et le compte rendu d'une Recherche Pedagogique, Mons. 1971. Belgique. El Marco de Referencia Contenido Es importante presentar, al inicio del informe, los objetivos que se persiguen con la investigación, de manera que el lector pueda confrontar el desarrollo del trabajo con los objetivos propuestos. - La selección de los objetivos debe justificarse señalando los criterios que la fundamentan. - Enseguida conviene explicar el problema que se intenta evaluar, describir el contexto en que se sitúa el problema, y las causas por las que se decidió abordar precisamente un aspecto y no otros. Conviene situar la investigación en el marco de una teoría, o bien en relación a un campo determinado del conocimiento. Una investigación no puede ser un ejercicio de estilo. Debe contribuir modesta pero significativamente en la solución de un problema teórico o de un problema práctico de utilidad general. - Es prudente limitar las ambiciones: investigaciones sencillas y limitadas reditúan resultados útiles y susceptibles de ser mejor explotados que proyectos complicados que tienen el riesgo de caer en la confusión. - Es preciso que se tomen en cuenta las distintas investigaciones efectuadas en relación al problema que se estudia. El Planteamiento de la Investigación El planteamiento de la Investigación Contenido - El plan experimental, los métodos de análisis y las técnicas utilizadas deben ser apropiados a los objetivos. - La "muestra" de la población debe ser tan representativa como sea posible. - Los instrumentos empleados deben ser válidos, precisos, confiables y podrán hacer notar las diferencias individuales, si las hubiera. Los datos que resulten de su empleo deben ser reproducibles (validez de transparencia), aunque se señale que dependen en parte de los aspectos particulares de la situación en la que se obtuvieron. - Los términos técnicos empleados deben definirse. - La descripción de la investigación debe ser precisa y completa: esto no significa que deban relatarse detalles insignificantes sino que deben mencionarse todos los hechos y las circunstancias que pudieron haber influido en los resultados. - Debe explicarse la técnica de muestreo empleada. - Las variables dependientes e independientes deben precisarse. - Los instrumentos empleados deberán anexarse al informe. Las Conclusiones Contenido La interpretación y las conclusiones deben ser prudentes y limitadas a la población que se trató. Enseguida se pasará a examinar en qué medida se pueden extender esas conclusiones a otros grupos o situaciones. No se debe machacar sobre los limites y las insuficiencias de un estudio de este tipo. Esto no significa que se deban disimular; lo importante es mostrar que el evaluador fue consciente de ellas y que las toma muy en cuenta para la interpretación y las conclusiones. Es útil comparar los resultados con otros que hayan sido publicados por investigadores que se ocupan del área de evaluación y áreas vecinas, procurando señalar las posibles causas de las diferencias y similitudes en los resultados. Para concluir el informe es oportuno indicar cómo y en qué sentido los resultados del estudio podrían ser aprovechados para una acción posterior. Contenido