INTRODUCCIÓN Contenido Presentar la experiencia canadiense en educación es siempre una tarea difícil, porque no hay un sistema de educación superior uniforme. En Canadá la educación es responsabilidad de los gobiernos provinciales, cada una de las provincias ha desarrollado su propio sistema que refleja las particularidades, la cultura y necesidades de cada una de ellas. Hay por supuesto, similitudes, pero también diferencias importantes en la organización de los sistemas educativos, en el desarrollo de los mecanismos para garantizar la calidad y, hasta en la duración de los programas y el significado de los diplomas, como por ejemplo, el "Diploma de Educación Secundaria". Una de las principales diferencias se deriva del papel que tienen los colegios en los sistemas educativos de las provincias. En la provincia de Quebec, los colegios ofrecen programas educativos generales y vocacionales. Es por ello que se llaman "Colegios Generales y vocacionales", o CEGEP, por sus siglas en francés. Los programas educativos generales son un nivel obligatorio e intermedio entre la escuela secundaria y la universidad. Por otra parte, los programas vocacionales preparan al egresado para el mercado de trabajo y son equivalentes a los ofrecidos por los colegio s de otras provincias. Aún cuando esos colegios usualmente no ofrecen programas de tipo general. En el resto del documento se abordará exclusivamente la situación de! los Colegios en la provincia de Quebec. EL SISTEMA DE EDUCACIÓN POST-SECUNDARIA EN QUEBEC Contenido Quebec tiene un sistema de educación superior post-secundaria diversificado que incluye siete universidades, además de 11 importantes ,campus de 1 Universidad de Quebec, 57 Colegios Públicos y 25 Privados que ofrecen programas para la obtención del "Diploma de Estudios Colegiales", así como 35 instituciones privadas que of recen educación a nivel del colegio sin otorgar un grado, principalmente para adultos. Las universidades han desarrollado sus propias políticas para garantizar la calidad que ha estado en operación durante algunos años. por otra parte, todos los nuevos programas son validados por un grupo independiente antes de ser ofrecidos. Además, cada universidad ha aceptado evaluar periódicamente sus programas y una comisión independiente revisa con regularidad y comenta los procedimientos d evaluación institucional. Finalmente en las áreas profesionales algunos programas son evaluados y acreditados por agencias canadienses o de los Estados Unidos. Este es el caso de las ingeniarías mediana, trabajo social medicina veterinaria, etcétera. Actualmente, estos procedimientos para garantizar la calidad se consideran satisfactorios y suficientes para garantizar que la educación superior cumple con los mejores estándares internacionales. La situación es muy distinta en el nivel de los Colegios. Este nivel fue creado hace 2 años como resultado de una reforma importante del sistema de educación de Quebec. Se organizaron los institutos tecnológicos las escuelas de enfermería y comercio y los colegios clásicos, y en algunos casos se fusionaron para constituir nuevos colegios para ofrecer programas pre-universihrios de dos años y programas vocacionales de tres años, así como una diversidad de programas de menor duración que no otorgan grado académico alguno. Estos programas han sido desarrollados bajo la supervisión del Ministerio de Educación y se espera que cada institución los ofrezca de manera similar, únicamente en el área vocacional se han elaborado aproximadamente 135 programas. Cubren una amplia gama de intereses en el área de la salud (enfermería, radioterapia, análisis médicos, etcétera.), en tecnología, electrónica, mecánica, construcción, etcétera.), administración (mercadotecnia, informática, trabajo secretarial etc.) y en relaciones humanas (educación especial, cuidado infantil, trabajo social, etcétera.). Hace dos años, el gobierno reali7ó una amplia consulta con el propósito de evaluar el nivel de satisfacción del público con la educación colegial y, de ser necesario, realizar los ajustes pertinentes. Como resultado de esta consulta, se tomaron algunas decisiones y se realizaron algunas acciones. Primeramente, se otorgó una mayor autonomía a los colegios, especialmente en las áreas profesionales. El Ministerio de Educación conservó la responsabilidad de determinar los objetivos de los programas, sin embargo, los colegios tienen la libertad de diseñar y organizar los cursos y las actividades educativas, de manera que coincidan con sus necesidades específicas, con su entorno y con la filosofía educativa del Colegio. En segundo lugar, los programas deberán especificar los objetivos a lograr, las habilidades y destrezas que los estudiantes deber5n desarrollar y los estándares que deberán alcanzar. El Ministerio de Educación determinará los objetivos y estándares de acuerdo con representantes del mercado laboral, las universidades y los colegios. En tercer lugar, se estableció una comisión permanente para la evaluación de programas e instituciones, la "Comisión de Evaluación de la Educación Colegial". Esta Comisión tiene la responsabilidad de informar al público acerca de la calidad de los programas y diplomas de cada uno de los colegios. Es un organismo independiente que tiene la facultad de hacer recomendaciones tanto a los colegios como al Ministro de Educación. La Comisión es una pieza esencial en la reorganización del sistema colegial y se espera que garantice la calidad de los servicios educativos que of rece cada uno de los colegios, así como las equivalencias entre los programas y los colegios. LA COMISIÓN DE EVALUCIÓN DE LA EDUCACIÓN COLEGIAL (CEEC) Contenido El CEEC fue creado hace un año mediante un Acuerdo de la Asamblea Nacional de Quebec. Este Acuerdo define la composición, misión y alcances de la Comisión. Está compuesta por tres comisionados, auxiliados por el personal adecuado, actualmente un grupo de 30 personas; y su misión consiste en evaluar para cada una de las instituciones los siguientes aspectos: 1. Las políticas institucionales sobre evaluación del aprendizaje de los estudiantes; 2. La política de la institución relativa a la evaluación de programas; 3. Los programas de estudios; 4. La institución como un todo, con el propósito de recomendar que se le conceda el derecho de otorgar el "Diploma de Estudios Colegiales". La Comisión organiza su trabajo en la forma que considera apropiada; sin embargo, los informes deberán hacerse públicos. Tiene la facultad de realizar una evaluación cuando considere que es necesario y, tiene también la facultad de solicitar cualquier información relevante o documento que considere pertinente. Como puede observarse, las responsabilidades de la Comisión son amplias y sus facultades son considerables. Hay dos razones para esto. En primer lugar el gobierno desea fortalecer la calidad de la administración académica en cada institución. Como se señaló previamente, hasta el momento, los colegios han tenido una autonomía muy limitada respecto al Ministerio de Educación. Correspondía a este Ministerio el diseño de los programas y sus actividades educativas, decidía qué colegios estaban autorizados para ofrecer un programa específico y otorgaba los diplomas. Esto cambiará dado que recientemente fue aprobado por el gobierno un nuevo acuerdo para los Colegios Generales y Vocacionales, así como el nuevo reglamento para la educación colegial. Entre otros puntos, estas modificaciones requieren que cada colegio adopte una política institucional en materia de evaluación del aprendizaje de los estudiantes, así como una política institucional sobre la evaluación de los programas. Al conceder la facultad explícita a la Comisión para la evaluación de estas políticas institucionales, el gobierno desea garantizar que los estudiantes serán evaluados con equidad y justicia, tanto al interior de la institución como de un colegio a otro ,y que cada institución disponga de los instrumentos necesarios para monitorear la calidad de sus programas. Por otra parte, el gobierno también desea que la educación colegial, tanto en los programas vocacionales como en los propedeuticos para el nivel universitario, cumpla con los estándares más altos posibles; por este segundo motivo, ha otorgado a la Comisión la facultad de evaluar programas ofrecidos por los colegios y de hacer recomendaciones tanto a las instituciones como al Ministerio. Se espera, por lo tanto, que la Comisión elabore reportes sobre la calidad de los programas y los haga públicos, que señale las vías necesarias o posibles para implementar mejoras y, en general, que sea un instrumento clave para garantizar la calidad de la educación colegial en Quebec. LA PERSPECTIVA SOBRE LA EVALUACIÓN DE LA COMISIÓN Contenido Poco después de su creación, la Comisión dio a conocer a los colegios un conjunto de principios que guiarían su actividad. En primer lugar que se considera de la mayor importancia la autonomía de los colegios y que por lo tanto, no iniciaría proceso de evaluación basado en un conjunto fijo y predeterminado de modelos de políticas, programas o reglas administrativas. La cultura organizacional de un colegio, así como sus procedimientos de operación, el idioma para la enseñanza (inglés o francés), el número de programas educativos que ofrece y las características de sus estudiantes son factores que diferencian los colegios y crean una diversidad de establecimientos dentro del mismo sistema colegial. La comisión considera que esta diversidad se deberá conservar y, más aún, impulsar. Consecuentemente, la Comisión ha decidido no adoptar procedimientos que estandaricen las prácticas institucionales. No considera que su propósito sea de fiscalización o inspección, en que evalúe a una institución de conformidad con una serie de normas y las sitúe n respecto a otras instituciones de conformidad con estas normas. La Comisión prefiere respetar la personalidad de cada institución. Esta discusión ha conducido a la Comisión a adoptar una posición de apoyo a los colegios. Dado que su propósito es esencialmente el de coadyuvar al mejoramiento de la calidad de la educación, se enfatizará en el aspecto formativo de la evaluación. Revisando primeramente las políticas institucionales y los programas en la forma en que se of recen en cada institución, la Comisión tratará de encontrar los problemas y debilidades. Y ofrecerá asesoría que conduzca a su mejoramiento. Para lograr este objetivo, la Comisión solicitará a cada institución una autoevaluación como un primer paso a cualquier proceso de evaluación que la Comisión realice. Para este propósito, la Comisión está elaborando guías de evaluación para apoyar a los colegios en su realización. Una vez que se reciba el informe de la auto-evaluación la Comisión realizará una visita al colegio acompañado por expertos con el propósito de obtener mayor información discutir el reporte y reunirse con estudiantes, profesores y administradores. Posteriormente la Comisión elaborará su propio informe que deberá incluir comentarios, sugerencias y recomendaciones; éstas últimas solicitando que la institución realice acciones correctivas. Asimismo, la Comisión deberá dar testimonio público sobre la calidad, tanto de la educación colegial como de los egresados de los colegios, lo que impone límites a su colaboración con los instituciones. Los métodos de evaluación deben ser rigurosos y transparentes, las expertos deberán tener credibilidad y, en general deberán ser percibidos como autónomos, independientes y neutrales. Por estas razones, la Comisión utiliza los mismos métodos de evaluación y las mismas guías en todas las instituciones y sus informes son públicos. POLÍTICAS INSTITUCIONALES SOBRE LA EVALUACIÓN DEL APRENDIZAJE DE LOS ESTUDIANTES (IPESA) Contenido Uno de los primeros procesos de evaluación que la Comisión realiza es el relativo a las políticas institucionales sobre la evaluación del aprendizaje. La evaluación del aprendizaje de los estudiantes es una responsabilidad profesional de los profesores, que debe ser ejercida dentro de los límites que señala cada una de las instituciones. Por tanto, es una responsabilidad de la institución procurar que los alumnos sean evaluados correctamente, que los profesores obtengan asesoría apropiada y que los egresados logren obtener los estándares normalmente requeridos. Una IPESA indica la forma en que una institución asume esta responsabilidad. Deberá incluir una descripción de las metas y objetivos que la institución busca con esta política, con los medios, reglas, métodos, procedimientos e indicadores que utilizará para lograr los objetivos propuestos y con las responsabilidades y papeles asignados a los diversos individuos y comisiones encargadas de poner en práctica esa política. La comisión evaluará primeramente los documentos en los que se plasma la política institucional para determinar 1) si contiene todos los elementos esenciales, 2) su coherencia y, 3) la factibilidad de obtener los resultados esperados. Posteriormente, la Comisión evaluará la implementación de esta política. Para ello, deberá determinar 1) hasta qué punto las medidas propuestas se han implementado, 2) hasta qué punto esa política garantiza la calidad de la evaluación del aprendizaje y, 3) si los mecanismos propuestos coadyuvan en la obtención de prácticas de evaluación y resultados comparables entre profesores e instituciones distintos. Para desarrollar la segunda evaluación, la Comisión solicitará tener acceso a documentos como: informes internos de la institución, exámenes, copias corregidas etcétera. Es recomendable realizar la evaluación de la IPESA como parte de la evaluación de los programas. Por cierto, sería sumamente difícil evaluar un programa y garantizar la calidad de sus egresados, sin examinar la forma en que son evaluados y calificados. Por ello, es intención de la Comisión el revisar la IPESA como una parte habitual de la evaluación de los programas. LA EVALUACIÓN DE LOS PROGRAMAS Contenido La evaluación de programas representará, en los próximos años, la mayor parte del trabajo de la Comisión. Dado que es probable que las evaluaciones tengan efectos profundos y de largo plazo en las instituciones, es importante seleccionar los métodos que mejor se adapten al contexto de la educación colegial en Quebec y a la misión de la Comisión. Ya que debe dar testimonio público acerca de la calidad de los programas que ofrece cada colegio en lo particular, la Comisión debe sujetarse a procedimientos de evaluación equitativos, neutrales e idénticos en cada institución. Por otra parte, dado que no desea estandarizar, no puede utilizar un modelo predeterminando para la evaluación de un programa específico. Esto ha conducido a la Comisión a adoptar un método de evaluación basado en la autoevaluación de los programas por la institución. Como un primer paso, la Comisión determina los programas a evaluar en el siguiente año, conforma pequeños grupos de expertos en cada campo y, con su apoyo, desarrolla una guía especifica de evaluación para cada programa. La Comisión remite esta guía específica a cada colegio que of rece el programa en cuestión y solicita a la institución que utilice la guía para realizar una autoevaluación que remitirá a la Comisión. El tiempo desde que la institución recibe la guía para la auto-evaluación, hasta que envía el informe no deberá exceder de cuatro o cinco meses. Una vez que se recibe el informe de auto-evaluación, la Comisión lo analiza con los expertos y prepara una visita a la institución para comentarlo con los funcionarios, profesores y estudiantes y, obtener la información adicional que se requiera. La Comisión determina sus conclusiones y elabora un informe provisional para la institución. A medida que recibe los comentarios y observaciones, la Comisión elabora el informe final, que contiene la opinión sobre el programa, así como sugerencias y recomendaciones para su mejoramiento. La presencia de recomendaciones indica que durante la evaluación se identificaron problemas relativamente serios. En esos casos, se espera que el colegio implemente las estrategias apropiadas para corregir la situación. En el caso de programas de muy baja calidad, la Comisión puede recomendar se prohiba a una institución ofrecer el programa. La guía de auto-evaluación constituye un elemento clave para el éxito de la evaluación. Deberá ser suficientemente amplia para permitir la evaluación confiable de un programa, pero al mismo tiempo, suficientemente sencilla como para evitar sobrecargar a los colegios de trabajo. Deberá se clara y comprensible para todos aquellos que pudieran llegar a participar en la auto-evaluación. Deberá conducir al colegio a revisar los aspectos relevantes del programa. Las guías para auto-evaluación se derivan de la guía general de evaluación recientemente publicada por la Comisión. Esta guía general proporciona información sobre los procesos a seguir por la Comisión. También señala los criterios que se utilizarán en la evaluación. A partir de seis criterios generales, la Comisión ha formulado una serie de sub-criterios en forma de reglas o estándares de conducta con los que los colegios pueden comparar su situación particular. Cada uno de estos sub-criterios va acompañado con preguntas que las instituciones pueden utilizar para evaluar su desempeño respecto al sub-criterio. Los seis criterios generales son lo siguientes: 1.-Relevancia del programa, es decir, la conformidad entre los objetivos, estándares y contenido, así como los requerimientos socioeconómicos y educacionales. 2.-La coherencia del programa, la organización de su estructura, contenido y objetivos de aprendizaje en relación a los objetivos y estándares. 3.-EI valor de los métodos de enseñanza y la supervisión de los estudiantes como un mecanismo para auxiliar a los estudiantes en el logro de los objetivos del programa y de cada una de las actividades de aprendizaje. 4.-La cantidad y calidad de los recursos, tanto humanos como materiales, destinados al programa. 5.-La efectividad del programa desde el punto de vista de la eficiencia terminal y el desempeño de los estudiantes con respecto a estándares establecidos. 6.- La calidad de la administración del programa. Estos seis criterios generales son suficientes para realizar una evaluación amplia de cualquier programa. Sin embargo, son muy generales como punto de partida eficiente para la auto-evaluación. Por ejemplo, el primer criterio está dividido en tres sub-criterios: Los objetivos, estándares y contenido del programa responden a las necesidades y expectativas del mercado de trabajo (o de las universidades para los programas generales, pre-universitarios); Los objetivos, estándares y contenido del programa consideran las expectativas generales de la sociedad; Los objetivos, estándares y contenido del programa consideran las expectativas de los estudiantes. Adicionalmente, cada sub-criterio se presenta acompañado de un conjunto de preguntas como las siguientes -(para el sub-criterio): 1) ¿Cómo establece el colegio los requerimientos del mercado de trabajo? ¿Cuál es la tasa de empleo para los egresados en los últimos tres años? ¿Se realizó alguna modificación del programa como resultado de una revisión con los empleadores o, considerando la tasa de empleo de sus egresados? ¿Está el colegio satisfecho con el programa, ya que cumple con los requerimientos del mercado de trabajo? ¿Está el colegio considerando modificaciones? preguntas como las anteriores, deberán apoyar al colegio para comprender, sin ambigüedades, el significado de los sub-criterios y permitir evaluar su propio desempeño respecto al subcriterio. Al desarrollar una guía específica de evaluación a partir de la guía general la Comisión determina el subcriterio que considera esencial para la evaluación de un programa específico y, adapta las preguntas para hacerlas lo más relevante posible y se eliminan los sub-criterios de menor importancia. La Comisión también indica a las instituciones qué documentos deberán anexar al informe de auto-evaluación como evidencia. Al discutir los aspectos relevantes de un programa y especificarla información requerida, la Comisión desea reducir el volumen de trabajo, de forma que sea posible realizar la evaluación en un lapso de tiempo predeterminado. LA EVALUACIÓN DE LOS COLEGIOS Contenido Como se señaló anteriormente, la Comisión se propone dedicar la mayor parte de su esfuerzo, durante los próximos años, a la evaluación de los programas. Sin embargo, espera modificar lentamente el énfasis hacia la evaluación de las instituciones, a medida que éstas obtengan experiencia en la evaluación de sus programas y los estándares para los diplomas que otorgan. Por tanto, la Comisión considera que la calidad estará mejor garantizada si las instituciones mismas se responsabilizan de la revisión y evaluación continua de sus políticas y programas educativos. Los colegios en Quebec han desarrollado una experiencia aceptable en la evaluación del aprendizaje, sin embargo, la experiencia en evaluación de programas y profesores es virtualmente inexistente. Al solicitar una auto-evaluación de los programas como parte del proceso de evaluación, la Comisión espera que los colegios adquieran experiencia en este campo y que sean capaces de desarrollar sus propias políticas para la evaluación de programas educativos. La Comisión considera que el desarrollo e implementación de esta política constituye una etapa esencial para autorizar a un colegio para que otorgue el "Diploma de Estudios Colegiales". Actualmente, es el Ministerio de Educación el que otorga el diploma oficial de estudios colegiales, a partir de la recomendación del colegio en el cual el estudiante ha terminado sus estudios. En el futuro, el colegio estará facultado por el Ministerio de Educación para otorgar el diploma; se concederá esta autorización a partir de las recomendaciones de la Comisión. Esta disposición coincide con los deseos del gobierno de delegar mayores responsabilidades a los colegios, al mismo tiempo que garantiza la calidad de la educación. La Comisión prepara un documento en el que se describen los requisitos que un colegio debe cumplir antes de recibir la autorización para otorgar diplomas. Es claro que esta autorización será un reconocimiento a la calidad de los programas y, sobre todo, a la administración académica de la institución. Por otra parte, también será un reconocimiento, de la confianza de la Comisión, de que un colegio es capaz de asegurar la calidad de sus diplomas. Por lo tanto, antes de recomendar que una institución reciba la autorización para otorgar el diploma oficial la Comisión deseará verificar si tiene adecuadas políticas y procedimientos académicos, y si éstos son implementados completa y rigurosamente. Una evaluación de este tipo será equivalente a la acreditación institucional tal y como se realiza en los Estados Unidos de América. Una vez que una institución sea certificada siguiendo este mecanismo, la Comisión probablemente no continúe realizando evaluaciones de sus programas en forma constante. Sin embargo, periódicamente evaluará las políticas y su implementación. ESTÁNDARES Contenido Los estándares tienen un papel crucial en el desarrollo de la educación colegial. Sirven como objetivos de los programas de estudio y como referencia para su evaluación. Si no están adecuadamente definidos, será muy difícil desarrollar programas educativos de alta calidad. Existen dos tipos de estándares: aquellos relacionados con la educación general de los colegios y los relacionados con la parte profesional de los programas. Los primeros usualmente se derivan de las expectativas sociales y de la comunidad específica que atiende la institución. Corresponden al desarrollo de habilidades, tal como la habilidad para comunicarse, para leer y escribir, para evaluar críticamente las situaciones sociales en un contexto cultural y de valores. Reflejan a la sociedad en que los colegios se insertan; usualmente los determinan el gobierno y las propias instituciones. Por ejemplo, en Quebec, se espera que un ciudadano hable con fluidez el francés y el inglés por lo tanto, hay estándares que reflejan esta preocupación. Obviamente, estos estándares no pueden internacionalizarse con facilidad, aún cuando una sociedad deberá estar consciente de que sus ciudadanos viven en un mundo globalizado. Los estándares profesionales tienen una naturaleza distinta. En la educación colegial, están vinculados íntimamente con los requerimientos del mercado de trabajo. En su determinación, se deberá hacer referencia constante a las habilidades que los egresados deberán dominar. En algunos casos, por ejemplo en enfermería y tecnología marina, corresponde a las asociaciones profesionales, técnicas el proponer el conjunto de habilidades y los estándares relacionados con ellas. En otros casos, determinan los empleadores y profesionales consultados. Ese es el procedimiento normal seguido en Quebec por el Ministerio de Educación al elaborar los objetivos y estándares para los programas de estudio, y por la Comisión al evaluarlos. Aun cuando la Comisión no excluye la participación de expertos de otros países en los grupos de evaluación, ya que se considera que en la mayoría de los casos, la presencia de profesionales y empleadores competentes será suficiente para garantizar que los programas profesionales de los colegios alcancen estándares internacionales, siempre y cuando estos estándares existan. Por cierto, en programas como relaciones humanas, comunicación y hasta agricultura, no está claro que estándares internacionales no ambiguos existan. En áreas técnicas, en que la adaptación de nuevas tecnologías es una condición usual para el avance, o para la supervivencia, empleadores y profesionales en activo frecuentemente proveen la mejor garantía de que serán considerados los estándares internacionales. Sin embargo, la Comisión no dudará en recurrirá expertos internacionales cuando considere que su presencia incorporará una nueva dimensión a la evaluación Contenido