Nueva P.a.a Chilena- Algunas Consideraciones Políticas, Teóricas, Técnicas Y Funcionales

Transcript

Revista de Psicología ISSN: 0716-8039 [email protected] Universidad de Chile Chile Pizarro Sánchez, Raúl Nueva P.A.A Chilena: algunas consideraciones políticas, teóricas, técnicas y funcionales Revista de Psicología, vol. X, núm. 1, 2001, pp. 51-62 Universidad de Chile Santiago, Chile Disponible en: http://www.redalyc.org/articulo.oa?id=26410105 Cómo citar el artículo Número completo Más información del artículo Página de la revista en redalyc.org Sistema de Información Científica Red de Revistas Científicas de América Latina, el Caribe, España y Portugal Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto Nueva P.A.A. Chilena: Algunas Consideraciones Políticas, Teóricas, Técnicas y Funcionales The New Aptitude Test in Chile: Political, Theoretical, Technical and Functional Considerations Raúl Pizarro Sánchez, Ph.D.* Resumen Este artículo corresponde a un análisis crítico del Informe de la Comisión Nuevo Curriculum de la Enseñanza Media y Pruebas del Sistema de Admisión a la Educación Superior. Su enfoque corresponde a percepciones investigativas y evaluativas educacionales pertinentes al sistema de admisión universitario Chileno. A pesar de estar de acuerdo con los ajustes de validez y cambios propuestos por la Comisión, existen algunas áreas temáticas que bien podrían haberse explotado mejor: consideraciones políticas educativas, análisis teóricos de aprendizaje, referencias y análisis métricos tradicionales e IRT más profundos, y, algunas sugerencias funcionales relacionadas con las disciplinas a cubrir en los tests. Abstract This article deals with a critical analysis about the Commission on the New High School Curriculum and College Admissions Tests Report. Its rationale focuses on educational research and evaluation analyses related to college admissions in Chile. In spite of agreeing with the Commission validity changes and adjustments, there exist some topics that require more specificity in their postulates: some educational policies considerations, theorethical analyses of learning, analyses and references on traditional and IRT measurement models, and, some functional suggestions about subject matters to test. * Académico, Departamento de Psicología, Universidad de Chile, Magister en Cs. de la Educación. Dr. en Filosofía. [email protected] 51 Revista de Psicología de la Universidad de Chile, Vol. X, Nº 1, 2001 Introducción Las consideraciones que presenta este artículo corresponden a un análisis investigativo y evaluativo del Informe de la Comisión Nuevo Curriculum de la Enseñanza Media y Pruebas del Sistema de Admisión a la Educación Superior (en adelante la Comisión), de fecha 22 de Noviembre del 2.000. Tal Comisión interinstitucional, conformada por 13 miembros de elevada excelencia académica, fue convocada por el Ministro de Educación Sr. José Arellano con el acuerdo del Consejo de Rectores de las Universidades Chilenas. El Informe de la Comisión tiene 50 páginas y está compuesto de 3 partes: (a) La Comisión y su Tarea; (b) Impacto o Implicancias para la Reformulación de los Instrumentos del Sistema de Selección; y, (c) Proposiciones de Mejoramiento y Cambios. Cada parte está acompañada de bastantes artículos y análisis teóricos y prácticos educacionales. El trabajo de la Comisión estuvo orientado por el decreto de su formación: “ ... realizar el diagnóstico, establecer orientaciones y proponer modificaciones a las Pruebas de Admisión a las universidades, que permitan hacerlas converger con los nuevos objetivos y propósitos formativos planteados por el curriculum de la reforma educacional en los cursos correspondientes a tercer y cuarto años de enseñanza media.” (Artículo No.1, Decreto Exento No.8, 11 de Enero, 2.000). Tal Informe fue sometido en consulta previa a la Ministra de Educación, Sra. Mariana Aylwin, para posteriormente ser entregado para su análisis por parte de los 25 Rectores del Consejo de Rectores de las Universidades Chilenas, a fines del mes de Noviembre del 2.000. Los Rectores aprobaron a mediados del mes de Enero del 2.001 en Punta Arenas, los cambios propuestos por la Comisión, reemplazando así a la actual Prueba de Aptitud Académica (P.A.A., en adelante), vigente desde hace 34 años en Chile. 52 Consideraciones Políticas Relaciones Educación Media y Terciaria: En la página 6 del Informe, se advierte “...de las relaciones entre educación media y educación superior como partes de un mismo sistema de formación; ...”, las cuales habría que especificar de mejor manera. Si bien es cierto que la educación terciaria sigue a la de educación media como nivel educativo, o a nivel estratégico para el desarrollo del país, no es menos cierto que entre ambos niveles y considerando temáticas especiales (Derecho, Arquitectura, Teología, Antropología, Astronomía, Psicología, etc.) no existe mucha relación formativa: propedeútico, técnico profesional, y de formación general y cultural, por un lado; y, por otro, formación profesional, científica e investigativa. Es cierto que la función de la Comisión ha sido estudiar la convergencia entre Educación Media y las Pruebas de Admisión (cf. decreto de constitución); pero, también es cierto que una cosa es probar la calidad de los Programas de Educación Media, y otra muy distinta es seleccionar Alumnos Universitarios. La tradición en investigación pertinente a la validez hubiese aconsejado, entonces, un cambio en las Pruebas Específicas (Pruebas de Rendimiento Académico Previo, similar a la síntesis N.E.M.) para sintonizarlas con la actual Reforma de Educación Media. Faltó precisar lo que se entiende por “... mismo sistema de formación...”. Si preguntásemos a un Catedrático Universitario de Matemáticas o Ingeniería Civil Matemática acerca de los Sistemas de Formación en Educación Media y en la Universidad respecto de temas/áreas/contenidos Matemáticos, es altamente probable que termine diciéndonos que son muy diferentes. Nueva P.A.A. Chilena: Algunas ConsideracionesPolíticas, Teóricas, Técnicas y Funcionales Algunos supuestos Educativos de Aptitud, Aprendizaje y Selección: El punto 2.2.1. del Informe relativo a las características fundamentales de la P.A.A., está bien analizado, aunque precisa de mejores fundamentos y propuestas. Es cierto que el concepto clásico de Aptitud está asociado a la conceptualización psicométrica de la Inteligencia, con cargas mayores en las habilidades mentales primarias verbal comprensiva y numérica (cf. Thurstone, 1938, 1947; y, a las asignaciones de cargas horarias mayores para Matemáticas y Castellano desde 1o. Básico hasta 4o. Medio + la PAA). También lo es la relación supuestamente estable entre Inteligencia, Aptitud y Aprendizaje (solución de problemas, potencia académica y logros académicos, respectivamente); y, relativamente independiente del sexo y nivel socioeconómico cultural. No resulta tan cierto, empero, que sean la Aptitud y la Inteligencia tan independientes de la edad (cf. Bloom, 1964; Thorndike y Hagen, 1970; Herrnstein y Murray, 1994; Pueyo, 1996, 1997; Berk, 1999). Igualmente, estamos de acuerdo mayoritariamente con algunas investigaciones recientes relativas a las relaciones PAASexo, P.A.A.-Región, P.A.A.-N.S.E.C. (Nivel SocioEconómico Cultural), P.A.A.-Entrenamiento, P.A.A.-Tipo de Establecimiento Educacional. Algunos hallazgos, no obstante, no concuerdan con informes previos de resultados de la P.A.A. por Estratos y Regiones, que fueron encontrados con “...perfiles absolutamente homogéneos ...” (Donoso et al., 1993). Tampoco se concuerda en los cambios propuestos, que se infieran prioritariamente los conceptos de equidad, convergencia Enseñanza Media-Universidad, algunos contenidos curriculares, y de Psicología Cognitiva para mentar la pregunta “ ... de lo que mide o debe medir la Prueba de selección a la Educación Superior.” (Informe de la Comisión, 2.000; p. 11): ¿Intereses +/- Rendimientos Académicos Actuales +/- Rendimientos Académicos Previos +/- Inteligencias +/- Aptitudes +/- Creatividades +/- Autoestimas +/ - Ajustes a Perfiles de Carreras y Estudios Terciarios +/- Destrezas y Competencias Específicas +/- Salud Mental +/- Idioma Extranjero? Recientemente, el D.E.M.R.E. (Departamento de Evaluación, Medición y Registro Educacional, que diseña, aplica, administra, analiza y evalúa la P.A.A. Chilena) de la Universidad de Chile, entregó por vez primera desde 1967 un ranking con los 100 primeros establecimientos educacionales según el resultado promedio de la P.A.A. De tales establecimientos, 2 son Municipales, 5 Subvencionados, y 93 Particulares Pagados. Además, 39 de ellos están localizados fuera de la Región Metropolitana, aunque entre los 10 primeros sólo aparezca 1 a nivel Regional (Qué Pasa, 14 de Octubre del 2.000; p. 5 y pp. 46-51). Como se puede apreciar en la tabla 1, la Media Aritmética de la Prueba de Aptitud Académica Matemática (P.A.A.M.) excede en 0,6851 Sigmas a la de la Prueba de Aptitud Académica Verbal (P.A.A.V.) (670,857 y 656,329, respectivamente). La cantidad de alumnos tiene una Media Aritmética de 73,73 personas que rindieron la PAA, con una Desviación Estándar bastante grande de 72,7106 Sigmas y extremos que oscilaron entre 3 y 640 Alumnos. En cuanto a las Correlaciones Simples, llama la atención el coeficiente significativo aunque menor que el conjunto de datos nacionales, entre la P.A.A.V. y la P.A.A.M. (r = + 0,55096). También llaman la atención las relaciones entre todas las Variables y el Número de Alumnos que rindió la P.A.A.: son todas no significativas y muy cercanas a la nulidad, refutando en gran medida expectativas comunes. Y, respecto de los Coeficientes de Correlación Múltiples, la lógica stepwise (usando como Criterio el Orden 53 Revista de Psicología de la Universidad de Chile, Vol. X, Nº 1, 2001 en el Ranking) otorgó 2 pasos con la P.A.A.M. en primer lugar y un 75,03 % de explicación (r = -0,8662; F = 294,417; p = 0,00000), y paso dos (P.A.A.M. + P.A.A.V.) con un 95,22 % de explicación (R = 0,9758; F = 965,161; p = 0,000E+00) de la Dispersión del Criterio. Tabla 1: Estadísticos Descriptivos y Correlaciones Variables 1 2 3 4 5 6 1 1,00 2 -0,98*** 1,00 3 -0,85*** 0,86*** 4 -0,87*** 0,90*** 0,56*** 1,00 5 -0,03 0,04 0,01 0,06 6 0,01 -0,05 0,01 -0,09 Media Ar 50,50 663,59 656,33 670,86 73,73 2,91 Desv. St. 29,01 17,11 17,59 21,21 72,71 0,35 1,00 1,00 -0,65*** 1,00 Corr.Múl. ry.4 = -0,8662 F = 294,417*** Corr.Múl. Ry.43 = 0,9758 F = 965,161*** Nota: por motivos de espacio, se redondearon los datos de las correlaciones a dos dígitos. Variable 1 = Ranking u Orden de Calidad; Variable 2 = Media Aritmética de la P.A.A.; Variable 3 = P.A.A.V.; Variable 4 = P.A.A.M.; Variable 5 = Cantidad de Alumnos que rindió la P.A.A. por cada Establecimiento Educacional; y Variable 6 =Tipo de Establecimiento Educacional. Ahora bien, claramente el sistema actual de la P.A.A. Chilena no se sustenta únicamente “ ... en torno a la noción de aptitud.” (Informe de la Comisión, 2000; p. 11). Aunque las ponderaciones de las Aptitudes Verbales y Matemáticas sean elevadas porcentualmente, no son excluyentes. Además de las Aptitudes, están los Rendimientos Académicos Previos (Notas de Enseñanza Media = N.E.M., y Pruebas de Conocimientos Específicos = P.C.Esp.), algunas Destrezas Especiales, los Intereses (mezclados 54 con Aptitud y Rendimiento Académico Previo) indicados por las Postulaciones; y, en algunas Universidades se ponderan también la Región y el Lugar o Ranking de Postulación, para el puntaje final de selección. A su vez, en Psicología del Desarrollo, las investigaciones de Gardner y Sternberg (entre otros) han demostrado: (a) los equilibrios biológicos y culturales de los conceptos y operaciones de las Inteligencias para solucionar problemas o crear productos; (b) la pluralidad de las mismas; y, (c) muy especialmente su evolución y desarrollo (Gardner, 1983; 1993; 1995; 1996; Sternberg, 1980, 1982; 1988; 1996). Similarmente, entonces, ¿por qué no buscar conceptos de Aptitud que sean tan desarrollables como las Inteligencias Múltiples y Prácticas? Al respecto, la misma Comisión entra en una especie de contradicción sustantiva: “ ..., es también imposible medir y evaluar el logro de contenidos (por ejemplo de carácter educacional) sin contemplar las capacidades intelectuales de los evaluados.” (Informe de la Comisión, 2000; p. 11; y, cf. p. 11; p. 35; p. 42 del Informe de la Comisión). También, además de la Psicología Cognitiva, los miembros de la Comisión podrían haberse referido a otros conceptos que pueden aislada o conjuntamente iluminar a los sistemas de selección y admisión a la educación terciaria en Chile; a saber: igualdad de oportunidades; justicia social; necesidad de profesionales y mercado; costos-beneficios de la educación terciaria; soberanía intelectual; selección de talentos; percepción sociológica de la educación; cultura, tradición, modernidad, post modernidad; psicología social aplicada a la educación; igualdad de metas; desarrollo intelectual; relaciones educación-economía-calidad de vida; relaciones entre masificación-élites-meritocracia; visiones, misiones, roles y funciones educativas de la educación; etc. Nueva P.A.A. Chilena: Algunas ConsideracionesPolíticas, Teóricas, Técnicas y Funcionales Y, en referencia a lo sustantivo del curriculum (Informe de la Comisión, 2000; p. 29), el segundo criterio de selección y organización de objetivos y contenidos, necesita mayor explicación: ¿qué significan objetivos y contenidos más ricos; estándares más altos? Habría que haber sido más específico respecto de la sustantividad del curriculum en los tres criterios mencionados; toda vez que uno de los fundamentos del cambio de la P.A.A. se relaciona con la convergencia (objetivos y propósitos formativos) entre la Educación Media y la Terciaria. Educación Superior para Todos: En el acápite Transformaciones de la Educación Superior y su Impacto en las Pruebas del Sistema de Admisión, específicamente en el punto 2.7.3 de la p. 37, se establece el buen criterio que las Universidades selectivas utilicen a las pruebas de admisión como un modo de ingresar a ellas. Conversamente, la Comisión supone, infiere El menor uso relativo de las pruebas del sistema de admisión, tendencia que probablemente seguirá en el futuro previsible de desarrollo de una ´educación superior para todos´, no es equivalente a disminución de su peso e influencia sobre la Educación Media.” (Informe de la Comisión, 2000; p. 37). Y, ¿Qué significa ´educación superior para todos´ para la Comisión?: ¿Actual comparación Universidades selectivas versus las que no lo son tanto?, ¿Vieja dicotomía cultural-política masas versus élites para el ingreso Universitario de los años 1960-1970 a nivel internacional?, ¿Supuestos igualitarios y equitativos originados por las rendiciones de pruebas P.A.A. después del año 1995?, ¿Futura y posible obligatoriedad de la Enseñanza Media en Chile?, ¿Bajada de estándares y producción de niveles/errores alfas a nivel nacional para alegrar a la juventud?, ¿Suponer que las Universidades no adscritas al Consejo de Rectores de las Universidades Chilenas exhiben menor selección, competividad y calidad académicas? ¿Ingreso para todos los capaces, independientemente de su situación económica? Consideraciones Teóricas Combinación de Procesos Cognitivos: En el tema Características Fundamentales de la P.A.A., específicamente en su último párrafo de la p. 11, se recomienda “consecuentemente, lo más razonable es abandonar la conceptualización de la aptitud y basar, en cambio, el sistema de admisión a la enseñanza superior en una evaluación que incluya la combinación de los procesos cognitivos y contenidos curriculares que forman parte de la experiencia regular de los estudiantes de la enseñanza media.” (Informe de la Comisión, 2000; p. 11; cf. punto 3.1.7; p. 42). Al respecto, se sugiere aclarar específica y relacionalmente cuántos y cuáles son los procesos cognitivos asociados a cuántos y a cuáles contenidos. Lo precedente es requisito para -independientemente de los textos, contenidos y sugerencias de planes y programas de estudios del MINEDUC- determinar tipos, cantidad, calidad y cambios en los aprendizajes; coberturas; estándares; énfasis; diseños y elaboraciones de ítemes (cerrados o abiertos); y, tests relativos a la nueva P.A.A. Chilena. Del mismo modo, parece muy procedente identificar -al menos- grupos de teorías, autores y modelos psicológicos/educativos/cognitivos implicados en las distintas metodologías que los Profesores utilizan en Educación Media. 55 Revista de Psicología de la Universidad de Chile, Vol. X, Nº 1, 2001 Niveles y Categorías de la Taxonomía de Bloom: En relación con la P.A.A. Verbal, tanto en la página 11 como en la página 12, las categorías taxonómicas están mal citadas y/o mal aplicadas. Las habilidades de interpretación e inferencia pueden incluirse en comprensión; aunque inferencia como tal no existe y podría asociarse indirecta o inversamente a extrapolación. Del mismo modo, la categoría de síntesis -referida a los términos excluidos- es opuesta a los formatos de ítemes cerrados: “ A major problem in testing for synthesis objectives is that of providing conditions favorable to creative work.” (Bloom, 1956; p. 173). A mayor abundamiento: - Perhaps the most important condition is that of freedom.” (Bloom, 1956; p. 173). - The student should be made to feel that the product of his efforts need not conform to the views of the instructor or the community, or some other authority, if such freedom is otherwise consistent with the nature of the task.” (Bloom, 1956; p. 173). - A third major problem is that of evaluation. Exercises involving synthesis often yield rather complex products for which objective criteria of evaluation are lacking.” (Bloom, 1956; p. 174). Modelos de Medición de Respuesta al Item (IRT): En el acápite Un Nuevo Modelo de Medición (punto 2.6.1 de las páginas 33 y 34), además de adjuntar las ventajas de tales modelos sobre el tradicional usado en los análisis y evaluaciones de la P.A.A. Chilena, convendría para conocimiento más fundado de los 56 Sres. Rectores de las Universidades Chilenas, realizar comparaciones entre ambos fundamentos y operaciones métricas; a saber: conceptualizaciones; parámetros; características; análisis; escalas y ceros; ventajas y desventajas; etc.. En otras palabras, ¿qué y cuánto se gana al cambiar el modelo psicométrico clásico por uno IRT (Item Response Theory=Teoría de Respuesta al Item)? A su vez, están muy bien explicados: (a) los aspectos relativos a la actualización métrica y evaluativa internacional de los modelos IRT. Esto hace mucha falta en Chile; y, no solamente para expertos en Medición, Investigación y Evaluación Educacionales; (b) las diversidades de formatos y análisis al generar mediciones; (c) las apropiadas comparaciones y mejores detecciones de sesgos (aunque ello no implique que con el modelo clásico no se pueda comparar; cf. punto 3.22, párrafo 2, p. 43); y, (d) el aprovechamiento óptimo de la información. No obstante, no lo están suficientemente aquellos relativos a: (a) los parámetros y las “... regiones del atributo que se evalúa, ...” (Informe de la Comisión, 2000; p. 33); y (b) no se exploró la independencia de los modelos IRT tanto de los ítemes, como de las muestras o personas que los contestan. Además, resulta muy importante para comprender el cambio de la P.A.A. Chilena, la elección de parámetros y modelos específicos. Cuando el modelo psicométrico se basa en la Dificultad de los Itemes (Respuestas Correctas o Dominios sobre el Puntaje Ideal), los modelos IRT usan por lo común 2 o 3 parámetros: Dificultad y Habilidad (Atributo, Variable, Característica a ser Medida y Evaluada); y/o, Dificultad, Habilidad y Azar o Adivinación, por ejemplo. Este tema es muy importante para cualquier equipo analítico, investigativo y evaluativo. Tanto para el SIMCE, como para la Nueva P.A.A. Chilena, y debido a los con- Nueva P.A.A. Chilena: Algunas ConsideracionesPolíticas, Teóricas, Técnicas y Funcionales textos, propósitos y funciones métricas y evaluativas, no resulta aconsejable usar modelos con más de 3 parámetros. La discusión más fuerte debiera centrarse entre incorporar o no -como tercer parámetro- la Adivinación. Aunque las medidas (y no puntajes) usen escalas con ceros reales o absolutos, al hacer formatos objetivos de ítemes (Selección Múltiple), la Adivinación por azar debiera inquietar algo. En cuanto a las regiones, subvariables o factores del atributo que se evalúa, los modelos IRT apuntan mejor a la validez de constructo que los modelos clásicos. Esto es, y debido a los parámetros supuestos (muy especialmente el relativo a la Habilidad) y las escalas de números positivos y negativos con cero real, la ausencia dentro de algún sector de la escala bien podría indicar ruido o mediciones no directamente relacionadas -en esa parte- con la teoría o las variables que se están midiendo y evaluando. Los softs computacionales IRT (Rasch Modeling, entre otros) grafican muy bien lo precedente. Evaluaciones/Estimaciones Auténticas de Aprendizajes: En los puntos 1.4 (Perspectiva de Análisis de la Comisión, p. 7) y 2.6.3 (Pruebas de Aptitud y Equidad, p. 35), a pesar de referirse a la Educación Escolar, el Curriculum de Educación Media y su Reforma, no existen menciones a la Evaluación Auténtica. Sí se mencionan exámenes de selección más exhaustivos (p. 35) y desarrollos en las últimas dos décadas en psicometría y edumetría (p. 7). En la Reforma vigente, se ha insistido sólidamente en la variación metodológica y/o en la personalización instruccional y evaluativa en la escuela (genéricamente establecida). En sus fundamentos y operaciones instruccionales y evaluativas, muy posiblemente estén mezclados 5 constructos de difícil separación actual: Inteligencias + Intereses + Autoestimas + Creatividades + Aprendizajes (indicados por diferentes Rendimientos Académicos). Así, puede haber un espacio teórico difícil de comprender entre las métricas y evaluaciones de aulas (contextualización, significatividad, pertinencia, mundo real, validez empírica y práctica, personalización, rendimientos alternativos, etc.), y los tests nacionales (cf. Wiggins, 1993; 1998; Siegel y Shaughnessy, 1994; Popham, 1998; Fried, 1998; Kohn, 2000). No obstante, un buen punto de unión lo pueden brindar las preguntas abiertas de los tests educacionales, que pueden medir -por difícil que sean sus correcciones y evaluaciones- síntesis creativas y otros procesos mentales elevados. ¿Antinomias entre Dos Conceptos de Aptitud? En el apartado 3.1. Nuevas Pruebas de Selección a la Educación Superior (cf. pp. 40-43), y más específicamente en su punto 3.13, se lee: “La Comisión propone como cambio principal, una nueva configuración de instrumentos para el sistema de admisión, consistente en un conjunto de cuatro pruebas: una prueba de Aptitud Académica Verbal y una Prueba de Aptitud Académica Matemática; una Prueba General de Ciencias y una Prueba General de Historia y Ciencias Sociales.” (Informe de la Comisión, 2000; p. 41). Cuesta ver consistencia entre los supuestos -todos muy bien tomados- de lo poco pertinente, lo anticuado del concepto Aptitud y su ajuste a la Inteligencia Clásica; y, luego darse cuenta que la Comisión mantiene el concepto de Aptitud Académica. Y, lo mismo procede con la especificidad de sus 2 partes: Verbal y Matemática. Frente a ello, cabe preguntarse por los motivos que tuvo la Comisión para mantener los mismos nombres, a pesar de los cam57 Revista de Psicología de la Universidad de Chile, Vol. X, Nº 1, 2001 bios en los supuestos educacionales y métricos: ¿Uso convencional del sistema P.A.A. en Chile? ¿Costumbre? ¿Se quiere seguir midiendo potencia académica para proseguir estudios de Educación Terciaria? ¿Propiedad Intelectual o Patentes que tenga legalmente la Universidad de Chile desde la creación del sistema P.A.A. en Chile? ¿Realizar cambios lenta y prudentemente en el sistema de selección y admisión a la Educación Terciaria en Chile? ¿No desligar la selectividad de los estudios Universitarios con los sistemas de selección y admisión? ¿Prudencia para cambiar parsimoniosamente un sistema que ha funcionado válida y confiablemente -desde hace 34 años- para seleccionar Alumnos Universitarios en Chile?. Consideraciones Técnicas Capacidad Predictiva de la P.A.A. Chilena: En el punto 2.2.8 referido a Los Análisis del campo de la Investigación (cf. pp. 1517) casi todos los aspectos -con la excepción del último párrafo de la p. 17- están muy bien fundamentados sustantiva e investigativamente. No obstante, queda la impresión que las capacidades predictivas son magras al oscilar entre 10-50 % de la varianza explicada del criterio Estudios Universitarios durante el Primer Año: “ En diversas Universidades se ha analizado la validez predictiva, encontrándose que, en el mejor de los casos, el conjunto de predictores explica del orden del 50 % de la varianza del rendimiento universitario en el primer año de estudios, observándose generalmente valores menores para años posteriores.” (Informe de la Comisión, 2000; p. 16). Cuesta mucho sobrepasar el 50 % de explicación tan sólo con variables intelectuales; y, tanto más justificar dispersiones mayores con muestras reducidas luego del pri58 mer año. En situaciones tradicionales de instrucción -como opera pedagógica y evaluativamente un alto porcentaje de Carreras Universitarias en Chile, y a mayor nivel instruccional o antigüedad dentro de las Carreras, cualquier test pierde capacidad predictiva por reducción de la dispersión tanto del de-los criterio-s (Notas de Estudios Universitarios), como de los predictores (Puntajes de Factores considerados para Postular, ser Admitido y Matricularse en las Universidades)(cf. Lavin, 1965; Thorndike y Hagen, 1970; Pizarro y Larrondo, 1979; Pizarro, 1983; 1996; 2000; Díaz, Himmel y Maltes, 1990). En cuanto a las deficiencias de la P.A.A. escritas en el último párrafo del punto 2.2.8 de la página 17, no queda para nada claro qué se entiende por “ ... su no respuesta a los cambios estructurales de la institucionalidad, e internos de las carreras, de la educación superior; ...” (Informe de la Comisión, 2000; p. 17). Y, resulta erróneo sostener “... sus limitaciones para medir vocación y creatividad; ...” (Informe de la Comisión, 2000; p. 17), pues la P.A.A. nunca ha pretendido hacerlo. En cambio, si parecen muy interesantes, atendibles e investigables su unicidad de medición anual y el efecto maduración sobre los puntajes de la P.A.A.: ¿Libertad para escoger cuántas veces rendir la P.A.A. al año? ¿Restar, sumar, ponderar -imprácticamente- efectos edad, maduración, experiencia + entrenamiento de los postulantes? ¿Comparar a primerizos con rezagados en cuanto a intereses, madurez, logros académicos? ¿El mayor entrenamiento previo sobre la P.A.A., “favorece» más a las Inteligencias y las Aptitudes por sobre los Rendimientos Académicos? ¿“Vale más ser más viejo» para enfrentar la P.A.A.? ¿Cómo enfrentar la igualdad de oportunidades y las equidades frente a la unicidad anual de la P.A.A. y la maduración de los jóvenes? Nueva P.A.A. Chilena: Algunas ConsideracionesPolíticas, Teóricas, Técnicas y Funcionales Y, en cuanto a las posibles inferencias para las Nuevas Pruebas de Aptitud Académicas, General de Ciencias y General de Historia y Ciencias Sociales -al estar más centradas curricularmente en objetivos, contenidos, competencias, destrezas intelectuales y procesos cognitivos de la Reforma- se esperan mayores dispersiones en los predictores; y, mayores presentaciones para rendirlas. En otras palabras, aumentarían las capacidades predictivas pues se estarían correlacionando variables de idéntica naturaleza tan sólo separadas breve y temporalmente (Aprendizajes de Educación Media y de Educación Terciaria/Universitaria). Nuevas Pruebas de Selección a la Educación Superior: En el punto 3.1.9 de la página 42 se sostiene: “En consideración del hecho que el marco curricular oficial, en el caso de la modalidad técnico profesional de la educación media, no considera la enseñanza de las asignaturas científicas en 3o. y 4o. Año Medio, la Comisión plantea que la prueba General de Ciencias, para aquellos postulantes provenientes de esta modalidad, debiera considerar una forma cuyo referente curricular abarcara sólo los años 1o. y 2o. de la Enseñanza Media. De este modo, la obligatoriedad propuesta de las cuatro pruebas, no perjudicaría a los egresados de la modalidad técnica que postulan a la educación superior.” (Informe de la Comisión, 2000; p. 42). Al respecto, esta consideración se estima como una óptima propuesta; aunque, bien se podría -utilizando las bondades métricas/ matemáticas de los modelos IRT- estudiar equatings o comparaciones basadas en criterios métricos idénticos entre ambos tipos de modalidades de educación (Técnica Profesional y Humanista Científica). Pudiera suceder que los postulantes de la modalidad técnico profesional resultasen favorecidos con tests de menor cobertura y mayor facilidad instruccional. Además, en la misma página 42, y respecto del punto 3.1.10, se establecen las sugerencias-reglas “ La Comisión ve necesario que se fijen algunas reglas sobre la ponderación por las diversas instituciones de educación superior y sus unidades, de las diversas pruebas y factores de selección. Al respecto se proponen las siguientes dos reglas mínimas: a) a ninguna prueba puede asignársele una ponderación inferior a 10 %; b) las notas de la E.M. deben tener una ponderación mínima de 20 %.” Tales sugerencias debieron haberse fijado en el punto 3.1.3. (p. 41) al definir el sistema completo de admisión (N.E.M. + 4 Tests + Postulaciones). Además, llama mucho la atención que las 2 propuestas de la Comisión aparezcan como imperativas, por un lado. Por otro, que los márgenes ponderativos se hagan sin ningún estudio pilot-testing previo (validez predictiva), y considerando sólo investigaciones relativas a la P.A.A. actualmente imperante, y que se quiere cambiar. Las ponderaciones de los factores de selección para Educación Terciaria, no son un asunto menor. De estar mal fijadas -un 5-10 % menor o mayor en cada uno de ellos- se puede correr el serio riesgo de admitir o excluir indebidamente a algunos postulantes. Lo anterior, si bien resulta delicado para cualquier entidad educativa de Educación Terciaria, lo es más para aquellas Universidades muy competitivas y cuyo financiamiento parcial es estatal. 59 Revista de Psicología de la Universidad de Chile, Vol. X, Nº 1, 2001 Consideraciones Funcionales La L.O.C.E. y la Medición de los Objetivos: En el punto 2.5 relacionado con “L.O.C.E. y medición de aprendizajes al final de la EM» (ver páginas 32 y 33) se hace referencia a su Art. l9 pertinente a la evaluación legal de los objetivos del marco curricular nacional de educación básica y media. Se sigue que los alumnos de 4o. Medio tengan una evaluación nacional de sus resultados de aprendizaje. Y en su punto 2.5.2 de la página 33 del Informe, la Comisión infiere la no correspondencia o satisfacción entre las pruebas P.A.A. de admisión y los requerimientos de la L.O.C.E. El Art. 19 de la Ley Orgánica Constitucional de Enseñanza reza textualmente: “Corresponderá al Ministerio de Educación Pública diseñar los instrumentos que permitan el establecimiento de un sistema para la evaluación periódica, tanto en la enseñanza básica como de la media, del cumplimiento de los objetivos fundamentales y de los contenidos mínimos de esos niveles.”. Y, continúa de la manera siguiente: “ Previa aprobación del Consejo Superior de Educación dicho Ministerio procederá a establecer la aplicación periódica del sistema de evaluación a que se refiere el inciso anterior, debiendo en todo caso, efectuar pruebas de evaluación, a lo menos, al término de la educación básica y de la educación media. El Ministerio de Educación Pública deberá elaborar estadísticamente sus resultados, por región y por establecimientos educacionales, los que deberán publicarse en algunos de los diarios de circulación nacional o regional y además fijarse en lugares visibles en cada establecimiento evaluado. En caso alguno la publicación incluirá la individualización de los alumnos.” (L.O.C.E, 1990). 60 L.O.C.E. no hace referencia alguna a las Pruebas de Admisión Universitaria en Chile. Frente a este aspecto legal, y la convergencia (“..., la tarea de articular...” Informe de la Comisión, 2000; p.33) educativa de formación entre los niveles educativos de Media y Terciaria, caben las siguientes preguntas: ¿Desea el MINEDUC con tan sólo un sistema de evaluación nacional abarcar 2 objetivos simultáneos: medir la calidad de Educación Media; y, vía su propio marco curricular de enseñanza Media (a través del Rendimiento Académico medido nacionalmente), seleccionar postulantes a la Educación Terciaria? ¿Si se quiere aplicar el Art. 19 de la L.O.C.E., por qué no se consideran al menos longitudinalmente además -independientemente de las dificultades métricas- áreas temáticas como las Artes, Educación Física y Deportes, Area Afectiva? ¿Con la propuesta de las 4 Pruebas Nuevas (Aptitud Verbal, Aptitud Matemática, General de Ciencias y General de Historia y Ciencias Sociales) no se legitimarán homogénea y masivamente los actuales Bachilleratos de algunas Universidades: alumnos más maduros; con intereses más estables; un nuevo Grado entre el Título Profesional y la Licenciatura; mayor acceso, permanencia y costo de los estudios Universitarios; síntesis entre convergencia de niveles educativos/calidad de la educación media/ intereses de los postulantes para acceder a la Educación Universitaria? Referencias BERK, E.L. (1999). Desarrollo del niño y del adolescente (4a. Ed.). Madrid: Prentice Hall Iberia. B LOOM, S.B. (Ed.) (1956). Taxonomy of educational objectives. Handbook I: Cognitive Domain. New York: David McKay Company, Inc.. Nueva P.A.A. Chilena: Algunas ConsideracionesPolíticas, Teóricas, Técnicas y Funcionales BLOOM, S.B. (1964). Stability and change in human characteristics. New York: John Wiley & Sons. COMISIÓN NUEVO CURRICULUM DE LA ENSEÑANZA MEDIA Y PRUEBAS DEL SISTEMA DE ADMISIÓN A LA EDUCACIÓN SUPERIOR (2000). Informe sometido en consulta previa a la Ministra de Educación. Santiago: s.e. DÍAZ, E., HIMMEL, K.E. Y MALTES, S. (1990). Evolución histórica del sistema de selección a las universidades Chilenas 1967-1989. En, M.J. Lemaitre (Ed.), La educación superior en Chile: Un sistema en transición. Santiago: CPU. DONOSO, R.G., VALENCIA, E.A., SCHUBLIN, P.M., BOCCHIERI, A. A., IBARRA, F.R., PARDO, A.R., CASTRO, S.J., JOCELIN, H.J. (1993). Informe de los resultados de las pruebas de admisión a la educación superior. En, Resúmenes de los Trabajos presentados al XII Encuentro Nacional de Investigadores en Educación. Santiago: CPEIP. FRIED, L.R. (1998). Parent anxiety and school reform: When interests collide, whose needs come first? Phi Delta Kappan, 80, 4, 264271. GARDNER, H. (1983). Frames of mind. New York: Basic Books. GARDNER, H. (1993). Estructuras de la mente. La teoría de las inteligencias múltiples (2a. Ed.). México: Fondo de Cultura Económica. G ARDNER , H. (1995). Reflections on multiple intelligences. Myths and messages. Phi Delta Kappan, 77, 3, 200-9. GARDNER, H. (1996). Leading minds. New York: BasicBooks. HERRNSTEIN, J.R. Y MURRAY, CH. (1994). The bell curve. Intelligence and class structure in American life. New York: Free Press Paperbacks. K OHN , A. (2000). The case against standardized testing. Westport: Heinemann. L AVIN , E.D. (1965). The prediction of academic performance. New York: Russell Sage Foundation. L OB, M. (2000). Quién es quién en la P.A.A.. Qué Pasa, XXIX, 1540, Sábado 14 de Octubre del 2000. MINISTERIO DE EDUCACIÓN PÚBLICA (1990). Ley orgánica de enseñanza. Santiago de Chile: Diario Oficial del Sábado 10 de Marzo de 1990. PIZARRO, S.R. (1983). Análisis del rendimiento académico, carreras de pedagogía, Academia Superior de Ciencias Pedagógicas de Valparaíso, 1981. Tesis para optar al Grado de Magister en Ciencias de la Educación, Pontificia Universidad Católica de Chile. PIZARRO, S.R. (1996). Sistemas de ingreso a las carreras de pedagogía. Ponencia presentada en la Convención Nacional de Pedagogía, Viña del Mar, 2-3 de Septiembre de 1996. PIZARRO, S.R. (2000). Informe ejecutivo del informe de la comisión nuevo curriculum de la enseñanza media y pruebas del sistema de admisión a la educación superior. Valparaíso: Rectoría y Pro-Rectoría de la Universidad de Playa Ancha de Ciencias Pedagógicas (UPLACED). PIZARRO, S.R. Y LARRONDO, G.T. (1979). Selección y admisión a las carreras de pedagogía en Inglés y Biología, Universidad de Chile, Valparaíso, 1976. Tesis para optar al Grado de Licenciado en Educación, Pontificia Universidad Católica de Chile. P OPHAM , W.J. (1998). Farewell, curriculum: Confessions of an assessment convert. Phi Delta Kappan, 79, 5, 380-4. PUEYO, A.A. (1996). Inteligencia y cognición. Barcelona: Paidós. PUEYO, A.A. (1997). Manual de psicología diferencial. Madrid: McGraw-Hill. S IEGEL , J. Y S HAUGHNESSY , F.M. (1994). Educating for understanding. An interview with Howard Gardner. Phi Delta Kappan, 76, 8, 563-6. S TERNBERG , R.J. (1980). Components of human intelligence. New York: Yale University Press. 61 Revista de Psicología de la Universidad de Chile, Vol. X, Nº 1, 2001 STERNBERG, R.J. (1982). Handbook of human intelligence. Cambridge: Cambridge University Press. STERNBERG, R.J. (1988). The thriarquic mind. London: Penguin Books. THORNDIKE, L.R. Y HAGEN, E. (1970). Tests y técnicas de medición en psicología y educación. México: Trillas. 62 W IGGINS , G. (1993). Assessment: Authenticity, context, and validity. Phi Delta Kappan, 75, 3, 200-8. WIGGINS, G. (1998). Educative assessment. Designing assessments to inform and improve student performance. San Francisco: JosseyBass Publishers.