El SAT es a las pruebas estandarizadas lo que el disquete es al almacenamiento de datos.
Los proveedores de algunas de las pruebas estandarizadas más populares están repensando sus ofertas a medida que nuevas herramientas de IA desafían las técnicas tradicionales para descubrir lo que saben los estudiantes y permiten nuevas formas de administrar y calificar las pruebas.
Por ejemplo, ETS, uno de los actores más grandes y antiguos en el campo de las pruebas estandarizadas, se está alejando de los exámenes tradicionales de ingreso a la universidad, como el SAT, para centrarse en nuevos enfoques para medir las habilidades y la persistencia de los estudiantes.
Ha sido un período de agitación para las pruebas académicas en general y para la organización sin fines de lucro ETS, con 75 años de existencia, en particular. Durante la pandemia, las preocupaciones sobre la equidad y la accesibilidad llevaron a al menos 1.600 universidades a hacer que las pruebas de admisión como el SAT sean opcionales , al menos temporalmente. Luego, a principios de este año, ETS dijo que ya no administrará el SAT para el College Board. Una portavoz del College Board, Holly Stepp, dice que debido a que el grupo ha pasado completamente a un formato digital, «ahora desarrollamos y administramos las evaluaciones relacionadas con el SAT y el PSAT directamente».
En abril, ETS lanzó una iniciativa de renovación de marca para centrarse en lo que llamó «soluciones para talentos» en lugar de solo en pruebas académicas. Y ha reducido su personal para reajustarse: a principios de este año ofreció indemnizaciones a una gran cantidad de sus empleados, después de despedir al 6 por ciento de su personal en septiembre pasado.
“Las evaluaciones que ETS ofrecerá en el futuro serán más conductuales que cognitivas”, afirma Kara McWilliams, vicepresidenta de innovación y desarrollo de productos de ETS. “Eso significa que vamos a crear experiencias que nos permitan medir los comportamientos de un usuario, no cuál es la respuesta a la pregunta”, añade. “Por eso queremos analizar aspectos como la perseverancia. Y cuando pensamos en cómo construimos estas experiencias [de evaluación], estamos creando estímulos dentro de ellas [para] poder entender cosas como: ‘¿Pediste una pista? ¿Te comunicaste con un amigo? ¿Pedí más tiempo?’ Entonces, ¿cuáles son los comportamientos que estás utilizando para llegar a la respuesta? En realidad no nos importa cuál es la respuesta, sino cómo llegaste allí”.
Un ejemplo de ese trabajo es el nuevo enfoque del grupo en su iniciativa Habilidades para el Futuro , un esfuerzo conjunto con la Fundación Carnegie para el Avance de la Enseñanza para reimaginar las evaluaciones .
El objetivo de esta iniciativa es dejar de exigir a los estudiantes que dejen de hacer sus cosas para sentarse en una sala y responder preguntas durante un par de horas, dice Timothy Knowles, presidente de la Fundación Carnegie. En cambio, dice, el grupo está experimentando con el uso de datos que las escuelas tienen sobre sus estudiantes (incluidos los de actividades extraescolares como deportes, clubes y pasantías) para medir y hacer un seguimiento del progreso en habilidades como la comunicación, la colaboración y el pensamiento crítico.
“La idea es crear un sistema de información que sea útil para los niños, las familias y los educadores”, afirma. “De esta manera, podrán comprender en qué etapa del desarrollo se encuentran las personas en términos de desarrollar estas habilidades que sabemos que predicen el éxito. Por eso, estamos buscando formas de visualizar esto de una manera que no sea punitiva ni problemática para los niños”.
Las escuelas y los sistemas escolares ya cuentan con abundante información que no utilizan demasiado, afirma. La pregunta, dice, es: “¿Se pueden analizar esos datos de diferentes maneras y extrapolar a partir de ellos hasta qué punto un joven está desarrollando determinadas habilidades?”
Knowles afirma que la iniciativa se ha asociado con líderes educativos de cinco estados (Indiana, Nevada, Carolina del Norte, Rhode Island y Wisconsin) para ayudar a poner a prueba el enfoque a partir de enero. Los funcionarios de ETS y la Fundación Carnegie dicen que utilizarán nuevas formas de IA para hacer cosas como revisar y etiquetar trabajos de estudiantes existentes, analizar datos educativos estatales y realizar evaluaciones interactivas, aunque no todos estos usos estarán listos para enero.
Sin embargo, los expertos recomiendan cautela, especialmente cuando se utiliza IA para analizar datos y elaborar preguntas de exámenes.
“Todavía tenemos mucho que aprender en cuanto a si hay sesgos en el uso de la IA”, dice Nicol Turner Lee, directora del Centro de Innovación Tecnológica de la Brookings Institution. “La IA es tan buena como los datos de entrenamiento, y si los datos de entrenamiento siguen estando sesgados hacia los estudiantes más privilegiados que tienen muchos más recursos que los de las escuelas desfavorecidas, eso tendrá un impacto negativo en ellos”.
Señala un controvertido experimento que se llevó a cabo en 2020 , durante el pico de la pandemia, cuando muchas escuelas tuvieron que cerrar y operar de forma remota. Como muchos estudiantes no pudieron realizar el examen presencial de fin de año que ofrece la Organización del Bachillerato Internacional, el grupo decidió construir un modelo para predecir cuáles habrían sido las calificaciones de los estudiantes basándose en datos históricos.
“Desarrollaron un algoritmo que básicamente predijo qué escuelas tendrían mayores probabilidades de graduar a sus alumnos con un diploma de calidad”, afirma.
Miles de estudiantes se quejaron de las puntuaciones obtenidas y algunos gobiernos iniciaron investigaciones formales. “El algoritmo en sí no tuvo en cuenta la ubicación de la escuela ni los recursos de la misma”, afirma Turner Lee.
La investigadora dice que los funcionarios de ETS la trajeron para hablar en un evento reciente, donde compartió su perspectiva y preocupaciones sobre el enfoque del uso de IA en pruebas y evaluaciones.
“Piensen en lo mucho que hemos trabajado para abordar la desigualdad en las pruebas estandarizadas”, dice. “Hay que tener cuidado de no arriesgarse porque los mismos conjuntos de datos que entrenan a la IA tienen una mayor probabilidad de estar históricamente sesgados”.
Otros proveedores de pruebas están experimentando con el uso de IA para crear nuevos tipos de preguntas de prueba.
Se espera que la edición del próximo año del examen del Programa para la Evaluación Internacional de Alumnos, o PISA (una prueba internacional que mide la alfabetización en lectura, matemáticas y ciencias de jóvenes de 15 años) incluya nuevos tipos de «tareas de desempeño » diseñadas para ver cómo los estudiantes abordan un problema, y que serán calificadas por IA.
McWilliams, de ETS, dice que ha tenido un «cambio de mentalidad» en el último año sobre cómo piensa sobre la IA en las pruebas.
Mientras que el año pasado se centró en utilizar la IA para ayudar a crear preguntas tradicionales de opción múltiple, ahora, dice, «en lo que realmente me concentro es en la generación dinámica de contenido sobre la marcha. Y no para preguntas de opción múltiple, sino para tareas más experienciales que permitan a las personas demostrar lo que saben y pueden hacer de manera más significativa».
Un ejemplo es una nueva herramienta de IA llamada Authentic Interview Prep, que utiliza IA para ayudar a las personas a perfeccionar sus habilidades para entrevistas de trabajo.
“Mucha gente se pone nerviosa cuando hace entrevistas”, afirma. “Por eso, lo que estamos intentando hacer es crear experiencias que permitan a la gente entender cómo hacer entrevistas de forma más significativa. Y la IA hace cosas como darme retroalimentación sobre el tono de mi voz o la velocidad de mi habla o mi contacto visual contigo. Y luego, sobre la marcha, me enviará una señal háptica a mi reloj y me dirá: ‘Kara, cálmate. Estás hablando demasiado rápido’ o ‘Establece un mejor contacto visual’”.
Por supuesto, ese tipo de prueba no tiene como objetivo ingresar a la universidad o a la escuela de posgrado. Es un tipo de medición diferente al SAT, que, según ella, seguirá teniendo algún papel en el futuro previsible: «Lo que estoy pensando ahora es: ‘¿Cuál es el contenido que queremos crear para ayudar a las personas con las experiencias con las que interactúan a diario?'».
Fuente: Jeffrey R. Young / edsurge.com
