Desde el lanzamiento de ChatGPT a finales del año pasado, el ensayo ha sido declarado muerto como forma eficaz de medir el aprendizaje. Después de todo, los estudiantes ahora pueden ingresar cualquier pregunta asignada en un chatbot de IA y obtener un ensayo de cinco párrafos perfectamente formateado listo para entregar (bueno, después de un pequeño masaje para eliminar cualquier “alucinación” de IA).
A medida que los educadores han buscado alternativas a la asignación de ensayos, una idea que ha surgido es la de recuperar los exámenes orales.
Es una idea clásica : en el siglo XVII era el modelo básico de evaluación en Oxford y Cambridge (con los interrogatorios de los profesores en latín), y era más o menos lo que Sócrates hacía con sus alumnos. Y las evaluaciones orales del aprendizaje de los estudiantes todavía ocurren ocasionalmente, como cuando los estudiantes de posgrado defienden sus tesis y disertaciones. O en entornos K-12, donde el plan de estudios del Bachillerato Internacional (IB) utilizado por muchas escuelas secundarias tiene un componente oral.
Pero incluso los fanáticos de administrar exámenes orales admiten un gran inconveniente: consumen mucho tiempo y exigen mucho a los educadores.
“Son agotadores”, dice Beth Carlson, profesora de inglés en Kennebunk High School, en Maine, quien dice que ocasionalmente hace evaluaciones orales de 15 minutos cada una para los estudiantes del programa IB de la escuela. “Realmente sólo puedo hacer cuatro a la vez y luego necesito un descanso mental. Tengo una colega que puede hacer seis a la vez y estoy asombrada por ella”.
Aun así, algunos educadores han estado probando el examen oral. Y dicen que la clave es utilizar la tecnología para hacer que el enfoque sea más conveniente y menos agotador.
¿Se pueden realizar exámenes orales en la escala necesaria para el tamaño de las clases actuales?
Luchando contra la IA con IA
Dos estudiantes universitarios que son investigadores del Piech Lab de la Universidad de Stanford , que se centra en “usar técnicas computacionales para transformar áreas fundamentales de la sociedad”, creen que una forma de recuperar los exámenes orales puede ser aprovechar la inteligencia artificial.
Los estudiantes, Joseph Tey y Shaurya Sinha, han creado una herramienta llamada Sherpa que está diseñada para ayudar a los educadores a escuchar a los estudiantes hablar durante una lectura asignada para determinar qué tan bien la entendieron.
Para usar Sherpa, un instructor primero carga la lectura que ha asignado o puede pedirle al estudiante que cargue un trabajo que haya escrito. Luego, la herramienta formula una serie de preguntas sobre el texto (ya sean preguntas ingresadas por el instructor o generadas por la IA) para evaluar la comprensión de los conceptos clave por parte del estudiante. El software le da al instructor la opción de si desea que la herramienta grabe audio y video de la conversación, o solo audio.
Luego, la herramienta utiliza IA para transcribir el audio de la grabación de cada estudiante y marca áreas donde la respuesta del estudiante parecía fuera de lugar. Los profesores pueden revisar la grabación o transcripción de la conversación y observar lo que Sherpa marcó como problema para evaluar la respuesta del estudiante.
«Creo que algo que se pasa por alto en muchos sistemas educativos es la capacidad de mantener una discusión y una discusión sobre su trabajo», dice Tey. «Y creo que hacia donde se dirige el futuro será aún más importante que los estudiantes puedan tener esas habilidades interpersonales y poder hablar y comunicar sus ideas».
Los estudiantes desarrolladores visitaron escuelas secundarias locales y hicieron correr la voz en las redes sociales para que los profesores probaran su herramienta.
Carlson, el profesor de inglés de Maine que ha probado los exámenes orales en las clases del IB, ha utilizado Sherpa para que los alumnos respondan preguntas sobre una parte asignada de la novela de ciencia ficción “The Power”, de Naomi Alderman, a través de las cámaras web de sus portátiles.
«Quería que los estudiantes hablaran sobre la novela como una forma de entender lo que entendían», dice. “No vi sus videos, pero leí su transcripción y observé cómo Sherpa los calificó”, dice. «En su mayor parte, fue acertado».
Ella dice que Sherpa «verificó» que, según sus cálculos, todos los estudiantes menos cuatro entendieron la lectura adecuadamente. «Los cuatro estudiantes que recibieron ‘advertencias’ sobre varias preguntas hablaron de manera demasiado general o respondieron algo diferente a lo que se les preguntó», dice Carlson. «A pesar de sus promesas de que leyeron, supongo que leyeron más que leer con atención».
En comparación con una tarea de ensayo tradicional, Carlson cree que este enfoque hace que sea más difícil para los estudiantes hacer trampa usando ChatGPT u otras herramientas de inteligencia artificial. Pero agrega que algunos estudiantes tenían notas frente a ellos mientras respondían las preguntas de Sherpa y, en teoría, esas notas podrían haber provenido de un chatbot.
A un experto en exámenes orales tradicionales, Stephen Dobson, decano de educación y artes de la Universidad Central de Queensland en Australia, le preocupa que sea difícil para un sistema de inteligencia artificial como Sherpa lograr un beneficio clave de los exámenes orales: inventar nuevas preguntas sobre el tema. volar basándose en cómo responden los estudiantes.
«Se trata de interacciones», dice Dobson, quien ha escrito un libro sobre exámenes orales . «Si tienes cinco preguntas fijas, ¿estás investigando a los estudiantes? ¿Estás buscando las debilidades?»
Tey, uno de los estudiantes de Stanford que construyó Sherpa, dice que si el instructor decide dejar que la IA haga preguntas, el sistema lo hace de una manera que pretende imitar cómo se estructura un examen oral. Específicamente, Sherpa utiliza una teoría educativa llamada marco de profundidad del conocimiento que plantea preguntas de varios tipos según la respuesta del estudiante. «Si el estudiante tuvo un poco de dificultad con la respuesta anterior, el seguimiento se parecerá más a un ‘oye, da un paso atrás’ y hará una pregunta más amplia y simplificada», dice Tey. «Alternativamente, si respondieron bien anteriormente, el seguimiento se diseñará para buscar una comprensión más profunda, basándose en frases y citas específicas de la respuesta anterior del estudiante».
Programación y descansos
Para algunos profesores, la tecnología clave para actualizar el examen oral es una herramienta que se ha vuelto común desde la pandemia: Zoom u otro software de video.
Ese ha sido el caso de Huihui Qi, profesor asociado de ingeniería mecánica y aeroespacial en la Universidad de California en San Diego. Durante el apogeo de la pandemia, ganó una subvención de casi 300.000 dólares de la Fundación Nacional de Ciencias para experimentar con exámenes orales en las clases de ingeniería de la universidad. La preocupación en ese momento era preservar la integridad académica cuando los estudiantes repentinamente tomaban clases de forma remota, aunque ella cree que el enfoque también puede proteger contra las trampas utilizando chatbots de inteligencia artificial que han surgido desde que comenzó el proyecto.
Normalmente imparte cursos de ingeniería mecánica con entre 100 y 150 estudiantes. Con la ayuda de tres o cuatro profesores asistentes, ahora imparte exámenes orales de 15 minutos cada uno entre una y tres veces por semestre. Para que eso funcione, los estudiantes programan una cita para una reunión de Zoom con ella o un asistente técnico, de modo que cada calificador pueda calificar desde un lugar cómodo y también programar descansos intermedios para recargar energías.
«El aspecto remoto ayuda a que no tengamos que perder mucho tiempo programando ubicaciones y esperando afuera en largas filas», dice.
Lo que Qi ha llegado a valorar más de los exámenes orales es que siente que pueden ser una poderosa oportunidad para enseñar a los estudiantes a pensar como un ingeniero.
«Estoy tratando de promover la excelencia y enseñar a los estudiantes el pensamiento crítico», dice. “A lo largo de los años de enseñanza, he visto a estudiantes luchar para decidir qué ecuación aplicar a un problema en particular. A través de este diálogo, mi papel es incitarlos para que ellos mismos puedan formular mejor esta pregunta”.
Los exámenes orales, añade, ofrecen a los profesores una ventana a cómo los estudiantes piensan en los problemas, un concepto llamado metacognición.
Uno de los desafíos del proyecto para Qi ha sido investigar y experimentar cómo diseñar exámenes orales que evalúen puntos clave y que puedan ser administrados de manera justa y consistente por un grupo de asistentes técnicos. Como parte de su subvención, los investigadores planean publicar una lista de verificación de consejos para desarrollar exámenes orales que otros educadores puedan utilizar.
Dobson, el profesor en Australia, señala que si bien los exámenes orales requieren mucho tiempo para realizarse, a menudo requieren menos tiempo para calificarlos que los ensayos de los estudiantes. Y dice que el enfoque brinda a los estudiantes retroalimentación instantánea sobre qué tan bien entienden el material, en lugar de tener que esperar días o semanas para que el instructor les devuelva un trabajo calificado.
«Estás en el lugar», dice. «Es como estar en una entrevista de trabajo».
Fuente: Jeffrey R. Young / edsurge.com
