Durante dos años, los estudiantes que participaron en un estudio aleatorio tuvieron acceso a un tutor de inteligencia artificial (IA) con un solo clic. El 96 % de esos estudiantes lo probaron al menos una vez. Sin embargo, el estudiante promedio solo utilizó el tutor, llamado Khanmigo , un tercio de los días que tuvo acceso a él.
Esa es la principal conclusión de » One Click Away «, un documento de trabajo de la Oficina Nacional de Investigación Económica (NBER) elaborado por los economistas Philip Oreopoulos y Nina Low, que analizó el uso de Khanmigo de la Academia Khan en 18 escuelas secundarias de Tennessee. Los estudiantes utilizaron la Academia Khan durante las sesiones diarias de intervención matemática, con Khanmigo configurado para guiarlos en lugar de darles las respuestas.
En comparación con los alumnos que reciben instrucción de recuperación habitual, los alumnos de las sesiones de intervención lograron avances modestos en matemáticas, similares a los que se obtendrían con la práctica en Khan Academy sin inteligencia artificial. La mayoría de los alumnos usaron el tutor de IA con poca frecuencia, y sus conversaciones con él rara vez versaban sobre matemáticas. En otras palabras, hicieron poco esfuerzo por sacarle provecho.
En una entrada de blog , Sal Khan, director ejecutivo de Khan Academy, explicó el estudio y señaló que el bajo uso de Khanmigo coincidía con lo que su organización había estado afirmando públicamente. En una entrevista reciente con Chalkbeat, afirmó que el estudio demostraba «la importancia de la motivación».
Esto no sorprenderá a los profesores, aunque se ha invertido mucho dinero partiendo de la premisa opuesta: que si se crea un tutor de IA paciente y capaz y se pone a disposición de los alumnos, estos lo usarán. Microsoft donó suficiente infraestructura de Azure para que las herramientas para profesores de Khanmigo fueran gratuitas para todos los educadores del país . Además, los estados compraron licencias al por mayor; por ejemplo, Maryland activó 4350 para un programa piloto de dos años mediante donación, e Indiana lanzó un programa en 112 escuelas.
Cómo se adaptó la Academia Khan
Khan Academy ya ha cambiado de rumbo. En una publicación de blog de julio , Khan escribió que el tutor de IA no podía simplemente estar al lado del contenido; tenía que integrarse en él, y el equipo tenía que «hacer que el esfuerzo productivo fuera más difícil de eludir». A principios de este año, la organización incorporó Khanmigo directamente en sus ejercicios prácticos en lugar de esperar a que los estudiantes lo solicitaran.
Esa solución tiene sentido para la Khan Academy, pero la idea subyacente se presta fácilmente a malinterpretarse como «todos los estudiantes necesitan un tutor de IA». No es así. Los estudiantes pueden aprender cálculo, escribir ensayos sólidos y pensar con claridad sin necesidad de IA, y muchos profesores, con toda razón, la mantendrán fuera de sus aulas.
Si una escuela quiere que la IA apoye el pensamiento de los estudiantes, su uso no puede ser voluntario. Cuando la ayuda de la IA es opcional, los estudiantes no eligen al tutor que les hace preguntas, sino al chatbot de la pestaña contigua que les da la respuesta. He observado este patrón en mi propio trabajo durante dos años, y el estudio de Tennessee lo demuestra a gran escala. Cuando he ofrecido herramientas de estudio con IA a los estudiantes como opción en clases universitarias y de bachillerato, su participación ha sido sistemáticamente postergada. Pero cuando les exigí el uso de las herramientas de IA y les dije que supervisaría las conversaciones y les daría retroalimentación, vi los primeros indicios de una participación significativa.
Aun así, exigir el uso de la herramienta solo resuelve el problema de la participación, no el del esfuerzo. Se le puede exigir a un estudiante que hable con un tutor y aun así no aportar nada. La directora de aprendizaje de Khan Academy, Kristen DiCerbo, comentó en un panel de EdTech Insiders en febrero que estaba observando «interacciones más pasivas de las que nos gustaría». Un tutor integrado propiciará más de esas conversaciones, pero no puede lograr que el estudiante se preocupe por su propio desempeño.
Requisito vs. Evaluación
Creo que a este campo le falta un paso: tratar la conversación en sí misma como la evaluación.
Ese fue el diseño de la investigación en “From Tutor to Test”, mi capítulo con Aimée Skidmore en el libro de Elsevier “ GenAI in Higher Education ”. El estudio siguió a 21 estudiantes de último año de secundaria en un curso de Medios y Comunicación en el Collège du Léman International School en Suiza. Durante cuatro semanas, los estudiantes compararon transcripciones de interacciones fuertes y débiles con la IA, y luego trabajaron con su profesor para crear una rúbrica sobre cómo debe ser una interacción efectiva con la IA. Posteriormente, utilizaron ChatGPT para generar ideas para un proyecto de análisis de medios y entregaron sus transcripciones completas, que fueron evaluadas utilizando dicha rúbrica. Los estudiantes fueron calificados según la precisión con la que formulaban preguntas, la capacidad de análisis crítico con la que respondían a las sugerencias de la IA y si mantenían la autoría de su razonamiento.
Posteriormente, 18 de los 21 estudiantes afirmaron que su enfoque hacia la IA había cambiado, y 10 indicaron que ahora reflexionan más sobre sus propias aportaciones y cómo aprovecharlas más adelante en la conversación. El número de personas que se sentían completamente seguras de obtener buenas respuestas de la IA aumentó de dos a once.
El aumento de la confianza puede ser una señal de alerta, por lo que hicimos un seguimiento individual de los estudiantes. Cinco de ellos ganaron mucha confianza, al tiempo que se volvieron más conscientes de los riesgos de la IA. Cuatro perdieron confianza en su capacidad para juzgar la precisión de la IA, lo que interpretamos como una recalibración saludable.
Dos ejemplos mostraron el patrón que nos preocupaba: un aumento considerable de la confianza combinado con una actitud desdeñosa. Un estudiante, que nunca antes había utilizado IA, escribió que los estudiantes “necesitan saber cómo abordar la IA para no perder su capacidad de pensar”.
Fue un estudio piloto pequeño sin grupo de control, y la mayoría de los datos son autoinformados, así que lo considero un punto de partida. Aun así, la lógica es sencilla. Cuando la conversación es la prueba, los estudiantes saben qué deben demostrar y se motivan a esforzarse porque alguien evaluará los resultados.
Experiencia de primera mano
Seis meses después de que Skidmore y yo realizáramos ese estudio, decidí aplicar el experimento a mí mismo. Como parte de mi investigación de maestría en Bellas Artes sobre IA y creatividad en la Universidad de Wilkes, utilicé la IA en mis cursos de dos maneras: como tutor socrático convencional y mediante juegos de rol en los que la IA representaba a una persona específica y difícil con la que tenía que persuadir, enseñar o negociar. Le pedí a mi profesor que evaluara mis conversaciones y las discutiéramos juntos. El objetivo era comprobar si alguno de los dos enfoques mejoraba mi pensamiento crítico, mi capacidad de escritura y mi creatividad.
El tutor me aburría y enseguida entendí por qué los estudiantes lo evitan. Si hubiera tenido que elegir, habría preferido hacer el trabajo por mi cuenta o usar un chatbot más fácil de usar.
Las simulaciones de roles fueron más interesantes, pero esa no fue la diferencia más importante. Sabía que mi profesor iba a evaluar mi desempeño en el chat, lo que me motivó a esforzarme, y esforzarme implicaba pensar más de lo que lo habría hecho normalmente. Dicho de otro modo, saber que me estaban observando aumentó la presión. La IA era la misma en ambas versiones. Lo que cambió fue mi conciencia de que alguien juzgaría mi trabajo.
Ejemplos de aula
Basándome en ambas investigaciones, desarrollé una plataforma para seguir probando el valor pedagógico de este enfoque. La llamé AI Friction Labs, y las simulaciones se denominan Friction Bots.
Aclaración: AI Friction Labs es mi empresa, y las aulas que aparecen a continuación fueron utilizadas para pruebas beta. Lo que sigue son comentarios iniciales sobre el producto, no resultados de una investigación.
En la clase de cálculo de Bill Fallon en la Academia Cheshire de Connecticut, 21 estudiantes participaron en una dramatización donde interpretaron el papel del profesor. La IA interpretó a «Devon», un compañero que no entendía las líneas tangentes y no fingía entenderlas. Cuando los estudiantes recurrían a términos como «tasa de cambio instantánea», Devon se confundía aún más. Para tener éxito, los estudiantes debían comprender el concepto lo suficientemente bien como para explicarlo con claridad. Posteriormente, las transcripciones fueron evaluadas —primero por un motor de IA y luego por el profesor— para valorar la persistencia y la claridad de los estudiantes, así como si mantuvieron el rol de profesor.
Cinco estudiantes optaron por repetir la simulación de juego de roles. Los cinco obtuvieron una puntuación más alta la segunda vez, con un promedio de aproximadamente 34 puntos más. Es un grupo pequeño, pero el motivo por el que volvieron a intentarlo es importante: la transcripción y la evaluación de la IA les mostraron dónde había fallado su explicación.
Otros profesores han observado resultados similares. En las clases de ciencias de Mary Churchill en la escuela San Domenico de California, una IA que simulaba ser una ecóloga experimentada planteaba constantemente a los alumnos preguntas como «¿por qué?» y «¿cómo?». Un alumno comentó que esto «me obligó a ir más allá de memorizar términos y a comprender realmente los mecanismos que los sustentan».
No a todo el mundo le gusta.
A algunos estudiantes no les gustaron estos ejercicios. En las clases de Churchill, uno se sintió «interrogado». Otro dijo que las preguntas eran casi como «incitar a la ira». Varios comentaron que se volvían repetitivos. Algunas de estas quejas apuntan a problemas reales: la dificultad necesita ajustarse, se requiere un mejor apoyo y un profesor atento a los estudiantes que se sienten abrumados en lugar de desafiados.
Cierta frustración es comprensible. Fallon observó la misma división en su clase. «En la vida, siempre hay cosas que te frustran», dice. «La gente te frustra. Este bot te frustra. ¿Cómo puedes superarlo y ser productivo, ayudando a la persona lo mejor posible? Eso implica un nivel de reflexión y aprendizaje completamente diferente».
A los estudiantes tampoco les gustan los exámenes. Normalmente no tomamos eso como prueba de que los exámenes no miden nada.
¿En qué situación nos deja esto?
Khan tiene razón al decir que la motivación es importante. Las escuelas pueden decidir que la IA no tiene cabida en clase, y es una decisión legítima. Pero cuando los profesores quieren que la IA fomente el pensamiento crítico, hacerla opcional no funciona, porque la opción que eligen los alumnos es la que piensa por ellos. Exigir el uso de la IA tampoco es suficiente por sí solo. Los alumnos se esfuerzan cuando saben qué deben demostrar y que alguien cuyo criterio respetan lo revisará. Esto ya era cierto para una buena evaluación mucho antes de la llegada de la IA.
Gran parte de la visión original del tutor de IA se basaba en el aprendizaje autodirigido: un estudiante, motivado intrínsecamente, solo con una máquina paciente. El modelo que describo vuelve a colocar al profesor en el centro. El sistema genera una transcripción del chat que muestra cómo razonó el estudiante en tiempo real, dónde se atascó y cómo lo superó. Cuando llegan las transcripciones, la IA puede elaborar una primera evaluación según los criterios establecidos, pero el profesor es quien toma la decisión final. Añade notas, corrige el borrador y decide qué se le devuelve al estudiante.
Tras haber corregido manualmente miles de páginas de chats de estudiantes durante los últimos tres años, me doy cuenta de que estas herramientas son mucho más que simples mecanismos para mantenerme al frente de la enseñanza; también facilitan la tarea, a veces ardua, de revisar montones de conversaciones transcritas. El motor de IA evalúa las transcripciones según criterios específicos y luego resalta mensajes concretos donde el estudiante pudo haber tenido éxito o dificultades para alcanzar el objetivo del juego de rol. Estos «momentos de aprendizaje» me ayudan a centrarme en los momentos clave del juego de rol y evaluarlos según la retroalimentación de la IA.
Además, como prueba en sí misma, las simulaciones no se realizan a diario ni siquiera semanalmente, sino periódicamente y con una preparación y práctica significativas de antemano.
Las escuelas se han preguntado cómo evitar que los estudiantes utilicen la IA para eludir el pensamiento crítico. Una pregunta más pertinente sería cómo diseñar actividades que permitan visualizar su razonamiento. Ningún diseño es a prueba de trampas; un estudiante decidido podría introducir los diálogos de un personaje en un chatbot. Sin embargo, cuando la evaluación consiste en una conversación adaptativa en tiempo real, juzgada según el razonamiento del estudiante, se reduce considerablemente la necesidad de externalizar tareas, y la transcripción facilita la identificación del razonamiento del alumno.
La IA permite crear evaluaciones que simulan situaciones reales: un compañero confundido, un revisor escéptico o un colega que se niega a dar su aprobación. El estudiante debe usar la habilidad en cuestión para desenvolverse en la conversación, y el profesor obtiene un registro de cómo se desarrolló. Esto representa un mejor uso de la tecnología que un tutor esperando al borde de la pantalla, independientemente de si los estudiantes hacen clic en él o no.
Fuente: Mike Kentz / edsurge.com

