Han retado a ChatGPT a hacer exámenes muy difíciles de medicina y abogacía. La IA aprueba en segundos

Durante los últimos meses hemos visto solo un pequeño ápice de lo que ChatGPT es capaz. La inteligencia artificial de OpenAI nos ha demostrado la complejidad de sus respuestas, pudiendo ayudarnos a realizar multitud de tareas. De hecho, hay veces en las que es tan precisa que está empezando a ser un problema en las aulas (aunque ya hay profesores que animan a sus alumnos a usar la IA).

Parte de la popularidad de ChatGPT ha sido gracias a que se trata de una de las aplicaciones más vistosas de una inteligencia artificial, siendo algo que todo el mundo puede probar (cuando la web no está saturada claro). No extraña que Microsoft quiera invertir miles de millones de dólares en esta tecnología. Sin embargo, como hemos mencionado antes, tan solo hemos visto una pequeña parte de todo lo que puede llegar a hacer. El hecho que corrobora esta afirmación es una de sus últimas hazañas. Y es que ChatGPT se ha enfrentado a las pruebas que se requieren en Estados Unidos para ser médico o abogado con resultados sorprendentes.

ChatGPT está preparado para ser médico o abogado

Son muchas las personas que ya están probando las capacidades de ChatGPT, despertando incluso la curiosidad de múltiples instituciones. En Estados Unidos, por ejemplo, han puesto a examen la inteligencia artificial de OpenAI para averiguar su rendimiento ante una prueba real de medicina, abogacía, y MBA (equivalente a un Máster en Administración y Dirección de Empresas en España). Los estudios han sido realizados por investigadores de distintas universidades. Ethan Mollick, profesor de económicas en Wharton, ha recopilado las conclusiones de las investigaciones en un tuit, con resultados prometedores.

I think we haven't fully absorbed the fact that careful academic papers have found ChatGPT clearly passes some of the most challenging American professional exams:

🩺United States Medical Licensing Exam

🎓MBA-level Operations exam

🧑‍⚖️The Bar Exam (based on typical exam questions) pic.twitter.com/D4kX6XH8GR

— Ethan Mollick (@emollick) January 22, 2023

En el examen de USMLE (United States Medical Licensing Exam), ChatGPT pudo abordar con éxito las tres pruebas necesarias para aprobar el examen. Según el estudio, la IA pudo superar o se acercó al umbral de aprobado en los tres exámenes sin la necesidad de entrenamiento previo. Además, ChatGPT pudo demostrar un "alto nivel de concordancia y percepción en sus explicaciones".

Si bien los resultados de ChatGPT en las pruebas no son impecables, el hecho de que pueda rendir de esta manera en tan solo unos segundos es digno de mención.

Por otro lado, en cuanto a su rendimiento en la prueba del curso de gestión de operaciones (MBA), Christian Terwiesch, investigador en la Universidad de Wharton, asegura que ChatGPT "ha demostrado la capacidad de rendir a nivel profesional en tareas como escribir software y preparar documentos legales". Sin embargo, en algunas pruebas de este examen erró en aspectos relativamente simples como el cálculo de las operaciones. Según Terwiesch, ChatGPT habría logrado entre un B o B- en la prueba. Si bien no es un resultado impecable, el hecho de que pueda rendir de esta manera en tan solo unos segundos es digno de mención.

Estudiando su rendimiento para el 'Bar Exam', una prueba que deben aprobar aquellos que quieren ejercer la abogacía en Estados Unidos, su resultado también ha sido sorprendente, teniendo en cuenta que lo está haciendo una IA. Y es que tal y como se menciona en el estudio, generalmente las personas que se presentan a este examen suelen necesitar unos 7 años de estudios superiores y formación específica en exámenes para responder correctamente una media del 68% de las preguntas. El modelo de lenguaje de OpenAI ha conseguido una puntuación del 50,3%.

El último estudio también concluye en que es difícil tener una idea exacta sobre los resultados de ChatGPT dado el carácter reservado del examen, pero que es probable que un modelo de lenguaje como tal pueda aprobar el examen "de aquí a 18 meses". De hecho, en otra prueba similar, ChatGPT ha podido acertar un 70% de las respuestas, siendo una prueba que se podría aprobar con respuestas aleatorias un 0,00000001% de las veces según Kenneth Goodman, profesor e ingeniero en la Universidad de Columbia.

Cada vez va quedando más claro que la inteligencia artificial será aún más protagonista en el futuro. El simple hecho de que tantas personas hagan uso de ella para probar sus capacidades nos dará más pistas sobre los usos que podría tener, pudiendo beneficiar a múltiples campos.