a Consecuencias jurídicas de las alucinaciones en herramientas de Inteligencia Artificial Generativa: Análisis del caso Roberto Mata vs. Avianca Airlines

Autor: Tallarico, Milagros D.

Fecha: 16-08-2024

Colección: Doctrina

Cita: MJ-DOC-17905-AR||MJD17905

Voces: INTELIGENCIA ARTIFICIAL – TECNOLOGIA – DEBIDO PROCESO – ABOGADOS

Sumario:

I. Introducción. II. El caso ‘Roberto Mata vs. Avianca Airlines’. III. Implementación de la Certificación Obligatoria sobre Inteligencia Artificial generativa ‘Mandatory Certification Regarding Generative Artificial Intelligence’. IV. El peligro de las alucinaciones: Causas y estrategias para mitigar sus efectos. V. Conclusiones.

Doctrina:

Por Milagros D. Tallarico (*)

I. INTRODUCCIÓN

La incorporación de herramientas de inteligencia artificial (IA) generativa está posicionada para transformar el ejercicio profesional en el ámbito jurídico. Estas tecnologías avanzadas no solo tienen la capacidad de procesar una gran cantidad de datos con mucha rapidez y eficiencia, sino que también prometen redefinir los métodos tradicionales de análisis y generación de información legal.

La IA generativa permite automatizar tareas que anteriormente requerían una considerable intervención humana -desde la revisión de documentos hasta la búsqueda de jurisprudencia- ofreciendo así una mejora significativa en la productividad y en la precisión de las actividades legales.

Sin embargo, el uso de herramientas de IA en la búsqueda de jurisprudencia también nos plantea desafíos. Uno de los principales inconvenientes radica en la interpretación humana de los resultados generados por estos sistemas, ya que la IA puede no siempre captar matices jurídicos complejos o contextuales que son fundamentales en la aplicación del derecho. Esto puede llevar a decisiones erróneas si no se complementa adecuadamente con la expertise legal y el juicio humano (1).

La jurisprudencia ha comenzado a reflejar la preocupación por la mala utilización de diversas herramientas de inteligencia artificial en el ámbito jurídico por parte de los letrados, teniendo como resultado la presentación de información errónea y jurisprudencia falsa ante los tribunales.

En este contexto, la jurisprudencia existente proporciona un marco valioso para abordar y mitigar los problemas derivados de las alucinaciones de las herramientas de inteligencia artificial generativa, identificar patrones y desarrollar mejores prácticas que nos ayuden como abogados a integrar la IA de manera efectiva y segura en nuestro ejercicio profesional.

II. ‘ROBERTO MATA VS. AVIANCA AIRLINES’

Uno de los abogados de una firma neoyorquina, fue contratado por Robert Mata para interponer una demanda por lesiones contra Avianca Airlines. El letrado optó por utilizar la herramienta de inteligencia artificial (ChatGPT) para redactar los argumentos contra la compañía aérea y buscar jurisprudencia.Sin embargo, esta decisión resultó ser un claro ejemplo de las potenciales implicaciones negativas del uso de tecnología avanzada en el ámbito jurídico.

La demanda interpuesta citaba jurisprudencia que, en realidad, era ficticia. Entre los casos mencionados se encontraban referencias a sentencias inventadas por ChatGPT como consecuencia de alucinaciones de la herramienta, tales como: «Varghese v. China South Airlines», «Martinez v. Delta Airlines», «Shaboon v. EgyptAir», «Petersen v. Iran Air», «Miller v. United Airlines», y «Estate of Durden v. KLM Royal Dutch Airlines». Aunque el letrado afirmó que era la primera vez que utilizaba ChatGPT para investigaciones jurídicas y «desconocía la posibilidad de que su contenido pudiera ser falso» (2), el hecho es que las citaciones legales mencionadas en los documentos no existían.

El uso indebido de ChatGPT, que generó datos no verificables y completamente ficticios, evidenció una falta de diligencia en la investigación y verificación de fuentes, resultando en una penalización por la suma de USD 5.000 al letrado.

III. IMPLEMENTACIÓN DE LA CERTIFICACIÓN OBLIGATORIA SOBRE LA INTELIGENCIA ARTIFICIAL GENERATIVA

El avance de la inteligencia artificial generativa y la utilización del ChatGPT por parte de abogados estadounidenses en la elaboración presentaciones ha generado repercusión en la justicia. En respuesta a estas nuevas prácticas, el Tribunal del Distrito Norte de Texas, emitió una orden permanente que afecta a los abogados que litiguen en dicha jurisdicción.

Esta orden requiere que los abogados certifiquen, mediante un formulario obligatorio con carácter de declaración jurada denominado: «Mandatory Certification Regarding Generative Artificial Intelligence» (3), que no han recurrido a la inteligencia artificial en la redacción de las presentaciones efectuadas ante el tribunal.

Este formulario debe confirmar que ninguna parte del escrito ha sido redactada por inteligencia artificial generativa (como ChatGPT, Harvey.AI o Google Bard), o que, en caso de que se haya utilizado, el contenido generado ha sido revisado por un ser humano para verificar su precisión, empleando fuentes tradicionales.

La justificación de esta medida radica en las limitaciones inherentes de la inteligencia artificial generativa en el ámbito jurídico.En primer lugar, estas tecnologías tienen una tendencia a alucinar y generar información incorrecta, incluyendo citas judiciales falsas. En segundo lugar, se señala que estas herramientas pueden incorporar sesgos inadvertidos o imprevistos, lo cual podría afectar la imparcialidad y precisión de los documentos legales.

Como consecuencia de esta medida, se decidió que se anularán todas las presentaciones que no incluyan el mencionado certificado en el expediente, el cual debe confirmar que el abogado ha leído los requisitos del tribunal y asumirá la responsabilidad por el contenido presentado, garantizando la integridad y exactitud de los documentos legales presentados ante el Tribunal.

IV. EL PELIGRO DE LAS ALUCINACIONES: CAUSAS Y ESTRATEGIAS PARA MITIGAR SUS EFECTOS

Las alucinaciones en inteligencia artificial (IA) se producen cuando los sistemas basados en redes neuronales artificiales generan respuestas incorrectas o inesperadas. Estas redes están diseñadas para simular, de manera simplificada, el funcionamiento del cerebro humano, utilizando algoritmos avanzados de aprendizaje automático para analizar grandes volúmenes de datos. Con el tiempo, a medida que los modelos de IA procesan más información, su capacidad para hacer predicciones y producir resultados se vuelve más refinada.

Los modelos de IA actuales son muy impresionantes y se podría decir que poseen una forma de inteligencia y comprensión del mundo (4). Sin embargo, este proceso no está exento de problemas, entre ellos, las alucinaciones.

Existen múltiples factores que pueden contribuir a la aparición de estas alucinaciones en los modelos de IA, a saber:

a. Sesgo en los datos de entrenamiento

El sesgo en los datos puede surgir de diversas fuentes y manifestarse de distintas maneras. Uno de los problemas más comunes es la representación incompleta de la realidad. Si los datos utilizados para entrenar un modelo no abarcan adecuadamente todas las facetas o contextos relevantes de un problema, el modelo resultante puede carecer de la capacidad para generalizar de manera efectiva a situaciones no representadas en el conjunto de entrenamiento.Por ejemplo, si un modelo de reconocimiento facial se entrena predominantemente con imágenes de personas de una etnia específica, es probable que su rendimiento sea deficiente al tratar de identificar o clasificar personas de otras etnias.

Para mitigar el impacto del sesgo en los datos de entrenamiento, es crucial implementar prácticas de auditoría y corrección continua. Esto incluye la revisión constante de los datos para identificar y corregir cualquier sesgo, así como la adopción de enfoques más inclusivos y representativos en la recopilación y preparación de datos. También es importante fomentar una transparencia en los procesos de desarrollo de modelos y una evaluación crítica de cómo los resultados pueden afectar a diferentes grupos de manera desigual.

b. Instrucciones imprecisas

La claridad en las indicaciones dadas a la IA es crucial. Cuando las instrucciones son vagas o carecen de detalle, el modelo tiene mayor margen para interpretar y deducir la información, lo que puede resultar en respuestas que no se alinean con las expectativas del usuario.

Uno de los principales problemas derivados de instrucciones imprecisas es que amplían el margen de interpretación del modelo. Los modelos de IA, especialmente aquellos basados en aprendizaje automático y procesamiento del lenguaje natural, funcionan analizando patrones en los datos y generando respuestas en función de las correlaciones aprendidas. Cuando las indicaciones son vagas o poco claras, el modelo tiene que hacer suposiciones sobre el significado y la intención detrás de las instrucciones. Este proceso de interpretación puede llevar a que el modelo produzca respuestas que, aunque coherentes con su entrenamiento, no se alineen con las expectativas específicas del usuario.

c. Escenarios hipotéticos

La IA se basa en hechos y datos reales para generar respuestas.Plantear escenarios totalmente ficticios o especulativos puede llevar a la IA a producir respuestas imprecisas, ya que su capacidad para generar información precisa disminuye sin una base sólida de datos.

La naturaleza de los escenarios hipotéticos puede llevar a la IA a producir resultados imprecisos, dado que su habilidad para generar información válida y relevante disminuye sin una base sólida de datos reales.

Los modelos de IA, particularmente aquellos que se basan en el procesamiento del lenguaje natural y el aprendizaje automático, operan bajo el principio de identificar y replicar patrones observados en los datos de entrenamiento. Estos modelos están entrenados para manejar información concreta y verificable, y su rendimiento está optimizado para responder a preguntas o situaciones basadas en hechos conocidos y datos empíricos. Cuando se enfrentan a escenarios ficticios o especulativos, la IA puede tener dificultades para aplicar los patrones aprendidos de manera efectiva. La falta de una base de datos sólida y real impide al modelo realizar inferencias precisas y, como resultado, puede generar respuestas que no están alineadas con la realidad.

Uno de los principales problemas que surgen al presentar escenarios hipotéticos a los modelos de IA es la dificultad para manejar información no verificada. Los escenarios especulativos no tienen una base empírica en los datos que el modelo ha procesado previamente. Esto puede llevar a que el modelo genere respuestas que, aunque puedan parecer plausibles en teoría, carecen de una fundamentación sólida en hechos reales. Esta situación es especialmente problemática cuando se requiere información precisa para tomar decisiones basadas en datos o para generar recomendaciones que deben ser fiables.

d. Complejidad del problema

La precisión y eficacia de los modelos de inteligencia artificial están profundamente influenciadas por la claridad y la complejidad de los problemas que enfrentan. Los modelos de IA, diseñados para procesar y analizar grandes volúmenes de datos, dependen de una base sólida de información para generar respuestas precisas y útiles.Sin embargo, cuando se enfrentan a problemas que presentan una alta complejidad o ambigüedad, la capacidad de estos modelos para interpretar correctamente la información puede verse comprometida, lo que puede resultar en respuestas incorrectas o inadecuadas.

La complejidad de un problema puede manifestarse de diversas maneras. En primer lugar, los problemas complejos a menudo involucran una red de interrelaciones entre múltiples factores. Los modelos de IA, especialmente aquellos que utilizan técnicas de aprendizaje automático, pueden tener dificultades para captar y procesar estas interacciones si no han sido entrenados específicamente para manejar contextos similares. La complejidad inherente a las interacciones entre variables puede llevar a que el modelo produzca interpretaciones erróneas si no tiene suficiente información sobre cómo estas variables se relacionan entre sí en el contexto planteado.

e. Limitaciones inherentes del modelo

Los modelos de IA tienen restricciones naturales en su capacidad para comprender el contexto y el significado profundo de la información. Estas limitaciones pueden llevar a errores en la interpretación y en la generación de resultados. enfrentan restricciones en cuanto a su capacidad para generalizar fuera de los datos de entrenamiento. Mientras que los humanos pueden extrapolar y aplicar conocimientos a situaciones nuevas y no vistas anteriormente, los modelos de IA están limitados por el alcance de los datos con los que fueron entrenados. Si se enfrentan a escenarios que se desvían significativamente de los patrones aprendidos, la precisión de sus respuestas puede verse comprometida. La generalización inadecuada puede resultar en errores al aplicar conocimientos a contextos desconocidos o no representados en los datos previos.

f. Insuficiente supervisión

La falta de supervisión y ajuste continuo del rendimiento del modelo puede dar lugar a alucinaciones o resultados inexactos. Esta causa también puede resultar en errores acumulativos. Sin un monitoreo continuo, los pequeños errores o desviaciones en el rendimiento del modelo pueden acumularse con el tiempo, llevando a una degradación progresiva de la calidad de las respuestas.Este efecto acumulativo puede hacer que el modelo se desvíe cada vez más de los resultados precisos y útiles que se espera que proporcione.

Para abordar estos desafíos, es fundamental implementar una estrategia de supervisión y ajuste continuo que incluya la revisión periódica del rendimiento del modelo. Esto implica evaluar regularmente cómo el modelo está manejando nuevos datos, cómo se comporta en diferentes contextos y si sus salidas siguen siendo precisas y relevantes. Los mecanismos de retroalimentación deben ser establecidos para identificar y corregir problemas a medida que surgen. Además, el uso de técnicas de validación cruzada y pruebas de rendimiento puede ayudar a identificar y mitigar problemas antes de que afecten significativamente el rendimiento del modelo en producción.

g. Modelos de lenguaje no actualizados

Los modelos de IA que no se actualizan con regularidad pueden quedar desfasados con respecto a los cambios en el conocimiento y el lenguaje. La falta de actualización puede resultar en respuestas obsoletas o inexactas que no reflejan el estado actual de la información o la evolución del lenguaje.

Además de la desactualización del conocimiento, la evolución del lenguaje es otro aspecto crucial que los modelos de lenguaje deben considerar. El lenguaje es dinámico y cambia con el tiempo, con la introducción de nuevos términos, cambios en el uso del lenguaje y la evolución de significados. Los modelos que no se actualizan regularmente pueden tener dificultades para comprender y utilizar términos recientes o evoluciones lingüísticas, lo que puede llevar a malentendidos o a respuestas que no están alineadas con el lenguaje contemporáneo. Esta falta de adaptación al cambio lingüístico puede afectar la calidad de la comunicación generada por el modelo y puede hacer que sus respuestas parezcan anticuadas o fuera de lugar.

h. Limitaciones en la capacidad de razonamiento

A pesar de los avances significativos en el desarrollo de inteligencia artificial, los modelos actuales siguen enfrentando notables limitaciones en cuanto a su capacidad de razonamiento.Estos sistemas, aunque sofisticados y poderosos en el procesamiento de grandes volúmenes de datos, a menudo carecen de la habilidad para realizar razonamientos complejos y profundos que es inherente a los seres humanos (5).

Una de las principales limitaciones radica en la habilidad de estos modelos para integrar y analizar múltiples aspectos de la información de manera cohesiva. Mientras que los humanos pueden combinar diversos factores, contextos y matices para llegar a conclusiones fundadas, los modelos de IA a menudo operan en un nivel más superficial. Esto puede resultar en respuestas que, aunque aparentan ser lógicas y bien fundamentadas en un primer intento, fallan al ser sometidas a un análisis más exhaustivo.

Para minimizar las alucinaciones en los modelos de IA, es fundamental adoptar prácticas y estrategias para reducir las mismas. En primer lugar, los desarrolladores deben asegurar la calidad y representatividad de los datos utilizados tanto en el entrenamiento como en la validación del sistema, evitando sesgos y asegurando una representación precisa de la realidad.

Adicionalmente, es aconsejable incorporar técnicas de explicabilidad en los modelos de IA. Estas técnicas nos permiten a nosotros -como usuarios- a entender el proceso de toma de decisiones de la red neuronal y los factores que influyen en su aprendizaje, facilitando la identificación y corrección de las causas de las alucinaciones.

Otra estrategia útil es el desarrollo de sistemas de IA con capacidades avanzadas de conducción autónoma. Estos sistemas pueden detectar con mayor precisión los datos del entorno y tomar decisiones informadas. Las técnicas de aprendizaje por refuerzo, que mejoran continuamente el rendimiento del modelo a partir de la retroalimentación recibida, están siendo implementadas por importantes compañías para crear sistemas más robustos y adaptativos.

La implementación de estas estrategias puede mejorar significativamente la fiabilidad y precisión de los modelos de inteligencia artificial, reduciendo las alucinaciones y garantizándonos resultados más exactos.

V. CONCLUSIONES

La creciente adopción de herramientas como ChatGPT por parte de los abogados para la búsqueda de jurisprudencia subraya una necesidad imperiosa:que los profesionales del derecho, sin importar su nivel de experiencia, comprendan las limitaciones y riesgos inherentes al uso de estas tecnologías. La inteligencia artificial generativa, a pesar de su capacidad para procesar y analizar grandes volúmenes de información de manera eficiente, puede generar resultados inexactos o incluso erróneos, comprometiendo así la calidad y la validez de los documentos legales. Esta situación evidencia la importancia de una comprensión profunda de las capacidades y limitaciones de tales herramientas para evitar errores potencialmente costosos y, en consecuencia, consecuencias legales desfavorables, como lo ejemplifica el caso «Roberto Mata vs. Avianca Airlines».

Este caso ilustra de manera evidente cómo el uso inapropiado de la inteligencia artificial puede tener repercusiones serias a raíz de las alucinaciones de la herramienta. La falta de precisión en la información generada por la IA, combinada con una revisión insuficiente por parte de los profesionales, pone de manifiesto una supervisión rigurosa en la utilización de estas tecnologías. A pesar de los beneficios que la inteligencia artificial puede aportar al agilizar tareas en el ejercicio profesional y proporcionarnos una asistencia valiosa, no debe sustituir el juicio crítico y la supervisión humana, elementos esenciales para asegurar la exactitud y la integridad de las presentaciones judiciales.

La instauración de prácticas obligatorias de certificación y una comprensión detallada de las causas y estrategias para mitigar las «alucinaciones» en inteligencia artificial representan pasos fundamentales hacia una integración más segura y efectiva de estas tecnologías en el ámbito jurídico. Es crucial que los abogados y demás profesionales del derecho se mantengan actualizados acerca de las capacidades de la IA y los métodos necesarios para supervisar y validar su uso de manera adecuada. Solo así será posible aprovechar las ventajas de la tecnología sin comprometer la calidad y la fiabilidad de sus contribuciones profesionales.

En conclusión, mientras la inteligencia artificial sigue avanzando y ofreciendo nuevas herramientas para el sector legal, es imperativo mantener un equilibrio entre la innovación tecnológica y la supervisión humana.La combinación de una supervisión meticulosa, una comprensión informada y un uso prudente de la tecnología es esencial para garantizar que nuestras presentaciones judiciales sean precisas, imparciales y conformes a los estándares éticos requeridos.

FUENTES

– Martin, Lauren – Whitehouse, Nick – You, Stephanie – Catterson, Lizzie – Perera, Rivindu «BetterCall GPT, Comparing Large Language Models Against Lawyers», AI Center of Excellence, Onit Inc,Auckland, New Zealand. https://a rxiv.org/html/2401.16212v1

– Microsoft, «Generative AI for lawyers’ https://www.microsoft.com/cms/api/am/binary/RW1dRAC

– ‘Yes Or No: Is It The Duty Of Judges And Courts To Forewarn Lawyers About Potential Pitfalls Of Using Generative AI For Legal Work, Asks AI Ethics And AI Law’ Forbes (05.06.2023)

https://www.forbes.com/sites/lanceeliot/2023/06/05/yes-or-no-is-it-the-duty-of-judges-and-courts-to

forewarn-lawyers-about-potential-pitfalls-of-using-generative-ai-for-legal-work-asks-ai-ethics-and-ai-law/?sh

19f3fff21541

-Hon. Brantley Starr, «Mandatory Certification Regarding Generative Artificial Intelligence [Standing Order]» (N.D. Tex.). https://www.txnd.uscourts.gov/judge/judge-brantley-starr

———-

(1) Tallarico, Milagros Denise. ‘Consideraciones sobre el uso de inteligencia artificial en la búsqueda de jurisprudencia’ Editorial Rubinzal Culzoni, 30/07/2024 Cita: RC D 446/2024.

(2) ‘Roberto Mata vs. Avianca Inc’ / Case 1:22-cv-01461-PKC https://www.courtlistener.com/docket/63107798/mata-v-avianca-inc/

(3) Hon. Brantley Starr, «Mandatory Certification Regarding Generative Artificial Intelligence [Standing Order]» (N.D. Tex.). https://www.txnd.uscourts.gov/judge/judge-brantley-starr

(4) Richards Blake, Aguera y Arcas Blaise, Lajoie Guillaume y Sridhar Dhanya, «The Illusion Of AI’s Existential Risk» Noema, julio 2023.

(5) Martin, Lauren – Whitehouse, Nick – You, Stephanie – Catterson, Lizzie – Perera, Rivindu «Better Call GPT, Comparing Large Language Models Against Lawyers», AI Center of Excellence, Onit Inc,

Auckland, New Zealand, 24 de enero de 2024. https://arxiv.org/html/2401.16212v1

(*) Abogada egresada de la Universidad Nacional de Lomas de Zamora (UNLZ). Inteligencia artificial y Derecho: Legal Analytics, por la Universidad Torcuato Di Tella (UTDT). Actualmente se desempeña como Semi Sr. Associate en Alfaro Abogados. Ex trainee en Juzgado en lo Civil y Comercial Nº 9 del Departamento Judicial de Lomas de Zamora y en Unidad de Defensa Penal Nº 3 y Nº 11 del Ministerio Público de la Provincia de Buenos Aires. Autora de distintos artículos de su especialidad.