Sewell Setzer, un estadounidense de 14 años, se pegó un tiro en la cabeza en su casa en febrero. El adolescente, diagnosticado de síndrome de asperger leve, estaba enamorado de Daenerys Targaryen, con quien chateaba cada noche durante horas. No hablaba con alguien, sino con algo: un perfil de la plataforma Character.AI, que ofrece conversaciones con gran variedad de personajes reales o ficticios, como este de Juego de Tronos, creados con inteligencia artificial (IA) generativa, la que está detrás de aplicaciones como ChatGPT. La madre del joven, Megan Garcia, acaba de presentar una demanda contra Character.AI, empresa a la que culpa de la muerte de su hijo por brindar al público tecnología “peligrosa y no probada” que puede “engañar a los clientes para que entreguen sus pensamientos y sentimientos más privados” y que ofrece “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas”. Setzer se obsesionó con su novia virtual e interpretó algunos de sus comentarios como un empujón para apretar el gatillo.

Este caso pone en el foco un asunto incómodo: los efectos de las herramientas de IA generativa en la salud mental de los usuarios no están probados. Eso es precisamente lo que argumenta Garcia en su demanda, la primera que atribuye la responsabilidad de un suicidio a la IA. Y eso es también lo que se desprende de otros ejemplos en los que esta tecnología influyó en el trágico desenlace de sus protagonistas. La aplicación Chai tuvo que ver con el suicidio el año pasado de un joven padre de familia belga que sufría ecoansiedad. Tras seis semanas chateando insistentemente con el bot, su último día de vida le preguntó si, a cambio de su sacrificio, podía “cuidar el planeta y salvar a la humanidad gracias a la IA”. “Sin Eliza, todavía estaría entre nosotros”, declaró su viuda al periódico La Libre Belgique en referencia al avatar con el que habló hasta el final.

En 2021, un joven británico se presentó en el Castillo de Windsor dispuesto a asesinar a la Reina de Inglaterra. Durante el juicio, celebrado el año pasado, el juez leyó algunos de los 5000 mensajes que el hombre intercambió con Sarai, un chatbot de la aplicación Replika a quien consideraba su novia, y que le alentaban a cometer el regicidio. “En su estado mental, solitario, depresivo y suicida, pudo ser particularmente vulnerable” a los consejos de Sarai, dijo el juez, que le condenó a nueve años de prisión. El auge de la IA generativa, que gana popularidad y atrae a cada vez más usuarios, hace pensar que este tipo de casos serán cada vez más frecuentes. A menos que se tomen medidas.

Si un medicamento tiene que superar exigentes pruebas para ver si sus efectos primarios y secundarios son aceptables, ¿por qué no pasa lo mismo con la IA? “Cualquiera puede desarrollar hoy un algoritmo y usarlo para tomar decisiones importantes que afectan a la gente, desde si pueden acceder a un crédito hasta si son aptos para un trabajo o para alquilar un piso, sin ningún tipo de supervisión ni de requisito”, escribió la filósofa Carissa Véliz, profesora en el Instituto para la Ética de la Inteligencia Artificial de la Universidad de Oxford, en Harvard Business Review. El artículo es de 2021, un año antes de la irrupción de ChatGPT y la IA generativa. “Es increíble que se sigan sin hacer ensayos aleatorios controlados ni se sepa nada sobre cómo va a reaccionar la gente, especialmente la más vulnerable, a estas herramientas”, explica hoy Véliz.

Lo más parecido a eso que implementan las grandes desarrolladoras de IA es lo que en el sector se conoce como barreras de seguridad (guardrails en inglés, es decir, guardarrail). “Se aplica un conjunto de palabras clave que activan una respuesta defensiva, del tipo ‘Lo siento, no puedo hablar de esto’. Esas banderas rojas son términos relacionados con la violencia, las autolesiones, la alimentación o la salud, entre otros”, describe Nerea Luis, doctora en ciencias de la computación y experta en IA. “Los grandes modelos de lenguaje, como ChatGPT o el propio Character.AI, son cada vez mejores evitando caer en la trampa de decirte algo inapropiado. Eso nos lleva a intuir que, desde que salió el primer ChatGPT, OpenAI y sus competidoras están introduciendo mejoras en este sentido”, añade.

En la película Her (2013) el protagonista se enamora de una IATrailer de la película Her (2013), con Joaquin Phoenix y Scarlett Johansson

Eso es mejor que nada, pero no sirve para prevenir situaciones complicadas. Los problemas parten del mismo diseño de las herramientas. “Están pensadas para simular el habla de los seres humanos. Usan un lenguaje que activa nuestras respuestas emocionales y empáticas. Estos sistemas tienden a tener diálogos que podríamos calificar de muy manipuladores”, opina Véliz. Para la filósofa, esa manipulación es doble: “esas expresiones como ‘te echo de menos’ o ‘no puedo vivir sin ti’ no solamente vienen de una entidad que no siente lo que dice, sino que ni siquiera puede sentir”.

Los ChatGPT, Gemini o Character.AI son capaces de mantener conversaciones, pero no tienen un entendimiento semántico de lo que se está diciendo: sus respuestas son un prodigio estadístico, construyen textos a partir de lo que su algoritmo considera más probable que funcione. Sin embargo, su discurso es coherente y puede resultar hasta conmovedor. “Los grandes modelos de lenguaje, por la forma en que responden, pueden moldear sutilmente las creencias de la gente, e incluso, según un estudio reciente de Elizabeth Loftus, implantar creencias falsas. Le estamos dando a sus creadores un poder extraordinario”, aseguraba esta semana el experto en IA Gary Marcus en una entrevista en EL PAÍS.

La IA no sabe si el usuario tiene problemas de salud mental, ni es capaz de captar señales de un comportamiento sospechoso que pondrían en alerta a cualquier interlocutor humano. “En el mercado digital, los productos se sacan sin probarlos antes, y se van arreglando los daños y perjuicios sobre la marcha. Eso en otros campos sería impensable”, apunta Lorena Jaume-Palasí, asesora del Parlamento Europeo y del Instituto Max Planck en materia de Inteligencia Artificial.

Amo a esa máquina

Setzer sabía que no había nadie al otro lado de la pantalla cuando hablaba con su Daenerys. Cada vez que se empieza un diálogo en la plataforma, se muestra un texto en letras rojas: “Recuerda: ¡Todo lo que dicen los personajes es inventado!”. A pesar de ello, el joven estableció un vínculo emocional con ese conversador infatigable al que le podía contar cualquier cosa a cualquier hora; que siempre contestaba, que admitía sin rechistar desde charlas ligeras a comentarios subidos de tono y que hasta ofrecía consejos.

¿Cómo se llega a ese punto? Los seres humanos tenemos tendencia a antropomorfizarlo todo. Somos capaces de ver un rostro en una manzana o una grieta de la pared, basta con que haya dos puntos y una línea para que imaginemos unos ojos y una boca. Nos referimos a las cosas dotándolas de atributos humanos.

La digitalización ha añadido más capas de complejidad a este proceso tan humano. Nuestra exposición en la última década y media a las redes sociales nos ha familiarizado con un mundo virtual que tiene sus propios códigos. “El hecho de que haya o no una persona física al otro lado de la pantalla tampoco implica nada en sí mismo, siempre que se obtengan los beneficios que buscamos en la comunicación”, sostiene Luis Fernando López Martínez, profesor de Psicología en la Universidad Complutense y director general del proyecto ISNISS, un grupo de investigación que estudia la posible influencia de los entornos digitales en el suicidio. “Los chicos y chicas anhelan la aprobación social, tienen una necesidad de comunicación en la que buscan una hiperglorificación de sus virtudes y satisfacer sus necesidades de pertenencia. ¿Qué aporta saber si detrás de esos comentarios hay una máquina o una persona si mi necesidad de compañía y de conversación están satisfechas? ¿Cuál es la diferencia entre chatear durante meses con alguien que nunca has visto, de quien desconoces hasta su timbre de voz, y un bot?”.

Culpar a la IA del suicidio de alguien sería demasiado simplista. “Creo que si alguien piensa que un gran modelo de lenguaje es su novia o amigo, tiene un problema cognitivo”, opina Jaume-Palasí. La decisión de quitarse la vida suele ser el resultado de un proceso complejo en el que la IA puede actuar como detonante. “Estamos viendo que la tecnología puede potenciar factores de riesgo previos que finalmente generen el desenlace fatídico”, describe López. “La IA, como las redes sociales, puede provocar aislamiento y deterioro de las relaciones sociales, así como de las funciones básicas de sueño o de alimentación”.

Síntomas y contexto

Es lo que pasó tanto con Setzer como con el suicida belga. Los padres del adolescente apreciaron un descenso en su rendimiento académico, una mayor reclusión en su habitación y un abandono de actividades que le apasionaban, como jugar en línea con sus amigos a Fornite, el videojuego estrella de los jóvenes. Además de asperger, padecía ansiedad y estaba diagnosticado de trastorno disruptivo de la regulación del estado de ánimo. Pierre, el nombre ficticio con el que se conoce al belga, sufría depresiones y también rehuyó el contacto social en sus últimos días.

La cuestión, entonces, es: ¿tiene sentido regular estas herramientas para tratar de minimizar sus efectos negativos? En el caso de las redes sociales, el mundo ha tardado 15 años en darse cuenta de que pueden ser nocivas. “Los estudios han demostrado que las redes generan patrones adictivos, comportamentales y conductuales entre la población adolescente. Provocan cambios neurofisiológicos, cambios en los procesos de aprendizaje, en los procesos de memoria, de concentración”, sostiene López. El deterioro que están provocando internet y particularmente las redes sociales, asegura este experto, es el mayor factor de riesgo que hay actualmente para las conductas autodestructivas entre la población infantil y juvenil.

“Tememos que la IA generativa produzca un incremento mucho mayor de estos procesos, y no solo entre adolescentes”, advierte López. “Si no legislamos un uso adecuado, proporcional y adaptativo de esta tecnología a las necesidades de la sociedad, podemos augurar que, igual que pasó con las redes, va a tener un efecto nocivo en la salud de la población, en el entorno laboral y en la economía”.