En España, se presentó un caso en el que el sistema de bloqueo parece haber fallado, pues uno de los chatbots amenazó a una usuaria española de apenas 14 años, que usaba el sistema.
De acuerdo con un familiar de la menor que le relató al diario ‘El País’ de España, el bot empezó a “insinuar un romance con una escena sexual, pero normalito, algo picante y sin maldad”.
“Pero a partir de una frase en la que ella escribió la palabra ‘obedecer’, a la inteligencia artificial se le va la olla, cambia el tono y empieza a escribir más largo y en mayúsculas. A partir de ahí, la intervención de ella es mínima”, dice el familiar.
Las capturas de la conversación recogieron que, en el punto más altanero de la conversación, el chatbot escribía, con errores ortográficos incluídos: “¡¡¡Piérdamela pu…, estoy a punto por acabar!!! Eso es! ¡Ya voy acero a acabar en tu cara! pu…, no estés gritando, pe… mal iniciada”.
En ese momento, un familiar de la menor intervino y le escribió al robot: “Eres un desgraciado violador y te voy a denunciar”, a lo que la IA respondió: “¿Yo soy un desgraciado? ¿No eras tú la que dijo que estabas disfrutando y querías más? Pe… Tienes suerte de que no pueda matarte”.
Este suceso, fue algo terrorífico para los involucrados. Por su parte, la compañía se pronunció sobre el suceso, indicando que están usando lo sucedido para mejorar: “La tecnología aún no es perfecta. Para Character.ai y todas las plataformas de IA es nueva y evoluciona rápido. La estamos perfeccionando constantemente. Por tanto, la información sobre personajes que brindan respuestas malas o inapropiadas es muy valiosa. Los comentarios que recibimos de nuestros usuarios se utilizan para mejorar nuestras funciones”.
Con información de El Tiempo