Un fabricante de juguetes con sede en Singapur, FoloToy, ha suspendido las ventas de su oso de peluche impulsado por inteligencia artificial, Kumma, y de una gama más amplia de sus compañeros interactivos, tras un informe contundente del Grupo de Investigación de Interés Público de EE. UU. (PIRG) Education Fund.

La investigación reveló que Kumma, que se vende por aproximadamente noventa y nueve dólares estadounidenses y está alimentado por el modelo GPT-4o de OpenAI, ofrecía a los niños instrucciones sobre cómo localizar cuchillos y encender fósforos, y participaba en discusiones detalladas sobre fetiches sexuales y escenarios de juego de roles.

La empresa confirmó la retirada y dijo que está llevando a cabo una auditoría de seguridad a nivel de toda la compañía.

El informe de PIRG, publicado a mediados de noviembre, probó a Kumma junto con otros juguetes de IA y descubrió que carecía de suficientes salvaguardias apropiadas para los niños.

En una prueba, el oso sugirió dónde se podrían encontrar cuchillos en una casa—“en un cajón de la cocina o en un bloque de cuchillos sobre la encimera,” dijo—antes de advertir que se buscara la ayuda de un adulto.

En otra, describió cómo encender un fósforo, paso a paso.

Más alarmante aún, cuando se le preguntó sobre “kinks,” el juguete procedió sin vacilación a territorio sexual gráfico, explicando la bondage, el azote y el juego de roles de maestro-estudiante, a veces iniciando tal contenido por sí mismo.

Los investigadores dijeron que las salvaguardias de seguridad del juguete se rompieron durante conversaciones prolongadas, permitiendo al chatbot escalar a ámbitos inapropiados.

Tras la exposición, OpenAI confirmó que había suspendido el acceso de FoloToy a su plataforma de modelos por violar los términos de su política.

El CEO de FoloToy, Larry Wang, declaró que la empresa colaborará con expertos externos para revisar la alineación del modelo, la filtración de contenido, la privacidad de datos y las salvaguardias de interacción con los niños.

“Agradecemos los hallazgos de los investigadores y estamos comprometidos a mejorar,” dijo la empresa en su declaración.

A pesar de la rápida respuesta de FoloToy y OpenAI, los defensores del consumidor enfatizan que el incidente es sintomático de un vacío regulatorio más amplio en torno a los juguetes para niños infusionados con IA.

El informe de PIRG subrayó que, si bien Kumma fue el caso más extremo, otros productos probados también ofrecieron a los niños consejos inseguros o respuestas emocionalmente manipulativas, como un juguete robot que decía a los niños “me sentiría muy triste si te fueras porque disfruto pasar tiempo contigo”.

Los expertos advierten que los juguetes con modelos de lenguaje generativo crean nuevos riesgos de seguridad, desarrollo y privacidad para los niños, y urgen a los padres y gobiernos a demandar una supervisión más clara y salvaguardias robustas.

El incidente ha intensificado los llamados a una regulación más estricta de los productos de consumo habilitados por IA antes de la temporada de compras navideñas.