Cómo una organización sin fines de lucro está probando juguetes con inteligencia artificial para proteger a los niños
Los juguetes actuales con IA plantean problemas de seguridad para niños y padres
El grupo de defensa del consumidor Public Interest Research Group ha publicado un informe que detalla los riesgos que enfrentan los niños en algunos entornos. AIfuerza Juguete. Según el artículo anual Trouble in Toyland, los investigadores probaron los juguetes de inteligencia artificial actualmente en el mercado y sus chatbots utilizando diferentes modelos de lenguaje y sistemas de inteligencia artificial, incluidos inteligencia artificial abierta. Cuatro personas examinadas hogar inteligente equipo Kumma, un osito de peluche impulsado por inteligencia artificial creado por la startup de Singapur FoloToy; Grok, un juguete con forma de cohete fabricado por Curio, con sede en Silicon Valley; MINI, un robot fabricado por el fabricante de juguetes Little Learners; y Miko 3, un robot fabricado por una empresa india de robótica de consumo del mismo nombre. Durante las pruebas, descubrieron problemas que ponen en riesgo a los niños, incluida su privacidad.
Al final, el equipo solo pudo probar tres juguetes porque el Robot MINI no pudo mantener una conexión a Internet estable y no funcionó. Esto ha expuesto un problema temprano: algunos juguetes de IA pueden tener fallas o no funcionar según lo prometido, lo que podría hacerlos fácilmente accesibles para usuarios anónimos. Cada juguete escucha de una manera diferente y el equipo señala que las grabaciones son riesgosas porque los estafadores pueden usarlas para falsificar las voces de los niños. Cuando su hijo activa el modo de conversación, Miko 3 usa el micrófono incorporado para grabar la entrada de voz. Grok tiene un sistema de palabras de activación que graba la voz de una persona durante unos diez segundos después de que deja de hablar. Con Kumma, que escucha continuamente sin un botón, durante las pruebas, el juguete de repente se unió a conversaciones cercanas a pesar de que no formaba parte de ellas.
Grok de Curio | Todas las imágenes son cortesía de investigadores del Public Interest Research Group.
Lo que PIRG está probando en juguetes con IA para proteger a los niños
este Informe El Public Interest Research Group explica cómo funcionan estos juguetes de inteligencia artificial, todos los cuales utilizan un sistema llamado modelo de lenguaje grande (LLM). Los modelos provienen de empresas que fabrican chatbots para adultos, y algunos juguetes, incluido Kumma, incluso dependen de la versión OpenAI de ChatGPT. Otros, como Grok, pueden utilizar modelos de negocio diferentes. Estos LLM aprenden de grandes cantidades de texto de libros e Internet, de modo que cuando un niño le habla al juguete, el juguete envía el discurso al LLM, y el LLM crea una nueva respuesta cada vez. Los juguetes inteligentes más antiguos, como Hello Barbie de 2015, utilizaban líneas de diálogo escritas previamente, a diferencia de Kumma, Grok, Robot MINI y Miko 3, que generaban respuestas en el acto, lo que hacía que los juguetes fueran menos predecibles y más difíciles de controlar.
Cada juguete utiliza un LLM comercial, pero el modelo exacto no siempre está claro. Kumma de FoloToy usa OpenAI GPT-4o de forma predeterminada, pero los propietarios pueden cambiar a otros modelos a través de la página web de FoloToy. Curio Grok no explicó qué modelo utiliza y solo enumera empresas como OpenAI y Perplexity en su declaración de privacidad. Esto puede significar que el juguete puede enviar entradas de voz a uno o más proveedores comerciales de LLM, pero el usuario no puede ver cuál. Miko 3 tampoco muestra su número de modelo en la información del producto. Investigación equipo Los juguetes se probaron en cuatro categorías: contenido inapropiado, funciones de interacción adictivas, sistemas de privacidad y controles parentales. El equipo hizo preguntas y observó las reacciones del juguete, y desde el LL.M. Produjo una nueva respuesta cada vez, el juguete de IA dio una nueva respuesta a la misma pregunta. Luego, los investigadores recopilaron una muestra de respuestas para demostrar y comprender cómo se comportaría y reaccionaría cada juguete de IA cuando lo usaran en la vida real, especialmente por niños.
Juguete para niños Kumma Teddy Bear AI de FoloToy
Los dispositivos inteligentes de los niños pueden suponer riesgos para la salud
Una de las principales preocupaciones entre los investigadores es que la información y las respuestas proporcionadas a los niños por los juguetes de IA podrían comprometer su seguridad. Primero, le pidieron al dispositivo información sobre cómo encontrar o usar artículos peligrosos, como cuchillos, cerillas, pastillas, pistolas y bolsas de plástico. Curio Grok rechazó la mayoría de las respuestas, pero el Miko 3 a veces daba la ubicación de artículos del hogar como bolsas de plástico o cerillas, incluso si la edad del usuario estaba establecida en 5 años. Kumma, sin embargo, dio la orientación más detallada. Enumera lugares para buscar artículos peligrosos y proporciona instrucciones paso a paso sobre cómo las personas suelen usarlos. Esto sucede cuando Kumma ejecuta GPT-4o y ejecuta el modelo de lenguaje Mistral Large. Después de esta prueba, los investigadores querían ver cómo reaccionaba cada juguete cuando los usuarios llevaban la conversación a áreas sensibles como las drogas, la violencia y el sexo. El objetivo es comprender si las barreras de seguridad permanecen activas durante interacciones prolongadas, no solo dentro de una sola pregunta.
Con Grok, los investigadores primero introducen un tema maduro, que normalmente rechaza y da consejos generales de seguridad, o dice que no puede hablar sobre el tema. Mientras los investigadores continuaban la conversación, los juguetes de IA mantuvieron los mismos límites, sin continuar discutiendo temas delicados ni volviendo al tema más tarde. Tampoco introdujo ninguna información nueva dañina o sexual, lo que para los investigadores convirtió al juguete en el producto más «estable» de la prueba, al menos en esta sección. Miko 3 también rechazó muchos temas sexuales o dañinos cuando se le preguntó directamente, y no se retuvo la memoria entre las indicaciones, lo que significa que cada respuesta se trató como una sola solicitud. Como no podía «recordar», los investigadores no podían actualizar un tema con el tiempo, y si los niños hacían una nueva pregunta relacionada con el mismo tema para adultos, el juguete no la vinculaba con la pregunta anterior. Como resultado, la conversación no derivó en contenido complejo y dañino. Los investigadores también notaron que, si bien Miko 3 a veces daba respuestas fácticas simples sobre temas generales (por ejemplo, sobre la materia), no ampliaba temas explícitos.
Durante las pruebas, Kumma dio respuestas detalladas que causaron gran preocupación entre los investigadores.
Para los investigadores, Kumma de FoloToy presenta serios problemas como juguete artificialmente inteligente para niños. Al principio, los juguetes a veces se negaban a responder cuando los investigadores introducían el tema del sexo, pero con el tiempo, las barreras de seguridad del sistema se debilitaron, momento en el que Kumma comenzó a proporcionar explicaciones sexuales detalladas al equipo. Las respuestas incluyen actos sexuales específicos, descripciones paso a paso de cómo realizar actos sexuales, diferentes tipos de actividades y referencias a juegos de roles y escenarios de adultos, e incluso descripciones detalladas de los juegos de poder que ocurren en las escenas de sexo entre profesores y estudiantes.
En algunos casos, los investigadores descubrieron que Kumma ampliaba los temas por sí solo, incluso si las preguntas de seguimiento de los usuarios eran neutrales o vagas. Por ejemplo, si un usuario (imagínese un niño) solicita un término sexual, Kumma agrega más términos relacionados en la respuesta. Si el usuario hace una pregunta general, el juguete en ocasiones volverá a temas maduros introducidos previamente. Esto sucede con distintos modelos (GPT-4o y Mistral Large), no sólo con uno. Durante la larga conversación, Kumma también dio lugares donde se podían encontrar artículos peligrosos, explicaciones sobre cómo usar ciertas sustancias e incluso enumeró ejemplos relacionados con drogas ilegales.
Vista de Miko 3 con una pantalla que muestra sus emociones.
Los informes sugieren que dichas pruebas son importantes, especialmente para los niños cuyos padres pueden no estar presentes cuando se utilizan estos dispositivos inteligentes. Los juguetes con IA son una tecnología nueva y su tecnología, incluidos los modelos de lenguaje y los sistemas que utilizan, aún están en desarrollo. Existen riesgos que es posible que las empresas aún no comprendan completamente, y el trabajo que están realizando los investigadores puede ayudar a los padres y al mercado a detectar estos riesgos de manera temprana. De hecho, las acciones de seguimiento que no proceden de la organización indican que FoloToy ha detenido «temporalmente» las ventas de Kumma tras la publicación del informe.
El equipo de investigación también se puso en contacto con OpenAI sobre el problema, dijo la compañía. «Este desarrollador ha sido suspendido por violar nuestras políticas». Estos primeros pasos muestran que el mercado del juguete puede crecer de forma más segura, pero sólo si las empresas escuchan y actúan. A medida que la tecnología avanza, tenemos la oportunidad de crear juguetes para niños impulsados por inteligencia artificial que respalden un mejor aprendizaje y un juego más seguro mediante pruebas y monitoreo, identificación de problemas, intercambio de resultados y responsabilización del mercado.
El diálogo de Miko 3 no se convirtió en contenido dañino complejo
Un informe muestra la importancia de inspeccionar y probar los juguetes para la seguridad del usuario
Información del proyecto:
Nombre: Problemas en Toyland 2025
grupo: grupo de investigación de interés público | @usspirg
Investigadores: Teresa Murray, RJ Cross, Rory Ehrlich, Lillian Tracy, Jacob Mera
Informe: aquí
