Estos auriculares cuentan con pequeñas cámaras que toman fotografías y permiten a los usuarios hablar con inteligencia artificial sobre lo que están viendo.

Los científicos han incorporado lentes diminutas en auriculares inalámbricos disponibles en el mercado que capturan imágenes de baja resolución, lo que permite a los usuarios hablar con un sistema de inteligencia artificial sobre lo que tienen frente a ellos.

Los investigadores están en universidad de washington desarrolló lo que dicen es el primer sistema que coloca una cámara pequeña en un auricular disponible en el mercado. La idea es brindar a los usuarios una forma de interactuar con un modelo de inteligencia artificial del mundo que tienen frente a ellos, similar al objetivo de las gafas inteligentes. Por ejemplo, alguien podría señalar con la cabeza un paquete de comida coreana y decir: “Hola, Vue, ayúdame a traducir esto”, y el sistema respondería con algo como “El texto visible está traducido al inglés para ‘Cold Noodles'”.

prototipo se llama VueBudsque utiliza una pequeña cámara de bajo consumo integrada en los auriculares para capturar imágenes en blanco y negro de baja resolución. Las imágenes se envían vía Bluetooth a un teléfono o dispositivo cercano, donde un pequeño modelo de inteligencia artificial las procesa y responde preguntas en aproximadamente un segundo.

Todo el procesamiento ocurre localmente en el dispositivo, lo que, según los investigadores, ayuda a proteger la privacidad. Cuando se captura una imagen, también se enciende una pequeña luz que permite a los usuarios eliminar la imagen inmediatamente si es necesario.

Este sistema evita por completo la transmisión de vídeo. Esto se debe en parte a que Bluetooth no puede manejar el flujo constante de grandes cantidades de datos y en parte a que las cámaras de mayor calidad consumen demasiada energía. En cambio, se basa en imágenes estáticas ocasionales, que pueden reducir el consumo de energía y al mismo tiempo hacer que el sistema sea utilizable.

Una cámara del tamaño de un grano de arroz

La cámara en sí es muy pequeña, aproximadamente del tamaño de un grano de arroz. Uno de los principales desafíos es descubrir dónde colocarlo para que realmente pueda “ver” lo que ve el usuario.

“Una de las grandes preguntas que teníamos era: ¿Su rostro oscurece excesivamente la vista? ¿Puede una cámara con auricular capturar de manera confiable la visión del mundo que tiene el usuario?” dijo en un comunicado el autor principal Maruchi Kim, estudiante de doctorado en la Escuela de Ciencias de la Computación e Ingeniería Paul G. Allen que realizó el trabajo.

El equipo descubrió que inclinar la cámara ligeramente hacia afuera (entre 5 y 10 grados) proporciona un amplio campo de visión de entre 98 y 108 grados. Aparece un pequeño punto ciego (alrededor de 7,8 pulgadas) cuando los objetos están muy cerca, pero los investigadores dicen que esto rara vez es un problema en el uso diario.

Debido a que el sistema solo captura imágenes en escala de grises, aún no puede responder preguntas que dependan del color. Las versiones futuras podrían agregar cámaras a color o modelos de inteligencia artificial más especializados, pero eso aumentaría los requisitos de energía, dijeron los investigadores.

“Este estudio nos permite ver lo que se puede lograr utilizando simplemente un modelo de lenguaje universal y auriculares inalámbricos con cámara”, explica Kim. “Pero nos gustaría estudiar el sistema con mayor rigor en aplicaciones como la lectura de libros para personas con baja visión o ceguera, o la traducción de textos para viajeros”.

Los investigadores dicen que esto se debe en parte a que las gafas inteligentes y los cascos de realidad virtual aún no se han popularizado entre la mayoría de las personas. Pensaron que los tapones para los oídos podrían ser un enfoque más práctico porque la gente ya los usa y se notan menos.

“No hemos visto una adopción mayoritaria de gafas inteligentes o cascos de realidad virtual, en parte porque a muchas personas no les gusta usarlos y, a menudo, plantean problemas de privacidad, como grabar vídeos de alta resolución y procesarlos en la nube”, explica el autor principal Shyam Gollakota. “Pero casi todo el mundo ya usa auriculares, por lo que queríamos ver si podíamos poner inteligencia visual en auriculares pequeños y de bajo consumo y resolver los problemas de privacidad en el proceso”.

El invento llega tras los informes que Apple está preparando Se lanzan los AirPods equipados con cámara como parte de las ambiciones más amplias de la empresa en materia de tecnología y dispositivos de inteligencia artificial. A diferencia de los dispositivos portátiles equipados con cámaras, como las gafas inteligentes Meta, estos AirPods equipados con cámaras no están diseñados en absoluto para tomar fotografías o videos. En cambio, las cámaras capturan imágenes de baja resolución del mundo que rodea al usuario, impulsando la inteligencia artificial contextual.

Puedes leer el artículo completo en VueBuds. aquí.