Descubra el “primer” procesador de señal de imagen del mundo basado íntegramente en inteligencia artificial

Las dos empresas están colaborando para crear “el primer procesador de señales de imágenes totalmente basado en inteligencia artificial del mundo” para reemplazar a los ISP basados ​​en hardware que han sido el núcleo de las imágenes digitales durante décadas. chips y mediosun proveedor coreano de IP de procesamiento de imágenes, está trabajando con visionario.aiuna startup israelí centrada en el procesamiento de imágenes con poca luz, desarrolló este nuevo ISP.

El objetivo de la colaboración es utilizar inteligencia artificial para transferir todo el proceso de formación de imágenes a un software que se ejecuta en unidades de procesamiento neuronal. Ambas empresas ven esto como una forma de ajustar, reentrenar y actualizar el procesamiento de vídeo en tiempo real. Si bien esto tiene implicaciones para la fotografía fija, ambas compañías están descubriendo que el vídeo con poca luz requiere más de este cambio estructural.

Desde hardware fijo hasta imágenes definidas por software

Los ISP son comunes en muchas cámaras de la era digital, pero su arquitectura general de hardware no ha cambiado mucho con el tiempo. Los fabricantes de chips los construyen principalmente para completar la fase matemática, dejando poco espacio para retoques fuera de fábrica más allá de los ajustes manuales para cada sensor. Las empresas ven esto como un factor limitante porque ya no se adapta a las necesidades de imágenes que se extienden desde los teléfonos inteligentes hasta la conducción autónoma, los dispositivos XR e incluso las cámaras sin espejo.

El cofundador y director ejecutivo de Visionary.ai, Oren Debbi, dijo en una entrevista: “Este es el primer canal completo de ISP de extremo a extremo que se ejecuta completamente en la NPU y no depende en absoluto del ISP de hardware”. petapíxeles. “Los canales existentes conectan bloques neuronales a ISP de función fija. Reemplazamos completamente el ISP tradicional con un canal de neuroimagen de extremo a extremo”.

Esto significa que procesa datos sin procesar del sensor directamente en la NPU o GPU. Dado que todo está basado en software, hay margen de maniobra para ajustes y optimizaciones a través de actualizaciones inalámbricas que no tienen ningún impacto en el chip real.

Un elemento central de este enfoque es la capacitación específica de sensores. Visionary.ai entrena una red neuronal personalizada para cada sensor de imagen, pero ha desarrollado una plataforma de entrenamiento automatizada que puede generar nuevos modelos en cuestión de horas utilizando solo un puñado de videoclips cortos. Debbi dijo que esto reduce significativamente los gastos generales de integración y permite a la empresa escalar a través de sensores y plataformas sin los largos ciclos de ajuste de los ISP tradicionales.

Los ISP mejorados con IA ya están desempeñando un papel en los teléfonos inteligentes y las cámaras, aunque ambas compañías coinciden en que estos sistemas todavía están claramente centrados en el hardware. Los fabricantes a menudo agregan redes neuronales como bloques aislados, excepto que no procesan los datos básicos sin procesar porque el hardware de función fija y el proceso matemático manejan esa carga.

“El proceso de formación de imágenes es neuronal primero, en lugar de un ISP clásico con algunos complementos de inteligencia artificial”, dijo Debbi. “Hoy en día, algunas funciones de control de la cámara pueden seguir siendo tradicionales, pero el proceso central de imágenes ya no depende de hardware de función fija”.

De hecho, esto propone un enfoque híbrido en el que una red neuronal maneja la formación de imágenes mientras
Las funciones de control de la cámara, como la exposición y el balance de blancos, siguen teniendo un manejo tradicional. Debbi señaló que ya existen soluciones basadas en IA para estos componentes, pero se espera que maduren rápidamente.

La ventaja, añade, es que la canalización neuronal primero significa que los módulos de hardware fijos o los ajustes manuales de parámetros ya no deberían limitar las mejoras en la calidad de la imagen. Si los fabricantes tienen la flexibilidad de actualizar, especializarse y volver a capacitarse únicamente a través del software, pueden optimizar la salida de imágenes para cada sensor y caso de uso, al tiempo que abordan los problemas de consumo de energía y latencia.

Calidad de imagen en condiciones difíciles

Añadió que la mejora fue más notable en condiciones de poca luz. Los canales de ISP estándar generalmente deben suprimir el ruido y perder detalles finos, lo que obliga al uso de algoritmos de nitidez en todo el cuadro, lo que puede hacer que las imágenes parezcan poco naturales o introducir artefactos como halos y sangrado de píxeles.

“Verá la mayor diferencia en situaciones difíciles, donde los ISP tradicionales tienen que sacrificar detalles, ruido y artefactos: iluminación muy baja, alto rango dinámico e iluminación mixta”, afirmó Debbi. “En términos prácticos, esto significa sombras más limpias en el video sin texturas cerosas, menos artefactos florecientes y demasiado nítidos, colores más estables y menos artefactos temporales. Debido a que el proceso se aprende de un extremo a otro, podemos optimizar la calidad de percepción y la estabilidad en todas las escenas en lugar de solo eliminar ruido o HDR. Espere a que aparezcan bloques aislados”.

Además, el canal neuronal está diseñado para adaptarse a la dinámica de la escena para reducir las imágenes fantasma y el parpadeo sin sacrificar los detalles naturales cuando los sujetos se mueven, un desafío de larga data para los canales clásicos de cuadros múltiples.

Si bien el producto actual se centra en el vídeo, Debbi reconoció que la fotografía fija también podría beneficiarse de un ISP basado enteramente en inteligencia artificial. Dijo que hasta la fecha, la demanda del mercado y las oportunidades de implementación se han centrado en casos de uso centrados en video, pero la arquitectura subyacente se basa en el procesamiento de secuencias de imágenes para lograr resultados óptimos.

Dado que las cámaras de los teléfonos a menudo agrupan y apilan imágenes para producir todo en HDR e imágenes con poca luz, separar parte del proceso del hardware podría, en teoría, proporcionar mejores resultados.

Visionary.ai reconoce esto y afirma que la neuroimagen en la mayoría de los dispositivos actuales se produce detrás del ISP, que opera con datos YUV o RGB, donde se ha descartado “información importante del sensor”. Debbi cree que la experiencia de su empresa radica en el procesamiento eficiente de dominios RAW, ya sea reemplazando por completo a los ISP o integrándolos en procesos “Bayer to Bayer” existentes para realizar funciones específicas como la eliminación de ruido de la IA.

Además de esto, los ISP de IA definidos por software pueden llenar eficazmente los vacíos en plataformas con hardware de ISP limitado o nulo, permitiendo que estos chips admitan funciones de cámara que de otro modo no podrían lograr.

Equilibrar el rendimiento y el consumo de energía

La característica distintiva de las imágenes basadas en IA es que consume energía mientras continúa ejecutándose en segundo plano. El sistema también admite diferentes modos de funcionamiento, lo que permite a los fabricantes intercambiar energía por calidad según la aplicación.

“Podemos funcionar con una NPU muy pequeña y consumir sólo un poco más de energía que las imágenes tradicionales de los ISP, y la brecha continúa cerrándose”, dijo Debbi. “A medida que la NPU se vuelve más potente y nuestro modelo continúa optimizándose, esperamos que consuma menos energía que un ISP de hardware”.

La NPU WAVE-N de Chips&Media está diseñada para cargas de trabajo de visión de alto rendimiento y sirve como una implementación de referencia completa de AI ISP, lo que demuestra un proceso de neuroimagen de extremo a extremo que se ejecuta en tiempo real en hardware de AI centrado en video.

Al mismo tiempo, el propio ISP de IA es independiente del hardware, por lo que los fabricantes pueden asignar la canalización de software a varias NPU o GPU en función de su arquitectura SoC, rango de consumo de energía y objetivos de costos. Con el tiempo, también pueden ofrecer mejoras de imagen significativas, incluido un mejor HDR, una fusión de exposición mejorada, una segmentación mejorada y modos de casos de uso específicos para aplicaciones que van desde la conducción nocturna en automóviles hasta las videoconferencias.

Adaptarse al hardware existente

A pesar de intentar alterar la forma en que los ISP trabajan con cámaras y dispositivos de imágenes, ambas compañías reconocen que los ISP de función fija no desaparecerán de la noche a la mañana, “pero el enfoque está claramente cambiando hacia la computación de IA programable”.

Dado que este ISP de IA está basado en software, su integración depende en gran medida del progreso del OEM en el desarrollo de chips. Para los chips existentes, Visionary.ai se puede implementar “en cuestión de meses” únicamente mediante la integración de software. Para los chips que aún se encuentran en la etapa previa a la finalización de la cinta, trasladar más funciones de imágenes a la IA puede reducir el área de chip ISP dedicada en la misma generación de chips.

“El software se puede actualizar más rápido que el silicio para adaptarse mejor a nuevos sensores y casos de uso, lo que en última instancia reduce el costo y la complejidad”, dijo. “La ganadora será la solución que permita latencia en tiempo real, consumo de energía y calidad visual constante a escala”.

Las empresas no esperan que los ISP de función fija desaparezcan inmediatamente, pero creen que la trayectoria a largo plazo es clara. A medida que aumenta la potencia informática de la IA y maduran las herramientas de implementación, se espera que los canales de imágenes definidas por software superen a los ISP tradicionales en muchas categorías.

Al presentar un ISP completo impulsado por IA en CES 2026, Chips&Media y Visionary.ai están posicionando su colaboración como un indicador temprano de un cambio que podría remodelar la forma en que se entrega, actualiza y escala la calidad de la imagen en toda la industria de la imagen.