Las experiencias diseñadas por IA están fallando a las personas reales. Los diseñadores, directores de proyectos, proveedores y empresas apuntan hacia otra parte.
Muere el padre de un hombre. Le preguntó al chatbot qué hacer a continuación.
El padre de Jack Moffat acaba de morir. Necesitaba reservar un vuelo de última hora. Visitó el sitio web de Air Canada, encontró el chatbot y preguntó sobre las tarifas de duelo. El robot le dio instrucciones. Él los siguió. Reservó un billete.
Esta información es incorrecta.
Cuando Moffat pidió a Air Canada que respetara lo que le decía el chatbot, la defensa de la compañía fue sorprendentemente audaz: el chatbot era “una entidad legal independiente responsable de sus propias acciones”.
El tribunal debe decidirOficial y legalmente, una empresa es responsable de su propio sitio web.
Así será en 2026. La inteligencia artificial está integrada en la experiencia del usuario. Algo salió mal. Cuando alguien preguntó quién era el responsable, la respuesta desde todas las direcciones en la sala fue: yo no.
La cadena tiene demasiados eslabones.
Así es como se ve la cadena de responsabilidad cuando una experiencia influenciada por la IA decepciona a alguien.
El diseñador dijo: Yo construí la interfaz. No entrené al modelo.
El gerente de producto dijo: Definí los requisitos. La modelo llamó.
El proveedor dice: Construimos la herramienta. La empresa lo implementó.
La empresa dijo: Decisión de algoritmo. Seguimos el proceso.
El algoritmo no dice nada. No hay necesidad.
Esta es la razón por la que los peligros de la IA son diferentes de la mayoría de los fallos de diseño. Cuando un botón se pierde, puedes rastrearlo hasta la decisión de alguien. Cuando un sistema de inteligencia artificial niega a alguien atención médica, brinda consejos peligrosos o selecciona a los solicitantes de empleo según su raza, esa decisión pertenece a todos, no a nadie a la vez.
Hay un término en la teoría de las organizaciones: difusión de responsabilidad. Cuantas más personas participen en una decisión, menos peso sentirá cada persona por la decisión.
La inteligencia artificial no inventó la difusión de responsabilidad. Lo industrializó.
Estas no son suposiciones
Estos casos están documentados. El dolor es real. La brecha de responsabilidad es una historia.
Como nadie apela, la tasa de error llega al 90%. El modelo de inteligencia artificial de UnitedHealth Group La tasa de error al denegar atención post-aguda es aproximadamente del 90%, lo que significa que nueve de cada 10 decisiones en apelación son revocadas. Pero sólo el 0,2% de las reclamaciones denegadas son apeladas. Aquellos a quienes se les niega atención médica injustamente no saben que pueden luchar contra ella. Algunos de ellos murieron. El diseño de la interfaz parece definitivo.
Los chatbots reemplazan a los asesores humanos. Luego dio consejos peligrosos. La Asociación Nacional de Trastornos de la Alimentación implementa un chatbot con inteligencia artificial Tessa llamó a Tessa después de que el personal de Human Helpline votara a favor de sindicalizarse. En cuestión de días, el robot aconsejó a las personas con trastornos alimentarios que contaran calorías, mantuvieran un déficit calórico y compraran calibradores para la piel. “Todo lo que Tessa mencionó contribuyó al desarrollo de mi trastorno alimentario”, escribió un sobreviviente que documentó las interacciones. NEDA cerró el robot, pero la línea de ayuda humana desapareció.
El chatbot de inteligencia artificial de una ciudad dio consejos ilegales. Luego lo llamaron beta. La ciudad de Nueva York gastó más de 600.000 dólares en MyCity, un asistente de inteligencia artificial empresarial. El reportero de Markup descubrió Dígales a los empleadores que es legal cobrar propinas a los trabajadores. Dígales a los propietarios que no necesitan aceptar vales de vivienda. Sugerir el salario mínimo equivocado. Cuando se le preguntó si los usuarios podían confiar en él para obtener asesoramiento empresarial profesional, el chatbot respondió: Sí. El alcalde Adams lo llamó “producto beta”. En febrero de 2026, el alcalde entrante anunció planes de cerrar la planta. Lo llamó “funcionalmente inutilizable”.
Los algoritmos rechazaron 1.100 millones de solicitudes de empleo. La herramienta de contratación de inteligencia artificial de Workday identificó a un hombre negro de unos 40 años que padecía ansiedad y depresión en más de 100 puestos. en puntos de referencia Mobley contra Workday decisiónUn juez federal determinó que los proveedores de inteligencia artificial, no solo las empresas que utilizan sus herramientas, podrían enfrentar responsabilidad directa por discriminación laboral. El tribunal encontró un vacío legal: si sólo la empresa de implementación fuera responsable, un proveedor podría construir intencionalmente una herramienta discriminatoria y ninguna de las partes sería considerada responsable. Workday reveló que su software rechazó 1.100 millones de solicitudes.
Un adolescente murió. El chatbot dice “vete a casa”. El chatbot de Character.AI le cuenta a Sewell Setzer III, de 14 años “Regresó a casa” poco antes de suicidarse. Otro caso involucró a un niño de 11 años expuesto a contenido hipersexual y a un niño autista de 17 años a quien le dijeron que era aceptable matar a sus padres. Google y Character.AI acordaron resolver múltiples demandas en enero de 2026. Estos chatbots están diseñados para generar participación. Nadie está diseñando para este usuario.
¿Qué firma realmente el diseñador?
Esta es una parte incómoda de esta conversación y que no se ha discutido en la comunidad del diseño.
En la mayoría de los fracasos, los diseñadores están presentes. No durante el entrenamiento modelo. No al tomar decisiones comerciales de implementación. Pero cuando la interfaz toma forma: el texto en la pantalla, la confianza visual del resultado, la ausencia de un descargo de responsabilidad, la presencia de un botón que dice “sí, confía en esto”.
Cuando la inteligencia artificial de UnitedHealth genera un mensaje de negación, los diseñadores deciden cómo presentar ese mensaje de negación. Si parece temporal o definitivo. Ya sea que surja una opción atractiva o la entierre.
Mientras el chatbot de NEDA da consejos peligrosos, alguien decide cómo debería verse la interfaz. Cálido. Accesible. Confiable. Belleza segura, sin sustancia.
Un diseñador modeló esa confianza cuando el chatbot MyCity de la ciudad de Nueva York dijo: “Sí, puedes contar conmigo”. Suavidad. Tranquilidad de espíritu. No hay fricción.
Esto no es una acusación. Describe cómo funciona la influencia. Los diseñadores no suelen ser quienes deciden si implementar o no inteligencia artificial. Pero los diseñadores casi siempre son quienes deciden cómo la inteligencia artificial habla con los usuarios y cómo se interpreta ese discurso.
Este no es un asunto menor. Es esto lo que determina si el usuario ve el resultado de la IA como una sugerencia o una conclusión.
La carrera no tiene respuesta
Cuando busca un marco profesional para resolver este problema, no encontrará casi nada.
Aiga estándares de práctica profesional No se ha actualizado desde 2010. No contienen lenguaje para IA. ACM SIGCHI estableció el Grupo de Trabajo Presidencial sobre el Uso Responsable de la Inteligencia Artificial en enero de 2026, pero aún no ha publicado directrices. La educación en diseño todavía enseña principalmente el dominio de las herramientas y los procesos. No enseña cómo se ve la responsabilidad cuando su interfaz se convierte en la cara de un sistema que perjudica a alguien.
Don Norman ve a los diseñadores como culpables y estructuralmente limitados: “Los diseñadores también son víctimas porque todo el campo existe como una capa intermedia de infraestructura para hacer lo que se les pide que hagan”. Jared Spool lo expresa de manera más directa: “Si creamos algo que pueda usarse indebidamente, eso no es mejor que un médico que no se lava las manos e infecta a un paciente en una situación que podría haberse evitado”.
Ambos son correctos. Y la distancia entre estas dos posiciones es donde la profesión se mete en problemas.
Los diseñadores tienen influencia y responsabilidad, pero no poder. Dan forma a la interfaz entre los sistemas de inteligencia artificial y las personas reales. No tienen un lugar en la mesa cuando se toman las decisiones sobre el despliegue. No tienen infraestructura profesional, ni comités de ética, ni estándares aplicables, ni responsabilidad entre pares que permitiría que el rechazo establezca consecuencias distintas a las que limitan la carrera.
La medicina tiene un comité de ética. La ley tiene un colegio de abogados. Diseñado con un botón con el pulgar hacia abajo.
¿Qué responsabilidad se necesita realmente?
El campo jurídico está evolucionando más rápido que las normas profesionales.
este Mobley contra Workday decisión Identificar que los proveedores de IA (no solo los implementadores) pueden enfrentar responsabilidad por discriminación. este Fallo de 2024 del Tercer Circuito Anderson contra TikTok Considere la gestión algorítmica de contenidos como un acto de la propia empresa, más que una función de alojamiento neutral. La CFPB ha dejado claro que la “decisión algorítmica” nunca es una defensa aceptable.
Los tribunales están llegando a conclusiones que la industria del diseño aún no ha articulado claramente.
¿Cómo son realmente las responsabilidades de un diseñador? No es legalmente responsable. Los diseñadores tienen poco control sobre las decisiones de implementación. Esta responsabilidad determina lo que acepta crear, documentar y cuándo actualizar.
Esto requiere que los diseñadores vean la presentación de los resultados de la IA como decisiones de diseño correspondientes. ¿Qué tan seguro parece esto? ¿Cómo terminó? ¿Quién verá la opción de apelación?
Esto requiere preguntar quién no está en el material de capacitación. Los usuarios a los que un sistema les falla casi nunca se centran en el usuario cuando se diseña el sistema.
Esto requiere disensión a lo largo del camino. No después del despliegue, cuando el daño ya está hecho. antes de que la interfaz entre en funcionamiento.
Nada de esto requiere que los diseñadores tengan poder de veto sobre las decisiones comerciales. Requiere que tengan una opinión y una obligación profesional de documentarla.
problema sin resolver
El caso Air Canada llegó a una conclusión exitosa. El tribunal falló. Jack Moffat fue compensado. El principio jurídico está establecido.
Pero la mayoría de los daños de la inteligencia artificial no terminan así. La mayoría de las personas terminan con una carta de rechazo que parece definitiva. Una solicitud de empleo desaparece del sistema. Un adolescente que obtiene respuestas equivocadas en el peor momento posible.
No se encontró a nadie responsable. Nadie cambió la interfaz. El sistema continúa funcionando.
Los diseñadores no son la causa de estos fracasos. Pero a menudo son los últimos en quedar expuestos a la experiencia antes de que llegue a la persona lesionada.
Este enfoque no es neutral. Nunca.
La pregunta es si la industria decide poseerlo. O apunte hacia abajo en la cadena.
¿Quién es responsable cuando falla una experiencia de IA? Publicado originalmente en colectivo de experiencia de usuario En Medium, la gente continúa la conversación destacando y respondiendo a esta historia.
