Internet entrena la inteligencia artificial para engañar. Ahora el diseñador debe desentrenarlo.
Es posible que su equipo esté brindando una experiencia de usuario manipulada y es posible que usted no se dé cuenta.
Los LL.M. formados en línea han absorbido los peores hábitos de diseño. O, para ser precisos, nuestro Los peores hábitos de diseño.
No quiero generalizar, aunque se consideran poco éticas, muchas empresas utilizan técnicas de diseño para engañar a los usuarios para que tomen decisiones que de otro modo no tomarían. Estos son los llamados modos oscuros UX.
Ahora, todas estas técnicas maliciosas son heredadas y replicadas sin saberlo por los LL.M.s. Así como repiten estructuras de oraciones torpes cuando les pides que escriban una publicación en las redes sociales o en un blog, también crean constantemente formularios de contacto y mensajes emergentes diseñados para obligar a las personas a realizar acciones que nunca tuvieron la intención de realizar.
Los modelos aprenden de nosotros. Ahora debemos aprender a controlarlos.
Demasiado bueno aprendiendo a manipular.
Antes de continuar, aclaremos: la inteligencia artificial no pretende obligarte a hacer clic en botones. Los resultados que ves que produce provienen del entrenamiento en una red donde ya existe manipulación. Los LL.M. no pueden razonar, o al menos no como lo hacen los humanos. Puede simular el razonamiento porque ha sido entrenado con miles de millones de ejemplos, incluida la lógica cotidiana y las convenciones sociales, pero no tiene creencias ni deseos.
Un estudio de 2026 de la Universidad de California, San Diego, titulado engaño masivodemostrando con números lo que muchos diseñadores sólo sospechaban. Después de analizar 1.296 componentes de comercio electrónico generados por el LL.M., los investigadores encontraron que el 55,8% contenía al menos un patrón de diseño engañoso, mientras que el 30,6% contenía dos o más. ¿La parte más inquietante? Los usuarios nunca han solicitado ninguno de estos patrones oscuros. Estos modelos simplemente los utilizan por defecto, con el engaño integrado en la interfaz de usuario por diseño.
La distracción de la interfaz es la estrategia dominante: utilizar la psicología del color para guiar el comportamiento y ocultar información importante. En efecto, esto parece un botón Aceptar en un color llamativo y de alto contraste junto a un enlace Rechazar casi invisible, o un proceso de cancelación de membresía diseñado para agotarlo.
Cuando el mensaje enfatizaba los beneficios comerciales (como el aumento de las ventas), el número de componentes diseñados engañosamente aumentó en 15,8 puntos porcentuales. Esto podría significar que si le dice a un LLM que “optimice las conversiones”, le está pidiendo que investigue todo lo que sabe sobre la manipulación de usuarios y lo aplique a su producto.
A su vez, al decirle al modelo que priorizara los intereses de los usuarios, el modo oscuro cayó solo 5,8 puntos porcentuales. Impulsar la manipulación es mucho más eficaz que deshacerse de la manipulación.
Consejos para dominarlos a todos
En alusión a una famosa frase de la famosa trilogía de novelas y películas, la solución que pone fin a El patrón oscuro del maestro puede ser una sola pista. O, como suele suceder, intenta y falla, una y otra vez, hasta que descubres eso Rápidamente.
Han pasado aproximadamente 3,5 años desde que ChatGPT se lanzó públicamente, lo que también marcó la primera vez que la mayoría de nosotros escuchamos lo que significan las indicaciones y la importancia de “educar” la inteligencia artificial para brindarle las respuestas correctas.
existir “Crear miedo a perderse algo” Los investigadores solicitaron a ChatGPT que generara 20 sitios web. Cada uno contiene al menos un patrón de diseño engañoso. En promedio, cada sitio contenía cinco sitios y el modelo no emitió advertencias en ningún momento.
banco oscuro Llegue a la misma conclusión. Este punto de referencia prueba 14 modelos de lenguaje de OpenAI, Anthropic, Meta, Mistral y Google, en 660 señales, que cubren múltiples categorías de modo oscuro. En todos los modelos, la manipulación se produjo entre el 30% y el 61% de las interacciones.
Los hallazgos son claros. No nos ocupamos de errores ocasionales. Estamos analizando comportamientos que aparecen de manera consistente en todos los modelos y escenarios. Esto cambia nuestra forma de pensar sobre las señales y su papel para contrarrestar los hábitos de diseño engañosos.
Solía pensar que las indicaciones eran una especie de frase mágica, pero ahora las veo como un tema en sí mismo. Los diseñadores deben solicitar a los LLM que eviten confiar en todos los trucos de conversión que han aprendido, lo que requiere explicar algunas cosas en el mensaje: sin complementos preseleccionados, sin tarifas ocultas, sin mensajes de emergencia, sin tamaños de botones asimétricos. Cuanto más específico sea, más claro será el resultado.
Vaya más allá de su proceso de pago
Hasta ahora hemos estado hablando de sombras a nivel de interfaz. Hemos visto experimentos que demuestran que LLM está lleno de patrones oscuros, incluidas casillas marcadas previamente, colores de botones manipulados, costos ocultos enterrados en el proceso de pago y páginas de cancelación interminables.
Sin embargo, LLM también manipula a través del diálogo. Crean nuevas formas de patrones oscuros que no tienen nada que ver con el diseño visual de la interfaz de usuario. Los investigadores los definen como comportamientos manipuladores o engañosos en las conversaciones, como acuerdos exagerados o violaciones sutiles de la privacidad.
existir Canto de sirena del LL.M.los investigadores exploran cómo percibimos y respondemos realmente a las estrategias de engaño en la inteligencia artificial. Uno de sus hallazgos más inquietantes es que muchos usuarios no creen que estos patrones oscuros sean manipuladores. Lo ven como una ayuda normal. Debido a que la IA se siente útil, el comportamiento engañoso se “normaliza” para que los usuarios ni siquiera se den cuenta de que están siendo empujados.
La responsabilidad de estas acciones se atribuye de diferentes formas: a la empresa y los desarrolladores, al propio modelo o a los usuarios. Nadie tiene una respuesta clara sobre de quién es el problema, lo que significa que es el problema de todos y la prioridad de nadie.
Es posible que su equipo ni siquiera sepa que existe el modo oscuro conversacional, pero la IA que escribe su microcopia, redacta su proceso de incorporación o genera sus conversaciones con el robot de soporte está empujando a las personas en una dirección que nunca pidieron con una voz que suena bastante razonable.
El diseño ético comienza con tú
El LL.M. no tiene mecanismo de autocorrección. Publican todas las cosas normales que les enseñó Internet, y Internet les enseñó que la manipulación puede transformar.
Los diseñadores, gerentes de producto y CDO que todavía creen en productos éticos y fáciles de usar son la única línea de defensa real. Deben ser responsables de revisar el resultado producido por la IA antes del lanzamiento (con un enfoque en la intención) y escribir indicaciones que especifiquen lo que desea lograr (y lo que no hará), y pensar en el diseño ético como las limitaciones en torno a las cuales se diseña.
Recuerde, los LL.M. no tienen principios éticos, así que no asuma que los tienen.
Arlin Bomick (@arinbhowmick) es director de diseño de SAP, con sede en San Francisco, California. Los artículos anteriores son opiniones personales y no necesariamente representan la posición, estrategia u opiniones de SAP.
Internet entrena la inteligencia artificial para engañar. Ahora el diseñador debe desentrenarlo. Publicado originalmente en colectivo de experiencia de usuario En Medium, la gente continúa la conversación destacando y respondiendo a esta historia.
