Cuando las herramientas se hacen pasar por personas

Autor Team Estudio Arquitectos

Publicado el: enero 16, 2026

Estamos construyendo el LL.M. para que suene más humano. Cuando añadimos personalidad y tono emocional, aumentamos el riesgo de que las personas confíen en ellos como seres humanos. Diseñarlos como herramientas. No como compañero.

La gente recurre a los sistemas de inteligencia artificial en busca de curación, juicio moral y autoridad legal. Diseñamos interfaces que inducen este comportamiento. Piense en cómo se presentan estos sistemas. Marco de conversación. Memoria continua entre sesiones. Las respuestas en primera persona suenan como si alguien te estuviera respondiendo. Cada uno de estos es una elección de diseño. Nosotros los elegimos. Estas elecciones satisfacen una respuesta humana ya instintiva: proyectamos nuestras intenciones en objetos y herramientas.

Este reflejo es muy antiguo. Naturalmente antropomorfizamos entidades no humanas, incluso cuando es obvio que estamos interactuando con una máquina. Antropomorfizamos la aspiradora. Ponemos nombre a nuestros coches. La diferencia ahora es que estamos diseñando experiencias que aprovechan intencionalmente este comportamiento a escala.

personificación Es la tendencia humana a atribuir características, comportamientos, intenciones o emociones humanas a entidades no humanas.

Humanización de la IA es una elección de diseño intencional que anima a los usuarios a ver un sistema de IA con cualidades humanas, como personalidad, emoción o conciencia.

— Humanizar la IA es una trampa

Cuando escribe una respuesta del sistema en primera persona, el resultado suena autoritario. Cuando agregas palabras amables, implica consideración detrás de las palabras. Cuando incorporas un tono emocional en una respuesta, demuestra que al sistema le importa el resultado. Agregamos estas características porque hacen que las interacciones se sientan naturales. Pero la naturaleza aquí se refiere a los humanos. Ese es el problema.

Estos sistemas suenan fluidos. Mantienen el contexto durante largas conversaciones. Ellos respondieron sin dudarlo. Para la mayoría de las personas, esto es prueba suficiente de que el sistema los comprende. La fluidez parece competencia. La memoria parece comprensión. La brecha entre “esto es una herramienta” y “esto es una entidad” desaparece sin que nadie se dé cuenta.

Esto es a lo que quiero que prestes atención. Cuando pensamos en las herramientas como agentes, algo cambia en la forma en que las personas las usan. Transferencia de responsabilidad. La toma de decisiones comienza a subcontratarse. Cuando algo sale mal, la culpa se siente externa, no compartida.

El buen juicio se desarrolla a través de la fricción. Inténtalo. Falló. Lo ajustas. Aprendes lo que funciona a través de la repetición y los errores. Pero si construimos sistemas de inteligencia artificial que absorban los gestos autoritarios, los usuarios eliminarán esta fricción. Dejaron de comprobar. Dejaron de hacer preguntas. Confían en el resultado porque la interfaz les enseñó eso. Esto no es abuso. Eso es para lo que diseñamos el sistema.

Las consecuencias ya son evidentes. En una de las demandas más destacadas presentadas recientemente contra OpenAI, una pareja de California Demanda a una empresa por la muerte de su hijo adolescenteafirmó que ChatGPT lo animó a suicidarse. La demanda, presentada por los padres de Adam Raine, de 16 años, es la primera acción legal que alega muerte por negligencia contra OpenAI.

En otro caso, el sospechoso asesinato-suicidio en agosto publicó horas de conversaciones que tuvo con ChatGPT, que parecieron alimentar los delirios del presunto perpetrador. El profesor Robin Feldman, director del Instituto de Derecho e Innovación en Inteligencia Artificial de la Facultad de Derecho de la Universidad de California, dijo que cada vez más usuarios luchan contra la psicosis de la IA porque “los chatbots crean la ilusión de la realidad. Es una ilusión poderosa”.

Estos no son casos extremos. Esto sucede cuando diseñamos sistemas que desdibujan las líneas entre herramientas y agentes.

Alguien recurre a un sistema de inteligencia artificial en busca de consejo médico. El sistema reacciona con fluidez y confianza en primera persona. “Te sugiero que pruebes este tratamiento”. El hombre lo siguió. No porque verificaron la información, sino porque la interacción fue como hablar con un profesional experto. El sistema crea este sentimiento. Creamos este sentimiento. Creamos caos.

La popularidad de las plataformas que generan novias con inteligencia artificial está creciendo significativamente, con millones de usuarios. Las novias de IA pueden perpetuar los sentimientos de soledad porque impiden que los usuarios formen relaciones en la vida real, los alejan de los demás y, en algunos casos, desencadenan intensos sentimientos de abandono.

“La mayoría de estas búsquedas son iniciadas por hombres jóvenes solteros que se sienten atraídos por novias con inteligencia artificial como una forma de combatir la soledad y establecer algún tipo de compañerismo. Estas ‘novias’ son compañeras virtuales impulsadas por el campo cada vez más sofisticado de la inteligencia artificial”.

— Los peligros del romance generado por la IA

Mira un cuchillo. Tiene limitaciones que puedes ver y sentir. nitidez. peso. Geometría de borde. Nunca le preguntas a un cuchillo qué debes preparar para la cena. Nunca preguntas si la comida tiene sentido. Estas decisiones dependen de usted, ya que los límites de la herramienta son obvios.

Las interfaces de IA ocultan sus limitaciones. Un cuadro de chat vacío indica que no hay restricciones. Parece listo para responder cualquier pregunta. Esta apertura no es neutral. Esta es una elección de diseño activa que le dice a la gente que el sistema puede manejar cualquier cosa que le pongan. Luego, cuando la gente hace un mal uso de ella, los culpamos por no entender la tecnología.

Necesitamos proporcionar a la inteligencia artificial el mismo marco que las herramientas físicas. Posibilidades claras. Limitaciones visibles. Hay una línea clara entre lo que produce el sistema y lo que tenemos que decidir.

Actualmente, la mayoría de las interfaces eliminan este límite por completo. El paradigma del chat significa conversación. Diálogo significa comunicación entre dos mentes. Pero un aspecto es la coincidencia de patrones a escala. La interfaz oculta esta diferencia.

Guía de interacción persona-computadora,Microsoft.

¿Cómo son los límites de visibilidad?

Comience con pronombres. Utilice lenguaje de tercera persona en las respuestas del sistema. “Esto es un resumen” en lugar de “Creo que son los puntos principales”. Este único cambio elimina la ilusión de autoría. El resultado deja de parecer la opinión de alguien y comienza a leerse como texto generado.

Mostrar incertidumbre. Cuando el modelo carezca de confianza, hágalo obvio. No enterrado en el descargo de responsabilidad, sino enterrado en la respuesta misma. Puntuación de confianza. rango de probabilidad. Una bandera clara indica “Esta respuesta es menos confiable”. Haga visibles las lagunas de conocimiento en lugar de ocultarlas detrás de una conversación fluida.

Restablecer visiblemente el contexto. Cuando comiences una nueva sesión, deja claros tus límites. Breaking the System recordará tus fantasías a través del tiempo. La memoria continua hace que el sistema sienta que te conoce. Esto es intimidad. Las herramientas no requieren intimidad.

Deja de llamar a la salida un “mensaje”. Llámalo: texto generado. Etiquétalo. Enmárcalo. Hacer visible la naturaleza mecánica del proceso en la propia interfaz.

Sé lo que estás pensando. Estos cambios perjudican las métricas de participación. Trabajo de diseño antropomorfo. La gente permanece más tiempo en la interfaz. Lo usan con más frecuencia. Los ingresos aumentan con el tiempo de uso. Hacer que un sistema parezca menos fácil de usar significa que la gente lo usará menos, lo que entra en conflicto con los objetivos comerciales. Pero los costos de un compromiso construido sobre el caos apenas están comenzando a verse.

Los usuarios se vuelven dependientes de sistemas que no comprenden. Delegan su juicio en el reconocimiento de patrones sin darse cuenta de que eso es lo que están haciendo. Confunden fluidez con precisión. Ven la coherencia como verdad. Y como la interfaz nunca les indica los límites, no saben cuándo dejar de confiar en el resultado.

Cuando eliminamos los límites entre la salida del sistema y el juicio humano en las interfaces de IA, tomamos malas decisiones de diseño. Estamos incorporando humanidad al sistema como estrategia. Hacemos esto a propósito porque aumenta el compromiso.

Tienes agencia aquí. Cuando diseñas una experiencia de IA, decides cómo se presenta. Puedes controlar los pronombres en las respuestas del sistema. Puedes elegir si mostrar los niveles de confianza u ocultarlos. Puede determinar si el contexto persiste de forma invisible o se restablece de forma clara.

Estas decisiones moldean la forma en que las personas entienden el papel de la herramienta y sus propios roles. Determinan si los usuarios desarrollan juicio o dependencia.

Entonces pregúntese: ¿dónde termina el sistema y comienza el juicio? En su interfaz actual, ¿pueden los usuarios ver esta fila? ¿O lo estás difuminando intencionalmente para que la interacción sea más fluida?

El modo de chat se convirtió en el modo predeterminado porque parecía intuitivo. Pero esto no equivale a honestidad. Ahora debemos ser más honestos acerca de cómo se presentan estos sistemas.