Elimina los bots de los datos de tu encuesta

Si distribuye su cuestionario a través de canales abiertos como redes sociales, comunidades en línea o enlaces públicos, es muy probable que algunas de sus respuestas no provengan de participantes reales. En cambio, pueden provenir de robots de encuestas, lo que se ha convertido en un problema cada vez más común entre los investigadores.

Si las respuestas del bot permanecen en su perfil final, pueden distorsionar sus hallazgos y llevarlo a conclusiones incorrectas porque simplemente no reflejan las necesidades y opiniones de personas reales. Por lo tanto, la detección de bots debería convertirse en una parte estándar de la limpieza de datos de las encuestas. Sin embargo, las respuestas de los robots encuestadores a veces son difíciles de detectar porque para el ojo inexperto parecen completamente normales.

¿Qué es un robot de encuestas?

Bot de encuesta Son programas automatizados o personas que utilizan herramientas automatizadas quienes completan cuestionarios con respuestas fraudulentas.

Los bots varían en sofisticación, desde scripts primitivos que seleccionan respuestas aleatorias hasta asistentes de inteligencia artificial que generan texto abierto confiable y se adaptan a la lógica de la pregunta. Muchos pueden pasar controles de calidad básicos, p. Pregunta de control de atenciónque pide a los encuestados que seleccionen una respuesta específica para confirmar que están prestando atención y no es un programa automatizado (por ejemplo, “Seleccione ‘Totalmente de acuerdo’ con esta pregunta”).

Cuando se trata de incentivos monetarios, aumenta el riesgo de encontrar respuestas de bots. Incluso los incentivos modestos, como una tarjeta de regalo de 5 dólares o una participación en un sorteo, pueden atraer robots diseñados para completar encuestas a cambio de pagos. Sin embargo, cualquier encuesta distribuida a través de canales abiertos, independientemente de su motivación, aún podría estar expuesta a robots de encuestas.

Signos comunes de respuesta de bot

La detección de robots implica buscar patrones en un conjunto de datos que indiquen que las respuestas pueden no provenir de participantes reales. Los diferentes tipos de preguntas de encuesta y metadatos pueden revelar diferentes pistas de que las respuestas pueden no ser ciertas.

Si bien existen varios signos comunes de actividad de bot, Un solo detalle sospechoso no significa automáticamente que una respuesta sea fraudulenta. En su lugar, utilice las siguientes señales para identificar respuestas que merezcan un análisis más detenido.

tiempo de finalización

Los datos de tiempo son una de las formas más rápidas de detectar respuestas sospechosas. La mayoría de las plataformas de encuestas registran automáticamente el tiempo total de finalización. Busque tiempos de acabado extremadamente rápidos o muy uniformes.

Velocidad de finalización extremadamente rápida

Una encuesta que a un humano le toma de 8 a 10 minutos no debería completarse en 30 segundos. Cualquier valor muy por debajo de la mediana de la prueba piloto es sospechoso.

tiempo de finalización unificado

Si se producen cientos de reacciones en casi exactamente 5 minutos (con una diferencia de unos pocos segundos), entonces esta agrupación no es la forma en que se comportan los humanos. Los participantes reales variaron ampliamente: algunos hojearon, otros leyeron atentamente y otros fueron interrumpidos. Un conjunto de tiempos de finalización casi idénticos indica que el script envía respuestas automáticamente a un ritmo establecido.

respuesta abierta

Aunque las encuestas son principalmente un método cuantitativo, generalmente incluyen al menos una pregunta abierta, incluso si es simplemente “¿Tiene alguna otra idea o comentario que le gustaría compartir?” Estas preguntas son una de las herramientas de detección de bots más poderosas. Porque es mucho más difícil para un bot generar respuestas de texto libre confiables que seleccionar opciones aleatorias de opción múltiple.

Al revisar las respuestas abiertas, tenga en cuenta:

• Respuesta larga y genérica: Un robot preguntó: “¿Por qué elegiste esta calificación de experiencia del cliente?” Es posible que responda con tres párrafos cliché sobre la importancia de la experiencia del cliente, pero nunca mencione nada específico.
• Longitud de respuesta uniforme: Si un gran conjunto de respuestas abiertas tuvieran aproximadamente la misma longitud (por ejemplo, todas en una oración o todas alrededor de 40 palabras), eso no sería natural. La cantidad de escritos de los entrevistados reales varió ampliamente. La longitud constante de muchas respuestas sugiere que el bot utiliza plantillas o herramientas de generación de texto con configuraciones de salida fijas.
• Escritura extraordinariamente hermosa: Las respuestas reales de las encuestas suelen ser confusas. Pueden incluir errores de ortografía, fragmentos de oraciones, puntuación informal o taquigrafía, especialmente si los participantes responden desde un dispositivo móvil. La abundancia de respuestas gramaticalmente perfectas y elegantes debería despertar sospechas.
• Tono de IA único. Las respuestas escritas por IA tienden a ser fluidas y bien organizadas, pero muy vagas. Pueden sonar claros sin decir nada específico sobre la experiencia real del entrevistado. Busque respuestas que se apliquen a casi cualquier producto o situación, en lugar de las respuestas específicas sobre las que pregunta su encuesta.

dirección IP

La mayoría de las plataformas de encuestas capturan automáticamente las direcciones IP. Múltiples respuestas de la misma IP en un corto período de tiempo Puede indicar el envío repetido de respuestas por parte de un único operador de bot. Pero tenga en cuenta que las redes compartidas (como campus universitarios, oficinas corporativas o Wi-Fi doméstico) también pueden producir copias legítimas.

dirección de correo electrónico

Si su encuesta recopila direcciones de correo electrónico (como para distribución de incentivos o seguimiento de entrevistas), estas pueden revelar patrones de bots. Buscando:

• Dirección de correo electrónico duplicada: Si bien los participantes genuinos pueden haber enviado respuestas accidentalmente varias veces, los correos electrónicos duplicados también pueden indicar un comportamiento de bot, especialmente cuando aparecen junto con otras señales sospechosas.
• Una cadena de direcciones consecutivas con números impares. Las combinaciones alfanuméricas aleatorias que llegan consecutivamente (h7fq2w@gmail.com, x9klm3p@gmail.com) indican que el operador del bot está utilizando un generador de correo electrónico de un solo uso.

Orden aleatorio de preguntas

Si su encuesta aleatoriza el orden de las preguntas, a menudo resulta difícil para el robot seguir el contexto. Encuentre la respuesta a una pregunta que claramente pertenece a la respuesta a otra pregunta. Por ejemplo, un encuestado que pregunta “¿Qué aplicaciones has usado recientemente?” puede dar una respuesta explícita sobre “tu función favorita” porque el robot extrae de un conjunto de respuestas escritas previamente y las relaciona con la pregunta incorrecta. Esta discrepancia se detecta más fácilmente en respuestas abiertas dentro de bloques aleatorios.

Consideraciones clave al evaluar las respuestas de los bots

Las señales mencionadas anteriormente pueden ayudarle a detectar respuestas sospechosas, pero no deben verse como una lista de verificación mecánica. Decidir qué respuestas eliminar del conjunto de datos final requirió un juicio cuidadoso de los patrones generales.

Tenga en cuenta los siguientes puntos:

• Ningún signo es decisivo. Es posible que haya tiempos de finalización rápidos disponibles para usuarios avanzados. La IP duplicada podría ser de dos personas en la misma red doméstica. Una respuesta abierta gramaticalmente perfecta podría provenir de alguien que escribe en serio. Evalúe cada respuesta en función de múltiples métricas antes de eliminarla.
• No es necesario que una respuesta tenga todas las señales para ser un bot. Dos o tres señales agregadas (por ejemplo, finalización rápida y direcciones IP duplicadas) suelen ser suficientes para marcar las respuestas del bot para su eliminación.
• Las respuestas de los bots tienden a llegar en lotes en lugar de una a la vez. Cuando detecte una respuesta sospechosa, analice las respuestas circundantes (como las respuestas enviadas dentro de un período de tiempo similar). Si hay respuestas de bots en su encuesta, a menudo encontrará un grupo sospechoso de respuestas con un patrón similar.
• Diferentes lotes de robots pueden verse diferentes. No asuma que todas las respuestas de los bots seguirán el mismo patrón. Un lote puede contener respuestas que se completarán en cinco minutos, cada una con una respuesta abierta de una oración. Otro lote podría incluir respuestas de 30 segundos que contengan párrafos largos y genéricos generados por inteligencia artificial.
• Los robots están mejorando rápidamente. A medida que la inteligencia artificial generativa y las herramientas de automatización se vuelven más fáciles de usar, el comportamiento de los robots está cambiando. Es posible que una señal que funcionó hace seis meses no detecte un bot que aparece hoy, y una señal de hoy puede no detectar el bot del próximo trimestre. Esté alerta a nuevos patrones.

Documente siempre sus decisiones

Una vez que decida qué respuestas de bot eliminar, asegúrese de documentar su decisión. Registre cuántas respuestas se marcaron, cuántas se eliminaron y qué marcas llevaron a cada decisión. Este archivo protege la integridad de su análisis. También ayuda a las partes interesadas a comprender que el tamaño de su muestra final refleja un proceso de control de calidad bien pensado.

en conclusión

Los robots de encuestas son un riesgo común en la investigación de encuestas en línea, especialmente cuando el reclutamiento se realiza a través de canales abiertos o se ofrecen incentivos. Si se dejan en el conjunto de datos, las respuestas de los bots pueden distorsionar los patrones de datos y hacer que los equipos malinterpreten lo que piensan o sienten los usuarios reales. Antes de analizar los hallazgos, los investigadores deben examinar los datos en busca de patrones sospechosos, documentar sus decisiones de detección de bots y eliminar las respuestas que muestren evidencia sólida de actividad de bots. Este proceso ayuda a garantizar que el conjunto de datos final refleje las experiencias, actitudes y comportamientos de participantes reales.