Los investigadores de Google publicaron un nuevo artículo que detalla una nueva forma de atrapar a los spammers que utilizan IA generativa para inundar la plataforma de Google con spam y abrumar sus filtros de calidad. Si bien la investigación se centra en identificar spam de contenido de vídeo, las técnicas descritas podrían dar una idea de los métodos que Google podría utilizar para el spam de contenido web. De hecho, el artículo de investigación analiza un sistema de identificación de IA generativa basado en texto.
Se dice que el nuevo sistema es una “defensa altamente precisa” contra el spam de IA generativo coordinado, lo que significa que es posible que se esté utilizando algo como esto. El nuevo sistema se llama Scalable Cluster Termination System (S-CTS) y el artículo de investigación, Detección escalable de desperdicios sintéticos adversarios y abuso coordinado de los medios: un sistema de defensa multimodal habilitado por LoRA.
¿Se puede utilizar este sistema para spam de texto generado por IA?
El sistema tiene éxito porque busca la estructura organizativa de un ataque, que es la reutilización masiva de una plantilla narrativa semántica específica en lugar de evaluar vídeos aislados uno por uno.
El artículo de investigación también describe el uso de incrustaciones de texto, términos destacados y narrativas basadas en plantillas como parte de su clasificador de contenido. Si se identifica que un alto porcentaje de cuentas en un clúster de infraestructura utilizan las mismas plantillas de texto/medios generadas por IA, se finaliza todo el clúster.
Adaptarse rápidamente a nuevos tipos de spam de IA
El documento dice que cuando los atacantes adoptan nuevos modelos generativos, Google puede adaptar su sistema de detección de spam sintético más rápido utilizando la Adaptación de bajo rango (LoRA) y la Optimización automática de avisos (APO) en lugar de volver a entrenar un modelo de IA masivo.
Ellos escriben:
“El clasificador de etapa 2 está especializado en la detección de tendencias sintéticas utilizando técnicas de ajuste fino eficiente de parámetros (PEFT), específicamente adaptación de bajo rango (LoRA) y optimización automática de avisos (APO).
…Este enfoque permite la adaptación eficiente del gran LLM propietario (por ejemplo, Gemini 2.0 Flash) sin el costo computacional prohibitivo de un ajuste completo. Específicamente, LoRA reduce significativamente la cantidad de parámetros entrenables y disminuye sustancialmente la huella de memoria, lo que permite una ejecución rápida y rentable y una inferencia paralelizada en una infraestructura de TPU escalable.
…APO nos permite diseñar indicaciones que se adaptan a las nuevas tendencias de “Slop” más rápido que volver a entrenar un modelo denso. Podemos volver a entrenar un adaptador LoRA rápidamente cuando los atacantes lanzan un nuevo modelo GenAI (como Sora o Kling).
Sentence-BERT (S-BERT) para identificar texto generado por IA
Lo que probablemente será de mayor interés es que los investigadores reconocen el uso de Sentence-BERT (SBERT) como una forma de identificar oraciones semánticamente similares.
Citan Sentence-BERT para validar una suposición central de su artículo: que el texto automatizado generado por IA deja una huella matemática distinta (“incrustaciones de texto”) que puede detectarse.
Luego pasan de S-BERT para resaltar por qué su sistema (S-CTS) es un avance: porque no se limita a la coincidencia de incrustaciones de texto. Se amplía a una arquitectura LLM multimodal de dos etapas que evalúa estos patrones de texto junto con los datos de la red de bots a nivel de infraestructura.
Los investigadores escriben:
«Para el contenido basado en texto, se utilizan métodos como las incrustaciones de texto generadas por modelos como Sentence-BERT para detectar narrativas de IA escritas. Para multimedia, las técnicas tradicionales incluyen hash perceptual. Sin embargo, la IA generativa presenta desafíos únicos; nuestro sistema emplea algoritmos patentados que analizan contenido tanto textual como multimedia para identificar «artefactos generativos», marcadores sutiles de producción sintética compartidos a través de canales».
Hay otro artículo de investigación sobre Sentence-BERT (PDF) y así es como explican sus beneficios:
«En esta publicación, presentamos Sentence-BERT (SBERT), una modificación de la red BERT previamente entrenada que utiliza estructuras de redes siamesas y tripletes para derivar incrustaciones de oraciones semánticamente significativas que pueden compararse mediante similitud de coseno. Esto reduce el esfuerzo para encontrar el par más similar de 65 horas con BERT/RoBERTa a aproximadamente 5 segundos con SBERT, manteniendo al mismo tiempo la precisión de BERT.
Evaluamos SBERT y SRoBERTa en tareas STS comunes y transferimos tareas de aprendizaje, donde supera a otros métodos de incorporación de oraciones de última generación”.
Para SEO, la mención de S-BERT para identificar spam de texto generativo de IA es muy interesante porque no es algo que la industria del SEO realmente conozca. Esto amplía nuestro conocimiento sobre los tipos de algoritmos que se utilizan para identificar el spam de IA generativa basado en texto.
Ahora viene la parte interesante: S-BERT existe desde hace siete años y la industria del SEO realmente no lo conocía como algo que pueda usarse para identificar spam basado en texto. No significa que Google lo haya estado usando durante siete años. Dado que la IA generativa solo ha estado ampliamente disponible durante unos pocos años, podría ser que Sentence-BERT haya sido utilizado recientemente por motores de búsqueda como Google para detectar spam de texto generado por IA.
Problema resuelto
Los investigadores identifican tres razones por las que el spam generativo de IA está fuera de control y abruma a los métodos actuales para detectar contenido de baja calidad.
- El problema del contenido generado por IA de baja calidad se ha convertido en un “desafío exponencial” para detectar y capturar.
- El documento admite las limitaciones de las estrategias de mitigación actuales.
- Centrarse en detectar spam generado por IA a nivel de contenido fracasa cada vez más debido a la escala diseñada para «abrumar los filtros de calidad».
Los investigadores explican:
“Las plataformas de vídeo en línea enfrentan un desafío exponencial a la hora de detectar y mitigar la avalancha de spam sintético y “desecho” generado por IA y perpetuado por actores maliciosos coordinados.
Este contenido está cada vez más diseñado para explotar las limitaciones de la ciencia forense de los medios tradicionales, utilizando a menudo IA generativa para producir variaciones únicas y localizadas de material dañino o de baja calidad a escala.
La moderación tradicional centrada en el contenido fracasa frente a esta estrategia coordinada y conflictiva de generación”.
Esa frase, «variaciones localizadas», es interesante porque se refiere a la creación de «huellas dactilares únicas para contenido funcionalmente idéntico».
El trabajo de investigación utiliza frases como:
- “variaciones únicas y localizadas”
- “contenido funcionalmente idéntico”
- “Variaciones infinitas y únicas de spam funcionalmente idéntico”
Esto es más que simplemente hacer pequeños ajustes al contenido aquí y allá. Están hablando de spammers que implementan contenido infinitamente único que es «funcionalmente idéntico» como una forma de eludir el análisis de contenido tradicional y las estrategias de mitigación. Precisamente por eso se están alejando para observar grupos de cuentas para identificar las huellas digitales reales de los spammers o su automatización.
El artículo de investigación se centra en identificar el spam de vídeo generado por IA, pero plantea la pregunta: ¿Se puede utilizar algo como esto para identificar el spam basado en texto generado por IA? Sin duda es algo a considerar.
Cómo AI-Slop puede superar los filtros de calidad
Un hecho interesante que comparten los investigadores es que el desperdicio de IA que se genera a escala masiva puede abrumar los filtros de calidad. Los investigadores también señalan que los spammers utilizan una “adaptación adversaria” para eludir los filtros de calidad. La adaptación adversa significa actualizar continuamente su spam para identificar patrones que le permitan deslizarse por debajo del «umbral de infracción» de una plataforma.
La solución
Los investigadores proponen un sistema que deja de identificar incidentes individuales de spam para centrarse en detectar grupos de spam que señalan un origen común.
Los investigadores escriben:
«Este artículo presenta un sistema de defensa novedoso y escalable diseñado para que las plataformas de video en línea (OVP) identifiquen y finalicen grupos de cuentas coordinadas que exhiben una prevalencia de contenido sintético contradictorio».
Y la forma en que lo hacen es mirándolo desde dos puntos de vista:
- El componente del patrón de contenido
Se trata de un componente de aprendizaje automático que busca «narrativas repetitivas y basadas en plantillas comunes en ‘desechos’ generados por IA y «guiones generados por IA» (es decir, texto/diálogo). Examinan específicamente la escala identificando «comportamientos de publicación no humanos de alta frecuencia característicos de los scripts automatizados». - El componente de infraestructura
Esto utiliza los algoritmos de Google para analizar «señales de infraestructura patentada» para identificar grupos de cuentas que estadísticamente probablemente se originen en la misma organización o script de software de automatización.
Detalles del sistema de terminación de clúster escalable (S-CTS)
En lugar de mirar un solo video sospechoso de forma aislada, el sistema utiliza un enfoque doble de aprendizaje automático para detectar redes enteras de cuentas automatizadas (“bot-nets”) que están inundando la plataforma con spam de baja calidad generado por IA. Por lo tanto, el objetivo pasa de identificar casos individuales de spam a identificar múltiples cuentas separadas que pertenecen a los mismos spammers o scripts de software automatizados.
El sistema analiza “señales a nivel de infraestructura y patrones de comportamiento inorgánicos” para agrupar cuentas relacionadas en “Grupos de Generación”. Los clústeres de generación son grupos de cuentas que probablemente utilicen la misma API o script.
El documento explica:
“El enfoque aprovecha una arquitectura multifacética que incorpora dos componentes centrales de aprendizaje automático:
un robusto detector de bot-net coordinado (a través de la relación de cuentas)
y un clasificador de patrones sintéticos.
Fundamentalmente, introducimos una capa avanzada de mejora de la IA que utiliza modelos de lenguaje grande (LLM), especializados mediante adaptación de bajo rango (LoRA) y optimización automática de avisos (APO), para lograr una comprensión semántica rápida y de alta precisión de las tendencias emergentes de spam sintético”.
¿Funciona S-CTS?
Sí, los datos de sus pruebas muestran que el sistema tiene un «impacto significativo» al detectar «grupos» de spam con un alto nivel de exactitud (precisión).
Ellos escriben:
“Los datos de las pruebas demuestran el impacto significativo del sistema, lo que resulta en la terminación exitosa de grupos con alta precisión que comprenden canales de generadores de spam sintético.
Además, la automatización impulsada por LLM mejora significativamente la eficiencia operativa, lo que resulta en importantes ganancias en la eficiencia de la revisión humana. Este trabajo detalla un diseño de sistema crítico que proporciona escalabilidad esencial y resiliencia adversaria contra ataques generativos sofisticados”.
Comidas para llevar
Algunos de los datos interesantes de este trabajo de investigación son:
- Los filtros de calidad pueden verse abrumados por una avalancha de spam.
- Se cita que Sentence-BERT se utiliza para detectar spam generado por IA.
- El sistema escalable de terminación de clústeres es un enfoque único para identificar spam a nivel de clúster.
- Google puede adaptarse rápidamente al spam generado por IA con la Adaptación de bajo rango (LoRA) y la Optimización automática de avisos (APO).
Esta investigación, Detección escalable de slop sintético adversario y abuso coordinado de medios: un sistema de defensa multimodal habilitado por LoRA, (PDF) muestra la variedad de técnicas que describe Google para identificar el spam generado por IA, incluido el spam de texto y video.
Imagen destacada de Shutterstock/Shutterstock AI
