Datos Rápidos

• Investigadores del MIT, Northeastern y Meta encontraron que los modelos de IA a veces priorizan la estructura de la frase sobre el significado.
• Las pruebas demostraron que indicaciones sin sentido pero gramaticalmente familiares engañaron a la IA para dar respuestas reales.
• Esta falla ayuda a explicar por qué algunos “jailbreaks” e inyecciones de indicaciones en IA funcionan.
• Los hallazgos se presentarán en la conferencia NeurIPS este mes.
• Los secretos exactos de entrenamiento de los modelos comerciales de IA siguen siendo confidenciales, lo que dificulta auditar el problema.

Cuando la Sintaxis Gana al Sentido: La Trampa de la IA

Imagina intentar abrir una bóveda no con una llave, sino imitando el ritmo de una contraseña. Ese es el curioso truco que los investigadores descubrieron recientemente con los modelos de lenguaje de inteligencia artificial - los mismos que impulsan ChatGPT y asistentes virtuales en todo el mundo. Al alimentar a estas IAs con preguntas que siguen patrones gramaticales familiares pero reemplazan palabras reales por disparates, los modelos aún pueden arrojar respuestas correctas. Es como si la IA estuviera más interesada en la forma de tu pregunta que en lo que realmente estás preguntando.

El Experimento: Disparates que Tienen Sentido para la IA

Este truco de manos de la IA fue expuesto por un equipo liderado por Chantal Shaib y Vinith M. Suriyakumar. Alimentaron a los modelos con indicaciones como “¿Rápidamente sienta París nublado?” - un revoltijo que sigue la gramática de “¿Dónde está París ubicado?” Sorprendentemente, la IA respondió “Francia” como si hubiera entendido una pregunta significativa. El equipo utilizó conjuntos de datos controlados, creando plantillas gramaticales únicas para diferentes temas, y reentrenó modelos de código abierto para ver cómo manejaban la diferencia entre sintaxis (estructura de la frase) y semántica (significado real).

Lo que encontraron: los modelos de lenguaje pueden depender en exceso de estos patrones, especialmente cuando sus datos de entrenamiento vinculan ciertas estructuras con determinados temas o respuestas. Esto abre una puerta trasera, permitiendo que atacantes o usuarios ingeniosos eludan las medidas de seguridad que deberían bloquear consultas dañinas o prohibidas.

La Historia se Repite: La Evolución de los "Jailbreaks" en IA

No es la primera vez que el cerebro obsesionado con patrones de la IA ha sido explotado. Desde el auge de los grandes modelos de lenguaje, hackers e investigadores han competido para encontrar formas de “liberar” a las IAs - engañándolas para que revelen secretos, ignoren reglas o generen contenido dañino. Los primeros ataques implicaban reformulaciones indirectas, fragmentos de código o idiomas extranjeros. Ahora, esta nueva investigación muestra que incluso los disparates pueden funcionar si llevan el disfraz gramatical adecuado.

Informes de OpenAI y Google han destacado el juego del gato y el ratón entre los ingenieros de seguridad de IA y los diseñadores de indicaciones adversarias. Cada nuevo parche es respondido con una nueva trampa. Los hallazgos más recientes sugieren que la propia forma en que estas IAs aprenden - devorando vastos océanos de texto y buscando patrones - las hace vulnerables a ser engañadas por la estructura más que por el significado.

Por Qué Importa: Confianza, Seguridad y la Carrera Armamentista de la IA

Para empresas y gobiernos que dependen de la IA para filtrar discursos de odio, estafas o consejos peligrosos, esto es más que un fallo técnico - es un punto ciego de seguridad. Si los atacantes pueden usar trucos de sintaxis para burlar los filtros automáticos, todo, desde la moderación de contenido hasta la detección de fraudes, está en riesgo. Y con las recetas exactas detrás de los modelos comerciales mantenidas en secreto, la verdadera magnitud del problema es difícil de medir o solucionar.

WIKICROOK

• Sintaxis: La sintaxis es el conjunto de reglas que gobiernan cómo se organizan las palabras o símbolos para crear enunciados claros y significativos en un idioma.
• Semántica: La semántica es el estudio del significado en el lenguaje o los símbolos, centrándose en lo que realmente se transmite más allá de la mera disposición de las palabras.
• Inyección de Indicaciones: La inyección de indicaciones es cuando los atacantes introducen entradas dañinas a una IA, haciendo que actúe de maneras no previstas o peligrosas, a menudo eludiendo las salvaguardas normales.
• Jailbreak (IA): Jailbreak (IA) significa manipular una IA para eludir sus restricciones de seguridad, logrando que actúe de formas que sus creadores no pretendían ni permitían.
• Gran Modelo de Lenguaje (LLM): Un Gran Modelo de Lenguaje (LLM) es una IA entrenada para comprender y generar texto similar al humano, utilizada a menudo en chatbots, asistentes y herramientas de contenido.