¡Cuidado! Trojan Puzzle; un malware que entrena a los asistentes de IA para que te sugieran código malicioso

Los riesgos de que las bases de datos de los asistentes de inteligencia artificial puedan ser intoxicados por virus existen. Así lo acaba de demostrar un grupo de investigadores de las universidades de California y Virginia en los Estados Unidos, quienes crearon un ataque llamado Trojan Puzzle, el cual tiene la capacidad de complicar el trabajo de programación.

La información se dio a conocer en un trabajo del portal Bleeping Computer. Los autores explican las consecuencias negativas que tiene la implementación de código malicioso en la fase de entrenamiento de los sistemas de inteligencia artificial, hasta el punto de ser un enemigo peligroso para los programadores que trabajan con exceso de confianza.

Descubrimos a Trojan Puzzle; un malware que “corrompe” los asistentes de IA

Los profesionales que trabajan en el campo de la inteligencia artificial se valen de algunas herramientas con el objetivo de lograr un código más limpio. Sin embargo, elegir cualquier aplicación puede traer consecuencias desastrosas, hasta el punto de corromper por completo los datos que se han insertado. El resultado será que las aplicaciones creadas tendrán puertas traseras que los delincuentes informáticos aprovecharían al máximo.

Trojan Puzzle attack trains AI assistants into suggesting malicious codehttps://t.co/5kP1VmPh76

— Jayson E. Street 💙 🤗💛 Hacker – Helper – Human (@jaysonstreet) January 12, 2023

La tarea que tuvieron los investigadores de las universidades de California y Virginia fue diseñar una aplicación que enviará sugerencias de código malicioso. Toda vez que se introduce en el sistema, reproduce cargas que son peligrosas, lo que acelera los ataques en cadena. Es cierto que se trata de un experimento. Pero las conclusiones deben alertar a los programadores de los riesgos envueltos en la actividad.

Hasta el momento, los ingenieros pensaban que las herramientas de análisis estático actuaban como detector del código perjudicial. Sin embargo, el nuevo estudio sugiere que hay nuevas formas de sortearlo con el cambio de una palabra específica en las líneas de programación. El efecto quedó comprobado después que introdujeran 6GB de ficheros en los que iban intrusos 160 archivos maliciosos. Al final, en un 21% de las ocasiones, la compilación sugerida era peligrosa.

Es por todos conocido que la comunidad se vale de los asistentes de codificación Copilot de GitHub y ChatGPT de OpenAI como métodos confiables para generar códigos limpios. Justamente es de esos sitios de donde podrían surgir problemas que afectarían el software de inteligencia artificial.

Trojan Puzzle representa un nuevo e interesante reto para las inteligencias artificiales

En la medida que avanza el desarrollo de la inteligencia artificial, aparecen riesgos informáticos que deben ser resueltos por los desarrolladores. Los nuevos métodos son con herramientas más sofisticadas, por lo que eluden sin muchos inconvenientes las barreras que se colocan para ingresar sin ser detectados. Ocultos a la vista, causan estragos de gran proporción.

Envenenar los datos almacenados en un ordenador, permitirá a los delincuentes manipular a su antojo la información utilizada en el aprendizaje automático. Un hacker podría etiquetar lotes de archivos de acuerdo con sus intereses y engañar a la red neuronal de forma que suponga que algo nocivo es inofensivo. Esas muestras son muy difíciles de atrapar a simple vista, por lo que todo el trabajo realizado se perdería con una sola acción.

Additionally, if the data is “poisoned,” meaning it has been intentionally or unintentionally corrupted or fed with wrong inputs, the algorithm may generate incorrect outputs, which can have serious consequences (Think AI Applications in Healthcare, CyberSecurity, Retail,…).

— Mehmet Gonullu (@m_gonullu) January 3, 2023

Según lo explicado por los expertos Cheng Shin-ming y Tseng Ming-huei, si un pirata logra envenenar solo 0,7% del sistema este se vuelve más vulnerable. Con la acción se crea una puerta trasera que elimina las medidas de protección que se establecieron en la configuración inicial. Ese es un tema que preocupa a las empresas y por eso han destinado una gran cantidad de recursos para desarrollar modelos de prevención potentes que garanticen estabilidad.

Es conveniente que las agencias se aseguren de que los sistemas que desarrollan no puedan ser corrompidos con facilidad para crear sesgos. En caso de que se utilicen servicios de terceros, debe quedar establecido el método de protección que se utiliza, de manera que se compruebe la validación de los modelos. Una buena inversión es crear tecnología que permita detectar el envenenamiento de los datos y saque a flote los espacios en los que existen vulnerabilidades.

Como ha quedado demostrado en el caso de Trojan Puzzle, la mayoría de las defensas para los ataques avanzados son ineficientes si no se reconocen los archivos de carga útil que están involucrados. El reto que tienen por delante los científicos es desarrollar un filtro que detecte todas las líneas de código dañadas o que vayan en esa dirección. Solo así podrán detectar si se ha inyectado algún fichero malicioso.

Otra alternativa es utilizar la clasificación NLP, con la finalidad de descifrar si un lenguaje ha cambiado su estructura original desde que comenzó el aprendizaje automático. Allí es donde se utiliza el modelaje de temas, con la descomposición de las matrices que no tienen efectos negativos. Para ello se deben aplicar algunas técnicas específicas que permitan arrojar los mejores resultados.