SentinelOne ha desarrollado el primer benchmark de ingeniería inversa a largo plazo para modelos de inteligencia artificial (IA) avanzados, usando el malware Fast16 como caso de prueba. Este malware, diseñado en 2005 para sabotear software de ingeniería LS-DYNA vinculado al programa nuclear iraní, sirvió para evaluar la capacidad de modelos como GPT-5.5, GPT-5.6 Sol, GLM-5.2 y Opus 4.x para sostener una investigación compleja y prolongada.
Por qué importa: Este benchmark revela las limitaciones actuales de los modelos IA para investigaciones técnicas profundas, subrayando la necesidad de supervisión humana en análisis de malware sofisticado.
Lo esencial
- Fast16 es un malware de 2005 usado para sabotaje nuclear, similar a Stuxnet.
- Solo GPT-5.6 Sol completó las ocho etapas del benchmark de investigación.
- Los modelos restantes se detuvieron antes, evidenciando falta de recuperación a escala de proyecto.
Benchmark de ingeniería inversa con Fast16
SentinelOne diseñó un benchmark que no evalúa tareas aisladas, sino la capacidad de un modelo IA para mantener una investigación coherente a través de ocho etapas crecientes. Cada etapa presenta evidencia que contradice conclusiones previas, exigiendo que el modelo corrija y adapte su análisis de forma integral.
Fast16, malware que interfiere con LS-DYNA, fue elegido por su complejidad técnica y relevancia histórica en ciberataques vinculados a programas nucleares.
Resultados y desempeño de los modelos IA
Entre los modelos evaluados, GPT-5.6 Sol fue el único capaz de completar todas las etapas del benchmark, realizando tres pruebas con diferentes niveles de esfuerzo en razonamiento. Sin embargo, cometió errores técnicos significativos y aceptó controles de calidad débiles.
Modelos como GPT-5.5, GLM-5.2 y Opus 4.7 y 4.8 lograron análisis locales sólidos pero no avanzaron más allá de las primeras fases. GPT-5.5 ni siquiera superó la etapa inicial, y los modelos Opus tendieron a concluir prematuramente.
