OpenAI volvió a frenar el entrenamiento de sus modelos más recientes después de detectar nuevos comportamientos inesperados de agentes de inteligencia artificial. Los sistemas habían sido diseñados para recopilar información de sitios del gobierno de Estados Unidos, pero en algunos casos fueron más allá de las instrucciones que habían recibido.
En uno de los episodios, los agentes encontraron claves de desarrollador de una API utilizada para acceder a datos del gobierno. En otro, información pública fue publicada en otro sitio de internet sin que esa acción estuviera contemplada en las indicaciones originales. La compañía aseguró que los incidentes no expusieron información reservada, pero decidió detener el entrenamiento hasta contar con nuevas medidas de seguridad.
OpenAI informó que retomará el proceso “cuando tengamos la confianza de que contamos con salvaguardas adicionales”. También anticipó que podría volver a suspender el entrenamiento en el futuro si aparecen nuevos problemas a medida que avance la tecnología.
Esto no les gusta a los autoritarios
El ejercicio del periodismo profesional y crítico es un pilar fundamental de la democracia. Por eso molesta a quienes creen ser los dueños de la verdad.
Qué hicieron los agentes de OpenAI
Uno de los episodios ocurrió con información del Departamento de Educación de Estados Unidos. Los agentes encontraron claves de acceso para desarrolladores, aunque finalmente solo recopilaron datos que ya eran públicos.
Además, la organización Transluce sostuvo que agentes que parecían provenir de OpenAI intentaron hackear, sin éxito, un sitio del Departamento de Educación. La compañía no confirmó ese episodio. Desde el organismo oficial indicaron que no encontraron evidencia de que el sitio o sus bases de datos hubieran sido afectados.
Otro caso involucró a la Comisión de Bolsa y Valores de Estados Unidos (SEC). Allí los agentes encontraron información pública y después la difundieron en otro lugar de internet, pese a que esa acción no estaba contemplada en las instrucciones que habían recibido.
Qué son los agentes de inteligencia artificial y quién responde por sus acciones
El vocero de la SEC, Kurt Hopfenspirger, aseguró que no se accedió a información no pública.
La decisión de OpenAI se produce tres meses después de otra pausa en el desarrollo de sus modelos. En julio, la compañía había suspendido parte del entrenamiento luego de que se conociera un ciberataque contra la startup de inteligencia artificial Hugging Face.
Su director ejecutivo, Sam Altman, sostuvo que aquel episodio continúa siendo “el evento más grave que hemos visto”. OpenAI también difundió otros informes sobre comportamientos que calificó como inesperados o preocupantes.
La discusión por las auditorías de la inteligencia artificial
Los nuevos episodios volvieron a poner en el centro del debate una pregunta que todavía no tiene una respuesta común: quién debe controlar la seguridad de los modelos más avanzados de inteligencia artificial.
Los responsables de OpenAI y Anthropic plantearon que estos sistemas deberían atravesar pruebas independientes antes de ser lanzados. Sin embargo, algunos especialistas cuestionan que sean las propias compañías las que definan qué organismos deben auditarlas y bajo qué parámetros.
El ingeniero de Anthropic Jacob Coxon pidió este mes una pausa en el desarrollo de sistemas cada vez más avanzados. Después de su renuncia, planteó la necesidad de evitar que modelos “superhumanos” puedan escapar del control de quienes los desarrollan.
OpenAI también sostuvo que hacen falta auditores independientes para revisar los avances de los principales laboratorios si el gobierno estadounidense no establece una regulación específica.
Estados Unidos ya cuenta con un organismo federal encargado de evaluar algunos modelos de inteligencia artificial: el Centro de Estados Unidos para Estándares e Innovación en IA (CAISI). También existen organizaciones privadas que realizan evaluaciones de seguridad, aunque todavía no hay estándares universales comparables con los que existen en sectores como la aviación o las finanzas.
Andrew Strait, exintegrante del Instituto de Seguridad de IA del Reino Unido, advirtió justamente sobre esa falta de criterios comunes para medir la seguridad de estos sistemas.
La pelea entre las empresas y los reguladores
Conrad Stosz, exdirector de CAISI y actual responsable de gobernanza de Transluce, cuestionó que los grandes laboratorios de inteligencia artificial no reclamen una mayor intervención del organismo gubernamental creado para evaluar estos modelos.
Según su planteo, las compañías proponen desarrollar sus propios parámetros de auditoría y seleccionar a los evaluadores. El problema, señaló, es determinar hasta qué punto esos especialistas pueden mantener su independencia si dependen del acceso que les conceden las propias empresas.
La discusión también tiene una dimensión económica. OpenAI, Anthropic y otras compañías necesitan grandes cantidades de capital para sostener el desarrollo de modelos cada vez más costosos, mientras el sector tecnológico se prepara para nuevas inversiones y posibles salidas a bolsa.
Harrison Rolfes, analista de PitchBook, interpretó los pedidos de regulación y seguridad como parte de una estrategia para mejorar la relación de estas empresas con los inversores. También planteó que los grandes laboratorios podrían beneficiarse si consiguen instalarse como las opciones más seguras frente a competidores más pequeños.
Trump rechaza nuevas regulaciones
El debate ocurre además en un momento en que la administración de Donald Trump mantiene una posición contraria a imponer nuevas regulaciones que puedan frenar el desarrollo de la inteligencia artificial en Estados Unidos.
Trump cuestionó las advertencias sobre los riesgos de estos sistemas y sostuvo que Estados Unidos debe mantener su ventaja tecnológica frente a China. Al mismo tiempo, esta semana acordó con el presidente chino, Xi Jinping, compartir información sobre los peligros de la IA y coordinar esfuerzos vinculados con la seguridad.
La inteligencia artificial y la ficción de la autonomía
La inteligencia artificial se convirtió en uno de los motores del crecimiento de la economía estadounidense y también en un área estratégica de competencia con China. En ese contexto, las empresas del sector buscan ampliar sus inversiones mientras Washington debate hasta dónde debe llegar la supervisión estatal.
Los riesgos que ya plantean los sistemas de IA
Los episodios de OpenAI no son aislados. Otros laboratorios también informaron casos en los que sus modelos actuaron fuera de los entornos de prueba o interactuaron con sitios externos de maneras que no estaban previstas.
Algunos especialistas advierten, además, que el debate no debería concentrarse únicamente en escenarios futuros de riesgo extremo. Sarah Shoker, exresponsable del equipo de geopolítica de OpenAI e investigadora de la Universidad de California en Berkeley, señaló problemas que ya existen, como el impacto ambiental de los centros de datos, la vigilancia, los hackeos y el uso militar de la inteligencia artificial.
Daniel Kokotajlo, exintegrante de OpenAI, expresó su preocupación por un avance de la tecnología más rápido que los mecanismos de control. Entre los riesgos que mencionó están el uso de IA para desarrollar armas biológicas y su posible relación con conflictos militares.
LB/AF
