POR GARANCE BURKE
SAN FRANCISCO (AP) — Mientras los titanes tecnológicos advertían a un mundo cansado de la IA que sus propios sistemas avanzados podrían poner en peligro a la humanidad, surgió la pregunta: ¿qué tienen que ganar?
La respuesta quizá esté en los esfuerzos de las empresas por ganar puntos políticos de cara a las elecciones legislativas de mitad de mandato en Estados Unidos y en el dinero que los principales laboratorios de inteligencia artificial y sus inversionistas podrían ganar con las esperadas salidas a bolsa en un mercado bursátil nervioso.
Los directores generales de Anthropic y OpenAI declararon recientemente que los modelos más avanzados de Estados Unidos son tan potentes que resultan peligrosos, y que deben regularse y someterse a pruebas independientes antes de su lanzamiento.
En un inusual gesto de unidad, han esbozado escenarios alarmantes en ensayos, publicaciones en redes sociales y discursos ante las Naciones Unidas.
En el camino, están moldeando la conversación sobre cómo debería controlarse su tecnología. Con su retórica, las empresas parecen buscar el favor del público y fijar los términos de sus propios protocolos de seguridad en un mercado no regulado, dijeron a The Associated Press expertos, analistas y exevaluadores del gobierno.
Esos objetivos quizá no coincidan exactamente con lo que buscaba el ingeniero de Anthropic Jacob Coxon cuando renunció este mes mediante una publicación en X, en la que pidió una pausa en el desarrollo tecnológico para evitar que sistemas “superhumanos” eludan el control de sus creadores.
Pero las empresas vieron su publicación como una oportunidad para destacar sus propios esfuerzos de seguridad y posicionarse como líderes cautelosos del mercado, justo cuando necesitan capital fresco antes de salir a bolsa en Wall Street.
El presidente Donald Trump ha rechazado la necesidad de nuevas regulaciones sobre IA, y ha desestimado las conversaciones sobre riesgos para la humanidad como un “ENGAÑO” diseñado para ayudar a China.
Un portavoz de Anthropic dijo, en respuesta a preguntas para esta historia, que la empresa lleva varios años pidiendo regulación. Una portavoz de OpenAI, Liz Bourgeois, señaló que la compañía pausó recientemente el entrenamiento de sus modelos más avanzados.
“La gente quiere saber que la IA se está desarrollando de forma segura, y eso empieza por lo que empresas como la nuestra hacemos por nuestra cuenta”, afirmó Bourgeois.
Los llamados a desacelerar cambian la conversación sobre los riesgos de la IA
Orientar la conversación hacia amenazas no comprobadas —y alejarla de asuntos divisivos como los impactos ambientales de los centros de datos, incidentes de hackeo sin control, la vigilancia masiva impulsada por IA y el uso de sistemas de IA en la guerra— coloca a Silicon Valley en una posición más cómoda, dijo Sarah Shoker, quien anteriormente dirigió el equipo de geopolítica de OpenAI.
“Otra vez estamos hablando de riesgo existencial, mientras relegamos una serie de otros riesgos críticos para la seguridad que existen hoy. Si miras el uso de la IA en la tecnología militar, puedes ver que estos sistemas ya se usan para matar gente”, sostuvo Shoker, investigadora sénior no residente del Risk & Security Lab de la Universidad de California en Berkeley.
A medida que las empresas de IA han pasado de construir chatbots a avanzados “modelos del mundo” de IA con conciencia 3D, el debate se ha intensificado sobre cómo deberían probarse sus tecnologías.
Incidentes problemáticos han mostrado que las principales empresas de IA no logran autorregularse ni diseñar experimentos seguros.
En meses recientes, agentes de IA de laboratorios líderes hackearon sitios web externos después de que se les permitiera escapar de los entornos aislados de entrenamiento de la empresa, interactuaron con sitios web del gobierno de Estados Unidos de maneras inesperadas y parecieron lograr un avance matemático, sólo para enfrentar acusaciones de que habían robado el trabajo de matemáticos.
Representantes de OpenAI dijeron recientemente a periodistas que han hablado con empresas de IA, incluidas Anthropic y Google, sobre pausar el desarrollo. También sostienen que necesitan auditores independientes para revisar el progreso de los laboratorios, si el gobierno no regula.
Los laboratorios líderes presionan por su idea de supervisión
Trump ha mostrado poco interés en regular la IA, que ha sido un motor importante del crecimiento económico reciente de Estados Unidos.
El propio presidente republicano ha cerrado acuerdos con empresas de Silicon Valley que vinculan más estrechamente la economía a sus éxitos.
El capitalista de riesgo de San Francisco David Sacks, quien copreside el Consejo de Asesores del presidente sobre Ciencia y Tecnología, ha desestimado los llamados a desacelerar la IA, calificándolos de alarmismo del “Complejo Industrial de los Catastrofistas”.
La realidad es que el gobierno de Trump ya evalúa algunos de los modelos de los gigantes tecnológicos a través de una agencia federal poco conocida, el Centro de Estados Unidos para Estándares e Innovación en IA.
El presidente demócrata Joe Biden creó la agencia en 2023, cuando fue presentada como un centro de intercambio para que los laboratorios presentaran voluntariamente modelos avanzados de IA para su prueba.
La agencia aún existe, pero desde entonces el campo se ha ampliado para incluir una variedad de firmas de evaluación independientes, como la organización sin fines de lucro METR, con sede en Berkeley, California, que el director ejecutivo de Anthropic, Dario Amodei, sugirió en un ensayo reciente que podría ayudar a examinar las prácticas de seguridad de su empresa.
Pero, a diferencia de sectores regulados como restaurantes, servicios financieros o aviación, no existen estándares universales sobre cómo probar la seguridad y la protección de los sistemas de IA, dijo Andrew Strait, quien recientemente dejó el Instituto de Seguridad de IA del Reino Unido, que trabajó con CAISI.
De manera notable, las empresas no están pidiendo más supervisión de la agencia gubernamental equipada para atender ese tipo de solicitudes, dijo Conrad Stosz, quien anteriormente dirigió CAISI. En cambio, están prometiendo crear sus propios parámetros de auditoría y elegir evaluadores específicos para que las califiquen.
Stosz ahora trabaja en uno de esos laboratorios de evaluación que ha colaborado con Anthropic, OpenAI y Google para probar sus sistemas, y además preside el Foro de Evaluadores de IA, que está elaborando mejores prácticas para el sector. Dijo que incluso el foro tiene dudas sobre lo que quieren Amodei y el director ejecutivo de OpenAI, Sam Altman.
“Muchos evaluadores están interesados en integrarse con los laboratorios y obtener mayor acceso, pero es un poco ambiguo qué significa evaluadores integrados”, dijo Stosz, ahora jefe de gobernanza en Transluce, que reveló la semana pasada que agentes de OpenAI hackearon sitios web gubernamentales de Estados Unidos y Australia.
“¿Podrán los evaluadores investigar a fondo, suponiendo que se conceda el acceso de una manera que no socave su independencia y credibilidad?”
Las empresas se posicionan como apuestas seguras
Para Harrison Rolfes, analista sénior de investigación en Pitchbook, los llamados a la cautela por parte de las empresas de IA parecen destinados a ganarse el favor de los inversionistas antes de las ofertas públicas y de las elecciones de mitad de mandato, cuando los vientos políticos podrían cambiar. Gobernadores demócratas ya se apresuran a mostrar que se toman en serio las advertencias.
Mientras tanto, los gigantes de la IA pueden frenar el crecimiento de competidores más pequeños al presentarse como la apuesta más segura para los inversionistas, así como para fabricantes de chips de IA y empresas tecnológicas como Nvidia y Google, que a su vez pueden beneficiarse de acuerdos que proporcionen potencia de cómputo a las grandes compañías de IA, dijo Rolfes.
“Están creando un muro o un foso dentro de este sector. (…) Es genial y todos van a ganar mucho dinero”, comentó Rolfes. “Hacia ahí veo que va esto: que las principales empresas del mundo creen su propio muro y luego usen la seguridad como la razón”.
No todas las empresas de IA respaldan una desaceleración. El director ejecutivo del fabricante de chips Nvidia, Jensen Huang, dijo en una conversación telefónica con Trump —una llamada que atendió en el escenario durante una conferencia— que coincide en que ha habido un alarmismo excesivo sobre la IA y que las empresas pueden elegir su propio ritmo.
Daniel Kokotajlo, quien dejó OpenAI en 2024 por preocupaciones similares a las de Coxon, dijo que sigue inquieto porque los sistemas de IA avanzan más rápido de lo que las empresas pueden controlar, y teme escenarios existenciales como el potencial de la IA para potenciar la creación de armas biológicas, una guerra nuclear u otras catástrofes.
“Todo este discurso en realidad es una forma de disipar y redirigir esta voluntad política que se ha acumulado, en lugar de canalizar esa voluntad política para hacer algo bueno”, dijo Kokotajlo, quien ahora dirige una organización de defensa de la seguridad de la IA y afirmó que asesoró a Coxon antes de que renunciara. “Por favor, simplemente no hagan lo que va a matarnos a todos”.
El redactor de AP Josh Boak en Washington contribuyó a este despacho.
