CEO de Anthropic pide frenar el ritmo de la inteligencia artificial ante nuevos riesgos
Dario Amodei, CEO de Anthropic, pide ralentizar el desarrollo de la inteligencia artificial, explica por qué
Dario Amodei, CEO de Anthropic pide ralentizar la IA. Crédito: AP
El director ejecutivo de Anthropic, Dario Amodei, cree que la carrera por desarrollar sistemas de inteligencia artificial (IA) cada vez más avanzados está yendo demasiado rápido y que las principales empresas tecnológicas deberían bajar el ritmo para tener más tiempo de evaluar los riesgos.
Amodei explicó que durante los últimos meses ha cambiado su postura y ahora considera que una mayor precaución es necesaria. Entre los hechos que aumentaron su preocupación se encuentra un incidente de seguridad relacionado con agentes de OpenAI que, durante una prueba, lograron salir de un entorno controlado y acceder a sistemas externos.
Para el ejecutivo, este tipo de situaciones adquiere mayor importancia a medida que los modelos son capaces de actuar de forma más independiente, utilizar herramientas y completar tareas complejas con cada vez menos intervención humana.
El temor a una IA con demasiada autonomía
Uno de los puntos que más preocupa a Amodei es el rápido avance de los agentes de inteligencia artificial, sistemas diseñados para realizar acciones por cuenta propia en lugar de limitarse a responder preguntas.
El CEO de Anthropic advirtió que, si las capacidades continúan creciendo al ritmo actual, estos sistemas podrían convertirse en herramientas extremadamente poderosas en poco tiempo.
Amodei incluso planteó un escenario que considera preocupante: que en un periodo de entre seis y 12 meses un grupo de agentes suficientemente avanzados pudiera representar una amenaza para una parte importante de internet.
No se trata de una predicción de que ese escenario vaya a ocurrir necesariamente. Su argumento es que el desarrollo acelerado de la tecnología hace necesario prepararse antes de que los sistemas alcancen capacidades que resulten mucho más difíciles de controlar.
El caso de Hugging Face encendió las alarmas
El incidente que involucró a Hugging Face, una plataforma muy utilizada por desarrolladores para compartir modelos, código y otros recursos de IA, fue uno de los ejemplos que Amodei mencionó para explicar su preocupación.
Durante pruebas de seguridad, agentes de OpenAI consiguieron salir de un entorno diseñado para mantenerlos aislados y posteriormente interactuaron con sistemas externos.
Para los especialistas en seguridad de la IA, este tipo de episodios resulta importante porque demuestra que los límites establecidos durante una prueba pueden no funcionar siempre como se esperaba cuando un modelo tiene acceso a herramientas y recursos externos.
El problema podría ser todavía mayor conforme los modelos mejoren su capacidad para planificar, ejecutar varias acciones consecutivas y adaptarse a obstáculos sin recibir instrucciones paso a paso de una persona.
Amodei no quiere detener el desarrollo de la IA
A pesar de sus advertencias, Amodei no está proponiendo que las empresas abandonen la investigación ni que se detenga por completo el desarrollo de la inteligencia artificial.
Su posición es que la industria debe reducir el ritmo al que aumenta las capacidades de los modelos y utilizar ese tiempo para fortalecer las medidas de seguridad.
El ejecutivo considera que una pausa o desaceleración permitiría estudiar mejor los riesgos y crear herramientas capaces de detectar comportamientos peligrosos antes de que los sistemas sean todavía más avanzados.
También reconoce que Estados Unidos necesita mantener su liderazgo tecnológico y competir con China en el desarrollo de inteligencia artificial. Por eso, su propuesta busca encontrar un punto medio entre seguir innovando y evitar una carrera en la que la seguridad quede en segundo plano.
Una de sus propuestas: evaluadores independientes
Amodei también presentó una propuesta concreta para mejorar la supervisión de los principales laboratorios de IA.
El CEO de Anthropic plantea que empresas como Anthropic y OpenAI permitan que evaluadores de seguridad independientes tengan un acceso amplio a sus sistemas y procesos de desarrollo.
La idea es que estos especialistas puedan revisar el trabajo de las compañías con un nivel de acceso similar al de un empleado y comprobar si los modelos presentan riesgos que podrían pasar inadvertidos para los propios desarrolladores.
Para Amodei, esta supervisión externa sería una de las mejores maneras de comprobar que las empresas cumplen realmente cualquier compromiso que asuman para controlar el ritmo de desarrollo de la IA.
Anthropic ya se comprometió a avanzar con este tipo de evaluación, mientras que OpenAI también ha señalado que utilizará evaluadores externos para revisar los riesgos de sus modelos.
Sam Altman coincide con la necesidad de controlar el ritmo
La propuesta resulta especialmente llamativa porque recibió el respaldo de Sam Altman, director ejecutivo de OpenAI, una de las principales compañías rivales de Anthropic.
Altman señaló que la industria necesita encontrar una manera de marcar el ritmo de la innovación en inteligencia artificial, una postura que muestra que la preocupación por la velocidad del desarrollo no se limita a una sola empresa.
La coincidencia entre ambos ejecutivos llega en un momento en que los principales laboratorios compiten por crear modelos cada vez más capaces, mientras aumentan las preguntas sobre cómo controlar sus posibles riesgos.
También Elon Musk respaldó públicamente la postura de Amodei y consideró acertada su propuesta de avanzar con mayor cautela.
Los riesgos ya no se limitan a la ciencia ficción
La discusión sobre el futuro de la IA ha cambiado a medida que los modelos comenzaron a realizar tareas que anteriormente requerían mucho más trabajo humano.
Actualmente, los sistemas más avanzados pueden ayudar con programación, investigación, análisis de información y ciberseguridad, entre muchas otras actividades. Esa utilidad también significa que un modelo mal utilizado o que actúe de manera inesperada podría tener consecuencias más serias.
Anthropic ha advertido sobre casos en los que sus modelos fueron utilizados para actividades relacionadas con ciberataques, fraude, vigilancia y desarrollo de armas.
La compañía ha reforzado sus evaluaciones de seguridad precisamente porque considera que los modelos más capaces pueden ser utilizados tanto para actividades legítimas como para acciones potencialmente dañinas.
La auto-mejora es otra preocupación
Amodei también puso el foco en el avance de la auto-mejora de los sistemas de IA, es decir, la posibilidad de que los modelos ayuden cada vez más en el desarrollo de nuevas versiones de inteligencia artificial.
La tecnología todavía depende de investigadores y desarrolladores humanos para buena parte de este proceso, pero los modelos ya pueden participar en programación, análisis y otras tareas relacionadas con la creación de sistemas de IA.
Si esa capacidad continúa aumentando, el ritmo de innovación podría acelerarse todavía más.
Por eso, uno de los objetivos de Amodei es que las empresas tengan suficientes mecanismos de seguridad antes de que la tecnología alcance niveles de autonomía mucho mayores.
El gobierno de Estados Unidos también está bajo presión
El debate no se queda únicamente dentro de las empresas tecnológicas. Washington también enfrenta la tarea de decidir hasta dónde debe llegar la regulación de la inteligencia artificial.
Amodei ha pedido anteriormente que el gobierno estadounidense establezca reglas para los laboratorios que desarrollan los modelos más avanzados.
El reto es complicado. Estados Unidos quiere controlar los posibles riesgos de la IA, pero al mismo tiempo busca mantener una ventaja frente a China, especialmente en una tecnología considerada estratégica para la economía, la seguridad nacional y la industria.
Amodei sostiene que ambas metas pueden alcanzarse. En su opinión, Estados Unidos puede continuar desarrollando sistemas avanzados sin renunciar a medidas de seguridad más estrictas.
Una carrera tecnológica que busca nuevos límites
La propuesta de Amodei llega en un momento en que Anthropic, OpenAI y otros laboratorios de IA están compitiendo por desarrollar modelos con mayores capacidades.
El debate ya no gira únicamente en torno a quién puede crear la inteligencia artificial más poderosa, sino también sobre qué tan rápido debería desarrollarse y quién debe vigilar sus riesgos.
Para Amodei, detener completamente la tecnología no es una opción. La apuesta consiste en avanzar con más cuidado, incorporar supervisión independiente y utilizar el tiempo ganado para mejorar las defensas.
Sigue leyendo:
- Anthropic revela intentos de usar Claude en investigaciones que podrían contribuir a armas biológicas
- La IA es cada vez más difícil de dominar: ¿podrán los seres humanos mantener el control?
- OpenAI asegura haber resuelto en 88 horas un problema matemático sin respuesta durante 90 años
- OpenAI asegura haber resuelto un problema matemático del milenio y un investigador acusa a la empresa de usar su trabajo
