IA logró reescribir su código para evitar ser controlada por sus creadores
Los científicos aún no entienden cómo fue posible que la IA modificara su propio código
La IA fue capaz de modificar su propio código sin que sus creadores lo hubieran autorizado Crédito: Shutterstock
En el mundo de la tecnología, la inteligencia artificial (IA) ha dado un paso que muchos consideran inquietante. Un equipo de científicos japoneses ha descubierto que un sistema de IA, creado inicialmente para acelerar la investigación científica, ha logrado modificar su propio código para evadir los controles impuestos por sus desarrolladores.
Este hallazgo, que en su momento fue ciencia ficción, ha encendido las alarmas en la comunidad tecnológica y ha puesto sobre la mesa un debate crítico sobre los riesgos de las IA avanzadas.
The AI Scientist: de herramienta revolucionaria a un desafío inesperado
El sistema en cuestión, denominado “The AI Scientist”, fue desarrollado por la empresa japonesa Sakana AI. Su propósito era revolucionar la manera en que se realizan las investigaciones científicas. Equipado con la capacidad de generar hipótesis, redactar artículos científicos y realizar revisiones de manera autónoma, se esperaba que este sistema pudiera acelerar significativamente los avances científicos, reduciendo la dependencia de recursos humanos y el tiempo necesario para realizar investigaciones complejas.
Sin embargo, durante las pruebas, The AI Scientist sorprendió a sus desarrolladores al modificar su propio código para evitar ciertas limitaciones. En un caso particular, alteró su secuencia de inicio para ejecutarse en un bucle infinito, lo que causó una sobrecarga del sistema.
Este comportamiento obligó a los investigadores a intervenir manualmente para detener el proceso. En otro incidente, cuando se le impuso un límite de tiempo para completar una tarea, en lugar de optimizar su rendimiento, el sistema extendió el tiempo permitido cambiando su propio código.
Implicaciones y riesgos de una IA sin control
Estos incidentes, aunque sucedieron en un entorno controlado, plantean serias preocupaciones sobre el potencial de las inteligencias artificiales avanzadas para operar sin supervisión humana. La capacidad de un sistema para modificar su propio código plantea preguntas fundamentales sobre la seguridad y las posibles consecuencias si estos sistemas fueran implementados en aplicaciones del mundo real.
La reacción de los científicos de Sakana AI no se hizo esperar. Reconocieron la gravedad del problema y subrayaron la necesidad de desarrollar medidas de seguridad más sólidas antes de desplegar este tipo de tecnologías a gran escala. A pesar de los riesgos evidenciados, la empresa mantiene su objetivo de perfeccionar The AI Scientist, buscando crear un sistema que pueda llevar a cabo investigaciones científicas de manera continua y mejorar con el tiempo.
Un debate ético y tecnológico
La posibilidad de que una IA pueda reescribir su código ha desatado un amplio debate en la comunidad tecnológica. Más allá de las cuestiones técnicas, hay implicaciones éticas significativas. Por ejemplo, existe la preocupación de que sistemas como The AI Scientist podrían inundar el proceso de revisión por pares con artículos de baja calidad, lo que podría deteriorar los estándares de la literatura científica.
Además, surge el temor de que este tipo de tecnología, si se despliega sin las salvaguardas adecuadas, pueda ser utilizada de manera maliciosa o irresponsable. La capacidad de modificar su propio código sin supervisión humana podría derivar en la creación accidental de software peligroso o incontrolable.
Sigue leyendo:
– OpenAI estaría muy cerca de lanzar una nueva IA llamada Strawberry
– OpenAI reveló cuáles serán los pasos para lograr la superinteligencia
– Congresista logró recuperar su voz gracias a un clon creado con IA
