Redacción / Grupo Cantón
OpenAI y Anthropic han planteado desacelerar el desarrollo de sistemas avanzados para mejorar sus controles de seguridad y permitir que gobiernos y sociedad se adapten.
Berlín.— La carrera por el desarrollo de la IA y que sea cada vez más potente, enfrenta una nueva discusión entre las principales empresas del sector: si el ritmo de avance debe moderarse para garantizar la seguridad de los modelos y dar tiempo a que gobiernos y sociedad se adapten a sus capacidades.
El debate cobró fuerza luego de que Dario Amodei, director ejecutivo de Anthropic, propusiera reducir deliberadamente la velocidad con la que las empresas mejoran sus sistemas. Horas después, Sam Altman, director ejecutivo de OpenAI, respaldó la idea y afirmó que su compañía adoptará una de las medidas planteadas por su competidor.
Altman ya había advertido que la industria podría necesitar avanzar con mayor cautela.
“Tenemos que marcar el ritmo del desarrollo de la IA para darnos tiempo de que la sociedad se prepare ante estos nuevos niveles de capacidad”, señaló previamente, al referirse a incidentes registrados durante las pruebas de modelos avanzados.
La preocupación aumentó tras varios casos en los que agentes de IA accedieron a sistemas externos o mostraron comportamientos inesperados durante evaluaciones. OpenAI también informó que pausó parte del entrenamiento de modelos avanzados y ralentizó temporalmente sus trabajos para revisar los mecanismos de alineación, seguridad y monitoreo.
También te puede interesar: Incendio en basurero municipal Felipe Carrillo Puerto avanza a 60% de liquidación
Seguridad y supervisión
Entre las propuestas que han ganado respaldo en la industria se encuentran:
-
Pruebas obligatorias para los modelos que superen determinados niveles de capacidad.
-
Auditorías independientes antes de su lanzamiento comercial.
-
Refuerzo de los sistemas de ciberseguridad y contención.
-
Reportes obligatorios sobre incidentes relevantes.
-
Mayor supervisión sobre agentes capaces de operar de manera autónoma.
OpenAI pidió al Congreso de Estados Unidos establecer requisitos nacionales de seguridad basados en las capacidades de los sistemas más avanzados. La propuesta contempla evaluaciones externas, defensas de ciberseguridad y protocolos para informar incidentes.
El objetivo es evitar que los modelos sean desplegados antes de que las empresas puedan comprender y controlar adecuadamente sus riesgos. También se busca reducir posibles afectaciones relacionadas con la desinformación, el empleo y el uso de herramientas capaces de ejecutar tareas sin supervisión humana constante.
Regulación, el punto de conflicto
Aunque existe una coincidencia creciente sobre la necesidad de reforzar la seguridad, las compañías aún no tienen una postura común sobre cómo hacerlo.
Algunas respaldan acuerdos voluntarios, códigos de conducta y compromisos entre laboratorios. Otras consideran que la autorregulación puede ser insuficiente y piden normas gubernamentales que se apliquen por igual a los desarrolladores más avanzados.
La coordinación entre empresas también enfrenta obstáculos legales. Altman ha señalado que cualquier desaceleración conjunta tendría que contar con la participación del gobierno para evitar problemas relacionados con las leyes antimonopolio.
El dilema consiste en encontrar un punto medio entre el crecimiento económico que promete la inteligencia artificial y la obligación de reducir riesgos que podrían afectar la ciberseguridad, el mercado laboral, la circulación de información y la estabilidad global.
Únete a nuestro canal de noticias por WhatsApp:
