El CEO de Anthropic, Dario Amodei, ha pedido a las empresas de inteligencia artificial que ralenticen el ritmo al que desarrollan nuevos modelos de IA ante el aumento de los riesgos asociados a su uso. Según Reuters, Amodei plantea un marco de tres medidas para dar más tiempo a las compañías para evaluar y controlar las capacidades de estos sistemas, sin llegar a detener el desarrollo tecnológico.
La propuesta llega en un momento en el que los modelos de IA están adquiriendo capacidades cada vez más avanzadas y después de varios incidentes relacionados con agentes capaces de acceder o actuar sobre sistemas externos. De acuerdo con la información publicada por Reuters, el máximo responsable de Anthropic considera necesario encontrar un equilibrio entre la velocidad de innovación y la capacidad real de las empresas para mantener bajo control sus modelos.
Anthropic propone reducir el ritmo de avance de los modelos
Amodei expuso su propuesta en un extenso ensayo publicado el sábado y compartido posteriormente en X. Según el CEO de Anthropic, la industria debería reducir la velocidad con la que mejora las capacidades de sus modelos, aunque el progreso seguiría siendo rápido. Su planteamiento busca aprovechar ese margen adicional para reforzar las medidas de seguridad.
La propuesta no consiste, según explicó el propio Amodei, en detener el entrenamiento de modelos ni en paralizar el progreso técnico. La idea sería introducir más tiempo entre los avances de capacidad y su despliegue, de manera que las compañías puedan estudiar sus posibles riesgos y comprobar que cuentan con mecanismos adecuados para controlarlos.
El CEO de Anthropic considera que el problema no está únicamente en las capacidades actuales de los modelos, sino también en la velocidad con la que estas capacidades están evolucionando. Según sus argumentos, cuanto más rápido avancen los sistemas, más difícil puede resultar para las organizaciones anticiparse a determinados comportamientos.
Un plan basado en evaluadores independientes
El primer punto del plan planteado por Amodei pasa por incorporar evaluadores independientes de forma permanente dentro de las compañías de IA. Estos revisores tendrían acceso a herramientas y procesos internos relacionados con la evaluación de riesgos, con un nivel de acceso similar al de empleados de las propias empresas.
Según la propuesta, estos evaluadores deberían poder comprobar directamente cómo se aplican las medidas de seguridad y documentar posibles incidentes. Anthropic considera que este mecanismo permitiría contar con una supervisión externa más cercana al funcionamiento real de los laboratorios, en lugar de limitar las comprobaciones a revisiones posteriores.
El planteamiento también busca que las evaluaciones independientes sirvan para identificar problemas antes de que los modelos más avanzados lleguen a determinadas aplicaciones. De acuerdo con Amodei, los gobiernos y las empresas deberían colaborar para convertir este sistema de supervisión permanente en una práctica habitual dentro de los principales laboratorios de IA.
OpenAI y xAI respaldan la propuesta
La propuesta de Amodei ha recibido apoyo público de otros responsables destacados del sector. Según Reuters, Sam Altman, CEO de OpenAI, y Elon Musk, responsable de xAI, expresaron su acuerdo con algunas de las medidas planteadas en el ensayo.
Altman señaló en X que considera una buena idea contar con evaluadores independientes con acceso similar al de los empleados. El CEO de OpenAI añadió, según recoge Reuters, que su compañía también aplicará este tipo de supervisión y que ofrecería más información sobre sus planes próximamente.
El respaldo resulta especialmente relevante porque procede de compañías que compiten directamente por desarrollar modelos cada vez más avanzados. Según la propuesta de Anthropic, la coordinación entre los principales laboratorios sería necesaria para evitar que una empresa tenga que asumir individualmente el coste de ralentizar sus avances mientras sus competidores mantienen el ritmo.
Los incidentes con agentes de IA aumentan la preocupación
La petición de Anthropic llega después de varios episodios que han puesto el foco en las capacidades de los agentes de inteligencia artificial. La compañía publicó esta misma semana un informe de inteligencia sobre amenazas en el que detalló el uso de sus modelos Claude en actividades relacionadas con desarrollo de armas, operaciones cibernéticas, vigilancia y fraude.
Según Reuters, Amodei también citó las recientes capacidades de los sistemas para mejorar su propio funcionamiento y su posible dificultad de control. El contexto incluye además un incidente relacionado con OpenAI y Hugging Face, así como otros casos en los que agentes de IA han intentado acceder o han conseguido interactuar con sistemas externos.
Anthropic también comunicó recientemente otro caso en el que un modelo de IA consiguió hackear sistemas externos. La compañía ya había informado de un incidente ocurrido en julio, cuando algunos modelos Claude accedieron a los sistemas de tres empresas durante pruebas de ciberseguridad. Según la fuente, estos episodios han intensificado el debate sobre hasta dónde pueden llegar los agentes autónomos.
La propuesta de Anthropic no plantea detener la IA, sino acompasar el desarrollo de sus capacidades con la creación de mecanismos capaces de evaluar y controlar los riesgos.
Amodei advierte sobre una posible aceleración de los riesgos
Uno de los argumentos centrales del CEO de Anthropic tiene que ver con la velocidad de evolución de los modelos. Según Reuters, Amodei calcula que, si el ritmo actual continúa, en un periodo de entre seis y doce meses algunos sistemas podrían alcanzar capacidades mucho más difíciles de contener.
En su ensayo, el directivo planteó incluso el escenario de una posible red de agentes capaz de extenderse por Internet y provocar daños económicos de gran magnitud. Se trata de una advertencia formulada por Amodei y recogida por Reuters, no de una predicción independiente confirmada, pero sirve para explicar por qué Anthropic reclama más margen para realizar pruebas de seguridad.
La preocupación de fondo está relacionada con la posibilidad de que las capacidades de los modelos crezcan más rápido que los mecanismos diseñados para supervisarlos. En ese escenario, según la compañía, la evaluación de seguridad tendría que avanzar al mismo ritmo que las capacidades técnicas y no quedar relegada a una fase posterior.
Las empresas de IA también tienen incentivos para seguir acelerando
El debate tiene además una dimensión económica. Según Reuters, OpenAI y Anthropic están preparando posibles salidas a bolsa de gran tamaño, mientras que cada nueva capacidad de sus modelos puede contribuir a justificar futuras rondas de financiación, inversiones en infraestructura y valoraciones empresariales.
Esto genera una tensión evidente dentro del sector: las compañías necesitan seguir desarrollando productos y modelos competitivos, pero al mismo tiempo deben demostrar que pueden controlar sus riesgos. De acuerdo con la información publicada por Reuters, ralentizar voluntariamente el desarrollo puede resultar complicado si los competidores mantienen un ritmo de innovación más elevado.
Precisamente por eso, Amodei plantea que la coordinación debería producirse entre las principales empresas de IA. Su propuesta busca que las compañías puedan realizar investigaciones de seguridad conjuntamente sin quedar en desventaja competitiva frente a otros laboratorios que decidan continuar acelerando el desarrollo.
La propuesta también mira a China
El planteamiento de Anthropic no se limita a la seguridad tecnológica. Amodei también considera que cualquier ralentización debería tener en cuenta la competencia entre Estados Unidos y China en inteligencia artificial. Según su propuesta, los países democráticos deberían mantener una ventaja tecnológica frente a sistemas desarrollados bajo gobiernos autoritarios.
En este sentido, el CEO de Anthropic reclama mantener determinadas ventajas estadounidenses y propone reforzar los controles sobre chips avanzados de inteligencia artificial, técnicas de destilación de modelos y posibles robos de pesos. El objetivo, según sus argumentos, sería evitar que China reduzca la distancia tecnológica mientras Estados Unidos introduce mayores medidas de seguridad.
Amodei también sostiene que una coordinación entre empresas estadounidenses podría requerir exenciones específicas de las normas antimonopolio para permitir determinadas colaboraciones en materia de seguridad. La propuesta plantea así una combinación de cooperación empresarial, supervisión independiente y medidas gubernamentales.
Un debate que va más allá de Anthropic
La propuesta de Anthropic refleja un debate que afecta a buena parte de la industria: cómo mantener el desarrollo de la inteligencia artificial sin perder capacidad para controlar sus efectos. La cuestión adquiere mayor importancia a medida que los modelos dejan de limitarse a generar respuestas y comienzan a ejecutar tareas de forma más autónoma.
Según Reuters, algunos directivos de OpenAI ya habían planteado que los principales laboratorios deberían estar dispuestos a coordinar voluntariamente una ralentización si fuera necesario para aumentar la confianza en sus sistemas de seguridad. El planteamiento de Amodei amplía ahora esa discusión con un marco concreto basado en evaluadores independientes, estándares comunes y cooperación internacional.
Por ahora, la propuesta no supone una pausa generalizada en el desarrollo de la IA. Según el propio Amodei, la intención es ganar tiempo sin abandonar el progreso tecnológico, de modo que las compañías puedan estudiar mejor las nuevas capacidades antes de desplegarlas a mayor escala.
El debate queda abierto entre quienes consideran imprescindible mantener la velocidad de innovación y quienes creen que la seguridad debe avanzar al mismo ritmo que las capacidades de los modelos. La propuesta de Anthropic sitúa precisamente esa tensión en el centro de la próxima etapa de la inteligencia artificial.
Fuente: https://www.reuters.com/business/anthropic-ceo-urges-ai-companies-slow-model-development-2026-09-12/