Anthropic, la empresa estadounidense de inteligencia artificial creadora del modelo Claude, advirtió a sus inversores que esta tecnología podría presentar "riesgos existenciales para la humanidad", según informó el Financial Times. La advertencia se conoce en medio de un renovado debate sobre los riesgos vinculados con la inteligencia artificial y el comportamiento, en algunos casos impredecible, de los modelos más avanzados.
Anthropic advirtió a sus inversores que la IA podría generar "riesgos existenciales para la humanidad"
La empresa creadora de Claude alertó a inversores sobre los riesgos de la inteligencia artificial, mientras su CEO, Dario Amodei, mantiene diferencias con Donald Trump sobre su desarrollo.
-
OpenAI retrasó el lanzamiento de uno de sus modelos por problemas de seguridad y alineación
-
Los futuros de Wall Street ensayan un rebote, mientras el petróleo se mantiene por debajo de los u$s100
Archivo. Anthropic vuelve a alertar sobre los riesgos de desarrollar la IA sin salvaguardas.
Durante la última semana, varios de los principales referentes de la industria de IA pidieron extremar la vigilancia sobre estas tecnologías durante una reunión en la ONU. Entre ellos estuvo el cofundador y CEO de Anthropic, Dario Amodei, quien incluso se comprometió a ralentizar unilateralmente el desarrollo de sus modelos.
En paralelo, OpenAI retrasó esta semana el lanzamiento de su nuevo modelo -GPT-6.1 Astra- por preocupaciones vinculadas a la ciberseguridad y el alineamiento de los nuevos modelos.
La frase apocalíptica fue publicada en un folleto informativo preparado por Anthropic para su salida a bolsa muestra además el fuerte nivel de inversión que requiere el crecimiento de la compañía. Según el documento, la empresa registró el año pasado una pérdida de explotación de más de u$s8.000 millones. Al mismo tiempo, alcanzó una facturación de alrededor de u$s4.600 millones y prevé gastar u$s518.000 millones en los próximos años para sostener su expansión.
La compañía, con sede en San Francisco, estaba valorada en u$s965.000 millones en mayo y prepara una salida a bolsa que se prevé récord.
La cena de Trump y Amodei
En paralelo a la advertencia incluida en el documento para los inversores, Amodei se reunió el domingo por la noche con Donald Trump, según un funcionario de la Casa Blanca. El encuentro reunió a dos figuras con posiciones enfrentadas respecto de la seguridad de la inteligencia artificial y representó su primera reunión privada después de meses de tensiones entre el CEO de Anthropic y la administración estadounidense por cuestiones relacionadas con la seguridad de las herramientas de IA de la compañía.
Trump había anticipado que hablaría con Amodei sobre sus recientes pedidos para ralentizar el desarrollo de nuevos modelos. “Vamos a hablar de ello”, declaró a un periodista al margen de un torneo de golf cerca de Chicago. “Yo estoy a favor de: ‘Adelante y ganemos’“.
Al referirse al potencial de la inteligencia artificial, el presidente estadounidense agregó: “De hecho, es más grande que internet, y estamos liderando y construyendo infraestructuras por valor de billones de dólares. ¿Y por qué deberíamos renunciar a eso?”.
La reunión se produjo además después de nuevas informaciones sobre actividades no autorizadas realizadas por modelos de OpenAI, entre ellas la intrusión en un sistema del gobierno australiano y los intentos de acceder a decenas de sitios web de organismos gubernamentales y universidades estadounidenses.
A última hora del viernes, OpenAI anunció que suspendería el entrenamiento de sus modelos más avanzados después de descubrir que uno de sus sistemas de IA autónoma había salido de un entorno de pruebas seguro y había llegado a internet.
Estos episodios se sumaron a otros incidentes de seguridad revelados desde julio por grandes desarrolladores de inteligencia artificial, entre ellos OpenAI, Anthropic y Meta Platforms Inc. Los casos generaron nuevos pedidos para establecer normas sobre IA por parte de líderes mundiales, como el secretario general de las Naciones Unidas, Antonio Guterres, además de legisladores estadounidenses y ejecutivos e investigadores de la industria tecnológica.
Las diferencias entre Trump y el CEO de Anthropic
La cena reunió a dos posturas muy distintas - al menos en sus discursos públicos - sobre el camino que deberá seguir el desarrollo de la inteligencia artificial. Mientras que el mandatario aseguró que "quien gana la IA, gana", en referencia a la competencia con China, el CEO de Anthropic lleva tiempo advirtiendo sobre los riesgos existenciales de esta tecnología y llevó el debate sobre su seguridad con un ensayo publicado el 12 de septiembre.
En ese texto, Amodei prometió ralentizar el desarrollo de los modelos más avanzados y pidió una mayor regulación. Su postura fue respaldada por rivales como el CEO de OpenAI, Sam Altman, y el fundador de SpaceXAI, Elon Musk.
Trump, en cambio, restó importancia a los temores sobre escenarios apocalípticos, a los que calificó de "farsa", y rechazó los pedidos de mayor coordinación internacional sobre inteligencia artificial, a los que definió como "una conspiración globalista".
Después del ensayo de Amodei, Trump publicó una serie de mensajes en redes sociales en los que se opuso a nuevas medidas de control o a cualquier ralentización del desarrollo de la IA. Uno de esos mensajes mencionó directamente al CEO de Anthropic.
La tensión entre la empresa y la administración también quedó expuesta durante la cena de Estado del jueves en la Casa Blanca, organizada para recibir al presidente chino Xi Jinping. Amodei fue uno de los pocos CEO de alto perfil de Silicon Valley que no asistió. Entre los presentes estuvieron Altman, Musk y el CEO de Nvidia, Jensen Huang.




