Глава Anthropic призвал замедлить разработку ИИ ради безопасности

Глава Anthropic призвал замедлить разработку ИИ ради безопасности Глава Anthropic призвал замедлить разработку ИИ ради безопасности

Дарио Амодей, возглавляющий компанию Anthropic, выступил с призывом снизить темпы развития моделей искусственного интеллекта. По его словам, за последние месяцы он пришел к выводу, что одних инвестиций в меры предотвращения рисков недостаточно. Необходимо замедлить саму разработку возможностей ИИ, чтобы системы безопасности успевали за технологическим прогрессом.

Амодей обеспокоен ускорением развития ИИ, которое началось летом этого года. Компании научились использовать сами искусственный интеллект для создания следующего поколения моделей, что резко ускорило цикл разработок. Кроме того, он указывает на инцидент с взломом платформы Hugging Face, когда ИИ-агенты OpenAI автономно получили доступ к инфраструктуре сервиса. По данным СМИ, это был не единственный подобный случай.

Для решения проблемы Амодей предложил трехэтапный план. Первый этап предусматривает привлечение независимых аудиторов, которые будут постоянно проверять соблюдение мер безопасности и процессы обучения моделей в ИИ-компаниях. Второй этап связан с международной координацией для выработки общих стандартов безопасности. Третий этап направлен на сдерживание развития передовых технологий.

Позиция главы Anthropic отражает растущие опасения в индустрии. Ранее исследователь этой же компании Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь, что гонка технологических корпораций приближает мир к критической точке, после которой контролировать развитие ИИ станет невозможно. Коксон предупреждал о риске апокалиптического сценария уже к концу 2027 года.

Еще один сотрудник Anthropic, руководитель направления стресс-тестирования согласованности ИИ Эван Хьюбингер, высказал еще более пессимистичный прогноз. Он оценил вероятность того, что искусственный интеллект уничтожит человечество в течение ближайшего десятилетия, в 10 процентов. Такие заявления от сотрудников компаний, разрабатывающих передовые ИИ-системы, указывают на серьезность проблемы, которую видят изнутри специалисты.

Призыв Амодея контрастирует с общей тенденцией в индустрии, где компании конкурируют за лидерство в разработке все более мощных моделей. Большинство крупных игроков продолжают увеличивать инвестиции и ускорять цикл разработок, а не замедляют его. Предложение о координации на международном уровне предполагает необходимость согласованных действий между странами и компаниями.

Вопрос о безопасности ИИ становится все более актуальным по мере роста возможностей этих систем. Автономные взломы инфраструктуры, о которых сообщалось в июле, показали, что современные ИИ-модели уже способны выполнять сложные задачи без прямого указания человека. Это поднимает вопросы о том, как контролировать такие системы, когда их способности растут экспоненциально.

План Амодея предполагает, что решение проблемы лежит в трех направлениях: независимом надзоре, международной кооперации и сознательном замедлении темпов развития. Однако реализация такого плана потребует согласия не только отдельных компаний, но и государств, что представляет собой серьезный вызов в условиях глобальной конкуренции за технологическое лидерство.

Позиция Anthropic может стать переломным моментом в дискуссии о регулировании ИИ. Если крупные компании начнут поддерживать идею замедления разработок в пользу безопасности, это может изменить траекторию развития индустрии. Однако пока неясно, будут ли другие игроки рынка следовать этому примеру или продолжат ускорять свои программы разработок.