Новая отставка из компаний, разрабатывающих самые передовые в мире системы искусственного интеллекта, вновь вывела дискуссию о безопасности ИИ в центр внимания.
27-летний британский исследователь Джейкоб Коксон, на протяжении последних трёх лет работавший над обучением передовых моделей ИИ в OpenAI и Anthropic, объявил, что покинул Anthropic и полностью ушёл из индустрии искусственного интеллекта.
Причина решения Коксона гораздо серьёзнее обычной смены карьеры.
Исследователь говорит, что опасается: гонка ведущих мировых компаний в области ИИ за создание систем, способных к самосовершенствованию, может привести к последствиям, которые выйдут из-под контроля человечества.
Обвинив OpenAI и Anthropic в безответственном поведении, Коксон заявил, что обе компании участвуют в гонке к самосовершенствующемуся сверхинтеллекту и в этом процессе «играют нашими жизнями».
ИЗ OPENAI В ANTHROPIC
Джейкоб Коксон работал в индустрии ИИ прежде всего над этапом предварительного обучения моделей, известным как «pretraining».
Это один из важнейших этапов разработки ИИ, в ходе которого большие языковые модели приобретают базовые способности, используя огромные объёмы данных.
По словам Коксона, в течение последних трёх лет он проводил исследования в этой области и в OpenAI, и в Anthropic.
В начале 2026 года он ушёл из OpenAI и перешёл в Anthropic. Коксон отметил, что при выборе Anthropic важную роль сыграло внимание компании к безопасности ИИ.
Однако после работы в Anthropic его опасения не исчезли.
По мнению Коксона, в Anthropic понимают серьёзность рисков ИИ, однако из-за конкуренции с другими лабораториями компании сложно в одностороннем порядке замедлить работу над передовыми системами.
«К КОНЦУ 2027 ГОДА СИТУАЦИЯ МОЖЕТ ВЫЙТИ ИЗ-ПОД КОНТРОЛЯ»
Одно из наиболее заметных заявлений Коксона касалось сроков развития ИИ.
В разговоре с The Wall Street Journal Коксон сказал, что при реализации наиболее агрессивных сценариев к концу 2027 года некоторые процессы уже могут выйти из-под контроля.
Главная тревога Коксона связана с тем, что системы ИИ могут стать достаточно способными, чтобы участвовать в собственном развитии.
В таком сценарии передовая система ИИ сможет не только выполнять задания людей, но и в значительной степени помогать создавать новые системы искусственного интеллекта.
Теоретически это может ускорить развитие ИИ и затруднить для людей отслеживание роста возможностей систем.
«САМОСОВЕРШЕНСТВУЮЩИЙСЯ СВЕРХИНТЕЛЛЕКТ»
Одно из центральных понятий этой дискуссии — «self-improving superintelligence», то есть самосовершенствующийся сверхинтеллект.
Такие системы, как нынешние ChatGPT или Claude, не являются независимыми сверхинтеллектами, которые напрямую и неограниченно развиваются сами по себе, выходя из-под контроля людей.
Предупреждение Коксона касается гораздо более мощных систем, которые могут появиться в будущем.
Исследователь опасается, что будущие системы ИИ могут достичь чрезвычайно высоких возможностей в разработке программного обеспечения, кибербезопасности, научных исследованиях и создании новых моделей искусственного интеллекта.
При этом важно подчеркнуть, что речь идёт не о событиях, которые уже произошли, а о сценариях рисков, связанных с системами, способными появиться в будущем.
«РАЗРАБОТЧИКИ ИИ ДЕЙСТВИТЕЛЬНО СЕРЬЁЗНО ОТНОСЯТСЯ К РИСКУ»
Одно из самых резонансных утверждений Коксона касалось атмосферы внутри компаний, занимающихся искусственным интеллектом.
Исследователь сказал, что некоторые специалисты по разработке ИИ действительно считают: передовой искусственный интеллект может создать риск, способный привести к катастрофическим последствиям для человечества к концу десятилетия.
По словам Коксона, руководители компаний и старшие исследователи в публичных заявлениях используют более осторожные формулировки, тогда как на закрытых обсуждениях внутри компаний риски обсуждаются гораздо жёстче.
После этих заявлений Коксона новые высказывания из Anthropic расширили дискуссию.
РЕЗОНАНСНОЕ ЗАЯВЛЕНИЕ РУКОВОДИТЕЛЯ НАПРАВЛЕНИЯ ALIGNMENT В ANTHROPIC
Руководитель направления Alignment Science в Anthropic Эван Хубингер, отвечая на заявления Коксона, представил общественности собственную оценку рисков.
Хубингер заявил, что лично оценивает вероятность сценария, при котором передовой ИИ в течение ближайшего десятилетия может привести к вымиранию человечества, более чем в 10 процентов.
Хубингер также обратил внимание на фундаментальную проблему, которую Anthropic пока не удалось решить в связи со сверхинтеллектом.
По словам исследователя, компания работает над решением проблемы «alignment», которая должна обеспечить безопасное соответствие сверхинтеллекта человеческим целям, однако окончательного решения у неё пока нет.
Alignment означает сохранение соответствия целей и поведения системы ИИ человеческим задачам, ценностям и ограничениям безопасности.
Хубингер также отметил, что риск, исходящий от нынешних моделей, невысок, подчеркнув, что главная тревога связана с гораздо более мощными системами будущего, которые смогут ускорять собственное развитие.
ОПАСЕНИЯ НЕ ОГРАНИЧИВАЮТСЯ ANTHROPIC
Опасения по поводу темпов гонки ИИ звучат не только внутри Anthropic.
Высокопоставленные сотрудники OpenAI в последнее время также стали делать более жёсткие предупреждения о рисках, которые могут создавать передовые системы ИИ.
Главный научный сотрудник OpenAI Якуб Пахоцки призвал проявлять «чрезвычайную осторожность» в отношении последствий быстрого развития машинного интеллекта и выступил за координацию между компаниями и правительствами.
Генеральный директор OpenAI Сэм Альтман также заявил о необходимости быстро принимать меры против рисков кибербезопасности, которые могут создавать особенно передовые системы ИИ.
Таким образом, внутри компаний, разрабатывающих самые мощные в мире системы ИИ, всё чаще звучат призывы более осторожно управлять темпами развития этой технологии.
ГЛАВНЫЙ ВОПРОС: СМОГУТ ЛИ КОМПАНИИ ЗАМЕДЛИТЬСЯ?
По мнению Джейкоба Коксона, проблема заключается не только в политике безопасности OpenAI или Anthropic.
Главная проблема — конкуренция между компаниями.
Опасение, что конкуренты могут обойти компанию, если она замедлит разработку передового ИИ по соображениям безопасности, побуждает компании продолжать гонку разработок.
Поэтому Коксон считает, что проблему нельзя решить решением только одной компании.
Исследователь считает, что необходимо обсуждать такие варианты, как соглашения между лабораториями ИИ об ограничении темпов развития, вмешательство правительств и, при необходимости, временная приостановка разработки возможностей передовых моделей.
НОВАЯ ЭПОХА В ГОНКЕ ИИ?
Отставка Джейкоба Коксона сама по себе не доказывает, что искусственный интеллект близок к выходу из-под контроля.
Однако примечательно то, что предупреждение исходит не от критика, наблюдающего за технологиями со стороны, а от исследователя, который непосредственно работал над передовыми моделями в ведущих мировых лабораториях ИИ.
Более того, публичное выражение некоторых опасений Коксона ведущими исследователями безопасности Anthropic выводит дискуссию о безопасности ИИ на новый уровень.
Сегодня нет оснований считать, что ChatGPT, Claude и другие крупные системы ИИ уже стали сверхинтеллектами, самостоятельно захватившими контроль.
Дискуссия сосредоточена на том, смогут ли люди своевременно создать технические и правовые механизмы контроля над системами следующего поколения, если они будут развиваться гораздо быстрее нынешних.
После отставки Коксона перед технологическим миром встаёт именно этот вопрос:
смогут ли компании, занимающиеся искусственным интеллектом, позволить себе замедлиться в гонке к сверхинтеллекту, или давление конкуренции приведёт технологию вперёд быстрее, чем будут созданы меры безопасности?
Недвижимость
Транспорт
Запасные части, аксессуары, оборудование и тюнинг
Секонд-хенд и новые покупки
Строительное оборудование и промышленность
Поставщики частных уроков
Ищущие работу
Царство животных
Искатели помощников
Долевое владение
АвтомобильАвтомобильное оборудование
Мать и ребенокСтроительная техникаСредняя школа и университет
