В условиях ускоряющейся конкуренции в области искусственного интеллекта компания Anthropic призвала к созданию координированной системы, способной при необходимости приостанавливать разработку передовых моделей. Компания предупредила, что технология может приблизиться к уровню, превышающему возможности контроля человечества.
Компания, стоящая за чат-ботом Claude, утверждает, что по мере того как продвинутые системы ИИ всё быстрее выполняют задачи, миру будет полезно иметь возможность замедлять или временно останавливать их развитие.
Anthropic объявила, что её внутренний исследовательский отдел будет изучать этот вопрос совместно с другими организациями и предпримет шаги для создания надёжного механизма замедления или остановки. Однако детали этих шагов пока не раскрываются.
По мнению компании, если текущие тенденции сохранятся и будет обеспечена достаточная вычислительная мощность, искусственный интеллект сможет самостоятельно проектировать и развивать свои последующие версии. В отрасли это известно как «рекурсивное самосовершенствование».
Anthropic признаёт, что это может принести значительные достижения в науке, здравоохранении и других сферах, но одновременно увеличивает риск ослабления человеческого контроля над системами ИИ.
В заявлении компании отмечается, что такое замедление даст социальным институтам и исследованиям по адаптации время, чтобы поспевать за развитием ИИ. Под адаптацией понимается обеспечение соответствия технологий человеческим ценностям и намерениям.
Предложенная модель координации предполагает, что ведущие лаборатории по разработке ИИ смогут подтверждать, что глобальные конкуренты действительно замедляют или останавливают работу. Это позволит предотвратить тайное опережение недобросовестных участников под видом координированного замедления.
Anthropic утверждает, что необходим глобальный совместный механизм, иначе менее осторожные игроки в отрасли могут ускориться, усиливая давление на компании и правительства.
Заявление компании совпало с периодом, когда Anthropic и OpenAI, разработчик ChatGPT, соревнуются в ожиданиях высокой оценки в связи с продажей акций и возможным выходом на биржу. Говорят, что рыночная стоимость Anthropic может приблизиться к триллиону долларов.
В то же время OpenAI в отдельном отчёте, опубликованном на той же неделе, заняла иную позицию. Компания заявила, что правила, меры безопасности и механизмы подотчётности в области ИИ должны разрабатываться не частными компаниями в одиночку, а демократическими правительствами.
OpenAI также подчеркнула, что решения о скорости инноваций в ИИ не должны оставаться в руках одной лаборатории, компании или частной группы интересов.
Предупреждение Anthropic последовало после публикации другого исследования учёных из Университета Торонто на этой неделе. Исследователи показали, что инструменты ИИ могут использоваться для создания нового ИИ-червя, который адаптирует стратегию атак при распространении с устройства на устройство.
Главный исследователь Николас Папернот отметил, что это доказывает, что угрозу безопасности представляют не только самые крупные и мощные языковые модели. Он также сообщил, что до публикации исследования проинформировал канадские органы кибербезопасности.
Исследователи разработали этого червя, используя открытый ИИ-инструмент, доступный и изменяемый разработчиками программного обеспечения. Папернот напомнил, что ранее киберпреступники в основном нацеливались на высокоценные объекты, такие как банковские системы, больницы, электросети, очистные сооружения и школы.
Однако, по словам Папернота, из-за доступности недорогих инструментов атаки под угрозой оказывается любое устройство с интернет-соединением. Исследователь отметил, что даже неиспользуемый старый ноутбук может стать отправной точкой цепочки атак на более крупные цели.
Папернот подчеркнул необходимость расширения сотрудничества между компаниями, государственными учреждениями и академическими исследователями для разработки новых методов защиты от атак с использованием ИИ.
Недвижимость
Транспорт
Запасные части, аксессуары, оборудование и тюнинг
Секонд-хенд и новые покупки
Строительное оборудование и промышленность
Поставщики частных уроков
Ищущие работу
Царство животных
Искатели помощников
Долевое владение
АвтомобильАвтомобильное оборудование
Мать и ребенокСтроительная техникаСредняя школа и университет
