Генеральный директор Coinbase Брайан Армстронг заявил, что для снижения затрат при использовании искусственного интеллекта они перенаправляют запросы на более дешёвые модели. Армстронг отметил, что в некоторых случаях это позволяет примерно удерживать расходы на стабильном уровне, несмотря на быстрое увеличение использования токенов, сохраняя при этом эффективность.
Он подчеркнул, что хотя новейшие модели предлагают мощные возможности, они потребляют больше токенов. По его словам, пользователи обращаются к этим моделям только тогда, когда требуется максимальная вычислительная мощность.
Генеральный директор прогнозирует, что в течение следующих 12–18 месяцев 80% рабочих нагрузок будут выполняться на моделях, которые дешевле на 99%. По мнению Армстронга, самые продвинутые модели будут использоваться преимущественно в специализированных областях, таких как научные прорывы и управление агентами искусственного интеллекта.
В оценке Армстронга выделяется мнение, что ограничивающим фактором в области искусственного интеллекта всё больше становятся не улучшенные модели, а энергия и вычислительная мощность. Такой подход отличается от широко распространённого в технологической сфере принципа «используй больше токенов».
Это заявление привлекло внимание некоторых известных представителей технологической отрасли. Марк Андриссен отметил, что находит такой подход интересным, а соучредитель Hugging Face Жюльен Шомон подчеркнул, что перенаправление моделей в последнее время быстро развивается.
Генеральный директор Box Аарон Леви считает, что цифры Армстронга несколько преувеличены, но согласен, что в ближайшие годы использование искусственного интеллекта будет разделяться на высокоуровневые и крупномасштабные задачи. Соучредитель Harvey Уинстон Вайнберг также отметил, что «распределение интеллекта» в ИИ станет крайне важным.
Ранее в технологических кругах был популярен подход, ориентированный на более высокое использование токенов, однако в последнее время набирает силу взгляд, ориентированный на контроль затрат. В сообществе Y Combinator предпринимателей призывали не бояться использовать токены, а некоторые основатели считали, что сокращение токенов не нужно.
Соучредитель Glean Тони Джентилкор также поддержал мнение Армстронга. Джентилкор отметил, что технические специалисты уже знакомы с такой ситуацией, а главная неопределённость заключается в том, что финансовые рынки бесконечно предполагают цены Opus.