Стэнфорд создал копию ChatGPT менее чем за 600 долларов

Полгода назад за развитием больших языковых моделей следили только исследователи и ученые. Но запуск ChatGPT в конце прошлого года ударил по человечеству ракетой: теперь машины могут общаться так же, как люди. Они могут писать тексты и даже программный код в головокружительном множестве предметных областей за считанные секунды, часто на очень высоком уровне. Как показывает запуск GPT-4, они совершенствуются со стремительной скоростью, и они способны коренным образом преобразовать человеческое общество, как мало какие другие технологии, потенциально автоматизируя ряд рабочих задач (особенно среди белых воротничков), что люди ранее считали невозможным.

Многие другие компании, в частности Google, Apple, Meta, Baidu и Amazon, не слишком отстают, и их ИИ скоро наводнят рынок, привязываясь ко всем возможным приложениям и устройствам. Языковые модели уже есть в поисковой системе Bing и скоро появятся в остальных. Они будут в машине, в телефоне, в телевизоре и будут ждать на другом конце линии каждый раз при попытке позвонить в компанию. Вскоре мы увидим их в роботах.

Небольшое утешение заключается в том, что OpenAI и остальные из этих крупных компаний осознают безумный потенциал этих машин для спама, дезинформации, создания вредоносных программ, целенаправленного преследования и всевозможных других вариантов использования, которые, по мнению большинства людей, сделают мир гораздо хуже. Они тратят месяцы и месяцы на то, чтобы вручную ограничить эти возможности перед запуском. Генеральный директор OpenAI Сэм Альтман (Sam Altman) — один из многих, обеспокоенных тем, что правительства действуют недостаточно быстро, чтобы возводить заборы вокруг ИИ во имя общественного блага.

А как насчет языковой модели, которую можно построить самостоятельно за 600 баксов? Группа исследователей из Стэнфорда сделала именно это, и ее впечатляющие результаты показывают, насколько быстро весь этот сектор и его потрясающие возможности могут быстро выйти из-под контроля.

Исследовательская группа из Стэнфорда начала с языковой модели Meta с открытым исходным кодом LLaMA 7B — самой маленькой и дешевой из нескольких доступных моделей LLaMA. Предварительно обученная на триллионе «токенов», эта маленькая языковая модель имела определенные заложенные возможности, но в большинстве задач она значительно отставала от ChatGPT. Дело в том, что основная стоимость и главное конкурентное преимущество моделей GPT в значительной степени связаны с огромным количеством времени и человеческих ресурсов, которые OpenAI вложил в последующее обучение. Одно дело прочитать миллиард книг, и совсем другое — пережевать большое количество пар вопросов и ответов, которые учат этих ИИ тому, в чем будет состоять их настоящая работа.

Когда модель LLaMA 7B была запущена и работала, команда из Стэнфорда попросила GPT взять 175 пар инструкций/выводов, написанных человеком, и начать генерировать больше в том же стиле и формате, по 20 за раз. Это было автоматизировано с помощью одного из услужливо предоставленных API-интерфейсов OpenAI, и за короткое время у команды было около 52 000 примеров разговоров, которые можно было использовать для постобучения модели LLaMA. Генерация этих массовых обучающих данных стоила менее 500 долларов США.

Затем они использовали эти данные для точной настройки модели LLaMA — процесс, который занял около трех часов на восьми компьютерах с облачной обработкой A100 емкостью 80 ГБ. Это стоило менее 100 долларов США.

Затем они протестировали получившуюся модель, которую назвали Alpaca, в сравнении с базовой языковой моделью ChatGPT в различных областях, включая написание электронной почты, социальные сети и инструменты повышения производительности. Alpaca выиграла 90 из этих тестов, GPT — 89.

«Мы были весьма удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций», — пишет команда. «Помимо использования этого набора статических оценок, мы также тестировали модель Alpaca в интерактивном режиме и обнаружили, что Alpaca часто ведет себя аналогично text-davinci-003 [GPT-3.5] на различных наборах входных данных. Мы признаем, что наша оценка может быть ограничена по масштабу и разнообразию».

Далее команда сказала, что они могли бы сделать это дешевле, если бы хотели оптимизировать процесс. Также стоит отметить, что любой, кто хочет воспроизвести ИИ, теперь получил доступ к гораздо более мощному GPT 4.0, а также к нескольким более мощным моделям LLaMA, которые можно использовать в качестве основы, и, конечно же, нет необходимости останавливаться на 52 000 вопросов.

Команда из Стэнфорда опубликовала на Github 52 000 вопросов, использованных в этом исследовании, а также код для создания дополнительных вопросов и код, который они использовали для тонкой настройки модели LLaMA. Команда отмечает, что «мы еще не настроили модель Alpaca, чтобы она была безопасной и безвредной», и просит, чтобы любой, кто устанавливает ее, сообщал о проблемах безопасности и этики, которые обнаружатся.

Так что же может помешать практически любому создать собственный искусственный интеллект сейчас, за сотню баксов или около того, и тренировать по своему усмотрению? В условиях обслуживания OpenAI сказано: «Вы не можете… использовать выходные данные Сервисов для разработки моделей, конкурирующих с OpenAI». И Meta говорит, что на данном этапе разрешает академическим исследователям использовать LLaMA только по некоммерческим лицензиям, хотя это спорный вопрос, поскольку вся модель LLaMA просочилась на 4chan через неделю после ее анонса.

Еще одна группа говорит, что им удалось устранить стоимость облачных вычислений, выпустив на Github больше кода, который может работать на Raspberry Pi, и завершить процесс обучения в течение 5 часов на одной видеокарте nVidia RTX 4090.

Что все это значит? Теперь можно создавать неограниченное количество неконтролируемых языковых моделей — людьми, обладающими знаниями в области машинного обучения, которым наплевать на условия или пиратство программного обеспечения — за гроши.

Это также мутит воду для коммерческих ИИ-компаний, работающих над разработкой собственных языковых моделей; если так много времени и затрат уходит на этап после обучения, и эта работа может быть украдена за время, необходимое для ответа на 50 или 100 000 вопросов, имеет ли смысл компаниям продолжать тратить эти деньги?

А для остальных из нас: трудно сказать, но удивительные возможности этого программного обеспечения, безусловно, могут быть полезны авторитарному режиму, или фишинговым операциям, или спамерам, или любому количеству других изворотливых личностей.

Джинн выпущен из бутылки, и кажется, что его уже невероятно легко воспроизвести и переобучить. Держитесь за шляпы.