Ошибка!

Показать Ошибка!

Забыли пароль?

Ошибка!

Ошибка!

Скрыть Ошибка!

Скрыть Ошибка!

Забыли пароль? Напишите ваш email и мы отправим письмо с инструкциями.

Ошибка!

Обратно

Закрыть

Стэнфорд создал копию ChatGPT менее чем за 600 долларов

Стэнфорд создал копию ChatGPT менее чем за 600 долларов
Искусственный интеллект Alpaca во многих задачах работает так же, как удивительный ChatGPT, но он построен на модели языка с открытым исходным кодом и стоит менее 600 долларов США для обучения. Кажется, что эти богоподобные ИИ уже пугающе дешевы и их легко воспроизвести.


Полгода назад за развитием больших языковых моделей следили только исследователи и ученые. Но запуск ChatGPT в конце прошлого года ударил по человечеству ракетой: теперь машины могут общаться так же, как люди. Они могут писать тексты и даже программный код в головокружительном множестве предметных областей за считанные секунды, часто на очень высоком уровне. Как показывает запуск GPT-4, они совершенствуются со стремительной скоростью, и они способны коренным образом преобразовать человеческое общество, как мало какие другие технологии, потенциально автоматизируя ряд рабочих задач (особенно среди белых воротничков), что люди ранее считали невозможным.

Многие другие компании, в частности Google, Apple, Meta, Baidu и Amazon, не слишком отстают, и их ИИ скоро наводнят рынок, привязываясь ко всем возможным приложениям и устройствам. Языковые модели уже есть в поисковой системе Bing и скоро появятся в остальных. Они будут в машине, в телефоне, в телевизоре и будут ждать на другом конце линии каждый раз при попытке позвонить в компанию. Вскоре мы увидим их в роботах.

Небольшое утешение заключается в том, что OpenAI и остальные из этих крупных компаний осознают безумный потенциал этих машин для спама, дезинформации, создания вредоносных программ, целенаправленного преследования и всевозможных других вариантов использования, которые, по мнению большинства людей, сделают мир гораздо хуже. Они тратят месяцы и месяцы на то, чтобы вручную ограничить эти возможности перед запуском. Генеральный директор OpenAI Сэм Альтман (Sam Altman) — один из многих, обеспокоенных тем, что правительства действуют недостаточно быстро, чтобы возводить заборы вокруг ИИ во имя общественного блага.

А как насчет языковой модели, которую можно построить самостоятельно за 600 баксов? Группа исследователей из Стэнфорда сделала именно это, и ее впечатляющие результаты показывают, насколько быстро весь этот сектор и его потрясающие возможности могут быстро выйти из-под контроля.

Исследовательская группа из Стэнфорда начала с языковой модели Meta с открытым исходным кодом LLaMA 7B — самой маленькой и дешевой из нескольких доступных моделей LLaMA. Предварительно обученная на триллионе «токенов», эта маленькая языковая модель имела определенные заложенные возможности, но в большинстве задач она значительно отставала от ChatGPT. Дело в том, что основная стоимость и главное конкурентное преимущество моделей GPT в значительной степени связаны с огромным количеством времени и человеческих ресурсов, которые OpenAI вложил в последующее обучение. Одно дело прочитать миллиард книг, и совсем другое — пережевать большое количество пар вопросов и ответов, которые учат этих ИИ тому, в чем будет состоять их настоящая работа.

Когда модель LLaMA 7B была запущена и работала, команда из Стэнфорда попросила GPT взять 175 пар инструкций/выводов, написанных человеком, и начать генерировать больше в том же стиле и формате, по 20 за раз. Это было автоматизировано с помощью одного из услужливо предоставленных API-интерфейсов OpenAI, и за короткое время у команды было около 52 000 примеров разговоров, которые можно было использовать для постобучения модели LLaMA. Генерация этих массовых обучающих данных стоила менее 500 долларов США.

Затем они использовали эти данные для точной настройки модели LLaMA — процесс, который занял около трех часов на восьми компьютерах с облачной обработкой A100 емкостью 80 ГБ. Это стоило менее 100 долларов США.

Затем они протестировали получившуюся модель, которую назвали Alpaca, в сравнении с базовой языковой моделью ChatGPT в различных областях, включая написание электронной почты, социальные сети и инструменты повышения производительности. Alpaca выиграла 90 из этих тестов, GPT — 89.

«Мы были весьма удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций», — пишет команда. «Помимо использования этого набора статических оценок, мы также тестировали модель Alpaca в интерактивном режиме и обнаружили, что Alpaca часто ведет себя аналогично text-davinci-003 [GPT-3.5] на различных наборах входных данных. Мы признаем, что наша оценка может быть ограничена по масштабу и разнообразию».

Далее команда сказала, что они могли бы сделать это дешевле, если бы хотели оптимизировать процесс. Также стоит отметить, что любой, кто хочет воспроизвести ИИ, теперь получил доступ к гораздо более мощному GPT 4.0, а также к нескольким более мощным моделям LLaMA, которые можно использовать в качестве основы, и, конечно же, нет необходимости останавливаться на 52 000 вопросов.


Команда из Стэнфорда опубликовала на Github 52 000 вопросов, использованных в этом исследовании, а также код для создания дополнительных вопросов и код, который они использовали для тонкой настройки модели LLaMA. Команда отмечает, что «мы еще не настроили модель Alpaca, чтобы она была безопасной и безвредной», и просит, чтобы любой, кто устанавливает ее, сообщал о проблемах безопасности и этики, которые обнаружатся.

Так что же может помешать практически любому создать собственный искусственный интеллект сейчас, за сотню баксов или около того, и тренировать по своему усмотрению? В условиях обслуживания OpenAI сказано: «Вы не можете… использовать выходные данные Сервисов для разработки моделей, конкурирующих с OpenAI». И Meta говорит, что на данном этапе разрешает академическим исследователям использовать LLaMA только по некоммерческим лицензиям, хотя это спорный вопрос, поскольку вся модель LLaMA просочилась на 4chan через неделю после ее анонса.

Еще одна группа говорит, что им удалось устранить стоимость облачных вычислений, выпустив на Github больше кода, который может работать на Raspberry Pi, и завершить процесс обучения в течение 5 часов на одной видеокарте nVidia RTX 4090.

Что все это значит? Теперь можно создавать неограниченное количество неконтролируемых языковых моделей — людьми, обладающими знаниями в области машинного обучения, которым наплевать на условия или пиратство программного обеспечения — за гроши.

Это также мутит воду для коммерческих ИИ-компаний, работающих над разработкой собственных языковых моделей; если так много времени и затрат уходит на этап после обучения, и эта работа может быть украдена за время, необходимое для ответа на 50 или 100 000 вопросов, имеет ли смысл компаниям продолжать тратить эти деньги?

А для остальных из нас: трудно сказать, но удивительные возможности этого программного обеспечения, безусловно, могут быть полезны авторитарному режиму, или фишинговым операциям, или спамерам, или любому количеству других изворотливых личностей.

Джинн выпущен из бутылки, и кажется, что его уже невероятно легко воспроизвести и переобучить. Держитесь за шляпы.

Комментарии:

Макс Пиарим
Макс Пиарим 28.08.23 08:03

прикольно

Войдите на зайт или зарегистрируйтесь, чтобы оставлять комментарии!
-1
Цветы: как они влияют на нашу жизнь и эмоции

Цветы: как они влияют на нашу жизнь и эмоции

Цветы играют особую роль в жизни каждого человека.

Цветы играют особую роль в жизни каждого человека. Они не только радуют глаз своей красотой, но и оказывают глубокое влияние на наше эмоциональное и психическое состояние. Разнообразие видов и оттенков делает цветы универсальным инструментом для создания атмосферы гармонии и уюта в любом пространстве. А букеты из цветовстановятся прекрасным способом выразить чувства и подарить радость близким...
10.09.24 06:41
0
3
Техника Lenovo: надежность и долговечность при эксплуатации

Техника Lenovo: надежность и долговечность при эксплуатации

Покупка технического устройства - это процесс, в котором важно учитывать различные нюансы, напрямую связанные с базовыми характеристиками приспособления и его функциональностью.

Покупка технического устройства - это процесс, в котором важно учитывать различные нюансы, напрямую связанные с базовыми характеристиками приспособления и его функциональностью. Если речь о необходимости инвестировать свободные средства в обновление техники дома или в офисе, то тут лучше всего обращать внимание на изделия известных брендов. Технические приспособления с экономией места на располож...
15.07.24 05:25
0
2
Лучшие модели наушников JBL: обзор и характеристики

Лучшие модели наушников JBL: обзор и характеристики

JBL наушники широко известны высоким качеством звука и надёжностью, благодаря чему они завоевали доверие различных категорий пользователей — от меломанов до спортсменов.

JBL наушники широко известны высоким качеством звука и надёжностью, благодаря чему они завоевали доверие различных категорий пользователей — от меломанов до спортсменов. В этой статье мы представим подробный обзор лучших моделей наушников JBL и расскажем об их ключевых характеристиках, преимуществах и потенциальных недостатках. JBL Live 650BTNC: активное шумоподавление Наушники JBL Live 650BTNC ...
03.07.24 18:49
0
18
Причины роста популярности Астрономии и Космоса среди молодого поколения

Причины роста популярности Астрономии и Космоса среди молодого поколения

Астрономия и космос всегда привлекали внимание людей всех возрастов, но особенно ярко эта наука проявляется среди молодого поколения.

Астрономия и космос всегда привлекали внимание людей всех возрастов, но особенно ярко эта наука проявляется среди молодого поколения. Многие факторы объясняют популярность астрономии среди молодых людей: от увлекательных открытий в области космоса до влияния культурных произведений. Сериалы, фильмы и другие произведения искусства о космических приключениях играют значительную роль в формировании ...
25.02.24 17:55
0
3
Техника Lenovo: надежность и долговечность при эксплуатации

Техника Lenovo: надежность и долговечность при эксплуатации

Покупка технического устройства - это процесс, в котором важно учитывать различные нюансы, напрямую связанные с базовыми характеристиками приспособления и его функциональностью.

Покупка технического устройства - это процесс, в котором важно учитывать различные нюансы, напрямую связанные с базовыми характеристиками приспособления и его функциональностью. Если речь о необходимости инвестировать свободные средства в обновление техники дома или в офисе, то тут лучше всего обращать внимание на изделия известных брендов. Технические приспособления с экономией места на располож...
15.07.24 05:25
0
2
Лучшие модели наушников JBL: обзор и характеристики

Лучшие модели наушников JBL: обзор и характеристики

JBL наушники широко известны высоким качеством звука и надёжностью, благодаря чему они завоевали доверие различных категорий пользователей — от меломанов до спортсменов.

JBL наушники широко известны высоким качеством звука и надёжностью, благодаря чему они завоевали доверие различных категорий пользователей — от меломанов до спортсменов. В этой статье мы представим подробный обзор лучших моделей наушников JBL и расскажем об их ключевых характеристиках, преимуществах и потенциальных недостатках. JBL Live 650BTNC: активное шумоподавление Наушники JBL Live 650BTNC ...
03.07.24 18:49
0
3
e-Learning в цифрах: 6 общих фактов, много данных и прогнозы на ближайшее будущее

e-Learning в цифрах: 6 общих фактов, много данных и прогнозы на ближайшее будущее

e-Learning – это обучение с помощью цифровых технологий (Интернета, электронных устройств и специальных программ). Процесс можно организовать в аудиториях или удалённо, одновременно для целой группы или по гибкому графику для каждого.

e-Learning – это обучение с помощью цифровых технологий (Интернета, электронных устройств и специальных программ). Процесс можно организовать в аудиториях или удалённо, одновременно для целой группы или по гибкому графику для каждого. Ранее эта система была не популярна. Затем вспыхнул COVID-19, и все перешли на «удалёнку»: школы, ВУЗы, компании. Электронное обучение стало нужным в глобальном мас...
28.12.23 18:10
0
2
Компьютерный чип со встроенной тканью человеческого мозга получает финансирование от военных

Компьютерный чип со встроенной тканью человеческого мозга получает финансирование от военных

В прошлом году ученые из Университета Монаша создали «DishBrain» — полубиологический компьютерный чип, в электродах которого в лаборатории выращено около 800 000 клеток мозга человека и мыши. Демонстрируя что-то вроде разума, он научился играть в пинг-понг за 5 минут.

Массив микроэлектродов в основе DishBrain был способен как считывать активность в клетках мозга, так и стимулировать их электрическими сигналами, поэтому исследовательская группа создала версию Pong, в которой клетки мозга получали движущийся электрический стимул, чтобы представить, на какой стороне «экрана» находится мяч и как далеко он находится от ракетки. Они позволили клеткам мозга воздейство...
23.07.23 11:58
0