Большие языковые модели, такие как ChatGPT-4, используют сложную серию уравнений, чтобы понять и ответить на ваши подсказки. Вот взгляд изнутри системы.
К этому моменту вы уже слышали о ChatGPT и его возможностях генерации текста. Она успешно сдала экзамен в бизнес-школе, поставила в тупик учителей, пытающихся выявить списывающих, и помогла людям составить электронные письма для своих коллег и близких.
То, что он справился с этими задачами, весьма примечательно, поскольку экзамены, эссе и электронные письма требуют правильных ответов. Но правильность ответов не является целью ChatGPT — это скорее побочный продукт его работы: создание естественно звучащего текста.
ChatGPT-4: как работают чат-боты
Как же работают чат-боты с искусственным интеллектом, и почему некоторые ответы они дают правильно, а некоторые — очень-очень неправильно? Вот взгляд изнутри.
Технология, лежащая в основе таких крупных языковых моделей, как ChatGPT, похожа на функцию прогнозируемого текста, которую вы видите, когда составляете сообщение на своем телефоне. Ваш телефон оценивает, что было набрано, и рассчитывает вероятности того, что, скорее всего, последует за этим, основываясь на своей модели и на том, что он наблюдал за вашим поведением в прошлом.
Любой человек, знакомый с этим процессом, знает, как много различных направлений может иметь строка текста.
В отличие от функции предиктивного текста в телефоне, ChatGPT является генеративным (G в GPT). Она не делает разовых прогнозов; вместо этого она призвана создавать текстовые строки, которые имеют смысл в нескольких предложениях и абзацах. Вывод должен иметь смысл и читаться так, как будто его написал человек, и он должен соответствовать подсказке.
Что же помогает ему выбрать подходящее следующее слово, а затем еще одно, и так до бесконечности?
Вики — Внутренний справочник
Внутри машины нет базы данных фактов или словаря, которые помогли бы ей «понять» слова. Вместо этого система рассматривает слова математически, как набор значений. Вы можете думать, что эти значения представляют собой качества, которыми может обладать слово.
Например, является ли слово комплиментарным или критическим? Сладкое или кислое? Низкое или высокое?
Теоретически вы можете установить эти значения как угодно и обнаружить, что приблизились к слову. Вот вымышленный пример, демонстрирующий эту идею: Приведенный ниже генератор предназначен для получения различных фруктов в зависимости от трех качеств. Попробуйте изменить любое из качеств, чтобы увидеть, как изменится результат.
Эта техника называется встраиванием слов, и она не нова. Она возникла в области лингвистики в 1950-х годах. Хотя в приведенном выше примере используется всего три «качества», в большой языковой модели количество «качеств» для каждого слова может исчисляться сотнями, что позволяет очень точно идентифицировать слова.
Обучение смыслу чат-ботов с искусственным интеллектом
Когда модель только создается, качества, связанные с каждым словом, устанавливаются случайным образом, что не очень полезно, поскольку способность модели предсказывать зависит от того, насколько точно они настроены. Чтобы добиться этого, ее нужно обучить на большом количестве контента. Это и есть большая часть большой языковой модели.
Системе, подобной ChatGPT, можно скормить миллионы веб-страниц и цифровых документов (вспомните всю Википедию, крупные новостные сайты, блоги и оцифрованные книги). Машина просматривает обучающие данные по одному отрезку за раз, блокируя слово в последовательности и вычисляя «догадку» о том, какие значения наиболее точно отражают то, что должно быть в пустом месте. Когда появляется правильный ответ, машина может использовать разницу между тем, что она угадала, и реальным словом для улучшения работы.
Это длительный процесс. OpenAI, компания, создавшая ChatGPT, не опубликовала подробностей о том, сколько данных для обучения было использовано в ChatGPT и какова была мощность компьютера, но исследователи из Nvidia, Стэнфордского университета и Microsoft подсчитали, что при использовании 1024 графических процессоров обучение GPT 3, предшественника ChatGPT, заняло бы 34 дня. По оценкам одного аналитика, стоимость вычислительных ресурсов для обучения и запуска больших языковых моделей может исчисляться миллионами.
ChatGPT также имеет дополнительный уровень обучения, называемый обучением с подкреплением на основе человеческой обратной связи. Если предыдущее обучение заключается в том, чтобы заставить модель заполнить недостающий текст, то на этом этапе она должна выдавать связные, точные и разговорные строки.
На этом этапе люди оценивают ответы машины, отмечая неправильные, бесполезные или даже откровенно бессмысленные сообщения. Используя обратную связь, машина учится предсказывать, сочтут ли люди ее ответы полезными. OpenAI утверждает, что такое обучение делает вывод модели более безопасным, более релевантным и менее склонным к «галлюцинациям» фактов. По словам исследователей, именно это позволяет лучше согласовывать ответы ChatGPT с ожиданиями человека.
В конце процесса в модели не остается никаких записей об исходных данных для обучения. Она не содержит фактов или цитат, на которые можно сослаться — только то, как связаны или не связаны между собой слова в действии.
Использование результатов обучения
Этот набор данных оказывается удивительно мощным. Когда вы вводите свой запрос в ChatGPT, он переводит все в цифры, используя то, чему научился во время обучения. Затем он выполняет ту же серию вычислений, что и выше, чтобы предсказать следующее слово в своем ответе. На этот раз нет необходимости раскрывать скрытое слово; он просто предсказывает.
Примеры ответов, согласно четырем большим языковым моделям:
ChatGPT от OpenAI и Bard от Google предназначены для общения в чате, но не все большие языковые модели предназначены для этого. Некоторые, как Bloom из BigScience, берут фрагмент текста и заканчивают его, в то время как другие отвечают на вопросы или классифицируют вводимые данные.
«Пожалуйста, резюмируйте «Гордость и предубеждение» Джейн Остин в одном предложении»
ChatGPT от OpenAI и Bard от Google предназначены для общения в чате, но не все большие языковые модели предназначены для этого. Некоторые, как Bloom из BigScience, берут фрагмент текста и заканчивают его, в то время как другие отвечают на вопросы или классифицируют вводимые данные.
Благодаря способности ссылаться на предыдущие части разговора, он может продолжать выдавать страницу за страницей реалистичный, по-человечески звучащий текст, который иногда, но не всегда, является правильным.
Ограничения
На данный момент существует множество разногласий по поводу того, на что способен или будет способен искусственный интеллект, но с одним можно согласиться вполне определенно — он присутствует на интерфейсах ChatGPT, Google Bard и Microsoft Bing: На эти инструменты не стоит полагаться, когда требуется точность.
Большие языковые модели способны выявлять текстовые паттерны, а не факты. И у ряда моделей, включая ChatGPT, есть даты отключения знаний, что означает, что они не могут подключаться к Интернету для получения новой информации. В отличие от чат-бота Bing компании Microsoft, который может запрашивать онлайн-ресурсы.
Большая языковая модель также хороша лишь настолько, насколько хорош материал, который использовался для ее обучения. Поскольку модели выявляют закономерности между словами, то, если скормить ИИ опасный или расистский текст, ИИ будет изучать опасные или расистские шаблоны текста.
OpenAI утверждает, что создал некоторые защитные ограждения, чтобы предотвратить подачу таких текстов, а ChatGPT утверждает, что он «обучен отклонять неуместные запросы«, как мы выяснили, когда он отказался написать гневное письмо с требованием повышения зарплаты. Но компания также признает, что ChatGPT все же иногда «отвечает на вредные инструкции или проявляет предвзятое поведение».
В графике электронной почты OpenAI ChatGPT было дано задание: «Напишите позитивное письмо с просьбой о повышении зарплаты», «Напишите нейтральное письмо с просьбой о повышении зарплаты», «Напишите взволнованное письмо с просьбой о повышении зарплаты», «Напишите гневное письмо с просьбой о повышении зарплаты». Все ответы собраны 8 мая 2023 года.
В заключение
В настоящее время существует множество полезных способов использования этой технологии, например, составление сопроводительных писем, подведение итогов встреч или планирование питания.
Большой вопрос в том, смогут ли усовершенствования технологии преодолеть некоторые из ее недостатков и позволить ей создавать действительно надежные тексты.
