Теперь вы можете обучать ChatGPT на своих документах через API.

Aug 28, 2023

Бендж Эдвардс - 23 августа 2023 г., 20:16 UTC

Во вторник OpenAI объявила о тонкой настройке GPT-3.5 Turbo — модели искусственного интеллекта, лежащей в основе бесплатной версии ChatGPT, — через свой API. Это позволяет обучать модель с использованием пользовательских данных, таких как документы компании или проектная документация. OpenAI утверждает, что точно настроенная модель может работать так же хорошо, как GPT-4, с меньшими затратами в определенных сценариях.

В ИИ под тонкой настройкой понимается процесс использования предварительно обученной нейронной сети (например, GPT-3.5 Turbo) и ее дальнейшего обучения на другом наборе данных (например, ваших пользовательских данных), который обычно меньше по размеру и, возможно, связан с конкретной задачей. Этот процесс основывается на знаниях, полученных моделью на начальном этапе обучения, и уточняет ее для конкретного приложения.

Таким образом, по сути, точная настройка обучает GPT-3.5 Turbo пользовательскому контенту, например проектной документации или любой другой письменной ссылке. Это может пригодиться, если вы хотите создать ИИ-помощника на основе GPT-3.5, который хорошо знаком с вашим продуктом или услугой, но не имеет знаний о нем в своих обучающих данных (которые, напоминаем, были удалены из сети еще до сентября). 2021).

«С момента выпуска GPT-3.5 Turbo разработчики и предприятия попросили предоставить возможность настраивать модель для создания уникального и дифференцированного опыта для своих пользователей», — пишет OpenAI в своем рекламном блоге. «Благодаря этому запуску разработчики теперь могут выполнять контролируемую точную настройку, чтобы эта модель работала лучше для своих сценариев использования».

Хотя GPT-4, более мощный родственник GPT-3.5, хорошо известен как универсальный метод, который можно адаптировать ко многим предметам, он медленнее и дороже в эксплуатации. OpenAI предлагает тонкую настройку версии 3.5 как способ добиться производительности, подобной GPT-4, в конкретной области знаний с меньшими затратами и более быстрым временем выполнения. «Ранние тесты показали, что доработанная версия GPT-3.5 Turbo может соответствовать базовым возможностям уровня GPT-4 или даже превосходить их в определенных узких задачах», — пишут они.

Кроме того, OpenAI утверждает, что точно настроенные модели обеспечивают «улучшенную управляемость», что означает лучшее следование инструкциям; «надежное форматирование вывода», которое улучшает способность модели последовательно выводить текст в таком формате, как вызовы API или JSON; и «индивидуальный тон», который может придать чат-боту индивидуальный вкус или индивидуальность.

OpenAI утверждает, что точная настройка позволяет пользователям сокращать запросы и экономить деньги на вызовах API OpenAI, оплата за которые взимается за каждый токен. «Ранние тестировщики сократили размер подсказки до 90% за счет точной настройки инструкций в самой модели», — говорит OpenAI. На данный момент длина контекста для точной настройки установлена ​​на уровне 4000 токенов, но OpenAI заявляет, что точная настройка будет распространена на модель с 16 000 токенов «позже этой осенью».

К настоящему времени вам может быть интересно, как работает использование ваших собственных данных для обучения GPT-3.5 и сколько это стоит. OpenAI излагает в своем блоге упрощенный процесс, который показывает настройку системной подсказки с API, загрузку файлов в OpenAI для обучения и создание задания тонкой настройки с использованием инструмента командной строки Curl для запроса веб-адреса API. OpenAI сообщает, что после завершения процесса тонкой настройки настроенная модель сразу же доступна для использования с теми же ограничениями скорости, что и базовая модель. Более подробную информацию можно найти в официальной документации OpenAI.

Конечно, за все это приходится платить, и она делится на затраты на обучение и затраты на использование. Обучение GPT-3.5 стоит 0,008 доллара США за 1000 токенов. На этапе использования доступ к API стоит 0,012 доллара США за 1000 токенов для ввода текста и 0,016 доллара США за 1000 токенов для вывода текста.

Для сравнения, базовая модель 4k GPT-3.5 Turbo стоит 0,0015 доллара США за 1000 входных токенов и 0,002 доллара США за 1000 выходных токенов, поэтому запуск модели с точной настройкой обходится примерно в восемь раз дороже. И хотя контекстная модель 8K GPT-4 также дешевле: 0,03 доллара за вход 1000 токенов и 0,06 доллара за вход 1000 токенов, OpenAI по-прежнему утверждает, что деньги можно сэкономить за счет уменьшения необходимости в подсказках в точно настроенной модели. Это натяжка, но в узких случаях это может применяться.