Введение

API OpenAI может быть применен практически к любой задаче. Мы предлагаем ряд моделей с различными возможностями и ценовыми категориями.

Ресурсы

Ключевые концепции

Модели генерации текста

Модели генерации текста OpenAI (часто называемые генеративными предварительно обученными трансформерами или моделями "GPT" в краткой форме), например GPT-4 и GPT-3.5, были обучены пониманию естественного и формального языка. Модели вроде GPT-4 позволяют генерировать текст в ответ на их входные данные. Входные данные для этих моделей также называются "prompts". Создание prompt по сути является способом "программирования" модели вроде GPT-4, обычно путем предоставления инструкций или некоторых примеров того, как успешно выполнить задачу. Модели вроде GPT-4 можно использовать в широком спектре задач, включая генерацию контента или кода, суммирование, диалоги, творческое письмо и многое другое. Узнайте больше в нашем вводном руководстве по генерации текста и в нашем руководстве по prompt-engineering.

Embeddings

Embedding - это векторное представление фрагмента данных (например, текста), которое предназначено для сохранения аспектов его содержания и/или его значения. Части данных, которые похожи каким-то образом, стремятся иметь embeddings, которые ближе друг к другу, чем несвязанные данные. OpenAI предлагает модели текстовых embeddings, которые принимают на вход строку текста и выдают на выходе вектор embedding. Embeddings полезны для поиска, кластеризации, рекомендаций, обнаружения аномалий, классификации и многого другого. Подробнее об embeddings читайте в нашем руководстве по embeddings.

Токены

Модели генерации текста и embeddings обрабатывают текст по частям, называемым токенами. Токены представляют собой обычно встречающиеся последовательности символов. Например, строка " tokenization" разбивается на " token" и "ization", в то время как короткое и распространенное слово " the" представлено одним токеном. Обратите внимание, что в предложении первый токен каждого слова обычно начинается с символа пробела.

Одним из ограничений, о котором стоит помнить, является то, что для модели генерации текста prompt и сгенерированный вывод вместе должны быть не более максимальной длины контекста модели. Для моделей embeddings (не выдающих токены) ввод должен быть короче максимальной длины контекста модели. Максимальные длины контекстов для каждой модели генерации текста и embeddings можно найти в индексе моделей.

Руководства

Погрузитесь в одно из наших руководств, чтобы узнать больше.