Квоты и лимиты в Yandex Foundation Models
Статья создана
Обновлена 31 октября 2024 г.
В сервисе YandexGPT API действуют следующие ограничения:
- Квоты — организационные ограничения, которые можно изменить по запросу в техническую поддержку.
- Лимиты — технические ограничения, обусловленные особенностями архитектуры Yandex Cloud. Изменение лимитов невозможно.
Если вам необходимо больше ресурсов, отправьте запрос в техническую поддержку и расскажите, какие потребляемые квоты нужно увеличить и на сколько.
Квоты
| Вид ограничения | Значение |
|---|---|
| Векторизация текста | |
| Количество запросов на векторизацию текста, в секунду | 10 |
| Генерация текста | |
| Количество одновременных генераций, синхронный режим | 10 |
| Количество одновременных генераций, модель YandexGPT 32k | 1 |
| Количество запросов в секунду, асинхронный режим (запрос) | 10 |
| Количество запросов в секунду, асинхронный режим (получение ответа) | 50 |
| Количество запросов в час, асинхронный режим (запрос) | 5000 |
| Количество запросов в секунду на токенизацию | 50 |
| Классификация текста | |
| Количество запросов на классификацию текста в секунду | 1 |
| Генерация изображений | |
| Количество запросов на генерацию в минуту | 500 |
| Количество запросов на генерацию в сутки | 5000 |
| Количество запросов результата в секунду | 50 |
Лимиты
| Вид ограничения | Значение |
|---|---|
| Срок хранения результатов асинхронных запросов на сервере | 3 суток |
| Векторизация текста | |
| Количество токенов на вход | 2 000 |
| Размерность выходного вектора | 256 |
| Генерация текста | |
| Максимальное количество токенов в ответе через API | 2 000 |
| Максимальное количество токенов в ответе в консоли управления | 1 000 |
| Суммарное количество токенов в запросе и ответе, модели 3 поколения | 8192 |
| Суммарное количество токенов в запросе и ответе, синхронный режим моделей 4 поколения | 8192 |
| Суммарное количество токенов в запросе и ответе, асинхронный режим моделей 4 поколения | 32 000 |
| Суммарное количество токенов в запросе и ответе, модель YandexGPT 32k | 32 000 |
| Количество бесплатных запросов в час для пользователей без платежного аккаунта. Доступно только в консоли управления | 10 |
| Генерация изображений | |
| Максимальная длина промта | 500 символов |
| Количество бесплатных запросов в минуту для пользователей без платежного аккаунта. Доступно только в консоли управления | 2 |
| Количество бесплатных запросов в сутки для пользователей без платежного аккаунта. Доступно только в консоли управления | 10 |