Квоты и лимиты в Yandex Foundation Models
Статья создана
Обновлена 5 сентября 2024 г.
Сервис Yandex Foundation Models находится на стадии Preview.
В сервисе YandexGPT API действуют следующие ограничения:
- Квоты — организационные ограничения, которые можно изменить по запросу в техническую поддержку.
- Лимиты — технические ограничения, обусловленные особенностями архитектуры Yandex Cloud. Изменение лимитов невозможно.
Если вам необходимо больше ресурсов, отправьте запрос в техническую поддержку
Квоты
Вид ограничения | Значение |
---|---|
Векторизация текста | |
Количество запросов на векторизацию текста, в секунду | 10 |
Генерация текста | |
Количество одновременных генераций | 1 |
Количество запросов в секунду, асинхронный режим (запрос) | 10 |
Количество запросов в секунду, асинхронный режим (получение ответа) | 50 |
Количество запросов в час, асинхронный режим (запрос) | 5000 |
Количество запросов в секунду на токенизацию | 50 |
Классификация текста | |
Количество запросов на классификацию текста в секунду | 1 |
Генерация изображений | |
Количество запросов на генерацию в минуту | 10 |
Количество запросов на генерацию в сутки | 500 |
Количество запросов результата в секунду | 50 |
Лимиты
Вид ограничения | Значение |
---|---|
Срок хранения результатов асинхронных запросов на сервере | 3 суток |
Векторизация текста | |
Количество токенов на вход | 2000 |
Размерность выходного вектора | 256 |
Генерация текста | |
Количество токенов на ответ | 2000 |
Максимальное количество токенов в ответе в консоли управления |
500 |
Суммарное количество токенов | 8192 |
Количество бесплатных запросов в час для пользователей без платежного аккаунта. Доступно только в консоли управления | 10 |
Генерация изображений | |
Максимальная длина промта | 500 символов |
Количество бесплатных запросов в минуту для пользователей без платежного аккаунта. Доступно только в консоли управления | 2 |
Количество бесплатных запросов в сутки для пользователей без платежного аккаунта. Доступно только в консоли управления | 10 |