Квоты и лимиты в Yandex Foundation Models
Статья создана
Обновлена 9 декабря 2024 г.
В сервисе YandexGPT API действуют следующие ограничения:
- Квоты — организационные ограничения, которые можно изменить по запросу в техническую поддержку.
- Лимиты — технические ограничения, обусловленные особенностями архитектуры Yandex Cloud. Изменение лимитов невозможно.
Если вам необходимо больше ресурсов, отправьте запрос в техническую поддержку и расскажите, какие потребляемые квоты нужно увеличить и на сколько.
Квоты
| Вид ограничения | Значение |
|---|---|
| Векторизация текста | |
| Количество запросов на векторизацию текста, в секунду | 10 |
| Генерация текста | |
| Количество одновременных генераций в синхронном режиме, модель YandexGPT Lite | 10 |
| Количество одновременных генераций в синхронном режиме, модель YandexGPT Pro | 10 |
| Количество одновременных генераций, модель YandexGPT Pro 32k | 1 |
| Количество одновременных генераций в синхронном режиме, модель Llama 8b1 | 10 |
| Количество одновременных генераций, модель Llama 70b | 1 |
| Количество запросов в секунду, асинхронный режим (запрос) | 10 |
| Количество запросов в секунду, асинхронный режим (получение ответа) | 50 |
| Количество запросов в час, асинхронный режим (запрос) | 5 000 |
| Количество запросов в секунду на токенизацию | 50 |
| Классификация текста | |
| Количество запросов на классификацию текста в секунду | 1 |
| Генерация изображений | |
| Количество запросов на генерацию в минуту | 500 |
| Количество запросов на генерацию в сутки | 5 000 |
| Количество запросов результата в секунду | 50 |
| Дообучение моделей | |
| Количество загруженных датасетов | 10 |
| Максимальный размер одного датасета | 5 ГБ |
| Суммарный объем датасетов | 300 ГБ |
| Количество запусков дообучений в сутки | 10 |
| Количество запусков дообучений в час | 3 |
Лимиты
| Вид ограничения | Значение |
|---|---|
| Срок хранения результатов асинхронных запросов на сервере | 3 суток |
| Векторизация текста | |
| Количество токенов на вход | 2 000 |
| Размерность выходного вектора | 256 |
| Генерация текста | |
| Максимальное количество токенов в ответе через API | 2 000 |
| Максимальное количество токенов в ответе в консоли управления | 1 000 |
| Суммарное количество токенов в запросе и ответе, модели 3 поколения | 8 192 |
| Суммарное количество токенов в запросе и ответе, синхронный режим моделей 4 поколения | 8 192 |
| Суммарное количество токенов в запросе и ответе, асинхронный режим моделей 4 поколения | 32 000 |
| Суммарное количество токенов в запросе и ответе, модель YandexGPT Pro 32k | 32 000 |
| Количество бесплатных запросов в час для пользователей без платежного аккаунта. Доступно только в консоли управления | 10 |
| Ассистенты | |
| Максимальное количество ассистентов | 1 000 |
| Максимальное количество тредов | 1 000 |
| Максимальное количество пользователей | 10 000 |
| Максимальное количество загруженных файлов | 1 000 |
| Максимальный размер файла | 128 МБ |
| Максимальное количество файлов в поисковом индексе | 100 |
| Максимальное количество сообщений в одном треде | 10 000 |
| Максимальное количество поисковых индексов | 1 000 |
| Максимальное количество запущенных операций индексации | 10 |
| Генерация изображений | |
| Максимальная длина промта | 500 символов |
| Количество бесплатных запросов в минуту для пользователей без платежного аккаунта. Доступно только в консоли управления | 2 |
| Количество бесплатных запросов в сутки для пользователей без платежного аккаунта. Доступно только в консоли управления | 10 |
1 Llama создана компанией Meta. Meta признана экстремистской организацией, ее деятельность в России запрещена.