Отправить запрос мультимодальной модели
Статья создана
Обновлена 29 декабря 2025 г.
В AI Studio вы можете отправлять запросы мультимодальным моделям, которые могут анализировать изображения и возвращать ответ в виде текста. Изображения передаются в кодировке Base64.
Примечание
В AI Playground работа с мультимодальными моделями пока недоступна.
Чтобы воспользоваться примером, создайте сервисный аккаунт с ролью ai.languageModels.user и получите для него API-ключ с областью действия yc.ai.foundationModels.execute.
Python
from openai import OpenAI
import base64
YC_API_KEY = "<API-ключ>"
YC_FOLDER_ID = "<идентификатор_каталога>"
client = OpenAI(
api_key=YC_API_KEY,
base_url="https://ai.api.cloud.yandex.net/v1",
)
# Вспомогательный метод для конвертации изображений в Base64
def image_to_base64(image_path):
with open(image_path, "rb") as image_file:
return base64.b64encode(image_file.read()).decode('utf-8')
# Изображения для сравнения
image1_base64 = image_to_base64("image1.png")
image2_base64 = image_to_base64("image2.png")
# Для примера используется модель Gemma 3 27B it
response = client.chat.completions.create(
model=f"gpt://{YC_FOLDER_ID}/gemma-3-27b-it",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Сравни эти две картинки"
},
{
"type": "image_url",
"image_url": {
"url": f"data:image/jpeg;base64,{image1_base64}"
}
},
{
"type": "image_url",
"image_url": {
"url": f"data:image/jpeg;base64,{image2_base64}"
}
}
]
}
]
)
print(response.choices[0].message.content)
Где:
YC_API_KEY— полученный API-ключ сервисного аккаунта.YC_FOLDER_ID— идентификатор каталога сервисного аккаунта.
Пример ответа модели
**Первое изображение:**
* **Объект:** Маленький пингвинёнок.
* **Характеристики:** Пингвинёнок покрыт пухом, у него милое выражение лица. У него перед собой ноутбук.
* **Фон:** Белый заснеженный пейзаж.
**Второе изображение:**
* **Объект:** Енот, завернутый в белое махровое полотенце.
* **Характеристики:** Выражение лица енота задумчивое, немного грустное.
* **Фон:** Похоже на ванную комнату или другую бытовую комнату.
**Основные различия:**
* **Виды животных:** Пингвин и енот - два совершенно разных животных, живущих в разных средах.
* **Обстановка:** Одно изображение сделано на природе (снег), а другое - в помещении.
* **Действия:** Пингвинёнок, похоже, "работает" или просто смотрит на ноутбук, а енот, похоже, отдыхает после купания.
В целом, обе картинки очень милые и вызывают положительные эмоции, но показывают очень разные ситуации и животных.