Генерация изображения с помощью модели Stable Diffusion

В DataSphere вы можете развернуть нейросеть на основе модели Stable Diffusion и генерировать изображения по их текстовому описанию.

Stable Diffusion — это модель преобразования текста в изображение с открытым исходным кодом, разработанная stability.ai.

В этом руководстве вы сгенерируете изображение по текстовому описанию с помощью реализации модели Stable Diffusion в библиотеке Diffusers. Библиотека разработана с акцентом на удобство использования и настройки, а не на производительность.

Чтобы сгенерировать изображение с помощью модели Stable Diffusion:

1. Подготовьте инфраструктуру.
2. Создайте модель и сгенерируйте изображение.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Необходимые платные ресурсы

В стоимость использования модели входит плата за запуск ячеек с кодом (см. тарифы DataSphere).

Подготовьте инфраструктуру

Создайте проект

1. Откройте главную страницу DataSphere.
2. На панели слева выберите Сообщества.
3. Выберите сообщество, в котором вы хотите создать проект.
4. На странице сообщества нажмите кнопку Создать проект.
5. В открывшемся окне укажите имя Stable Diffusion и (опционально) описание проекта.
6. Нажмите кнопку Создать.

Создайте ноутбук и установите библиотеки

1. В интерфейсе DataSphere откройте созданный проект.

2. Создайте новый ноутбук:

   1. На верхней панели в окне проекта нажмите File → New → Notebook.
   2. В открывшемся окне выберите ядро DataSphere Kernel.

3. Установите библиотеку Diffusers. Вставьте в ячейку указанный ниже код и нажмите значок .

   %pip install diffusers
   

4. Установите библиотеку Transformers:

   %pip install transformers
   

5. После завершения установки на верхней панели выберите Kernel ⟶ Restart kernel...

Создайте модель и сгенерируйте изображение

1. Импортируйте в проект библиотеки:

   from diffusers import StableDiffusionPipeline
   import torch
   

2. Создайте модель:

   model_id = "runwayml/stable-diffusion-v1-5"
   pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
   pipe = pipe.to("cuda")
   

3. Сгенерируйте изображение по его описанию:

   prompt = "a photo of an astronaut riding a horse on mars"
   image = pipe(prompt).images[0]
   

4. Сохраните полученное изображение:

   image.save("astronaut_rides_horse.png")
   

   Файл изображения появится рядом с ноутбуком. Результат:

   

Как удалить созданные ресурсы

Если вы больше не планируете работать с проектом Stable Diffusion, удалите его.

См. также

• Работа с моделями
• Запуск вычислений в DataSphere с помощью API