Улучшенная детализация и комбинация стилей: представили YandexART 2.0

Теперь нейросеть лучше понимает запросы пользователя, генерирует логотипы, баннеры и другие графические материалы, а также добавляет на изображения текст на латинице.

YandexART 2.0 — новое поколение визуальной нейросети для создания изображений. В её основе — собственная гибридная архитектура. Она лучше, чем предыдущая версия YandexART 1.3, понимает промты пользователя и генерирует более качественные изображения с учётом визуальных особенностей и контекста.

Протестировать YandexART 2.0 можно в разделе Foundation Models консоли Yandex Cloud.

YandexART 2.0 допускает меньше ошибок на изображениях по сравнению с предыдущей версией, а также:

  • генерирует текст: теперь модель может размещать текст на изображении. Пока функция работает с латиницей, но в следующем обновлении появится поддержка кириллицы;

  • создаёт логотипы, упрощает создание фирменного стиля для брендов;

  • уделяет внимание мелочам: прорисовывает больше деталей в одном изображении и точнее передаёт замысел пользователя;

  • комбинирует визуальные стили: позволяет создавать уникальные сочетания, например, используя в одном изображении фотореализм и аниме;

  • глубже понимает пространство: нейросеть повысила детализацию фона и может располагать предметы на изображении под разными углами, потому что теперь она понимает физику пространства и правильно располагает объекты относительно друг друга.

Сравнение работы YandexART 1.3 и YandexART 2.0 по промту: «Это кольцо изготовлено из высокотехнологичного серебра и украшено прямоугольным синим камнем размером 5 на 7 мм. Камень закреплён в крапанах, что придаёт украшению оригинальность и неповторимость. Это кольцо подходит как для повседневной носки, так и для особого случая, когда вам нужно выглядеть стильно и элегантно»

Сравнение работы YandexART 1.3 и YandexART 2.0 по промту: «Цветочная лавка в надписью „Flowers“ на вывеске»

Сравнение работы YandexART 1.3 и YandexART 2.0 по промту: «Палатка на берегу озера на фоне гор»

Всё это стало возможным благодаря новой архитектуре YandexART 2.0.

Уникальная архитектура модели

Для обучения YandexART 2.0 разработчики использовали VLM-модель, которая одновременно работает с визуальными и текстовыми данными. Она умеет анализировать изображения и детально описывает, что на них находится. Модель «смотрела» на изображения из обучающего набора данных и генерировала для каждой картинки точные текстовые описания, на которых и обучалась YandexART 2.0.

Это нестандартный подход. Обычно для работы с изображениями используют одну из двух моделей: свёрточную или трансформерную. Свёрточные идут от частного к общему: распознают изображение пиксель за пикселем, выявляют его важные признаки — контуры, текстуры и формы. Трансформерные, наоборот, двигаются от общего к частному — сразу анализируют всё изображение, поэтому лучше понимают общий смысл, но хуже учитывают детали.

Гибридная архитектура YandexART 2.0 совмещает сильные стороны свёрточной и трансформерной моделей. Это позволило повысить качество генерации изображений и сохранить высокую скорость работы.

YandexART для бизнес-задач

YandexART 2.0 помогает компаниям интегрировать визуальные генерации в бизнес-процессы через API. Нейросеть можно использовать для маркетинговых и рекламных кампаний: генерировать иллюстрации для статей и социальных сетей, создавать баннеры или разрабатывать варианты брендирования одежды.

Нейросеть уже тестируют несколько клиентов Yandex Cloud. Например, сервис Text.ru на базе YandexART создал инструмент, который позволяет авторам оформлять материалы для своих источников.

author
Команда Yandex Cloud

«Мы подключили YandexART по API в конце мая 2024 года, создав на его базе новый инструмент — Нейропомощник Иллюстратор. Если все прошлые интеграции продуктов Yandex Cloud касались нашего основного профиля — текстов, то эта раздвинула границы вариативности получаемого контента, добавив ещё и иллюстрации. Теперь у пользователей есть возможность, не покидая пределы сервиса, комплексно оформлять материалы для своего сайта, блога, канала, группы или магазина на маркетплейсе. С каждым месяцем число пользователей Нейропомощника Иллюстратора растёт, а обратная связь от них остаётся максимально положительной».

Сервис presentsimple.ai анализирует и систематизирует материалы с помощью YandexGPT, после чего генерирует изображения к слайдам презентаций через YandexART.

author
Никита Камышников
Генеральный директор Text.ru

«Мы начали тестировать YandexART, как только появился публичный API. На всех пользователей расширили доступ в июле 2024 года. YandexART позволила внедрить в наш сервис функцию создания изображений по запросу пользователя прямо в процессе редактирования презентаций. Это дало возможность качественнее их кастомизировать. С момента добавления этой функции с помощью YandexART было создано более 422 тысяч изображений».

author
Алексей Сметанин
CEO и основатель presentsimple.ai

Напишите нам

Начать пользоваться Yandex Cloud

Тарифы

Узнать цены и рассчитать стоимость

Мероприятия

Календарь событий Yandex Cloud
Улучшенная детализация и комбинация стилей: представили YandexART 2.0
Войдите, чтобы сохранить пост