Улучшенная детализация и комбинация стилей: представили YandexART 2.0

YandexART 2.0 — новое поколение визуальной нейросети для создания изображений. В её основе — собственная гибридная архитектура. Она лучше, чем предыдущая версия YandexART 1.3, понимает промты пользователя и генерирует более качественные изображения с учётом визуальных особенностей и контекста.

YandexART 2.0 допускает меньше ошибок на изображениях по сравнению с предыдущей версией, а также:

• генерирует текст: теперь модель может размещать текст на изображении. Пока функция работает с латиницей, но в следующем обновлении появится поддержка кириллицы;

• создаёт логотипы, упрощает создание фирменного стиля для брендов;

• уделяет внимание мелочам: прорисовывает больше деталей в одном изображении и точнее передаёт замысел пользователя;

• комбинирует визуальные стили: позволяет создавать уникальные сочетания, например, используя в одном изображении фотореализм и аниме;

• глубже понимает пространство: нейросеть повысила детализацию фона и может располагать предметы на изображении под разными углами, потому что теперь она понимает физику пространства и правильно располагает объекты относительно друг друга.

Всё это стало возможным благодаря новой архитектуре YandexART 2.0.

Уникальная архитектура моделиУникальная архитектура модели

Для обучения YandexART 2.0 разработчики использовали VLM-модель, которая одновременно работает с визуальными и текстовыми данными. Она умеет анализировать изображения и детально описывает, что на них находится. Модель «смотрела» на изображения из обучающего набора данных и генерировала для каждой картинки точные текстовые описания, на которых и обучалась YandexART 2.0.

Это нестандартный подход. Обычно для работы с изображениями используют одну из двух моделей: свёрточную или трансформерную. Свёрточные идут от частного к общему: распознают изображение пиксель за пикселем, выявляют его важные признаки — контуры, текстуры и формы. Трансформерные, наоборот, двигаются от общего к частному — сразу анализируют всё изображение, поэтому лучше понимают общий смысл, но хуже учитывают детали.

Гибридная архитектура YandexART 2.0 совмещает сильные стороны свёрточной и трансформерной моделей. Это позволило повысить качество генерации изображений и сохранить высокую скорость работы.

YandexART для бизнес-задачYandexART для бизнес-задач

YandexART 2.0 помогает компаниям интегрировать визуальные генерации в бизнес-процессы через API. Нейросеть можно использовать для маркетинговых и рекламных кампаний: генерировать иллюстрации для статей и социальных сетей, создавать баннеры или разрабатывать варианты брендирования одежды.

Нейросеть уже тестируют несколько клиентов Yandex Cloud. Например, сервис Text.ru на базе YandexART создал инструмент, который позволяет авторам оформлять материалы для своих источников.

«Мы подключили YandexART по API в конце мая 2024 года, создав на его базе новый инструмент — Нейропомощник Иллюстратор. Если все прошлые интеграции продуктов Yandex Cloud касались нашего основного профиля — текстов, то эта раздвинула границы вариативности получаемого контента, добавив ещё и иллюстрации. Теперь у пользователей есть возможность, не покидая пределы сервиса, комплексно оформлять материалы для своего сайта, блога, канала, группы или магазина на маркетплейсе. С каждым месяцем число пользователей Нейропомощника Иллюстратора растёт, а обратная связь от них остаётся максимально положительной».

Сервис presentsimple.ai анализирует и систематизирует материалы с помощью YandexGPT, после чего генерирует изображения к слайдам презентаций через YandexART.

«Мы начали тестировать YandexART, как только появился публичный API. На всех пользователей расширили доступ в июле 2024 года. YandexART позволила внедрить в наш сервис функцию создания изображений по запросу пользователя прямо в процессе редактирования презентаций. Это дало возможность качественнее их кастомизировать. С момента добавления этой функции с помощью YandexART было создано более 422 тысяч изображений».