"Яндекс" начал разрабатывать единую модель для генерации и редактирования изображений

МОСКВА, 14 июля. /ТАСС/. "Яндекс" разработал первую версию единой нейросетевой модели Alice AI ART 2.0, которая совмещает генерацию изображений по текстовому запросу и их редактирование по инструкции пользователя. Об этом сообщили ТАСС в пресс-службе компании.

"Раньше генерация и редактирование изображений развивались как два независимых технологических стека со своими моделями, данными, метриками и процессами обучения. Любое улучшение приходилось внедрять отдельно для каждой системы", - отметили в "Яндексе". Переход к единой модели позволил объединить оба сценария в общей архитектуре, благодаря чему знания, полученные при обучении генерации, автоматически используются и при редактировании. "Особенно заметен такой перенос знаний при работе с редкими визуальными концептами. Если модель научилась создавать по текстовому запросу изображения с элементами хохломской росписи или самоваром, она сможет корректно использовать эти же объекты при редактировании существующих изображений без дополнительного обучения на специализированных наборах данных", - рассказал исследователь Yandex Research Сергей Кастрюлин.

Разработчики внедрили в архитектуру отдельный модуль, чтобы он расширял запрос пользователя для более точной генерации. Компания подсчитала, что это позволило повысить точность следования инструкциям при редактировании изображений примерно на 12% без изменения самой генеративной модели.