«Яндекс» научил переводить текст с изображений с сохранением игры слов

Компания «Яндекс» улучшила технологию перевода текста с картинок и фото с помощью нейросети YandexGPT, говорится в пресс-релизе компании, поступившем в РБК.

Для перевода текста с изображений специалисты «Яндекса» создали адаптированную для этой работы модель YandexGPT. Нейросети сохраняют стиль оригинального текста, игру слов, а также оригинальную верстку изображения, в частности шрифт и размер букв.

«Технология поможет, например, в поездке, если нужно быстро перевести меню в ресторане, или в работе, чтобы разобраться в нюансах технической документации на иностранном языке», — говорится в сообщении.

Обновление для нескольких десятков языков доступно в «Яндекс Переводчике», в браузере, позже оно появится в приложении «Умная камера». В «Яндексе» отметили, что для улучшения технологии перевода компания одной из первых в мире применила большую языковую модель.

Большая языковая модель (large language model) — нейросеть, которую обучили понимать тот или иной язык на больших наборах текстовых данных. Такой алгоритм может самостоятельно создавать текстовые сообщения. Программа обучается без стимула со стороны создателя. По принципу большой языковой модели устроены многие популярные нейросети, в том числе ChatGPT и YandexGPT.

Созданную для перевода с картинки модель YandexGPT обучали на парах оригинальных и переведенных текстов. Нейросети демонстрировали эталонные и некачественные тексты, чтобы она подражала только хорошим примерам и не добавляла несуществующие детали, уточнили в компании.