Наша группа ВКонтакте Тематический блог     Карта сайта       Все новости и объявления на сайте института непрерывного и открытого образования

8 (3812) 602-281, io@omsu.ru

Сбер «перевёл» и обучил нейросеть DALL-E на русский язык: она создаёт картинки по описанию

 

Сбербанк России (Сбер) недавно из просто банка превратился в технологическую экосистему сервисов. Он представил новый продукт, разработанный своими командами Sber AI, SberDevices и SberCloud. Этот продукт построен на основе искусственного интеллекта и является нейросетью. В его основу легла переведенная на русский язык нейросеть DALL-E от OpenAI, которая была анонсирована в январе 2021 г. Сбер назвал ее ruDALL-E.

 

Новая нейросеть от Сбера генерирует изображения по запросу на русском языке и, по утверждениям ее создателей, постоянно обучается по картинкам и текстам. RuDALL-E способна создавать любое количество картинок по описанию. Для этого нужно написать текстовый запрос и через несколько минут получить сгенерированную системой картинку. RuDALL-E создаёт уникальные изображения и объекты, которые не существуют в реальности. Такие картинки, к примеру, можно использовать для иллюстрации книг или в рекламе.

 

Как утверждают разработчики, их целью при создании продукта была мультимодальная, то есть использующая несколько способов, нейронная сеть, «которая бы изучала концепции в нескольких модальностях, чтобы лучше понимать мир». Возможно, им это удалось. И они отмечают, что это была самая большая вычислительная задача в отечественной истории и первая в мире нейросеть для генерации картинок по русскоязычному описанию. Обучение сети заняло более 23 тысяч GPU-часов.

 

Система ruDALL-E состоит из трех нейросетей: нейросеть обработки описаний и генерации ряда изображений, нейросеть выбора из них наиболее удачных и нейросеть, которая увеличивает размер картинки без потери качества, добавляя детали изображения. Платформа авторегрессивно моделирует токены текста и изображения как единый поток данных. Самая большая обученная модель ruDALL-E Kandinsky XXL с 12 млрд параметров сравнима с оригинальной DALL-E от Open-AI. Сбер уже выложил модель ruDALL-E XL с 1,3 млрд параметров в открытый доступ на GitHub. Также в скором времени она вместе с XXL-версией нейросети появится на платформе ML Space.

 

Источник – Хабр

Ссылки:

https://trashbox.ru/link/2021-11-02-al-rudall-e-nejroset-generiruet-izobrazhenie-po-opisaniyu-na-russkom
https://habr.com/ru/company/sberbank/blog/586926/
https://rudalle.ru/