Генерируем аи-аватары с собой любимым

Всем привет!

Два месяца назад была опубликована новая сеточка DreamBooth от гугла. В отличии от стандартных диффузных моделей, эта модель позволяет генерировать контент с заданным объектом, как на примерах ниже.

Модель быстро нашла себе применение - кастомные аватары. К примеру avatarai.me предлагает сгенерировать пикчи с собой любимым за 30$. В этом посте я покажу как сделать это бесплатно.

Генерируем аватары

1. Нам понадобится несколько хороших фотографий человека. Сделайте 5-10 селфи с разных ракурсов и разными эмоциями. От качества фоток, разнообразия эмоций и ракурсов зависит качество получившихся аватаров.

2. Идем в готовый гугл колаб, нажимаем file -> save copy in drive. После этого у вас появится копия ноутбука доступ к которому есть только у вас.

3. Жмем коннект

4. Проверям что запущен гпу, если нет - меняем на гпу и жмем коннект еще раз.

5. Регистрируемся в HuggingFace для того чтобы скачать натренированные веса. После регистрации подтверждаем почту, создаем ключ (Settings -> Access Tokens). Вставляем ключ в HUGGINGFACE_TOKEN.

6. Читаем лицензию модели, если согласны - соглашаемся.

7. В гугл колабе все примеры написаны для собаки, но нам нужно запустить модельку для человека. ctrl+f: dog -> person

8. Запускам колаб

9. В блоке Start Training нас попросят загрузить фотки - загружаем. Фотки будут загружены в ран тайм, доступ будет только у вас. После закрытия ноутбука фотки пропадут.

10. Ждем пока сетка обучится. При стандартных настройках это займет 15-20 минут.

11. Вбиваем запрос вида photo of zwx person as a pirate в последнем блоке кода, жмем generate.

12. Делимся результатом в треде

Мои результаты

Сеточка хорошо справляется с "реальными" запросами, вроде "человек поет", "человек танцует" итп. С полетом мысли вроде "человек дерется с солнцем" нормальных результатов я не получил :(

Вот эти аватарки получились при использовании только старых фото:

А тут я добавил селфи, качество стало лучше: