Всем привет!
Два месяца назад была опубликована новая сеточка DreamBooth от гугла. В отличии от стандартных диффузных моделей, эта модель позволяет генерировать контент с заданным объектом, как на примерах ниже.
Модель быстро нашла себе применение - кастомные аватары. К примеру avatarai.me предлагает сгенерировать пикчи с собой любимым за 30$. В этом посте я покажу как сделать это бесплатно.
Генерируем аватары
Нам понадобится несколько хороших фотографий человека. Сделайте 5-10 селфи с разных ракурсов и разными эмоциями. От качества фоток, разнообразия эмоций и ракурсов зависит качество получившихся аватаров.
Идем в готовый гугл колаб, нажимаем file -> save copy in drive. После этого у вас появится копия ноутбука доступ к которому есть только у вас.
- Жмем коннект
- Проверям что запущен гпу, если нет - меняем на гпу и жмем коннект еще раз.
- Регистрируемся в HuggingFace для того чтобы скачать натренированные веса. После регистрации подтверждаем почту, создаем ключ (Settings -> Access Tokens). Вставляем ключ в
HUGGINGFACE_TOKEN
.
Читаем лицензию модели, если согласны - соглашаемся.
В гугл колабе все примеры написаны для собаки, но нам нужно запустить модельку для человека. ctrl+f: dog -> person
Запускам колаб
В блоке Start Training нас попросят загрузить фотки - загружаем. Фотки будут загружены в ран тайм, доступ будет только у вас. После закрытия ноутбука фотки пропадут.
Ждем пока сетка обучится. При стандартных настройках это займет 15-20 минут.
Вбиваем запрос вида
photo of zwx person as a pirate
в последнем блоке кода, жмем generate.
- Делимся результатом в треде
Мои результаты
Сеточка хорошо справляется с "реальными" запросами, вроде "человек поет", "человек танцует" итп. С полетом мысли вроде "человек дерется с солнцем" нормальных результатов я не получил :(
Вот эти аватарки получились при использовании только старых фото:
А тут я добавил селфи, качество стало лучше:
Последняя аватарка самая мощная вышла
Как развлечение я это понимаю, как способ создать себе нормальную аватарку нет, у них все есть чувство искусственности и криповые артефакты
Я за любой кипишь с AI и дизайном.
Так что круто.)
Афигенно :)
Колаб не осилил, но завел всё это дело на домашней венде под WSL
Оче замечательно.
Наловчился подбирать фото для обучения и последующий запрос для генерации.
Сюда не стал всё совать, галерея: https://imgur.com/a/NcuVcom
P.S.: благодоря сетке непреднамеренно посмотрел на себя в вариантах:
Спасибо за наводку в общем.;) Не следил за темой - думал, все это живет где-то в облаках и самому позапускать не дадут.
Еще можно прийти в Lensa, взять триал на 7 дней, купить за 7 или 8 евро пак на 200 аватарок, загрузить 10-20 фоток и за 20 минут он их нагенерит. Давать задания или параметры ему нельзя, но и так выходит неплохо.
Важный момент — фотографии в HEIC он не принимает :(
😱 Комментарий удален его автором...