Уже не меньше года набирает обороты тема нейронных сетей, генерации изображений и стилизации видео. Что-то более успешно, что-то ещё требует времени, чтобы выйти на приемлемый уровень. Но точно могу сказать, что данные алгоритмы прочно вошли в инструментарий для работы в продакшне.
Наблюдая всю эту бурю событий вокруг, я точно понимаю, что в моём случае нельзя оставаться за бортом, так недолго и утонуть, учитывая скорость развития событий. Поэтому я сразу стал щупать новые игрушки и испытывать их на прочность.
Сейчас у меня есть неплохой опыт в Midjourney. Хотя эта модель (а может и несколько моделей*) и показывает отличные результаты, генерируя превосходные изображения в разных стилях, но контроля над процессом очень мало.
Для тех, кто не понимает про какой я контроль, поясню. Нейронка может сгенерировать тебе персонажа по запросу, и ты можешь даже прописать позу персонажа или отдельные элементы. Но нейросеть просто не учтёт всё описание, а обязательно сделает что-то по-своему. Помимо прочего есть детали, которые в принципе трудно описать, тем более в трёх словах.
В этом вопросе на помощь приходит программа с открытым кодом - Stable Diffusion. Хорошая вещь, но освоить её с той же скоростью и лёгкостью, что и Миджорни, не получится. Однако я лёгких путей не ищу и установил эту нейронку да ещё и с плагином для Houdini (отдельное спасибо каналу на YouTube – «Houdini по-русски»).
Немного поэкспериментировав с дополнением ControlNet, уже можно получать достойные результаты с высоким уровнем контроля. Посмотрите ниже на варианты дизайнов кухонь, которые я делал по конкретной геометрии.
Первое фото это карта глубины сцены, которую я собрал буквально тз кубиков нужного размера.
*-Модель – читай подробнее здесь.