Улучшаем качество ваших генераций в Stable Diffusion в десятки раз. Советы, лайфхаки и полезности

2024 ж. 15 Мам.
18 744 Рет қаралды

Привет, сегодня поговорим о реальных методах того, как повысить качество результатов работы в нейросети Stable Diffusion во много раз. Я дошел до этих советов через многие месяцы и бессонные недели и сегодня решил поделиться ими с вами.
Также обсудим тренировку моделей LoRA и Dreambooth.
В видео вы найдете для себя полезные расширения, ресурсы, плагины и ссылки.
Мой канал телеграм - t.me/yiu_ai
Чат, где я могу вам помочь - t.me/yiu_chat
Ссылка на блокнот Dreambooth - clck.ru/34TViA
Ссылка на репозиторий LoRA - clck.ru/34TVkG
Ссылка на модель LoRA из видео - clck.ru/34TzxS
Увеличение детализации лица - clck.ru/34TVn6
Figma - www.figma.com
LAION 5B (датасет Stable Diffusion) - clck.ru/34TX5N
Промпт для повышения детализации - extremely high quality RAW photograph, detailed background, intricate, Exquisite details and textures, highly detailed, ultra detailed photograph, warm lighting, artstation, 4k, sharp focus, high resolution, detailed skin, detailed eyes, 8k uhd, dslr, high quality, film grain, Fujifilm XT3
Негативный промпт - (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
00:00 - приветствие
1:45 - первый лайфхак (CFG Scale)
3:55 - про генерацию лиц
4:45 - расширение canvas zoom
6:00 - как повысить разрешение генерации с помощью LoRA
7:35 - влияние весов в промпте
9:18 - зачем сбрасывать seed
9:43 - правильный запрос и его влияние
11:35 - как копировать промпт с картинки
12:02 - о работе нейронок и мозга
13:42 - о плагине Revision (чит для нейронщика)
16:30 - как не надо тренировать модель на своем лице
20:50 - датасет лиц в Figma
22:10 - про оригинальную модель Stable Diffusion 1.5
23:30 - как исправить лицо на генерации
25:10 - тренировка на лицах по методу Dreambooth
25:53 - еще про LoRA и работа с датасетом в Figma
28:25 - как немного поменять генерацию
29:06 - про эксперименты
30:45 - про качество датасета и апскейл
33:58 - про пользу критики
#stablediffusion #ai #generation #нейросеть #ии #искусственныйинтеллект #графика #изображение #обработка #гайд #guide #dreambooth #lora

Пікірлер
  • лучшее или одно из лучших, гибкость сильно увеличивается и не только

    @RA-lo1vy@RA-lo1vy7 ай бұрын
  • Спасибо за полезный ролик, было интересно, да и увидеть автора)) Ну что добавить, будем пробовать и экспериментировать💫)

    @clauscelt@clauscelt Жыл бұрын
    • Спасииибо!❤ До новых видео :3

      @yiu_ai@yiu_ai Жыл бұрын
  • Не смогла нигде найти плагин Revision(

    @user-mo7yl1be6h@user-mo7yl1be6h3 ай бұрын
  • ждем новые видео!

    @hanzo_process@hanzo_process2 ай бұрын
  • Спасибо за видос. Очень позновательно. Лично я тренил Лору со своим личиком по методу Христа ( на 3х эпохах). Получилось вполне себе сносная картинка, если подключить Адеталиер.

    @user-hw9et3ir2u@user-hw9et3ir2u16 күн бұрын
  • Хорошо начал, не слушай хейт, это легче делать на словах ,мне понравилось

    @SS-950@SS-95011 ай бұрын
    • Спасибо большое за поддержку! Набираюсь опыта с лучшими❤

      @yiu_ai@yiu_ai11 ай бұрын
  • Ребят, я выставил максимально низкие настройки, но при генерации картинка получается плохая(Результат один даже при высоких настройках). Что я только не делал, но 3050 не хватает для приемлемого результата. Я мог что-то упустить и есть ли какое-то волшебное средство?

    @ReportJungle@ReportJungle2 ай бұрын
  • смотрящим и положенцам! спасибо за лайфхаки

    @K-A_Z_A-K_S_URALA@K-A_Z_A-K_S_URALA8 ай бұрын
  • какая-то каша в изложении... вроде важные темы затронуты, но постоянно с темы на тему перепрыгиваете, в итоге нет нормальных пояснений или алгоритмов

    @MrSSP1974@MrSSP197411 ай бұрын
    • Учту, пасиба

      @yiu_ai@yiu_ai11 ай бұрын
  • Здравствуйте подскажите пожалуйста где скачать скрипт Revision?

    @MsFil89@MsFil892 ай бұрын
    • скрипт платный

      @user-np1fb6wh8g@user-np1fb6wh8gАй бұрын
    • @@user-np1fb6wh8g да, спасибо. Нашёл, что платный, уже приобрёл

      @MsFil89@MsFil89Ай бұрын
  • Спасибо за ролик. А можешь показать, как сгенерить курящего человека с сигаретой?

    @user-hc3bl2ji8s@user-hc3bl2ji8s10 ай бұрын
  • Не знаю...с первого раза натренировал модель на 35 фото через колаб на DB. Крупные планы ,портреты получаются не отличишь от фото.

    @bred3839@bred383910 ай бұрын
  • отличный выпуск, пару раз месяц обзор опыта это очень круто

    @hanzo_process@hanzo_process Жыл бұрын
  • Ты очень добрый человек.По крайне мере подача контента.Ты случайно не нейронкой сделан по промту - чистая душа? У меня прям диссонанс какой то в наше то время.В любом случае спасибо за науку и желаю процветания канала.Главное не меняйся подражая кого-то.Или скажи хозяину чтобы не менял твой промт)))

    @ChannelMusicElectronics@ChannelMusicElectronics3 ай бұрын
  • насчет лор персонажей ,очень многое зависит от исходного материала, чисто мое имхо конечно ,основанное на тренировках по моему с мая месяца штук 300 моделей дримбусом и лорой -) ,для лучшего результата - 1024х1024 датасет ,разбавлять 1024х768 , upper body-full body,и да все это на модели 1.5 для персонажа 80 шагов ,при том пофигу какой датасет по размеру 16-или 40 фоток , вот вообще никакой разницы лучшие результаты у меня получались на realistic vision2.0 и photon на остальных не предсказуемо ,про базовой 1,5 -на выходе всегда лютая дичь и еще нормализационные изображения они у меня лично портят результат , почему не знаю но портят,хотя все обзорщики прям настоятельно рекомендуют ну еще плюс лоры в том что его можно применять в разными моделями

    @TheTornado73@TheTornado734 ай бұрын
  • по поводу dreambooth лоры ты чет нагнал, я делал по гайду христа с 14 своими фотками одного плана (крупняк лицо) и на dpm++2m оно генерит мне неотличимого от меня человека из раза в раз на кфг скейл 6.5 и 0.85 силе лоры в промтах то же самое с телом и лицом девушки по пояс, в 90% случаев генераций оно делает очень хороший результат. вообще случай с железным человеком показывает, что ты не понимаешь для чего лора нужна -- она нужна, в первую очередь, чтобы делать что-то очень похожее на то, чему ты ее обучил, а уже потом на обычной модели в инпейнте доделывай костюм ЖЧ и получишь четкий результат

    @TellYoBustas@TellYoBustas10 ай бұрын
  • Да как у вас всех так быстро модели переключаются? Я когда другую модель выбираю, можно идти чай пить - минуты 2-3 гарантированно ждать

    @user-dv9fk1hd3s@user-dv9fk1hd3s3 ай бұрын
    • Это называется магия SSD

      @various-v2245@various-v22452 ай бұрын
  • У меня видюха gtx1660 super😊, Хотел бы я натренировать дримбуф на одном человеке, но у меня только 20 его фотографий. Этого очень мало, да и сняты они не в одном сеттинге)

    @TRIPLEGLOCK@TRIPLEGLOCK6 ай бұрын
  • Подписался! Шикарный урок, спасибо огромное за некоторые вещи которых у других не найти.

    @sergant985@sergant985 Жыл бұрын
    • Обожаю❤ Ещё выпустил видосик со вкусностями)

      @yiu_ai@yiu_ai11 ай бұрын
  • Пасиб за видео. Попробую отталкиваться от вашего опыта. Есть вопросы, как обычно. Настройки Dreambooth в скрипте kohya такие же как у лоры? И еще, в каждом описании к пикче нужно ли вначале вставлять название самой Лоры? Много ли тегов нужно в описании?

    @user-yb9bg7gw8i@user-yb9bg7gw8i Жыл бұрын
    • Вопрос действительно важный и сложный, спасибо) 1. Да, настройки можно оставить все по умолчанию, разработчик постарался и все оптимизировал) от лоры они немного отличаются, но в целом такие же, да 2. На самом деле не обязательно везде пихать описание лоры, так как в любом случае будет основной токен, который вы укажете в названии папки (100_subject) 3. Для простых объектов нужно немного тэгов, но для сложных и разных стилей уже придется все подробно расписать. Например, простые пейзажи можно описать одним-двумя токенами, а стили борокко + какой-нибудь киберпанк с человеком в кожаной куртке требуют подробного описания (10-15 токенов)

      @yiu_ai@yiu_ai Жыл бұрын
    • @@yiu_ai получается, "trigger_word", что я ввожу и как назввается папка с input, как-то фигурирует в самой Лоре? Это не просто название папки? о_О я просто назвал это типа "razdvatruv151epoch2clip" и вроде того.

      @user-yb9bg7gw8i@user-yb9bg7gw8i Жыл бұрын
  • А можешь отдельно подробный гайд по дримбуфу сделать со всеми подробностями и ньюансами

    @Benj4ge@Benj4ge Жыл бұрын
    • Сделал❤

      @yiu_ai@yiu_ai11 ай бұрын
  • Да какие дизлайк , однозначно благодарочка, респект и уважуха...

    @alekseirybalkin2476@alekseirybalkin247611 ай бұрын
  • Крутые советы! Спасибо! Хотя местами много воды. А фон ты удалял через сайт на панели закладок? Дай ссылку пожалуйста) А насчёт Хачатура, он говорил про ненужность описания к лицам людей, а не вообще (насколько я помню). Блин, эта боль про бессоные ночи так знакома! 😂 Я вроде как, только картинки хотел генерить, а попутно в Фотошоп и в коды, уже приходится лазить)) И все же, это очень интересно 😂

    @user-ul3ll3oy2y@user-ul3ll3oy2y11 ай бұрын
  • спасибо

    @TemaShahov@TemaShahov11 ай бұрын
  • Спасибо за ролик. Много полезной информации для нашего Стайбл Дифьюзного сообщества 🤜🤛 Жалко, что не было гайда по настройке DreamBooth, придется смотреть у кого-нибудь ещё

    @Nagisa113@Nagisa11311 ай бұрын
    • Просят многие, сделаю)

      @yiu_ai@yiu_ai11 ай бұрын
    • Запилил видосик❤

      @yiu_ai@yiu_ai11 ай бұрын
  • Привет! У меня не работает расширение Dynamic tresholding. Оно дает эффект, но делает изображение еще хуже. Используешь ли ты какие либо настройки внутри расширения или может есть какие либо тонкости в его использовании? Заранее спасибо!

    @alex-ender@alex-ender Жыл бұрын
    • Да, неплохо было бы увидеть гайд)

      @Drakonhulio@Drakonhulio Жыл бұрын
    • @@Drakonhulio да, по дефолту без внесения изменений расширение странно работает

      @Nagisa113@Nagisa11311 ай бұрын
    • Не всегда получается его использовать на тех настройках, что я показал( Иногда придётся понижать CFG Scale расширения до 6-7, а оригинальный CFG Scale до 4-5 оригинальный

      @yiu_ai@yiu_ai11 ай бұрын
  • Подскажи, а если есть цель генерировать не картинки, а 3d, например в формате STL , то стейбл диффьюжн не подойдёт? А что подойдёт? Конечная цель получать модели коттеджей в 3d.

    @user-rh4vv6xx1h@user-rh4vv6xx1h11 ай бұрын
  • Где брать этот Revision?

    @Krovogor@Krovogor10 ай бұрын
  • почему явно не 4090? у меня 4090 ...хм

    @alantoy4628@alantoy46287 ай бұрын
  • Здравствуйте. Из моря роликов по теме SD, решил остановиться на одном и послушать от начала до конца и это оказался вот этот ваш ролик. Ролик, вернее вас можно спокойно слушать и смотреть, вернее можно вас спокойно понимать. По-человечески всё рассказали, спасибо вам!

    @aplgallery@aplgallery11 ай бұрын
  • Вводишь людей в заблуждение. Особенно по LoRA. Посмотреть 3х блогеров и попробовать их настройки, не равно иследованию. Вы хоть понимаете, за что отвечает конкретный параметр при тренировке? Если у вас LoRA выдаёт плохие результаты, проблема не в ней, а в вас.

    @alexk863@alexk86311 ай бұрын
  • Прости что? Лоры плохо подходят для людей?

    @luciferixplay@luciferixplay11 ай бұрын
    • Именно так

      @yiu_ai@yiu_ai11 ай бұрын
  • Эксперименты это хорошо, но не когда генерит по 7 минут одну картинку, переключает модели подолгу, а иногда выдаёт серый прямоугольник как результат генерации((( GTX 1650, а толку...

    @iwanawdeew3032@iwanawdeew30324 ай бұрын
    • тебе минимум надо 3060.

      @user-hw9et3ir2u@user-hw9et3ir2u16 күн бұрын
  • Спасибо за видео. А как сделать максимально быстро и просто(может даже не совсем качественно). Есть два конкретных человека. Как лицо одного человека заменить лицом конкретного другого человека? По работе приходится делать много подобных картинок. Например нужен какой то актер, или простой человек. Но фотографий с ним с лицензией Creative Commons нет! Приходится в фотошопе брать с бесплатных стоков человека, и заменять ему лицо на того который мне нужен. Тогда роботы видят такое изображение как обычное стоковое. Вот собственно и вся суть. Как заменить лицо одного человека, на лицо конкретного другого?

    @AlexeyG4@AlexeyG411 ай бұрын
  • Плагин Revision - что за расширение такое, не нахожу его ?(

    @TheMaxvin@TheMaxvin9 ай бұрын
  • Кое-что есть полезное в видео, но гуляй лучше с подругами, а не с друзьями.

    @user-np1fb6wh8g@user-np1fb6wh8gАй бұрын
  • Забегая наперед - у меня Lora успешно натренилась на фотах с инстаграмма 30 штук. А вот дримбут на тех же фотах меня расстроил. Хотел больше 30-ти но муза перестала себя снимать в инсте крупным планом.))

    @TheMaxvin@TheMaxvin10 ай бұрын
  • репейники хорошие а вот лёд как будто бы стал хуже. Вывод - надо совмещать и комбинировать)

    @TemaShahov@TemaShahov11 ай бұрын
  • Проблемы со здоровьем у вас не от труда начались, а от негативного влияния г-на историка поносенкова. ))))))))

    @ldblru@ldblru9 ай бұрын
  • почему у меня вообще по другому выглядить Stable Diffusion?

    @bezshketnik3456@bezshketnik345610 ай бұрын
  • все советы Хачатура дельные и правильные, в отличии от тебя он програмист, Лора из 25 картинок работает замечательно, твоя рекомендация просто косяк

    @yu2so@yu2so Жыл бұрын
    • далеко не все советы Хачатура дельные и правильные. То что он программист не делает его гуру. Он также часто втирает дичь в духе того как он предлагал установить cuDNN. И рассказывал как они ускоряют процесс генерации в разы. Хотя эти библиотеки и так стоят по умолчанию в А1111. А он запилил самораспак архив, на который ругались все антивирусники и рассказывал что так просто эти библиотеки установить ни у кого не получится, хотя там нужно 5 файлов скачать в определенную папку и все.

      @alex-ender@alex-ender Жыл бұрын
    • Как вы заколебали со своим Хачапури. Как будто только он один во всем ютубе по SD. Если вам нравится хачапури вот и смотрите его, а не делайте ему скрытую рекламу на канале других блогеров.

      @chelicer3471@chelicer347111 ай бұрын
    • @@chelicer3471 Мне нравятся Хачапури с сыром они очень вкусные

      @jemov9612@jemov961211 ай бұрын
    • @@jemov9612 🤣🤣🤣

      @Delorean_ARS@Delorean_ARS11 ай бұрын
    • Мой опыт к сожалению не может соответствовать вашему ответу(

      @yiu_ai@yiu_ai11 ай бұрын
  • ООчень интересно но ничего не понятно(

    @bezshketnik3456@bezshketnik345610 ай бұрын
  • Вместо того, что получать результат методом тыка, автору полезно было бы больше поинтересоваться теорией. Лица на Лора получаються отлично. Просто надо понимать то, что делаешь и не придется нести чуш...

    @jundar73@jundar7310 ай бұрын
  • Много воды, затянутое видео и при этом нифига нет чо как делать. Типа вот такая штука, а разбирайся сам гыгы

    @AniCho-go-Obzorov-Net@AniCho-go-Obzorov-Net9 ай бұрын
KZhead