您现在的位置是:首页 > AI

一篇LORA训练参数提要,不是所有人都需要。

2024-07-15 14:51:55

总步数10000左右算平均。
以40张图为例,设置20_名称即可
12g显存,在512*768的图的情况下Train batch size(训练批次大小)可以选择2,4080,3090,4090可以选择3,
更高尺寸比如768*1024的图,还是退回2,这个具体看自己显卡
优化器选adamW8bit(不用选其他的,问题多多,这个最省心,记得取消高级设置里面的那个勾(8bit)
学习率,unet学习率 7e-5
文本编码学习率先按照默认的 5e-5设置,过高不像,过低影响泛用性(换衣服,换发型,角度之类)
网格大小 128 ,网络alpha96,虽然有些人说 32-16就够用,但是实测如果真的想做个好lora,还是12896会更好些。
图片分辨率的问题,其实一般随便玩玩,512*512足够了,这个尺寸比较快,大模型其实对面部适配已经很好了,512*768的尺寸除了增加时间,我个人测试的时候好像出图并没有太大区别。
学习率 调度器 :constant_with_warmup
噪音偏移0.1
出图最终跑图次数应该在1万上下浮动(Train batch size 为2的时候是5000)
希望大家都能练出好丹。
当然参数并不是固定的,
实际上炼丹始终有些玄学,其次是参数总是得根据上一次的出图情况慢慢调整。
训练轮次10-15次,会让选择范围更大。
训练源模型用chilloutmix的那几个就行了,属于自己的模型尽量用同一个原模型,省的到时候乱七八糟自己都弄混。
lora只有在原模型里才最适合,一般没必要就别换了。
uner学习率影响相似度,不拟合加大,过拟合减小
文本学习率影响泛用性,过低会导致无法换衣服。
人脸训练,最重要的始终是素材问题,
比如h-art,m-art,以及日本的graphis的写真面图都很不错,很高清
这几天做了好几个,腰都疼死了。
其次是在训练出lora之后,可以同时用两个lora控制在0.35
可以产生出奇异的组合。
比如我有一个三上悠亚的lora,还有一个葵司的lora,那么两个一起用,就会很大概率出现一个结合了葵司和三上悠亚之间特征的人脸。
总而言之,炼丹始终有些玄学属性在,希望大家都能炼出自己心中的那个庄颜。
补充一下,那个7e-5,8e-6这类的数值是科学计数法,填入正常的0.0000**这类也可以。
我给的只是参考值。
头像素材一般建议选用高清素材,面部无遮挡,光线均匀,可以看清楚面部细节的那些图。少数几张戴眼镜影响不算大。
其次是如果实在找不到某个人的高清脸,那么底线是10张,更多的可以依靠一些相似的脸去凑数。
比如我想熔一个梁静茹的lora,那么能找到的图只有10张,这个时候我就可以找到藤浦惠以及佐藤遥希这两位的脸借来一用。
在那个训练文件夹里面,把3个人的脸放入3个文件夹, 设置名称分别为
50_梁静茹
25_佐藤遥希
10_藤浦惠
这么设置的原因是因为我希望模型更像梁静茹,佐藤遥希25是因为她与梁静茹的脸更加相似,属于即使本体梁静茹,但是面部有些倾向于佐藤遥希,也是可以接受的
大家可以搜搜图,以上三位女士眉眼之间其实是有很多相似的,梁静茹和佐藤遥希非常相似,藤浦惠和佐藤遥希更相似,但是基本已经不像梁静茹了。
但是以上三位女士的美貌其实是可以归纳为同一类脸型特征(梁静茹接近方圆脸,佐藤遥希略尖,但是胖了之后会更像梁静茹,藤浦惠是整容瓜子脸)
所以这个办法适用于很喜欢某个女性,但是高清图不够的情况下做出拓补,即使不能出现本尊,但是好歹也能出一个接近本尊的同面部特征的美人了。
====================================================
除了上述三位,其实很多美女都是有同类型的面部特征的,平时可以多加注意搜集喜欢的脸,最后凑够30来张了就去融一波,比游戏有意思多了。
================================================
还有一个特殊技,就是以图生图当素材。
比如我喜欢某个人的脸,但是实在找不到更多素材,那么就可以用类似的脸和五官把它们扔一起熔了。
最后疯狂输出新图,挑选自己觉得更加相似的图扔到初始那个人的面部素材里面重复计算,直到出现满意结果。