细心的AI绘画爱好者可能发现,SDXL的默认模型不仅体积大,而且有两个。
一个是base,一个是refiner。
(资料图片仅供参考)
根据官方文档,这两个模型的用途不完全一样。
sdxml -:生成1024 x 1024图像的基本文本到图像模型。基本模型使用OpenCLIP-ViT/G和CLIP-ViT/L进行文本编码。
sdxml -:一个图像到图像的模型,用于细化基本模型的潜在输出,可以生成更高保真度的图像。细化模型只使用OpenCLIP-ViT/G模型。
SDXL 的refiner是基于OpenCLIP-ViT/G的具有参数模是目前可用的最强大的开放访问图像模型之一。
base模型在第一阶段创建(有噪声的)结果,然后由专门为最后去噪步骤设计的refiner模型进一步处理(基本模型也可以作为一个模块单独使用)。
简单总结,base是一个“底座”大模型,而refiner可以对base生成的图片进行优化(去噪声)。
当然了,经过我的实测,有时候这个优化是负优化... ...
根据官方文档,SDXL需要base和refiner两个模型联用,才能起到最佳效果。而支持多模型联用的最佳工具,是comfyUI。
使用最为广泛的WebUI(秋叶一键包基于WebUI)只能一次加载一个模型,为了实现同等效果,需要先使用base模型文生图,再使用refiner模型图生图。
操作繁琐。
后来,comfyUI除了WebUI用的插件,实现了在WebUI以插件的形式可以轻松的切换到comfyUI界面。我也做了介绍,但依然存在一个问题:comfyUI的操作习惯和WebUI完全不同,非常不便。
于是,有人做了一个插件,让WebUI可以同时加载两个模型,使用base模型跑图后接着用refiner模型优化,实现和comfyUI几乎一样的效果,操作方式却是完全WebUI化的。
当然了,和comfyUI相比,还是逊色一点,这个插件只能支持多挂载一个模型,不能像comfyUI那样任意挂载N多模型。
从实用的角度来说,SDXL一个模型出图,一个refiner模型优化就足够了。
这个插件的名字,就叫Refiner。
/wcde/sd-webui-refiner
(国内访问GitHub不太稳定,多试几次,一般十分钟内肯定可以)
安装完毕后,首页左下角会有Refiner选项。
使用的时候,点击启用,选中模型和迭代步数就可以了。推荐迭代步数10-20之间。
让我们试一下。
提示词:
portrait of a beautiful anime girl wearing a gothic dress, in a dark and moody atmosphere filled with white mist, indoor dimlight, (black and red ink splash:) embedding:SimplePositiveXLv1
模型使用base,不使用Refiner的情况下。
使用Refiner,迭代步数10。
PS,最近C站放出了修复原生bug的base模型和Refiner模型,从模型名可以看出,我用的是修复后的模型。
和comfyUI相比,缺乏直观的生成过程对比,略有一丝丝缺憾。
但是操作简便,不用修改使用习惯,足以弥补缺憾。