2023-08-10

Stable Diffusion + ControlNet: AIGC新领域

AI应是一项属于大众的新技术，应是一项促进艺术发展的好技术。本文作者坚决反对AI大规模商业化，但支持AI作为技术交流进入寻常百姓家，促进技术平等。面对新技术，我们争做“活雷锋”，主动传播这些新技术。本文将简要介绍AIGC (Artificial Intelligence Generated Content, 人工智能生成内容) 背景下，Stable Diffusion和ControlNet配合，实现前所未有的优秀效果。

原理解释

Stable Diffusion的原理想必不用赘述，而ControlNet则是可以从字面理解。Control，意为控制，表示这是一个控制工具。Net，当然不是指网络，而是指AI所依赖的神经生成网络。ControlNet便代表可以控制Stable Diffusion的生成网络，使其产生“可以预料”或者说，“可以控制”的图片生成结果。

这张图片显示了其工作时会产生的效果

在上面的例子中，我们使用手部深度图(Depth Image)来左右SD对手部的生成，使其更加精细化。而同样是在上边了例子里，我们使用骨架图/姿势图，左右SD对身体整体趋势的生成，使其具备和原图的一致性。可以看到，生成结果虽然在手部略有不自然，但是非常真实，已经远远超过不依靠任何工具的直接模型，或者某些手部精修Tag或Lora(LyCoris). 而如果您在互联网上搜寻，您可以发现ControlNet会对SD生成的结果产生多种多样可以由用户控制的影响，相比与以前大量生成图片，并一张张仔细遴选的传统模式，依靠ControlNet的生成模式更加可控、稳定，也更加节省人力和物力。同时，它还允许专业人士手动绘制姿势图，甚至使用网络摄像机直接拍摄人的动作并生成姿势图。而如果需要，甚至可以进行面部捕捉，以控制AI生成人物的面部表情。如果显卡算力足够，说不定未来某一天会出现基于SD+CN实时生成的Live2D虚拟主播解决方案。

实操演练

这里以秋叶大佬开发的一键包为例，向您介绍具体的装/配步骤。首先，您需要将ControlNet更新到最新版本。

然后打开WebUI进行第一次生成。这一次生成的结果好看与否无需太过在意，因为本次生成是为了获取大概的轮廓（姿势）。如果您是自己绘制姿势，或者使用真人照片来生成姿势图，可以跳过。

接下来我们需要安装ControlNet OpenPose（姿势）和Depth（深度）模型，同时为了方便编辑，还要安装两个插件，一个是深度库插件，另一个是Openpose编辑器插件。我们先来安装插件

扩展的Git仓库地址：

然后我们需要激活插件。

进行这些操作后，WebUI会重新启动。接下来我们安装Openpose和Depth模型。

模型下载地址(Huggingface)：

您需要把这些模型，放到SD WebUI主目录下的models/ControlNet文件夹内。接着，回到WebUI，点到主页面，并准备好不久前生成的那张差强人意的图片，我们开始精修。

小贴士：如果您需要右手，请：

然后，我们得到提取出的两张照片，一张是姿势图（image.png），另一张是手部深度图（pose.png）。用这两张图，和之前的图片，生成最后成品。

结语

请尊重版权。不推荐您将AI作品用作任何商业用途，更不希望您对AI作品主张任何版权。

特别鸣谢

@秋叶 其开发的一键Stable Diffusion WebUI，方便了本文图像生成实验。