在这个系列的文章中，我们会讨论关于使用区域提取词的话题，分为4篇。

• 区域提取词的作用和简单的示例
• 复杂组成的一维及二维区域使用
• 将区域提取词与ControlNet结合使用
• 将区域提取词作为一种创新工具

这一篇我们会讨论一下将区域提取词与ControlNet结合使用。

虽然区域提取词可以用来指定划分后每个区域的提取词，但是并不能控制整个图像的构成。这里，很容易想到ControlNet可以帮我们做全局控制。

让我们通过两个例子来了解如何同时使用区域提取词和ControlNet来实现我们梦寐以求的操控效果。

例1: 控制图像的全局和局部组成

比方说，我们想生成一个巫师在一个小地窖里研究古老卷轴的图像。另外，我们还想在他旁边放一只狼，在地板上放一些骷髅头。

看起来我们要处理的元素可真不少，如果使用常规的文本到图像的转换，您将会看到一系列不同的组合。

A. Text-to-Image

作为一个对这个图像主题没有一点头绪的Stable Diffusion用户，我输入了下面的提取词，并期望能得到最好的结果。

正向提取词：a mysterious wizard , highly detailed face, highly detailed clothing, cinematic, dark, horror, worn stone wall, ancient symbol, old mystical torn scroll, wolf, many skulls

负向提取词：nsfw, disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w, odd eyes, underage, deformed

模型：Lyriel v1.5

不使用区域提取词生成图像

看起来生成的图像还可以，这次运气挺好的。

不过我们再仔细观察生成的图像，会发现图像并没有完全表达出我的意图，也许我们并没有强调他在研究卷轴。我们重新组织一下提取词，再试一次。

正向提取词：a mysterious wizard studying old mystical torn scroll, highly detailed face, highly detailed clothing, cinematic, dark, horror, worn stone wall, ancient symbol, wolf, many skulls

这一次生成的图像更加接近我想要的图像，但是我们仍然无法控制巫师的姿势和图像放大的程度。

改进的不使用区域提取词生成的图像

B. 引入ControlNet

现在，我们很自然的会想到使用ControlNet来控制巫师的身体姿势。

让我们使用下面的图像作为参考图像，按照下面的步骤进行操作。

参考图像

• 把参考图像上传到ControlNet Single Image的画布，我们可以通过拖拽的方式把参考图像放在画布里。

配置使用ControlNet

• 选中Enable;
• 在Preprocessor下拉框中选openpose；
• 在Model下拉框中选control_openpose；

我们可以选择执行下面的操作来预览提取的姿势。

• 选中All Preview。
• 点击模型下拉框边上的炸弹形状的图标来预览提取的姿势。

然后点击Generate来使用ControlNet的姿势生成图像，下面就是生成的图像。

加入ControlNet生成的图像

到这里，我们又向前迈进了一步，我们修正了巫师的姿势。他现在会保持坐姿，并且展示他的全身。同时，我们仍然缺少一种机制来指定某些区域的提取词，聪明的读者已经知道我想说什么了。是的，让我们开始添加区域提取词吧。

C. 添加区域提取词

现在，让我们加入区域提取词再生成一次。

Divide mode: Horizaontal

Use common prompt: checked

Divide Ratio: 1,1,1.5;1,1,1.5

Base Ratio: 0.8

配置区域提取词

分割成的4个区域如下图所示。

区域提取词分割图像示意图

现在，我们先来设计一下图像的大概组成。

全图：a wizard

Region 0: stone wall with ancient symbols

Region 1: wizard reading a scroll

Region 2: a wolf besides a stone wall

Region 3: some skulls

接下来，我们修改正向提取词，加入区域提取词。

a mysterious wizard , highly detailed face, highly detailed clothing, cinematic, dark, horror

BREAK

worn stone wall, (ancient symbols :1.3)

BREAK

old mystical (torn scroll :1.2)

BREAK

worn stone wall, (wolf:1.5)

BREAK

(many skulls:1.5), blurry

可以注意到我们增加了一些关键词的权重，否则这些物体可能不会被画出来。

现在我们完成了对巫师、狼、神秘符号和骷髅的显示控制。下面是生成的图像。

进一步加入区域提取词生成的图像

例2: 修正颜色

比方说，我们想生成一些棕色头发、黄色上衣和穿蓝色裙子的女性的照片。听起来是不是很容易？如果您已经尝试过生成类似的东西，那您就会知道这是一个很有挑战人物。

让我们试试下面的提取词。

正向提取词：full body photo of young woman, natural brown hair, yellow blouse, blue dress, busy street, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

负向提取词：nsfw, disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w, odd eyes, underage, deformed

模型：Realistic Vision v2

从生成的图片看到，这些都是Stable Diffusion的即兴创作，颜色都混在一起了。

不使用区域提取词生成的图像

你会发现，要告诉 Stable Diffusion 哪种颜色应该放在哪里并不容易，提取词并没有起作用。这种情况下就要看运气了，我们会偶然得到一个正确的分配，所以让我们尝试使用区域提取词来构造图像，修正颜色的分配问题。

区域提取词可以帮助解决颜色分配的问题，让我们将图像垂直分为三个区域。

Divide Mode: Vertical

Divide ratio: 1,1,1.5

Use common prompt: Yes

区域提取词分割图像示意图

我们保持负向提取词不变，使用下面的正向提取词。

full body photo of young woman, busy street, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

BREAK

natural brown hair

BREAK

(yellow blouse: 1.5)

BREAK

(blue jeans: 1.5)

使用区域提取词生成的图像

生成的图像看起来还不错，很好的解决了颜色分配的问题。在这个例子里面，我们可以尝试使用ControlNet Pose来进一步控制人的姿势。

相关文章

区域提取词(1) ——区域提取词的作用和简单的示例

区域提取词(2)——复杂组成的一维及二维区域使用

图片分享

下面分享一些生成的还不错的图片。

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

图11

图12

图13

图14

图15

图16

图17

#头条创作挑战赛# #暑期创作大赛# #头条文章养成计划# #头条家时光#