ControlNet

ControlNet 是一种神经网络结构，通过添加额外条件来控制扩散模型。
它将神经网络块的权重复制到“锁定”副本和“可训练”副本中。

“可训练”副本学习您的条件。而“锁定”副本保留您的模型。

通过这种方式，使用小型图像对数据集进行训练不会破坏已经准备好用于生产的扩散模型。

“零卷积”是带有零初始化权重和偏差的1×1卷积。

在训练之前，所有零卷积的输出都为零，ControlNet 不会引起任何失真。

没有任何层是从头开始训练的。您仍然在微调您的原始模型。您的原始模型是安全的。

这使得可以在小型或个人设备上进行训练。

这也对于模型/权重/块/层的合并、替换和抵消非常友好。