This post hasn't been translated to English yet. Showing the original version.
AI味道的图见的太多了，其实人的肉眼分辨细节是非常非常灵敏的，相对于生成模型来说，人类同时具备对于高频和低频的全频段感知，因此AI生成的图像在边缘细节还是经不起推敲。
大部分ACG的AI生成模型，大多数来源都是【未经许可】的画风训练，因此，在大量民用级训练资源，以及盗版图源下，质量相对于正常授权源文件获得的质量要差得多。
同时，我们可能会发现，错误的扩散模型采样方法，或者一些错误的CFG参数设置，会加剧这种AI噪声的问题。但是如果我们考虑一个理想连续模型，但是在一个理想有限的大量相似数据集下，这种AI味道就能被避免吗？
理想连续的 V-pred diffusion 的前向过程#
我们给出V-pred diffusion的标准形式
dxt=−21β(t)xtdt+β(t)dWt其中，W是标准维纳过程，闭式解形式为
xt=αtx0+σtϵ,ϵ∼N(0,I)其中通常有
αt2+σt2=1对图像进行傅里叶变换。记第k个频率模态为
xt(k)=αtx0(k)+σtϵ(k)白噪声在每个频率上的期望功率近似相同：
E∣ϵ(k)∣2=C因此第k个频率的信噪比是
SNRk(t)=σt2Cαt2P0(k)其中
P0(k)=E∣x0(k)∣2是数据的功率谱。
自然图像、光滑曲面和一般物理信号通常具有随频率下降的功率谱，可粗略写成幂律分布
P0(k)∝∣k∣−γγ>0所以
SNRk(t)∝σt2αt2∣k∣−γ频率越高，SNR 越低。
我们以 SNRk(t)=1 作为一个方便的参考阈值。显然，当 SNRk(t)>1时，该模态的信号功率超过噪声功率，可称为信号主导或相对可辨识区域；当 SNRk(t)=1 时，该模态为噪声主导区域。但这并非严格的可恢复性边界，因为生成模型仍可利用跨频率相关性与数据先验推断低 SNR 模态。
对固定时刻 (t)，可以定义一个临界频率 kc(t)：
SNRkc(t)=1在该临界频率之上
于是
∣kc(t)∣∝(σt2αt2)1/γ随着噪声增加，αt/σt 下降，kc(t) 向低频移动。也就是说，高频信息比低频信息更早淹没在噪声中
混合相似数据集的扩散逆问题#
在实际使用的数据集中，经常能遇到不同数据共享相似的频谱统计、局部纹理和跨频率相位结构，这使得我们无法进行独立假设傅里叶模态。
假设我们把所有频率系数组成向量：
z=[x(k1),x(k2),…x(kd),]然后假设数据已经全部中心化：
z∼N(0,Σ)这里 Σ 的形式为：
Σij=Cov(x(ki)x(kj))前向扩散为
zt=αtz0+σtϵ,ϵ∼N(0,I)于是
zt∼N(0,αt2Σ+σt2I)精确 score 为
s⋆(zt,t)=(αt2Σ+σt2I)−1zt这时 score 的第 i 个分量不再只取决于 zi，而取决于所有频率：
si⋆=−j∑[(αt2Σ+σt2I)−1]ijzj也就是说：
模型可以根据仍然清晰的低频或中频结构，推断已经低 SNR 的高频成分。
V-pred 的概率流 ODE 为
dtdxt=−21β(t)xt−21β(t)∇xlogpt(xt)即
x˙t=−2β(t)[xt+∇xlogpt(x)]将精确的 score 代回概率流 ODE，可得到：
z˙t=2β(t)[(αt2Σ+σt2I)−1−I]zt当然，实际 ∇xlogpt(x) 的ground truth是没有的，因此这里是为了推导而做的假设。
如果 Σ 是对角矩阵，那么
(αt2Σ+σt2I)−1也是对角矩阵，各频率独立演化。
但只要带来跨频率依赖，
Σkk′=0,k=k′则一般有
(αt2Σ+σt2I)kk′−1=0第 k 个频率的 ODE 为
z˙k=2β[k′∑(αt2Σ+σt2I)kk′−1zk′−zk]我们将表示空间分块：
z=[l,h]
其中 l 是低频或大尺度结构，h 是高频、边缘和纹理。
定义：
Ct=(αt2Σ+σt2I)−1其在分块形式下又可以写成：
Ct=[Cll(t)Chl(t)Clh(t)Chh(t)]高斯分布下，高频在给定低频后的条件分布是
ht∣lt∼N(mh∣l(t),Ch∣l(t))其中
mh∣l(t)=Chl(t)Cll(t)−1lt以及
Ch∣l(t)=Chh(t)Chl(t)Cll(t)−1Clh(t)高频方向的条件 score 可写成
sh∗=Ch∣l−1[ht−mh∣l(t)]代入 ODE 的高频部分：
h˙t=−2βht+2βCh∣l−1[ht−mh∣l(t)]即
h˙t=2β(Ch∣l−1−I)ht2βCh∣l−1mh∣l(t)从反向生成角度看，动力系统会把 ht 拉向条件均值mh∣l(t)，也就是说，高频会被拉向：ChlCll−1lt，这意味着，即便高频本身的边际 SNR 很低，它仍可能受到低频、中频和其他结构变量的驱动。因此相似的结构允许互相被吸收以重新映射回高频。
统一的风格数据意味着，在给定结构 l 后，高频 h 的变化范围较小：
Ch∣l≪Chh在这样训练集下，此时Ch∣l−1会变大。
低噪声末端更加刚性#
因为λmin(Ch∣l)很小，所以λmax(Ch∣l−1)=λmin(Ch∣l)1很大。
对应 ODE 的 Jacobian 为
Jh(t)=2β(t)(Ch∣l−1−I).其最大特征值可能很大：
∣Jh(t)∣≈2λmin(Ch∣l)β(t).于是在理想连续的情况下，仍然会出现这种边缘末端刚性的噪声。
边缘伪影与模态竞争#
真实的训练数据集由于多样性的构图，多样性的纹理设计，更可能是高斯混合分布，而非单纯的高斯分布
因此，我们可以有：
p0(z)=c=1∑CπcN(μc,Σc),其中不同 c 可以代表不同构图或局部纹理状态。
扩散后可得
pt(z)=c∑πcN(αtμc,,Cc,t),其中
Cc,t=αt2Σc+σt2I.score 为
st(z)=−c∑rc(z,t)Cc,t−1(z−αtμc),其中
rc(z,t)=p(c∣zt)是后验责任度。
代回 ODE：
z˙t=−2βzt+2βc∑rc(zt,t)Cc,t−1(zt−αtμc)这时 ODE 不再是线性的，因为rc=rc(zt,t)依赖当前状态。
当两个模式在局部区域都具有相近责任度时，score 向量场是两个吸引方向的加权平均。随着噪声降低，责任度会变得更尖锐。这容易导致边缘的过度非常不平滑，或者出现陡变。
错误的责任度竞争结果
如果所有训练集的图的大轮廓都差不多，那么模型会非常自信地先画出差不多的整体，却不那么自信地决定某个局部高频，因此这类问题将会是目前普遍存在而且长期存在的。
