首先我们给出复原的问题定义,以及J不变性在优化问题中的推导,下面是在众多论文的思想中集成后整理的推导逻辑:
Blind-Spot Network就是在上面结论的指引下做出的构建
目前主要有两种实现方法,一个是把普通的卷积换成四个方向的单向卷积,计算完之后聚合;不过用的最多的还是中心遮蔽像素的方法,如下:
class CentralMaskedConv2d(nn.Conv2d):
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
self.register_buffer('mask', self.weight.data.clone())
_, _, kH, kW = self.weight.size()
self.mask.fill_(1)
self.mask[:, :, kH // 2, kH // 2] = 0
def forward(self, x):
self.weight.data *= self.mask
return super().forward(x)
在输入后续更深层次的网络维度前,首先把中心像素的信息屏蔽,后续的内容只要考虑扩大感受野就可以了,不管是扩张卷积还是transformer
不过这样其实有个潜在的tradeoff:入口处的中心遮蔽只切断了$ x_i $到 $[f(x)]_i$的直接路径,但随着网络加深,邻域像素的特征会通过卷积或attention不断聚合,$ x_i $的信息可能通过迂回路径重新渗入位置$ i $的特征表示中——尤其是在多尺度架构里,下采样把空间信息折叠到通道维度,通道attention可能部分等价于空间交互,进一步加剧这种泄漏
因此,中心遮蔽的方法本质上是对J-invariance的近似实现,而非严格保证。实践中这种近似被普遍接受,原因是严格实现的代价较高——感受野增长慢、结构复杂,且实验表明近似实现在去噪性能上并不逊色。后续工作如TBSN(AAAI 2025)尝试在Transformer框架下对空间attention引入显式mask、对通道attention做分组处理,以在性能和J-invariance严格性之间取得更好的平衡