J-Invariance 视角下的 Blind-Spot Network 原理阐释

899 词

首先我们给出复原的问题定义,以及J不变性在优化问题中的推导,下面是在众多论文的思想中集成后整理的推导逻辑:

Blind-Spot Network就是在上面结论的指引下做出的构建

目前主要有两种实现方法,一个是把普通的卷积换成四个方向的单向卷积,计算完之后聚合;不过用的最多的还是中心遮蔽像素的方法,如下:

class CentralMaskedConv2d(nn.Conv2d):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)

        self.register_buffer('mask', self.weight.data.clone())
        _, _, kH, kW = self.weight.size()
        self.mask.fill_(1)
        self.mask[:, :, kH // 2, kH // 2] = 0

    def forward(self, x):
        self.weight.data *= self.mask
        return super().forward(x)

在输入后续更深层次的网络维度前,首先把中心像素的信息屏蔽,后续的内容只要考虑扩大感受野就可以了,不管是扩张卷积还是transformer

不过这样其实有个潜在的tradeoff:入口处的中心遮蔽只切断了$ x_i $到 $[f(x)]_i$的直接路径,但随着网络加深,邻域像素的特征会通过卷积或attention不断聚合,$ x_i $的信息可能通过迂回路径重新渗入位置$ i $的特征表示中——尤其是在多尺度架构里,下采样把空间信息折叠到通道维度,通道attention可能部分等价于空间交互,进一步加剧这种泄漏

因此,中心遮蔽的方法本质上是对J-invariance的近似实现,而非严格保证。实践中这种近似被普遍接受,原因是严格实现的代价较高——感受野增长慢、结构复杂,且实验表明近似实现在去噪性能上并不逊色。后续工作如TBSN(AAAI 2025)尝试在Transformer框架下对空间attention引入显式mask、对通道attention做分组处理,以在性能和J-invariance严格性之间取得更好的平衡