3D卷积和2D卷积区分-高光谱图像为例

现有一张高光谱HSI图像宽度145 个像素高度145 个像素波段30 个每个像素都有 30 个光谱值 → 可以理解成 像素的“光谱指纹”所以高光谱图像就是 一个 3D 堆叠空间 × 空间 × 光谱。2D卷积在HSI上的操作2D卷积就像普通的图像卷积把所有光谱当作通道输入145 × 145 × 30卷积核3 × 3 × 30 → 只在空间上滑动输出提取每个像素附近的空间模式但光谱之间的关系没直接处理2D卷积只在 空间维度 (Height × Width) 上滑动。输入通道数Depth / spectral bands 是卷积核的“深度”卷积核会覆盖全部通道。举例Patch size: 7×7×30 → 卷积核 3×3×30 ✅Patch size: 7×7×10 → 卷积核 3×3×10 ✅Patch size: 7×7×50 → 卷积核 3×3×50 ✅核心2D卷积核的深度必须等于输入的通道数。空间滑动的是 Height × Width卷积核沿深度一次性处理所有通道。3D卷积在HSI上的操作3D卷积同时处理空间和光谱卷积核3 × 3 × 7空间 × 空谱滑动方式不仅在空间滑动还会在光谱方向滑动输出能同时捕捉空间模式和光谱模式3D卷积在 Height × Width × Depth 都滑动。卷积核在光谱Depth方向也有大小可以选择 小于、等于或大于 patch depth 的值。举例Patch size: 7×7×30 → 3D卷积核可以是 3×3×3, 3×3×5, 3×3×10 等 ✅Patch size: 7×7×10 → 3D卷积核可以是 3×3×3, 3×3×5, 3×3×7 等 ✅核心3D卷积能捕获 光谱-空间联合特征不仅仅在空间上滑动还可以在光谱方向上滑动提取局部光谱模式。3D 卷积核在 spectral 维度可以自由选择不必等于 patch depth这是它的优势。对比方面2D 卷积3D 卷积滑动维度高 × 宽高 × 宽 × 深度卷积核深度必须等于输入通道数可以小于输入深度/沿深度部分卷积特征捕捉仅空间模式空间 光谱/深度模式计算开销较快较慢参数更多计算量更大参数量与计算量对比假设输入 patch7×7×30降维后30个光谱波段输出通道Cout16卷积核尺寸2D卷积3×33D卷积3×3×7光谱方向卷积深度7参数量计算2D卷积光谱作为通道参数量3⋅3⋅30⋅1643203D卷积参数量3⋅3⋅7⋅1⋅161008⚠️ 注意3D卷积每次只处理部分光谱卷积深度所以参数少但是卷积次数更多计算量实际上可能比2D大因为要在光谱方向滑动多次。卷积计算次数乘加运算量FLOPs以输出空间大小为5×5为例2D卷积:FLOPs≈5⋅5⋅3⋅3⋅30⋅16108,0003D卷积卷积深度7滑动30波段 →30−7124 次:FLOPs≈5⋅5⋅3⋅3⋅7⋅16⋅24226,800✅ 结论3D卷积虽然每个核参数少但计算量更大因为光谱方向要滑动。