基于光流约束网络的运动散斑成像

Date:

运动散斑成像是一种透过散射介质对运动目标进行重建的计算成像技术。传统方法多基于静态假设或时序循环网络,缺乏显式运动场建模,难以保证长时间序列下的重建一致性与稳定性,且逐帧恢复需要完整的配对数据,实际情况下较难获得。为实现高质量、时序一致的运动目标散射成像,本研究提出基于光流约束网络的运动散斑重建方法,将散斑运动与物体运动等效建模,通过单帧重建+光流引导时序传播实现全序列高精度恢复。

运动散斑计算成像 Dynamic Speckle Imaging

  • “Tan S, He G, Luo Z, et al. Dynamic Speckle Imaging Reconstruction via Optical-Flow-Guided Network[J]. Optics Express, 2026, 34(8): 14534-14548.”
  • “Yan Z, Huang H, Chen Y, et al. Scattering imaging of moving targets based on recurrent neural networks: a fusion of temporal and phase information[J]. Optics Express, 2024, 32(26): 45978-45994.”

基于光流约束的运动散斑成像

整体网络架构

整体网络架构
光流约束网络整体架构

网络分为两大核心模块:

  1. RAFT光流估计网络:预测相邻散斑帧间前向/反向光流场
  2. UNet重建网络:单帧散斑→物体高精度重建
  3. 双向Warp传播:以单帧重建结果为锚点,光流引导全序列传播

仿真数据集构建与运动建模

仿真数据生成流程
仿真数据流程
基于MNIST手写数字生成平移运动序列,与系统PSF卷积生成散斑数据,目标位移范围±16像素,共1100组*5帧的散斑-物体配对数据,1000组用于训练,100组用于测试。

仿真结果与分析

仿真重建结果
仿真重建结果
(a)真实物体;(b)UNet单帧重建;(c)光流引导传播重建;(d)差值图
不同参考帧时序传播效果
不同参考帧传播
以第0/2/4帧为锚点,双向光流均可稳定传播,无明显漂移与结构退化。
光流估计精度可视化
光流可视化
真实光流 vs 预测光流,方向与幅值高度一致,EPE=0.72px,1px准确率86.2%。

真实实验系统与数据采集

实验光路图
真实散射成像实验系统

实验系统:LED光源→准直光路→LCD目标→散射毛玻璃→CMOS相机 自动采集:单片机同步控制目标运动与相机采集

实验数据预处理

散斑预处理流程
散斑预处理
归一化→中心裁剪→灰度矫正→多级插值,提升信噪比与网络泛化性。

真实实验结果

真实散斑重建结果
实验重建结果
(a)输入散斑;(b)真实物体;(c)本文方法重建;(d)差值图
与传统散斑相关方法对比
传统方法对比
传统自相关+相位恢复无法恢复结构,本文方法可清晰重建目标轮廓。
与TP-RNN循环网络方法对比
TP-RNN对比
本文方法SSIM=88.5%,显著优于TP-RNN的76.7%,时序一致性更强。

方法创新与核心优势

  1. 显式光流建模:提出散斑运动等同物体运动的假设,首次将稠密光流引入运动散斑
  2. 单帧重建+时序传播:仅重建一帧即可恢复全序列,效率更高
  3. 双向Warp机制:抑制误差累积,长时间序列更稳定
  4. 鲁棒性更强:在真实噪声、系统误差下仍保持高质量重建

多场景验证与定量指标

  • 仿真:SSIM=98.97%,PSNR=34.92dB,EPE=0.72px
  • 实验:SSIM=88.51%,PSNR=14.05dB,EPE=2.39px
  • 优于传统相关法、TP-RNN等主流方法