实时X射线数据压缩实现8000倍体积缩减

richlovec 1500_400 (1)
 

研究团队由日本理研 SPring-8 中心(RSC)的 Takaki Hatsui 领衔,与多位合作者共同开发出一种用于 X 射线成像数据的实时压缩新方法。在不损失定量分析所需的关键 X 射线强度信息的前提下,该方法可将数据文件大小缩减超过 8000 倍。

由于大型科学实验数据对精度要求极高,哪怕是极小的失真都可能影响结果,因此要在保持精确物理信息的同时实现高压缩比一直非常困难,尤其是针对 X 射线图像这类数据。

面向海量实验数据流的压缩

这套新系统的一大特点,是直接作用于实验过程中实时产生的高通量数据流。除了 X 射线成像外,该方法同样适用于多种基于辐射的成像与探测技术,包括使用电子、伽马射线、中子、阿尔法和贝塔粒子、质子、重离子、缪子以及其他带电粒子或离子束的测量与检测。

随着成像探测器技术的快速发展,基于 X 射线和电子的实验已经能够产生接近每秒太比特级的数据流。然而,这样的速率远超传统数据传输、存储和分析系统的处理能力。数据生成速度与系统处理能力之间的巨大差距,已成为制约现代辐射实验技术充分发挥潜力的关键瓶颈。

在 SPring-8 同步辐射装置上的验证

相关成果发表在《同步辐射学报》上。研究团队在 SPring-8 同步辐射设施中,针对高通量实验数据构建并演示了这套实时压缩系统,以正面应对上述瓶颈问题。

在实验中,系统被部署在一台探测器上,该探测器可持续输出 216 Gbps 的连续数据流,相当于每天约 2.3 拍字节的数据量。即便在如此高的数据率下,系统仍能稳定实现超过 8000 倍的压缩比。

借助这一系统,用户可以在高数据速率条件下开展准弹性散射测量,而不再受数据量的限制。准弹性散射测量是一种非破坏性技术,可在亚纳秒到纳秒时间尺度上探测材料中原子、分子以及纳米结构的动态行为。这一能力有望加速新材料的开发进程,并推动我们对各类生物现象的深入理解。

FPGA 硬件支撑的实时压缩

为实现真正的实时压缩,团队采用了配备现场可编程门阵列(FPGA)的数据处理板卡,这些板卡源自他们此前的相关研究工作。与在固定硬件架构上执行软件指令的传统 CPU 不同,FPGA 的逻辑结构可以在硬件层面灵活配置,用于实现特定应用的数字电路。

这种特性使系统能够针对数据流构建大规模并行与流水线处理架构。研究人员将压缩算法中计算最密集的部分直接实现于 FPGA 硬件中,同时确保保留数据中关键的科学信息。通过这种方式,压缩处理可以在硬件层面高效执行,从而在极高数据速率下仍能保持实时运行。

对各类辐射实验技术的潜在影响

论文第一作者 Haruki Nishino 指出:“虽然这项研究是在 SPring-8 利用同步辐射开展的,但该方法在更广泛的基于辐射源的测量和检测技术中同样适用,只要配备了快速成像探测器,都可以受益。”

他进一步表示:“通过在高通量数据条件下实现实时压缩,并同时保留关键科学信息,这一方法突破了现代实验数据处理的根本限制,为数据密集型测量和检测技术打开了新的发展范式。”


分享:


发表评论

登录后才可评论。 去登录