基于预训练的暗光图像增强Transformer

基于预训练的暗光图像增强Transformer

March 12, 2024·Jensen
Jensen

图形摘要

模型架构

摘要

暗光图像增强是一个长期存在的低层次视觉问题,因为暗光图像通常存在严重的美学质量缺陷。基于深度神经网络的当前暗光图像增强方法在这一任务上已取得了显著进展。与主流基于CNN的方法不同,我们提出了一种有效的暗光增强解决方案,该方案受到在各种任务中展现出卓越性能的Transformer的启发,旨在解决此类问题。该解决方案的关键包括一个图像合成流水线和一个强大的基于Transformer的预训练模型,名为LIET。具体而言,图像合成流水线由照明模拟和真实噪声模拟组成,可以模拟更真实的暗光图像,以缓解数据稀缺的瓶颈。LIET包含一对简化的基于CNN的编解码器和一个Transformer主体,能够以相对较低的计算成本有效进行全局/局部上下文特征提取。我们通过广泛的实验全面评估了所提出的方法,结果表明我们的解决方案与最先进的方法具有高度竞争力。所有代码将很快发布。

[论文] | [代码]

最后更新于