Show HN: Foveon – 用深度学习将拜耳传感器照片转换为Foveon X3风格
Foveon是一款macOS应用，利用改进的U-Net神经网络将普通拜耳阵列相机拍摄的照片转换为Foveon X3堆叠传感器的独特色彩和微细节风格。该模型通过在编码器瓶颈处注入一维像素堆叠先验，学习从拜耳到Foveon的映射，并在匹配的场景对上训练。应用提供三个滑块调整色彩强度、微对比度和色调。
大多数数码相机通过拜耳滤色阵列捕捉颜色：每个像素只记录红、绿或蓝中的一种，其他两种颜色通过插值得到。这种插值会导致色彩边缘、细节模糊和所谓的“数码感”微对比度。而Foveon X3传感器则采用三层垂直堆叠的光电二极管，在每个像素位置同时捕获红、绿、蓝三色，无需插值，从而呈现出独特的色彩和微细节，被称为“Foveon风格”。
Foveon应用的核心是一个改进的U-Net神经网络。标准的U-Net由编码器和解码器组成，编码器将输入图像下采样到紧凑的特征瓶颈，解码器再上采样回原始分辨率，并通过跳跃连接保留细节。Foveon的改进在于，在编码器最后一个下采样块和解码器第一个上采样块之间，插入了一个一维像素堆叠注入层。该层编码了Foveon传感器中颜色随硅深度吸收的顺序——蓝色在最上层，绿色在中间，红色在最下层。解码器利用这个先验来重构类似真实X3传感器捕获的通道间耦合，从而避免插值带来的伪影。
模型通过端到端训练，输入来自拜耳传感器的图像，目标为同一场景由Sigma DP2 Merrill相机拍摄的Foveon格式照片。训练对经过对齐、裁剪、分块并应用数据增强。损失函数结合了L1像素损失、VGG感知损失和TV平滑惩罚，以平衡色彩保真度和细节。使用AdamW优化器，学习率为2e-4，并采用余弦学习率调度。
Foveon应用提供简洁的三窗格界面：左侧选择照片，右侧预览转换结果。三个滑块分别控制色彩强度（Color Punch）、微对比度（Microcontrast）和色调（Tone）。色彩强度滑块调节Foveon色彩渲染的强度，从接近原图到完全的Merrill风格。微对比度滑块提升局部细节清晰度而不产生光晕。色调滑块模拟Sigma Photo Pro的中性色调曲线，可调整以获得更电影般的或更平坦的效果。用户可拖动预览面板同步查看，并保存最终结果。
应用原生支持Apple Silicon，在M2芯片上处理24MP图像不到一秒，使用MPS推理，内存占用约3GB。下载链接为DMG安装包，macOS 13+系统。