NeurIPS 2023 | 清华ETH提出首个二值化光谱重建算法
论文链接： https://arxiv.org/abs/2305.10299 代码链接1：
https://github.com/caiyuanhao1998/bisci 代码链接2：
https://github.com/caiyuanhao1998/mst ▲ 图1 bisrnet 与当前最先进的二值网络的性能对比
目前所有的代码，预训练模型和测试结果均已开源在我们开发的一个二值化光谱压缩重建工具包 bisci 内，该工具包支持八类最主要的二值网络，欢迎大家来使用。同时，我们还将 bisrnet 嵌入到了我们之前开发的光谱重建工具箱 mst 当中。目前 mst 工具包已支持超过 12 类深度学习算法，并包含各种配套的可视化函数，欢迎大家来对比。
光谱压缩重建任务介绍 相比于常规的三通道 rgb 图像，高光谱图像包含几十上百个波段，从而捕获了关于成像场景更丰富的信息。也正因为这一重要特性，高光谱图像被广泛地应用于医疗，地形勘探，农业等领域。如图 2 所示，在医院进行检查时，如果只看常规的 rgb 图像可能很难诊断病因，但是如果采用高光谱图像捕获并在特定波长下渲染的话，就可以看清楚各类血管，骨骼结构等，从而辅助医生诊断。同样的原理也可应用在遥感地形勘探和农业病虫害检测。
▲ 图2 高光谱图像的应用
然而高光谱图像并容易获取，传统的成像设备采用光谱仪对成像场景进行逐波段的扫描，费时费力，难以捕捉运动场景。近些年，科学家们专门设计了单曝光压缩成像（snapshot compressive imaging，sci）系统来解决这一问题。其光路结构如图 3 所示。
该系统首先通过一个编码孔径掩膜对成像场景的各光谱通道进行调制，然后通过一个三棱镜进行色散后在相机上捕获到一个二维的快照估计图（compressive measurement）。通过这个光路系统，我们便可将三维的光谱立方块压缩成一个二维的图像。而光谱压缩重建的任务便是从这个二维的压缩估计图上恢复出三维的高光谱数据。
▲ 图3 单曝光压缩成像系统
当前的主流方法是采用的是全精度模型如 cnn 或者 transformer 来学一个从压缩估计图到三维光谱立方块的映射。几个比较经典算法有我们之前的工作 mst，mst++，cst，dauhst，hdnet 等（这些方法全部都开源在我们的工具箱 mst 当中）。
这类方法虽然取得了很好的重建效果，但却难以部署到移动端设备（如智能手机、相机、无人机等）上，因为移动端设备的内存空间，计算资源和电力均有限，无法运转全精度模型。另一方面，全精度模型的一些计算单元如深度展开算子和多头自注意力机制等相对复杂，移动端设备无法支持。为了推动光谱重建算法的实际应用，本文做了如下贡献：
（1）提出了光谱压缩重建领域内首个基于二值神经网络（binarized neural network，bnn）的算法——二值化光谱重分布网络（binarized spectral-redistribution network，bisrnet）。
（2）设计了一个新的二值化卷积单元——二值化光谱重分布卷积（binarized spectral-redistribution convolution，bisr-conv）。该卷积单元可以调整光谱表征的强度和分布，同时在反向传播中更好地逼近二值化符号（sign）函数，从而让求得的梯度更加准确。
（3）制作了四个二值化卷积模块来解决特征图形变过程中的维度不匹配问题，从而让全精度信息能流通整个模型的每一层卷积单元以弥补二值卷积造成的信息损失。
（4）我们的 bisrnet 显著地超越了当前最先进的二值化算法，甚至取得了能与全精度 cnn 比肩的效果，然而我们的 bisrnet 算法却只需要极低的存储空间（约 0.06 %）和计算代价（约 1 %）。
本文方法 2.1 基础模型 一般来说，用于二值化的全精度模型应该是比较轻量的且它的计算单元可以再移动端设备上运行。然而，现存的 cnn 或 transformer 模型均不满足这一要求。为此，我们重新设计了一个简单，轻量，易于部署的基础模型（base model）。
受到之前工作 mst，mst++，cst，dauhst 的启发，我们设计的基础模型也采用一个 u 形结构，如图 4 所示。
▲ 图4 基础模型的网络结构
在这个基础模型中，采用的所有计算单元都可以被移动端设备支持，同时也不涉及计算复杂度高的操作。
2.2 二值化光谱重分布卷积单元 二值化光谱重分布卷积的细节如图 4（c）所示。将输入的全精度激活信号记为 。我们注意到，受到特定成像波长的限制，高光谱信号沿着光谱维度有着不同的强度与分布。为了适应光谱图像的这一特性，我们提议在二值化激活之前，按通道对高光谱图像表示进行重分布：
其中的 表示重分布后的激活。 和 表示可学习参数。然后 经过一个符号函数后被量化到 1 位的激活 ：
如图 5（b）和（c）所示，由于符号函数是不可导的，之前的方法大都采用一个分段线性函数 clip（x）或者二次函数 quad（x）来在反向传播中拟合符号函数。
▲ 图 5 符号函数与各类逼近函数的对比图
clip（x）与 quad（x）的具体表达式如下：
然而分段线性函数知识一个粗略的估计，它与符号函数之间依旧有着很大的误差。图 5 中的阴影部分面积就表示这个误差的大小，clip（x）的误差是 1。此外，一旦激活或者权重的值落在了 [-1,1] 之外，他们就不会再被更新。尽管分段二次函数是一个更精确的逼近（误差为 2/3），上述的两个问题依旧存在。为此，我们设计了一个可缩放的双曲正切函数来在反向传播中拟合符号函数：
其中 是一个可学习的参数，自适应地调整 tanh（）与 sign（）之间的距离。我们证明当 时，tanh（）→ sign（）如下：
我们仿照之前的二值化算法，定义：。然后我们可以得到：
我们计算图 5（d）中的阴影面积：
由此可见，当 足够大时，tanh（）可以任意地逼近 sign（）。同时，我们的 tanh（）既不是分段函数，也不会因为 x 落在 [-1,1] 之外而无法更新。
更进一步，我们比较三个逼近函数的一阶导数。如图 5 下边一行所示，与 的取值范围均为 ，这与 有着本质的区别。而我们的 可以通过改变参数 来调整它的取值范围 和形状，从而更加灵活地逼近 。
在二值化卷积层当中，32 位的权重 也被二值化到一位的权重 ：
其中的 表示取均值。由此，计算繁重的全精度卷积操作便可由纯逻辑异或非运算（xnor）与位计数（bit-count）操作替换如下：
因为全精度信息 的取值范围与二值卷积的输出 差别较大，直接引入残差连接将两者相加容易导致 的信息被淹没掉，所以先采用一个 rprelu 激活函数来重塑 的取值范围：
然后再引入残差链接：
通过我们的设计，全精度信息流就不会被二值卷积给阻断，从而能够顺畅地流过我们设计的 bisr-conv 单元，如图 4 (c) 中的红色箭头所示。
▲ 图6 本文卷积二值卷积块与普通二值卷积块在处理特征图维度变化时的对比 全精度信息流在二值化算法中非常重要，因为它在一定程度上弥补了量化导致的信息损失。然而在特征图的上下采样过程中，由于维度发生了变化，难以直接引入残差链接以补充全精度信息，如图 6 中每个子图的左半部分所示。蓝色箭头表示二值信号，红色箭头表示全精度信息流。普通的二值卷积模块会在特征度维度改变的同时阻断全精度信息流的传递。然而我们的二值卷积模块通过采用分割合并的技巧，让全精度信息流不被阻断，从而在整个二值模型中流通。
实验结果 3.1 量化指标
▲ 表1 bisrnet 与 sota bnn，传统方法，全精度cnn方法的量化指标对比 表 1 展示了我们的 bisrnet 与 sota bnn，传统方法，全精度 cnn 方法的量化指标对比。可以看到，我们的 bisrnet 显著超越了当前最先进的 bnn 算法 btm 2.55 db。同时超越了所有的 64 位传统算法，增幅超过了 4.49 db。值得注意的是，我们的 bisrnet 取得了能与全精度 cnn 方法比肩的性能，比如超过了 1.23 db，然而却只占用了 0.06 % 的存储空间和 1 % 计算代价。 3.2 视觉对比
▲ 图7 bisrnet 与其他 bnn 方法在仿真数据及上的视觉对比▲ 图8 bisrnet 与其他 bnn 方法在真实数据集上的视觉对比 总结 本文首次探索了压缩量化在光谱压缩重建领域的应用，提出了该领域首个二值化卷积神经网络 bisrnet，在量化指标和视觉结果上都显著地超越了当前最先进的二值化模型。代码，预训练权重，重建结果均开源在：https://github.com/caiyuanhao1998/bisci ·
原文标题：neurips 2023 | 清华eth提出首个二值化光谱重建算法
文章出处：【微信公众号：智能感知与物联网技术研究所】欢迎添加关注！文章转载请注明出处。
东方财富与华为签署合作协议
白色石墨烯的定义和应用领域
芯片封装技术
智能家居安防成了消费者最大的痛点
rk3568核心板 rk3568性能参数
NeurIPS 2023 | 清华ETH提出首个二值化光谱重建算法
新一代智能手机专用、更节省成本的USB充电器
e络盟宣布供应全新Buccaneer7000系列连接器和压电式开关
800V架构下，给连接器带来了哪些“改变”？
降低电源纹波噪声只需三步
美国正研发一种快速充电站 10分钟之内可给车充满电
锂金属电池中非活性锂的气体诱导形成
MDlive获得5000万美元融资：助力利用AI进行辅助诊疗，打造便捷专业的虚拟医疗平台
亚信科技5G未来的战略是怎样的
《基于“矿板”低成本学习Zynq系列》之八-定时器等外设测试
通过无线电源实现无电池应用
电子信息产业开启了高速时代
西门子：致力于帮助中国企业进行数字化转型，特别是数字化工厂建设
亮亮视野的AR眼镜——GLXSS ME就是其中的代表
石墨烯和其它二维材料的技术进展和商业前景
https://github.com/caiyuanhao1998/bisci 代码链接2：
https://github.com/caiyuanhao1998/mst ▲ 图1 bisrnet 与当前最先进的二值网络的性能对比
目前所有的代码，预训练模型和测试结果均已开源在我们开发的一个二值化光谱压缩重建工具包 bisci 内，该工具包支持八类最主要的二值网络，欢迎大家来使用。同时，我们还将 bisrnet 嵌入到了我们之前开发的光谱重建工具箱 mst 当中。目前 mst 工具包已支持超过 12 类深度学习算法，并包含各种配套的可视化函数，欢迎大家来对比。
光谱压缩重建任务介绍 相比于常规的三通道 rgb 图像，高光谱图像包含几十上百个波段，从而捕获了关于成像场景更丰富的信息。也正因为这一重要特性，高光谱图像被广泛地应用于医疗，地形勘探，农业等领域。如图 2 所示，在医院进行检查时，如果只看常规的 rgb 图像可能很难诊断病因，但是如果采用高光谱图像捕获并在特定波长下渲染的话，就可以看清楚各类血管，骨骼结构等，从而辅助医生诊断。同样的原理也可应用在遥感地形勘探和农业病虫害检测。
▲ 图2 高光谱图像的应用
然而高光谱图像并容易获取，传统的成像设备采用光谱仪对成像场景进行逐波段的扫描，费时费力，难以捕捉运动场景。近些年，科学家们专门设计了单曝光压缩成像（snapshot compressive imaging，sci）系统来解决这一问题。其光路结构如图 3 所示。
该系统首先通过一个编码孔径掩膜对成像场景的各光谱通道进行调制，然后通过一个三棱镜进行色散后在相机上捕获到一个二维的快照估计图（compressive measurement）。通过这个光路系统，我们便可将三维的光谱立方块压缩成一个二维的图像。而光谱压缩重建的任务便是从这个二维的压缩估计图上恢复出三维的高光谱数据。
▲ 图3 单曝光压缩成像系统
当前的主流方法是采用的是全精度模型如 cnn 或者 transformer 来学一个从压缩估计图到三维光谱立方块的映射。几个比较经典算法有我们之前的工作 mst，mst++，cst，dauhst，hdnet 等（这些方法全部都开源在我们的工具箱 mst 当中）。
这类方法虽然取得了很好的重建效果，但却难以部署到移动端设备（如智能手机、相机、无人机等）上，因为移动端设备的内存空间，计算资源和电力均有限，无法运转全精度模型。另一方面，全精度模型的一些计算单元如深度展开算子和多头自注意力机制等相对复杂，移动端设备无法支持。为了推动光谱重建算法的实际应用，本文做了如下贡献：
（1）提出了光谱压缩重建领域内首个基于二值神经网络（binarized neural network，bnn）的算法——二值化光谱重分布网络（binarized spectral-redistribution network，bisrnet）。
（2）设计了一个新的二值化卷积单元——二值化光谱重分布卷积（binarized spectral-redistribution convolution，bisr-conv）。该卷积单元可以调整光谱表征的强度和分布，同时在反向传播中更好地逼近二值化符号（sign）函数，从而让求得的梯度更加准确。
（3）制作了四个二值化卷积模块来解决特征图形变过程中的维度不匹配问题，从而让全精度信息能流通整个模型的每一层卷积单元以弥补二值卷积造成的信息损失。
（4）我们的 bisrnet 显著地超越了当前最先进的二值化算法，甚至取得了能与全精度 cnn 比肩的效果，然而我们的 bisrnet 算法却只需要极低的存储空间（约 0.06 %）和计算代价（约 1 %）。
本文方法 2.1 基础模型 一般来说，用于二值化的全精度模型应该是比较轻量的且它的计算单元可以再移动端设备上运行。然而，现存的 cnn 或 transformer 模型均不满足这一要求。为此，我们重新设计了一个简单，轻量，易于部署的基础模型（base model）。
受到之前工作 mst，mst++，cst，dauhst 的启发，我们设计的基础模型也采用一个 u 形结构，如图 4 所示。
▲ 图4 基础模型的网络结构
在这个基础模型中，采用的所有计算单元都可以被移动端设备支持，同时也不涉及计算复杂度高的操作。
2.2 二值化光谱重分布卷积单元 二值化光谱重分布卷积的细节如图 4（c）所示。将输入的全精度激活信号记为 。我们注意到，受到特定成像波长的限制，高光谱信号沿着光谱维度有着不同的强度与分布。为了适应光谱图像的这一特性，我们提议在二值化激活之前，按通道对高光谱图像表示进行重分布：
其中的 表示重分布后的激活。 和 表示可学习参数。然后 经过一个符号函数后被量化到 1 位的激活 ：
如图 5（b）和（c）所示，由于符号函数是不可导的，之前的方法大都采用一个分段线性函数 clip（x）或者二次函数 quad（x）来在反向传播中拟合符号函数。
▲ 图 5 符号函数与各类逼近函数的对比图
clip（x）与 quad（x）的具体表达式如下：
然而分段线性函数知识一个粗略的估计，它与符号函数之间依旧有着很大的误差。图 5 中的阴影部分面积就表示这个误差的大小，clip（x）的误差是 1。此外，一旦激活或者权重的值落在了 [-1,1] 之外，他们就不会再被更新。尽管分段二次函数是一个更精确的逼近（误差为 2/3），上述的两个问题依旧存在。为此，我们设计了一个可缩放的双曲正切函数来在反向传播中拟合符号函数：
其中 是一个可学习的参数，自适应地调整 tanh（）与 sign（）之间的距离。我们证明当 时，tanh（）→ sign（）如下：
我们仿照之前的二值化算法，定义：。然后我们可以得到：
我们计算图 5（d）中的阴影面积：
由此可见，当 足够大时，tanh（）可以任意地逼近 sign（）。同时，我们的 tanh（）既不是分段函数，也不会因为 x 落在 [-1,1] 之外而无法更新。
更进一步，我们比较三个逼近函数的一阶导数。如图 5 下边一行所示，与 的取值范围均为 ，这与 有着本质的区别。而我们的 可以通过改变参数 来调整它的取值范围 和形状，从而更加灵活地逼近 。
在二值化卷积层当中，32 位的权重 也被二值化到一位的权重 ：
其中的 表示取均值。由此，计算繁重的全精度卷积操作便可由纯逻辑异或非运算（xnor）与位计数（bit-count）操作替换如下：
因为全精度信息 的取值范围与二值卷积的输出 差别较大，直接引入残差连接将两者相加容易导致 的信息被淹没掉，所以先采用一个 rprelu 激活函数来重塑 的取值范围：
然后再引入残差链接：
通过我们的设计，全精度信息流就不会被二值卷积给阻断，从而能够顺畅地流过我们设计的 bisr-conv 单元，如图 4 (c) 中的红色箭头所示。
▲ 图6 本文卷积二值卷积块与普通二值卷积块在处理特征图维度变化时的对比 全精度信息流在二值化算法中非常重要，因为它在一定程度上弥补了量化导致的信息损失。然而在特征图的上下采样过程中，由于维度发生了变化，难以直接引入残差链接以补充全精度信息，如图 6 中每个子图的左半部分所示。蓝色箭头表示二值信号，红色箭头表示全精度信息流。普通的二值卷积模块会在特征度维度改变的同时阻断全精度信息流的传递。然而我们的二值卷积模块通过采用分割合并的技巧，让全精度信息流不被阻断，从而在整个二值模型中流通。
实验结果 3.1 量化指标
▲ 表1 bisrnet 与 sota bnn，传统方法，全精度cnn方法的量化指标对比 表 1 展示了我们的 bisrnet 与 sota bnn，传统方法，全精度 cnn 方法的量化指标对比。可以看到，我们的 bisrnet 显著超越了当前最先进的 bnn 算法 btm 2.55 db。同时超越了所有的 64 位传统算法，增幅超过了 4.49 db。值得注意的是，我们的 bisrnet 取得了能与全精度 cnn 方法比肩的性能，比如超过了 1.23 db，然而却只占用了 0.06 % 的存储空间和 1 % 计算代价。 3.2 视觉对比
▲ 图7 bisrnet 与其他 bnn 方法在仿真数据及上的视觉对比▲ 图8 bisrnet 与其他 bnn 方法在真实数据集上的视觉对比 总结 本文首次探索了压缩量化在光谱压缩重建领域的应用，提出了该领域首个二值化卷积神经网络 bisrnet，在量化指标和视觉结果上都显著地超越了当前最先进的二值化模型。代码，预训练权重，重建结果均开源在：https://github.com/caiyuanhao1998/bisci ·
原文标题：neurips 2023 | 清华eth提出首个二值化光谱重建算法
文章出处：【微信公众号：智能感知与物联网技术研究所】欢迎添加关注！文章转载请注明出处。
东方财富与华为签署合作协议
白色石墨烯的定义和应用领域
芯片封装技术
智能家居安防成了消费者最大的痛点
rk3568核心板 rk3568性能参数
NeurIPS 2023 | 清华ETH提出首个二值化光谱重建算法
新一代智能手机专用、更节省成本的USB充电器
e络盟宣布供应全新Buccaneer7000系列连接器和压电式开关
800V架构下，给连接器带来了哪些“改变”？
降低电源纹波噪声只需三步
美国正研发一种快速充电站 10分钟之内可给车充满电
锂金属电池中非活性锂的气体诱导形成
MDlive获得5000万美元融资：助力利用AI进行辅助诊疗，打造便捷专业的虚拟医疗平台
亚信科技5G未来的战略是怎样的
《基于“矿板”低成本学习Zynq系列》之八-定时器等外设测试
通过无线电源实现无电池应用
电子信息产业开启了高速时代
西门子：致力于帮助中国企业进行数字化转型，特别是数字化工厂建设
亮亮视野的AR眼镜——GLXSS ME就是其中的代表
石墨烯和其它二维材料的技术进展和商业前景