基于脑机接口的BCI光感知系统探索视觉机制模型
在卷积神经网络模型的基础上，建立了脑电图学习网络模型(eegnet)。由于eegnet具有适应脑电图处理的优点，可以应用于脑电图识别领域。但是，该应用存在一个瓶颈问题，即特定脑机接口(bci)的eeg选择影响了eegnet的识别精度。本研究开发了一个集成的eegnet模型的人类视觉机制的光强度感知。首先、利用设计好的多路复用器、脑电采集电路、放大器和滤波器，构造了专用脑机接口。其次，采用构建的脑机接口，探讨了环境光照对脑电的影响。另外，利用集成的eegnet建立视觉机制模型，并通过实验表明，与多通道eegnet和单通道eegnet相比，集成eegnet的光强识别精度分别提高了8.4%和3.9%。集成的eegnet能够有效感知和识别环境光照明强度。
1
材料和方法
1.1照明对脑电图影响的视觉机制
在光强传感方面，人类的视觉机制和大脑识别有望得到应用。大量的研究表明环境因素影响人的脑电图。特别是光照条件对脑电图的影响较大，即光照对脑电图的影响是存在的。根据光照强度对脑电图的影响，人的视觉感知和建模如图1所示。为了模拟人类视觉机制的光强度识别，本工作以人的脑电图为输入，以环境光强度为输出。视觉机制的建模将实现光强传感，光强类别将被识别为昏暗、温和和明亮。
图1.视觉机理与建模
1.2光强传感原理及物理实现
其主要原理是人可以通过视觉器官感知和识别光强。图2是光强分类器的原理和物理实现。为了实现光强感知，需要硬件模块和软件模块。硬件部分主要包括专用bci、多路复用电路、放大器和滤波器。软件技术包括环境照明描述、专用bci控制方法、脑电信号信息处理与特征提取、环境照明识别建模。另一方面，光强分类模块包括模型构建、模型训练、模型测试，以及利用集成的eegnet模型对光照度进行实时分类。光强度分类器的物理实现包括电极帽和16通道脑电采集电路、8通道脑电采集电路、安装在3d打印头盔上的脑电采集电路、安装在头盔上的光强分类器，如图3所示。
图2.光强分类器原理及物理实现
1.3专用脑机接口
针对专用脑机接口的核心功能，利用脑电传感芯片tgam设计了单通道脑机接口。硬件实现的逻辑结构如图4所示。在tgam芯片的基础上，采用hc05蓝牙芯片进行脑电信号的发送。控制器arm nanopi-duo2控制这些电路。多通道脑电的物理结构如图5所示，多路复用器从原始脑电信号的多个通道中选择脑电信号的一个通道。所选通道由arm的控制器nanopi-duo2决定。与传统bci相比，特殊构造的bci处理的优势在于可以通过单个芯片tgam从多个电极采集脑电图，可以形成具有完整信息的脑脑电图图像。
图4.专用bci硬件逻辑结构
图5.多通道脑电图感知
对于特殊的脑机接口，需要重新设计电源电路、脑电图感知电路以及蓝牙电路，如图6所示：所有硬件芯片均使用(a)中的电源，脑电感知芯片tgam和led电路如(b)所示，此外，脑电感知芯片tgam与控制器arm之间的通信需要使用(c)中的蓝牙芯片。
图6设计电路。a.电源芯片。b.脑电图传感芯片。c.专用bci的蓝牙芯片电路。
1.4脑电放大器的构造
由于脑电图信号的弱噪声特性，需要将其放大约100倍。图7为常用的运算放大器和用于脑电图放大的两级运算放大器。首先，选择了一种常用的运算放大器。运算放大器的放大系数、共模抑制比、输入阻抗等参数直接影响运算放大器的放大性能。其次，设计了运算放大器，分析了各参数对运算放大器性能的影响。
图7脑电图放大器。a常用运算放大器。b脑电图两级运算放大器
1.5带阻滤波器的构造
采集到的脑电图经放大器处理后，工频干扰不容忽视。这对脑电信号的分析有负面影响。因此，需要带阻滤波器。该滤波器通过大量的频率信息并衰减较窄的节律分量。图8是由双t电路构成的有源带阻滤波器。在有源带阻滤波器的基础上，增加了运算放大器和电位器。运算放大器u2有一个反馈功能，电位器rw起调节作用。
图8.脑电图有源带阻滤波器
图9.环境光诱发脑电节律分量μβ、μα、μθ、μδ和原始μο
1.6脑电图特征提取
对于根据人眼视觉感知的光照强度，脑电图信号作为模型的输入。同时，光强的照明参数应该是模型的输出。从脑电图中提取节律分量和近似熵作为脑电图特征。图9为原始脑电图信号μο及其节律分量μβ、μα、μθ和μδ。通过小波变换得到脑电信号节律分量eβ、eα、eθ和eδ的能量分布如图10所示。
图10.脑电图节律分量的能量特征分布
1.7光强传感集成模型
卷积神经网络(cnn)是近年来发展起来的一种高效的识别模型，在大型图像处理方面表现良好，主要包含卷积层和池层结构的前馈神经网络。由于eegnet具有适应脑电图处理的优点，可以应用于脑电图识别领域。但该应用存在一个瓶颈问题，即特定脑机接口的eeg选择影响了eegnet的识别精度。因此，本文开发了一种用于光强度感知的人类视觉机制的集成eegnet模型，如图11所示，其中多通道cnn和单通道eegnet并行提取原始eeg特征。首先，要确定光强传感模型的输入和输出。在脑电图特征提取中，多通道cnn的输入确定为原始脑电图的节律分量，eegnet的输入确定为脑电图的连接矩阵。光强分类模型的输出确定为常用的暗度和柔和度的光照强度以及亮度。多通道cnn的结构包括多通道输入、卷积、池化和全连接。
图11.光强传感集成eegnet模型
图11的第(1)部分是多通道cnn模型，包含节律分量和脑电图能量的输入特征。图11的(2)部分是具有脑eeg连接矩阵输入特征的单通道eegnet模型。图11的(3)为径向基函数网络。该网络是在前两个并行eegnets的基础上，投影出光强类。将部分(1)与部分(2)并行的优点是，新模型既能覆盖时频特征，又能覆盖空间特征，得到的脑电图信息比常用的时频特征更丰富。该集成eegnet模型将光强特征从低维投影到高维，rbf网络将高维的线性不可分性转化为低维的线性可分性，提高了识别精度。
本文利用所设计的bci光感知系统探索视觉机制模型。设计并实现了多路脑机接口的多路复用电路、脑电采集电路、放大器、滤波器和控制器。环境照度的多重区间特征确定为0 ~ 60 lx、61 ~ 120 lx、121 ~ 350 lx。提取脑电节律分量的能量和熵作为脑电特征。实验表明，与sc-eegnet模型和mc-eegnet模型相比，所提出的集成eegnet模型的光强识别精度分别提高了8.4%和3.9%。未来的工作是进一步提取脑连接矩阵的脑电图特征。同时，通过减少脑叶数来优化脑机接口结构。
日本推出佩戴口罩也能使用的人脸识别系统
iPad正品未到山寨先行 寨主扬言抢全球市场
空压机工作温度范围
日本自行研制的X-2心神技术验证机疑似装备舰尾钩 未来想做舰载机？
4525DO-DS5AI100GP压力传感器在医疗设备中的技术应用
基于脑机接口的BCI光感知系统探索视觉机制模型
雅特生科技以 MaxCoreTM 技术为基础的全新解决方案可以支持机架扩展架构
车载镜头光学仿真核心问题解析
realme即将在印度推出智能手表ealme Watch 2
中兴通讯MEC业务连续性优化方案，满足5G新应用差异化的需求
深圳市人大常委会发布智能网联汽车管理条例征求意见稿
格力收购银隆拟调减或取消配套募资
利用AI（Artificial Intelligence）能解决5G与6G网络的挑战？
日本屏幕产业落寞 上游供应商们也在经历洗牌
“一体双核”智能系统的智能电网于北京建成
Intertek在中国颁发了首张烟雾及一氧化碳ETL证书
Nokia7评测 就像是个老朋友相见亦是开始
海力士反行业主流看法：今年DRAM芯片恐将过剩
技嘉发布全新NVLink连接器：拥有RGB灯光
华为展示黑科技凤凰引擎，或为自研GPU铺路
1
材料和方法
1.1照明对脑电图影响的视觉机制
在光强传感方面，人类的视觉机制和大脑识别有望得到应用。大量的研究表明环境因素影响人的脑电图。特别是光照条件对脑电图的影响较大，即光照对脑电图的影响是存在的。根据光照强度对脑电图的影响，人的视觉感知和建模如图1所示。为了模拟人类视觉机制的光强度识别，本工作以人的脑电图为输入，以环境光强度为输出。视觉机制的建模将实现光强传感，光强类别将被识别为昏暗、温和和明亮。
图1.视觉机理与建模
1.2光强传感原理及物理实现
其主要原理是人可以通过视觉器官感知和识别光强。图2是光强分类器的原理和物理实现。为了实现光强感知，需要硬件模块和软件模块。硬件部分主要包括专用bci、多路复用电路、放大器和滤波器。软件技术包括环境照明描述、专用bci控制方法、脑电信号信息处理与特征提取、环境照明识别建模。另一方面，光强分类模块包括模型构建、模型训练、模型测试，以及利用集成的eegnet模型对光照度进行实时分类。光强度分类器的物理实现包括电极帽和16通道脑电采集电路、8通道脑电采集电路、安装在3d打印头盔上的脑电采集电路、安装在头盔上的光强分类器，如图3所示。
图2.光强分类器原理及物理实现
1.3专用脑机接口
针对专用脑机接口的核心功能，利用脑电传感芯片tgam设计了单通道脑机接口。硬件实现的逻辑结构如图4所示。在tgam芯片的基础上，采用hc05蓝牙芯片进行脑电信号的发送。控制器arm nanopi-duo2控制这些电路。多通道脑电的物理结构如图5所示，多路复用器从原始脑电信号的多个通道中选择脑电信号的一个通道。所选通道由arm的控制器nanopi-duo2决定。与传统bci相比，特殊构造的bci处理的优势在于可以通过单个芯片tgam从多个电极采集脑电图，可以形成具有完整信息的脑脑电图图像。
图4.专用bci硬件逻辑结构
图5.多通道脑电图感知
对于特殊的脑机接口，需要重新设计电源电路、脑电图感知电路以及蓝牙电路，如图6所示：所有硬件芯片均使用(a)中的电源，脑电感知芯片tgam和led电路如(b)所示，此外，脑电感知芯片tgam与控制器arm之间的通信需要使用(c)中的蓝牙芯片。
图6设计电路。a.电源芯片。b.脑电图传感芯片。c.专用bci的蓝牙芯片电路。
1.4脑电放大器的构造
由于脑电图信号的弱噪声特性，需要将其放大约100倍。图7为常用的运算放大器和用于脑电图放大的两级运算放大器。首先，选择了一种常用的运算放大器。运算放大器的放大系数、共模抑制比、输入阻抗等参数直接影响运算放大器的放大性能。其次，设计了运算放大器，分析了各参数对运算放大器性能的影响。
图7脑电图放大器。a常用运算放大器。b脑电图两级运算放大器
1.5带阻滤波器的构造
采集到的脑电图经放大器处理后，工频干扰不容忽视。这对脑电信号的分析有负面影响。因此，需要带阻滤波器。该滤波器通过大量的频率信息并衰减较窄的节律分量。图8是由双t电路构成的有源带阻滤波器。在有源带阻滤波器的基础上，增加了运算放大器和电位器。运算放大器u2有一个反馈功能，电位器rw起调节作用。
图8.脑电图有源带阻滤波器
图9.环境光诱发脑电节律分量μβ、μα、μθ、μδ和原始μο
1.6脑电图特征提取
对于根据人眼视觉感知的光照强度，脑电图信号作为模型的输入。同时，光强的照明参数应该是模型的输出。从脑电图中提取节律分量和近似熵作为脑电图特征。图9为原始脑电图信号μο及其节律分量μβ、μα、μθ和μδ。通过小波变换得到脑电信号节律分量eβ、eα、eθ和eδ的能量分布如图10所示。
图10.脑电图节律分量的能量特征分布
1.7光强传感集成模型
卷积神经网络(cnn)是近年来发展起来的一种高效的识别模型，在大型图像处理方面表现良好，主要包含卷积层和池层结构的前馈神经网络。由于eegnet具有适应脑电图处理的优点，可以应用于脑电图识别领域。但该应用存在一个瓶颈问题，即特定脑机接口的eeg选择影响了eegnet的识别精度。因此，本文开发了一种用于光强度感知的人类视觉机制的集成eegnet模型，如图11所示，其中多通道cnn和单通道eegnet并行提取原始eeg特征。首先，要确定光强传感模型的输入和输出。在脑电图特征提取中，多通道cnn的输入确定为原始脑电图的节律分量，eegnet的输入确定为脑电图的连接矩阵。光强分类模型的输出确定为常用的暗度和柔和度的光照强度以及亮度。多通道cnn的结构包括多通道输入、卷积、池化和全连接。
图11.光强传感集成eegnet模型
图11的第(1)部分是多通道cnn模型，包含节律分量和脑电图能量的输入特征。图11的(2)部分是具有脑eeg连接矩阵输入特征的单通道eegnet模型。图11的(3)为径向基函数网络。该网络是在前两个并行eegnets的基础上，投影出光强类。将部分(1)与部分(2)并行的优点是，新模型既能覆盖时频特征，又能覆盖空间特征，得到的脑电图信息比常用的时频特征更丰富。该集成eegnet模型将光强特征从低维投影到高维，rbf网络将高维的线性不可分性转化为低维的线性可分性，提高了识别精度。
本文利用所设计的bci光感知系统探索视觉机制模型。设计并实现了多路脑机接口的多路复用电路、脑电采集电路、放大器、滤波器和控制器。环境照度的多重区间特征确定为0 ~ 60 lx、61 ~ 120 lx、121 ~ 350 lx。提取脑电节律分量的能量和熵作为脑电特征。实验表明，与sc-eegnet模型和mc-eegnet模型相比，所提出的集成eegnet模型的光强识别精度分别提高了8.4%和3.9%。未来的工作是进一步提取脑连接矩阵的脑电图特征。同时，通过减少脑叶数来优化脑机接口结构。
日本推出佩戴口罩也能使用的人脸识别系统
iPad正品未到山寨先行 寨主扬言抢全球市场
空压机工作温度范围
日本自行研制的X-2心神技术验证机疑似装备舰尾钩 未来想做舰载机？
4525DO-DS5AI100GP压力传感器在医疗设备中的技术应用
基于脑机接口的BCI光感知系统探索视觉机制模型
雅特生科技以 MaxCoreTM 技术为基础的全新解决方案可以支持机架扩展架构
车载镜头光学仿真核心问题解析
realme即将在印度推出智能手表ealme Watch 2
中兴通讯MEC业务连续性优化方案，满足5G新应用差异化的需求
深圳市人大常委会发布智能网联汽车管理条例征求意见稿
格力收购银隆拟调减或取消配套募资
利用AI（Artificial Intelligence）能解决5G与6G网络的挑战？
日本屏幕产业落寞 上游供应商们也在经历洗牌
“一体双核”智能系统的智能电网于北京建成
Intertek在中国颁发了首张烟雾及一氧化碳ETL证书
Nokia7评测 就像是个老朋友相见亦是开始
海力士反行业主流看法：今年DRAM芯片恐将过剩
技嘉发布全新NVLink连接器：拥有RGB灯光
华为展示黑科技凤凰引擎，或为自研GPU铺路