嵌入式图像处理技术的航天应用案例
航天时代不仅促进了运载火箭技术，应用卫星技术与深空探测技术的迅猛发展，而且也使地基因特网发展成了天基太空网，延伸到了1亿2千万公里的火星，促进了天基嵌入式图像处理技术等航天微电子应用技术的迅猛发展。
嵌入式图像处理技术 天基嵌入式图像处理技术的特点有：一是嵌入性，也就是体积、重量与功耗的要求很高;二是复杂性，要处理g级的像素帧;三是可靠性，要求适应恶劣的工作环境，寿命长;四是实时性，一般要求秒级的计算时间。为了实现这些特点，需要从航天嵌入式计算机的功能、结构与物理实现三个方面进行研究。
（1）统一的体系结构模型
为了同时满足能提高芯片集成度与缩短设计周期的要求，以ip核为基础的设计平台技术以及从功能到体系结构的协同设计方法得到了发展。由于非控制流的计算机体系结构复杂、效率低，现在的计算机体系结构都采用控制流的体系结构，按照我们提出的计算机体系结构的分类模型，控制流的体系结构可分为三类：一是基于指令流的体系结构，也就是以微处理器为代表的体系结构，按照 flynn采用指令流与数据流两个逻辑概念的分类共有sisd、simd、misd、mimd四种体系结构;二是基于数据流的体系结构，也就是以 asic（例如systolic array）电路为代表的体系结构，因为它只有数据流的概念所以只有sd与md两类，由于asic 电路效率虽然高，但为了克服没有处理器灵活这个缺点，又出现了静态可编程fpga电路;三是基于构令流（configuration stream）的体系结构，通常叫做可重构的（reconfigurable）体系结构，也就是动态可编程电路，共有scsd、scmd、mcsd、 mcmd四类。
这些按逻辑概念分类的体系结构可以组合起来使用，其选择方案可以有1023种。就具体实现而言方案更多，例如，不同厂家的处理器的指令集合都是不相同的。
而功能与体系结构的协同设计，是通过功能到体系结构的映射完成的，为了确保这种映射的高效与统一，提出了一种统一的体系结构模型，从三个方面对体系结构进行了统一：一是提出了一种unified _isa模型，如图1所示，能将上述三种体系结构从指令集合上统一起来;二是提出了一种将高级语言与汇编语言折中的中间映射语言，能将高级语言的兼容性和可读性，与汇编语言的程序高效性和映射直接性统一起来;三是通过中间映射语言的编程，能将软构件与硬构件的设计统一起来。
图1 unified _isa模型的逻辑概念图
具体对指令流体系结构来说，其sisd、simd、misd、mimd四类体系结构的指令子集合是统一成sisd体系结构的指令集合，对于数据流与构令流的体系结构是通过增加相应的指令，统一成sisd体系结构的指令集合的;换句话说，图1中的simd、mimd、asic与rc device四种 mpp unit都是可以通过软构件描述的。这些软构件是可以在simd或mimd体系结构上直接执行的，或者是可以自动映射成asic或rc device电路的。
（2）虚拟的并行计算阵列
由于g级像素帧遥感图像处理的需要，mpp并行计算阵列得到了发展，因为图像帧总是二维的，相应的处理元阵列也是二维的，如图2中所示。虽然芯片集成度已经很高，但现在还不能在一块芯片上研制g级像素帧的g个处理元的阵列，现在还只有采用wsi技术完成的百万个处理元的阵列。因此，还只能采用虚拟处理元阵列技术，解决mpp程序设计的方便性与程序本身的可读性。换句话说，mpp图像处理程序是按虚拟并行计算阵列设计的，也就是mpp程序设计时，总是假定图 2中网格阵列的m与n的值是与图像帧的维数大小相等的，而实际的处理元阵列的大小m×n是远远小于m×n的，mpp程序是通过自动映射到实际的处理元阵列上执行的。针对图像处理算法的特点，图像处理的mpp计算阵列通常是按simd体系结构设计的。相应的设计问题有：处理元pe的位置表示与位置选择问题，采用pim设计解决图像处理器与图像存储器之间的带宽问题，以及并行重采样问题。
图2 m×n的虚拟处理元阵列
（3）仿生的物理实现技术
对宇宙和大脑奥秘的渴望，激发了人类的太空之旅与人体之旅，使嵌入式计算技术从传统计算模式，发展到自主计算模式，走向了自然计算模式。传统计算的芯片实现技术现在已从单功能芯片发展到多功能的soc芯片的新阶段，软件实现技术已从结构化程序设计，到面向object的程序设计，到基于 component的程序设计以及到基于agent的程序设计。
1956 年8月，约翰.麦卡锡首次提出了人工智能（ai，artificial intelligence）的概念，当时他说：“机器会思想的时代不要20年就会到来”，但现在人工智能还处于初级阶段，只在“认知科学”和专家系统方面取得了成功，这说明了人工智能的艰难。人们估计从200x年到201x年将会步入 30nm的纳电子时代，机器人的自主移动操作、重力行走与气流发音，以及鱼眼镜头的拍摄等自主计算的仿生实现技术将会更加完善。自主计算的仿生实现技术目前主要是从利用模糊逻辑的推理能力、神经元网络的学习能力与基因计算的优化能力等方面展开研究工作的，而真正的挑战在于改变与重新定义计算硬件的性质。
在许多方面，人体是一种最有效的计算机，人体中的神经系统是由于纳（na sodium）离子与钾（k，potassium）离子的运动，在大脑与遍布人体的神经中心之间传递信号，并由大脑解释与处理，从而支配人体活动的。人们估计从201x年到20xx年将会步入10nm的纳电子时代，促进量子计算的自组装技术，化学计算的dna技术以及容错计算的神经元技术等自然计算的仿生实现技术的发展。特别是分子自组装技术，已经取得了实验室芯片 （alm）等实用化的成果。
结束语 综上所述，我们从功能上提出了一种统一的体系结构模型，从结构上将设计一种能够有效支持虚拟并行计算程序设计的处理元阵列，从物理实现上将研究一种能支持自组装技术的设计平台。总之，soc芯片、纳米制造与自主装技术等，将会进一步促进航天时代的嵌入式图像处理技术的发展。
使用RS RTO示波器进行数位音讯的触发及解码
12V 30A 7812扩流稳压电源,12V30A POWER SUPPLY
区块链技术用于电力网络，实现了精确管理和结算
数字北京城，航行在联通2000M的“大运河”
数据中心冷却的一些技巧和诀窍
嵌入式图像处理技术的航天应用案例
服装生产工艺流程图
蒸汽排管散热器的简单介绍
3D打印硅胶膜首次应用于文物提取
新型富氧氧化物的晶体结构中含有管状通道
凌科芯安发布8位多接口防盗版加密芯片LKT4103
激光雷达点云预处理介绍
三星带有弹出式摄像头的折叠屏智能机设计专利曝光
电源纹波测试的正确方法
紫光展锐专利荣获我国知识产权领域最高奖项金奖
华为发布2020年三季度业绩：收入6713亿元
大事件 中美共同成立半导体产业技术和贸易限制工作组
计算机视觉与图像处理两者之间是什么关系
SoC设计中嵌入FPGA(eFPGA)内核实用评估方法
安科瑞温度在线监测系统解决方案
嵌入式图像处理技术 天基嵌入式图像处理技术的特点有：一是嵌入性，也就是体积、重量与功耗的要求很高;二是复杂性，要处理g级的像素帧;三是可靠性，要求适应恶劣的工作环境，寿命长;四是实时性，一般要求秒级的计算时间。为了实现这些特点，需要从航天嵌入式计算机的功能、结构与物理实现三个方面进行研究。
（1）统一的体系结构模型
为了同时满足能提高芯片集成度与缩短设计周期的要求，以ip核为基础的设计平台技术以及从功能到体系结构的协同设计方法得到了发展。由于非控制流的计算机体系结构复杂、效率低，现在的计算机体系结构都采用控制流的体系结构，按照我们提出的计算机体系结构的分类模型，控制流的体系结构可分为三类：一是基于指令流的体系结构，也就是以微处理器为代表的体系结构，按照 flynn采用指令流与数据流两个逻辑概念的分类共有sisd、simd、misd、mimd四种体系结构;二是基于数据流的体系结构，也就是以 asic（例如systolic array）电路为代表的体系结构，因为它只有数据流的概念所以只有sd与md两类，由于asic 电路效率虽然高，但为了克服没有处理器灵活这个缺点，又出现了静态可编程fpga电路;三是基于构令流（configuration stream）的体系结构，通常叫做可重构的（reconfigurable）体系结构，也就是动态可编程电路，共有scsd、scmd、mcsd、 mcmd四类。
这些按逻辑概念分类的体系结构可以组合起来使用，其选择方案可以有1023种。就具体实现而言方案更多，例如，不同厂家的处理器的指令集合都是不相同的。
而功能与体系结构的协同设计，是通过功能到体系结构的映射完成的，为了确保这种映射的高效与统一，提出了一种统一的体系结构模型，从三个方面对体系结构进行了统一：一是提出了一种unified _isa模型，如图1所示，能将上述三种体系结构从指令集合上统一起来;二是提出了一种将高级语言与汇编语言折中的中间映射语言，能将高级语言的兼容性和可读性，与汇编语言的程序高效性和映射直接性统一起来;三是通过中间映射语言的编程，能将软构件与硬构件的设计统一起来。
图1 unified _isa模型的逻辑概念图
具体对指令流体系结构来说，其sisd、simd、misd、mimd四类体系结构的指令子集合是统一成sisd体系结构的指令集合，对于数据流与构令流的体系结构是通过增加相应的指令，统一成sisd体系结构的指令集合的;换句话说，图1中的simd、mimd、asic与rc device四种 mpp unit都是可以通过软构件描述的。这些软构件是可以在simd或mimd体系结构上直接执行的，或者是可以自动映射成asic或rc device电路的。
（2）虚拟的并行计算阵列
由于g级像素帧遥感图像处理的需要，mpp并行计算阵列得到了发展，因为图像帧总是二维的，相应的处理元阵列也是二维的，如图2中所示。虽然芯片集成度已经很高，但现在还不能在一块芯片上研制g级像素帧的g个处理元的阵列，现在还只有采用wsi技术完成的百万个处理元的阵列。因此，还只能采用虚拟处理元阵列技术，解决mpp程序设计的方便性与程序本身的可读性。换句话说，mpp图像处理程序是按虚拟并行计算阵列设计的，也就是mpp程序设计时，总是假定图 2中网格阵列的m与n的值是与图像帧的维数大小相等的，而实际的处理元阵列的大小m×n是远远小于m×n的，mpp程序是通过自动映射到实际的处理元阵列上执行的。针对图像处理算法的特点，图像处理的mpp计算阵列通常是按simd体系结构设计的。相应的设计问题有：处理元pe的位置表示与位置选择问题，采用pim设计解决图像处理器与图像存储器之间的带宽问题，以及并行重采样问题。
图2 m×n的虚拟处理元阵列
（3）仿生的物理实现技术
对宇宙和大脑奥秘的渴望，激发了人类的太空之旅与人体之旅，使嵌入式计算技术从传统计算模式，发展到自主计算模式，走向了自然计算模式。传统计算的芯片实现技术现在已从单功能芯片发展到多功能的soc芯片的新阶段，软件实现技术已从结构化程序设计，到面向object的程序设计，到基于 component的程序设计以及到基于agent的程序设计。
1956 年8月，约翰.麦卡锡首次提出了人工智能（ai，artificial intelligence）的概念，当时他说：“机器会思想的时代不要20年就会到来”，但现在人工智能还处于初级阶段，只在“认知科学”和专家系统方面取得了成功，这说明了人工智能的艰难。人们估计从200x年到201x年将会步入 30nm的纳电子时代，机器人的自主移动操作、重力行走与气流发音，以及鱼眼镜头的拍摄等自主计算的仿生实现技术将会更加完善。自主计算的仿生实现技术目前主要是从利用模糊逻辑的推理能力、神经元网络的学习能力与基因计算的优化能力等方面展开研究工作的，而真正的挑战在于改变与重新定义计算硬件的性质。
在许多方面，人体是一种最有效的计算机，人体中的神经系统是由于纳（na sodium）离子与钾（k，potassium）离子的运动，在大脑与遍布人体的神经中心之间传递信号，并由大脑解释与处理，从而支配人体活动的。人们估计从201x年到20xx年将会步入10nm的纳电子时代，促进量子计算的自组装技术，化学计算的dna技术以及容错计算的神经元技术等自然计算的仿生实现技术的发展。特别是分子自组装技术，已经取得了实验室芯片 （alm）等实用化的成果。
结束语 综上所述，我们从功能上提出了一种统一的体系结构模型，从结构上将设计一种能够有效支持虚拟并行计算程序设计的处理元阵列，从物理实现上将研究一种能支持自组装技术的设计平台。总之，soc芯片、纳米制造与自主装技术等，将会进一步促进航天时代的嵌入式图像处理技术的发展。
使用RS RTO示波器进行数位音讯的触发及解码
12V 30A 7812扩流稳压电源,12V30A POWER SUPPLY
区块链技术用于电力网络，实现了精确管理和结算
数字北京城，航行在联通2000M的“大运河”
数据中心冷却的一些技巧和诀窍
嵌入式图像处理技术的航天应用案例
服装生产工艺流程图
蒸汽排管散热器的简单介绍
3D打印硅胶膜首次应用于文物提取
新型富氧氧化物的晶体结构中含有管状通道
凌科芯安发布8位多接口防盗版加密芯片LKT4103
激光雷达点云预处理介绍
三星带有弹出式摄像头的折叠屏智能机设计专利曝光
电源纹波测试的正确方法
紫光展锐专利荣获我国知识产权领域最高奖项金奖
华为发布2020年三季度业绩：收入6713亿元
大事件 中美共同成立半导体产业技术和贸易限制工作组
计算机视觉与图像处理两者之间是什么关系
SoC设计中嵌入FPGA(eFPGA)内核实用评估方法
安科瑞温度在线监测系统解决方案