关于索尼CMOS图像传感器芯片IMX400的三层堆叠结构
3d视觉系统的“最强大脑”
图像信号处理器（image signal processor，以下简称isp），是一种专用数字集成电路，对从cmos图像传感器中输出的图像数据进行处理，得到经过复原、增强后的数字图像，使其更加接近现实中人眼所看到的图像。
isp是一款“软硬皆施”的芯片，需要配合专业算法处理传感器数据，如线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等。通常，图像数据从前端感知后，均须经过asp（analog signal processing）、adc（analog-digital converter）、前期影像处理（pre-isp）与后端影像处理（post-isp）四个阶段后，“完美”的图像才能最终呈现于终端设备上。
成像框图
对于3d视觉系统来讲，如果说图像传感器好比“眼睛”，那么isp则是它的“大脑”。isp主要作用如下：
1．拜耳转换
图像传感器中的光电二极管本质上是“色盲”，它们只能记录不同的灰度信息。之所以能呈现出彩色图片，那是因为不同的红、绿、蓝三种颜色滤镜——拜耳滤镜将灰度信息转换成彩色信息。由于每个光电二极管只记录图像的一个像素的颜色信息，像素点只可能有三种颜色：红、绿、蓝，或者什么也没有（黑）。不同颜色的滤光点的排列是有规律的：每个绿点的四周，分布着2个红点、2个蓝点、4个绿点。这意味着，整体上，绿点的数量是其他两种颜色点的两倍。这是因为研究显示人眼对绿色最敏感，所以滤光层的绿点最多。然而，拜耳转换过程相当复杂，涉及到许多不同的操作。成像质量在很大程度上取决于对图像传感器输出原始数据处理的算法优劣。
拜耳阵列
2．去马赛克
如上所述，图像处理器对颜色和亮度的赋予像素数据，比较它们与相邻像素的数据，然后采用插值算法计算出这个像素的颜色和亮度值。isp对整个图片评估，猜测对比度的正确分布。通过调整伽玛值（提高或降低图像的中间色调的对比度范围）进行色彩微调，如人体的皮肤和蓝色的天空，使整个画面与现实更为接近。
3．降噪
噪声在任何电子线路普遍存在。在数码摄影中，一幅流畅的彩色画面出现的明显突兀的色彩随机斑点被视为噪声。噪声随着温度和曝光时间的增加而增多。当选择较高的iso设置时，图像传感器中的电子信号被放大，同时增加噪声电平，从而导致较低的信噪比。isp从图像信息中分离噪声并去除它。但面临的相当大的挑战是图像中正常区域可能会被误认为是噪声，导致画面受损。
4．图像锐化
当每个像素的颜色和亮度值被插值时，图像平滑会使图像的边界、轮廓变得模糊。为了增强图像的灰度跳变，保持清晰度和细节完整性，图像处理器必须锐化边缘和轮廓。因此，它必须正确检测边缘，并顺利地复制它们，而不过分锐化。
难以跨越的技术鸿沟
isp技术壁垒高，要求专业算法层面的深层配合，两者相辅相成，互为补充。isp虽然可以对样张的质量进行后期处理，但不同的芯片或者使用同一款芯片的不同产品在拍摄性能方面也存在明显的差异，这是因为isp不仅仅有处理能力，还具有可编程性，经过不同方式调试后的新算法会和集成原厂算法拉开差距。
市面上绝大多数手机都集成了isp芯片，部分产品则采用了独立的isp芯片，除了富士通为不少知名机型提供了独立isp之外，像苹果这样的厂商都是自己定制专属于iphone的isp。高通骁龙820集成了spectra isp、联发科的helio p25内置12位双isp支持，都融合了自家最前沿的isp。但研发难度相当大，财力消耗大，只有智能手机巨头才有能力建立自己的isp和专业的算法团队。而国内的华为也投入9800万美金组建顶尖的专业团队，自主开发并由海思半导体制造hi3516首次搭载在华为mate 8，开启宣告国产手机突出重围。
高通的spectra isp拥有双isp
iphone专属定制的isp
就芯片集成方式而言，将图像传感器和isp通过封装集成于一颗模组可以有效降低成本，而业界领头羊索尼已经将图像传感器和isp直接集成于一颗芯片。2017年，索尼推出的cmos图像传感器imx400采用三层堆叠式结构：顶层为cis，中间层为dram，底层则是isp。全新的三层芯片能够在1/120秒内读取1930万像素图片，是imx318芯片的4倍。这减少了读取每个像素行的时间间隔。这对于缺乏机械快门来控制曝光的智能手机尤其重要。
索尼cmos图像传感器芯片imx400的三层堆叠结构
目前全球范围内主要被欧洲和日本巨头所垄断，如意法半导体、德州仪器、英飞凌、恩智浦、安霸、索尼、东芝、富士通等。而在国内，北京君正、全志科技和瑞芯微借助前几年平板电脑的爆发期也获得快速成长，此外还有一些新兴的创业型公司，如兴芯微。
应用：始于工业，盛于消费电子，走向人工智能
isp的应用领域涉及消费电子、工业、安防、汽车、无人机、机器人等。其中，智能手机是目前isp的主要应用领域。近几年智能手机厂商都在打摄像头的牌，通过不断改善拍照质量来吸引消费者的眼球。但是，没有isp与图像传感器、镜头等硬件的高度协同，不论是前置还是后置的双摄像头都仅仅是摄像头性能参数的堆砌和噱头。
当前，人工智能已经延伸至isp领域。这点苹果应当是布局已久，陆续收购了四家机器学习公司，而机器学习正是人工智能的核心所在。iphone 7 使用的新款isp处理能力比之前版本了提高一倍，它可以通过特定的算法获取拍摄对象的更多信息，并据此对成像进行深度处理。在人工智能的驱动下，通过机器学习技术检测到目标、设置曝光、焦距和白平衡。苹果营销总监phil schiller表示，这种通过人工智能驱动的isp能够在25毫秒中进行最多1000亿次的操作，比原先快了60%。谷歌和微软也在不断渲染自己在人工智能上的技术储备，三大it巨头相继发力，可以预见，人工智能扮演的角色将越来越重要，相信更加智能的isp已经在路上。
如何实现开关电源的输出电压纹波抑制设计呢？
浅析人工智能伪造技术对社会安全的威胁
STM32的ADC转换最常见的方式
PID控制原理详解
第三代半导体材料,或将成为我国半导体产业发展弯道超车机会
关于索尼CMOS图像传感器芯片IMX400的三层堆叠结构
新小米手机可能会以Mi 10T Lite的形式正式发布
ONT/ONU如何工作
低成本永续可再生太阳能电池曝光
红米4高配版上手评测：千元机顶配！
Design Considerations for Dall
销售额飙升：汽车MCU的市场走势，你看懂了吗
上海艾为电子技术股份有限公司科创板IPO成功过会
无人机黑飞可能会遇上哪一些大问题
亚航集团正式迎来了首架空客A321neo飞机
rtc通用接口闹钟通用接口的运用精讲
新能源动力汽车用铜箔软连接
索尼Xbox Scarlett采用AMD定制芯片，发售时间已确定
浅谈Keithley吉时利2400数字源表
蓝牙耳机怎么选，分享一些音质信号都不错的蓝牙耳机
图像信号处理器（image signal processor，以下简称isp），是一种专用数字集成电路，对从cmos图像传感器中输出的图像数据进行处理，得到经过复原、增强后的数字图像，使其更加接近现实中人眼所看到的图像。
isp是一款“软硬皆施”的芯片，需要配合专业算法处理传感器数据，如线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等。通常，图像数据从前端感知后，均须经过asp（analog signal processing）、adc（analog-digital converter）、前期影像处理（pre-isp）与后端影像处理（post-isp）四个阶段后，“完美”的图像才能最终呈现于终端设备上。
成像框图
对于3d视觉系统来讲，如果说图像传感器好比“眼睛”，那么isp则是它的“大脑”。isp主要作用如下：
1．拜耳转换
图像传感器中的光电二极管本质上是“色盲”，它们只能记录不同的灰度信息。之所以能呈现出彩色图片，那是因为不同的红、绿、蓝三种颜色滤镜——拜耳滤镜将灰度信息转换成彩色信息。由于每个光电二极管只记录图像的一个像素的颜色信息，像素点只可能有三种颜色：红、绿、蓝，或者什么也没有（黑）。不同颜色的滤光点的排列是有规律的：每个绿点的四周，分布着2个红点、2个蓝点、4个绿点。这意味着，整体上，绿点的数量是其他两种颜色点的两倍。这是因为研究显示人眼对绿色最敏感，所以滤光层的绿点最多。然而，拜耳转换过程相当复杂，涉及到许多不同的操作。成像质量在很大程度上取决于对图像传感器输出原始数据处理的算法优劣。
拜耳阵列
2．去马赛克
如上所述，图像处理器对颜色和亮度的赋予像素数据，比较它们与相邻像素的数据，然后采用插值算法计算出这个像素的颜色和亮度值。isp对整个图片评估，猜测对比度的正确分布。通过调整伽玛值（提高或降低图像的中间色调的对比度范围）进行色彩微调，如人体的皮肤和蓝色的天空，使整个画面与现实更为接近。
3．降噪
噪声在任何电子线路普遍存在。在数码摄影中，一幅流畅的彩色画面出现的明显突兀的色彩随机斑点被视为噪声。噪声随着温度和曝光时间的增加而增多。当选择较高的iso设置时，图像传感器中的电子信号被放大，同时增加噪声电平，从而导致较低的信噪比。isp从图像信息中分离噪声并去除它。但面临的相当大的挑战是图像中正常区域可能会被误认为是噪声，导致画面受损。
4．图像锐化
当每个像素的颜色和亮度值被插值时，图像平滑会使图像的边界、轮廓变得模糊。为了增强图像的灰度跳变，保持清晰度和细节完整性，图像处理器必须锐化边缘和轮廓。因此，它必须正确检测边缘，并顺利地复制它们，而不过分锐化。
难以跨越的技术鸿沟
isp技术壁垒高，要求专业算法层面的深层配合，两者相辅相成，互为补充。isp虽然可以对样张的质量进行后期处理，但不同的芯片或者使用同一款芯片的不同产品在拍摄性能方面也存在明显的差异，这是因为isp不仅仅有处理能力，还具有可编程性，经过不同方式调试后的新算法会和集成原厂算法拉开差距。
市面上绝大多数手机都集成了isp芯片，部分产品则采用了独立的isp芯片，除了富士通为不少知名机型提供了独立isp之外，像苹果这样的厂商都是自己定制专属于iphone的isp。高通骁龙820集成了spectra isp、联发科的helio p25内置12位双isp支持，都融合了自家最前沿的isp。但研发难度相当大，财力消耗大，只有智能手机巨头才有能力建立自己的isp和专业的算法团队。而国内的华为也投入9800万美金组建顶尖的专业团队，自主开发并由海思半导体制造hi3516首次搭载在华为mate 8，开启宣告国产手机突出重围。
高通的spectra isp拥有双isp
iphone专属定制的isp
就芯片集成方式而言，将图像传感器和isp通过封装集成于一颗模组可以有效降低成本，而业界领头羊索尼已经将图像传感器和isp直接集成于一颗芯片。2017年，索尼推出的cmos图像传感器imx400采用三层堆叠式结构：顶层为cis，中间层为dram，底层则是isp。全新的三层芯片能够在1/120秒内读取1930万像素图片，是imx318芯片的4倍。这减少了读取每个像素行的时间间隔。这对于缺乏机械快门来控制曝光的智能手机尤其重要。
索尼cmos图像传感器芯片imx400的三层堆叠结构
目前全球范围内主要被欧洲和日本巨头所垄断，如意法半导体、德州仪器、英飞凌、恩智浦、安霸、索尼、东芝、富士通等。而在国内，北京君正、全志科技和瑞芯微借助前几年平板电脑的爆发期也获得快速成长，此外还有一些新兴的创业型公司，如兴芯微。
应用：始于工业，盛于消费电子，走向人工智能
isp的应用领域涉及消费电子、工业、安防、汽车、无人机、机器人等。其中，智能手机是目前isp的主要应用领域。近几年智能手机厂商都在打摄像头的牌，通过不断改善拍照质量来吸引消费者的眼球。但是，没有isp与图像传感器、镜头等硬件的高度协同，不论是前置还是后置的双摄像头都仅仅是摄像头性能参数的堆砌和噱头。
当前，人工智能已经延伸至isp领域。这点苹果应当是布局已久，陆续收购了四家机器学习公司，而机器学习正是人工智能的核心所在。iphone 7 使用的新款isp处理能力比之前版本了提高一倍，它可以通过特定的算法获取拍摄对象的更多信息，并据此对成像进行深度处理。在人工智能的驱动下，通过机器学习技术检测到目标、设置曝光、焦距和白平衡。苹果营销总监phil schiller表示，这种通过人工智能驱动的isp能够在25毫秒中进行最多1000亿次的操作，比原先快了60%。谷歌和微软也在不断渲染自己在人工智能上的技术储备，三大it巨头相继发力，可以预见，人工智能扮演的角色将越来越重要，相信更加智能的isp已经在路上。
如何实现开关电源的输出电压纹波抑制设计呢？
浅析人工智能伪造技术对社会安全的威胁
STM32的ADC转换最常见的方式
PID控制原理详解
第三代半导体材料,或将成为我国半导体产业发展弯道超车机会
关于索尼CMOS图像传感器芯片IMX400的三层堆叠结构
新小米手机可能会以Mi 10T Lite的形式正式发布
ONT/ONU如何工作
低成本永续可再生太阳能电池曝光
红米4高配版上手评测：千元机顶配！
Design Considerations for Dall
销售额飙升：汽车MCU的市场走势，你看懂了吗
上海艾为电子技术股份有限公司科创板IPO成功过会
无人机黑飞可能会遇上哪一些大问题
亚航集团正式迎来了首架空客A321neo飞机
rtc通用接口闹钟通用接口的运用精讲
新能源动力汽车用铜箔软连接
索尼Xbox Scarlett采用AMD定制芯片，发售时间已确定
浅谈Keithley吉时利2400数字源表
蓝牙耳机怎么选，分享一些音质信号都不错的蓝牙耳机