CV芯片作为整个视觉感知技术中最关键的一环，目前也还处在初期
人类从外界获得的信息约75%来自视觉系统，而在驾驶行为中尤为突出，驾驶员驾驶需要的信息90%来自视觉。藉此，在自动驾驶的感知系统中，视觉感知成为了重要的一环。
相比于超声波雷达、毫米波雷达、激光雷达等传感器，摄像头诞生时日更久，但基于摄像头的感知技术，兴起并没有多年。
cv（compute vision）计算机视觉或称机器视觉，是一门通过图像获取所需要信息的学科，在实际的应用中，会通过硬件的摄像头，获取图片或者视频信息，中间需要经过内部的isp、dsp处理，以得到更清晰的图像，然后利用深度学习的算法，对获得的图片信息进行分析、处理，最终得到现实世界通过图像映射而来的数字或符号信息，以便于机器理解现实世界。
在这个过程中，涉及到的最核心技术，就是对图像的分析、处理，工程应用中，视觉芯片担当了处理的核心任务。
得益于cv在识别、运动分析、场景重建、图像恢复的能力，其广泛应用于安防、无人机、自动驾驶等领域。
而在自动驾驶中，cv不仅可以识别障碍物（行人、车辆等）、道路情况，还可用于构建地图。相比于传统消费领域，汽车的使用环境更为复杂严苛，因此cv在自动驾驶领域的应用才刚起步。cv芯片作为整个视觉感知技术中最关键的一环，目前也还处在初期。
cv&自动驾驶
在自动驾驶中应用cv技术，cv技术必须具备实时性、鲁棒性、实用性这三个特点。
实时性要求cv系统的数据处理必须与车辆的高速行驶同步进行；
鲁棒性是要求智能车辆对不同的道路环境如高速公路、市内公路、普通公路等，复杂的路面环境如路面的宽度、颜色、纹理、弯道、坡度、坑洼、障碍与车流等，各种天气晴、阴、雨、雪、雾等均具有良好的适应性；
实用性指智能车辆能够为普通用户所接受。
目前，cv主要用于路径的识别与跟踪。与其它传感器相比，cv具有检测信息量丰富、无接触测量和能实现道路环境三维建模等优点，但数据处理量极大，存在系统实时性和稳定性问题，要靠开发高性能的计算机硬件，研究新算法来解决。
随着计算机技术和图像处理技术的飞速发展，三维重建道路环境为车辆高速智能驾驶提供强大的信息，在不远的将来具有现实可行性。
cv的道路识别基本原理为，公路路面的环境（白色路标、边缘、路面颜色、坑洼、障碍物等）的ccd图像灰度值和图像纹理、光流有差异。
根据这种差异，经图像处理后可以获得需要的路径图像信息，如方位偏差、侧向偏差、车辆在道路中的位置等信息。将这些信息与车辆的动力学方程相结合，可构成车辆控制系统数学模型。
深度学习在cv中应用广泛，主要是因为深度学习算法的通用性很强，比如faster rcnn在人脸、行人、一般物体检测任务上都可以取得非常好的效果；深度学习获得的特征(feature)有很强的迁移能力，比如在imagenet（物体为主）上学习到的特征在场景分类任务上也能取得非常好的效果；
深度学习计算主要是卷积和矩阵乘，针对这种计算优化，所有深度学习算法都可以提升性能，因此工程开发、优化、维护成本低。
cv在自动驾驶中使用，必须具备可靠、低功耗、超强算力等特点，因此基于cv的自动驾驶专用芯片也就应用而生。
cv芯片的研发制造，除却工艺难度，最大的难度便在于芯片的设计，算法的调教。拥有芯片设计能力的公司并不多，大部分公司都是基于一些成熟的ip核进行研发。
业内人士表示，基于外部ip核开发，是一种普遍的做法，但在调校算法以及芯片的性能过程中，由于不具有自下而上的能力，很难将芯片的性能发挥到极致。如此一来，就会在各个性能指标上存在差距，比如功耗，算力等。
cv芯片厂商之国际力量
针对自动驾驶领域的视觉芯片的公司，全球范围内有adi、nxp、ti、mobileye/st、movidius、nextchip 、ambarella、inuitive等公司。
adi（analog devices, inc.）是数字信号处理芯片(dsp)厂商，其发布的blackfin处理器（bf60x系列）专门针对adas，具有车道偏离警告、交通信号识别、智能前灯控制、物体检测/分类、行人检测等功能。
低端系统基于bf592，实现ldw功能；中端系统基于 bf53x/bf54x/bf561，实现ldw（车辆偏离预警系统）/hblb/tsr（traffic signrecognition道路交通标志识别系统）等功能；高端系统基于bf60x，实现ldw/hblb（智能远光灯控制）/tsr/fcw（前方碰撞预警系统）/pd（车辆探测）等功能。集成的视觉预处理器能够显著减轻处理器的负担，从而降低对处理器的性能要求。
恩智浦s32v234是nxp的s32v系列产品中2015年推出的adas处理芯片，在bluebox平台上负责视觉数据处理、多传感器融合数据处理以及机器学习。
该款芯片拥有cpu(4颗arm cortexa53和1颗m4)、3d gpu(gc3000)和视觉加速单元(2颗apex-2vision accelerator)，能同时支持4路摄像头，gpu能实时3d建模，计算能力为50gflops。s32v234在设计时加入了诸如ecc（错误检查与纠正），fccu（故障收集与控制单元），m/l bist（内存/逻辑内置自测）等多种安全机制，能够满足iso26262 asil b~c的需求。
德州仪器（ti）的tda soc系列，包括tda2x、tda3x、tda2eco，其中tda3x系列可支持车线维持辅助、自适应巡航控制、交通标志识别、行人与物体检测、前方防碰撞预警和倒车防碰撞预警等多种adas算法。
这些算法对于前置摄像头、全车环视、融合、雷达与智能后置摄像头等众多adas应用的有效使用至关重要。此外，tda3x处理器系列还能帮助客户开发针对行人和车辆、前方碰撞预警及车线维持辅助的自主紧急制动（aeb）等符合ncap程序的adas应用。
mobileye虽然不是芯片制造商，但其同意法半导体（st）合作，生产了知名的eyeq系列芯片，用于自动驾驶。
其最先进的eyeq5装备了8枚多线程cpu内核，搭载18枚mobileye的下一代视觉处理器。相比而言，eyeq4作为上一代视觉soc芯片，只配置了4个cpu内核和6个矢量微码处理器（vector microcode processor，俗称vmp）。eyeq5最多支持20个外部传感器（摄像头、雷达或激光雷达），而eyeq4最多只能处理8个传感器的数据信息。
nextchip（韩）是一个以图像处理技术为主的公司，产品包括视频监控、dvr、soc、自动驾驶系统中的核心芯片，均是以图形处理、传输为主的半导体芯片厂家。
公司涉及cv领域芯片是在自动驾驶系统的应用中，主打产品apache4是瞄准下一代的adas体系的soc芯片。apache4加入了专用检测引擎，支持行人检测、车辆检测、车道检测和移动物体检测四种监测类型。嵌入其中的ceva-xm4图像和视觉平台可让apache4的客户使用高阶软件编程来开发差异化的adas应用。
安霸则一直是高清视频业界的技术领导者，主要提供低功耗、高清视频压缩与图像处理的解决方案，应用领域涵盖安防、无人机、车机等。
2015年安霸以3000万美元的价格收购了意大利初创自动驾驶公司vislab，开始发力自动驾驶领域。
2017年到现在，安霸相继发布了针对adas的cv1和cv2 系列芯片，cv1和cv2都在同一芯片上提供单目和立体视觉处理，cv1能够对分辨率高达4k的视频进行计算机视觉处理，cv2的深度神经网络性能是cv1的20倍。
inuitive是一家先进的3d计算机视觉和图像处理器设计厂家，利用ceva-xm4智慧视觉dsp的授权许可，运行复杂的即时深度感测、特征跟踪、目标识别、深度学习和其它以各种行动设备为目标的视觉相关之演算法。
ceva图像和视觉dsp满足最复杂计算摄影和电脑视觉应用对极端处理的需求，比如视频分析、扩增实境和先进驾驶辅助系统(adas)。
inuitive视觉处理器nu3000以第三代的ceva-mm3101图像和视觉dsp来提供立体视觉功能，现在是google project tango生态系统中的一部分，开发人员能够利用它来开发需要即时深度产生、映射、定位、导航和其它复杂信号处理演算法的应用。
国际知名汽车电子ic厂商，都纷纷发布了针对自动驾驶的cv芯片，但主要的应用领域还是在较低等级的adas。
业内人士表示，芯片厂商在推出一款芯片时，特别注重市场和时机，因为每一款芯片的研发都需要投入上千万美金，成本的回收基本要依靠kk级别的出货量。
如果时机未到，市场还未成熟，即使芯片性能、品质都能达到要求，但不能大规模销售，仍会影响公司的计划，甚至拖垮公司。
因此面对自动驾驶的浪潮，大部分传统车载芯片巨头，都还只是谨慎的在推adas级别的芯片，内部都在积累更高级别的技术，甚至在算力上一定程度可以满足，但并不会盲目推出更高级别的芯片。
尚处早期的自动驾驶cv芯片市场
国内近年来也涌现出了不少初创公司推出了cv芯片，比如地平线、深鉴科技、寒武纪、西井科技。
地平线在2017年发布了后装的征程1.0，征程能够以1.5w的功耗，实现1tflops的算力，每秒处理30帧4k视频，对图像中超过200个物体进行识别，能够实现fcw/ ldw/ jacc等高级别辅助驾驶功能，满足l2的计算需求。
计划中的征程2.0将会支持4-6路摄像头的同时接入；支持车辆、行人、车道线和可行驶区域的检测；支持交通指示标志，包括交通牌、路标、地面标志、交通文字和符号的检测和识别；支持一般障碍物检测、地面缺陷检测；征程3.0将会支持最多8路摄像头的同时接入和多传感器融合。
寒武纪在2017年发布了面向智能驾驶领域的ip核寒武纪1m，ceo陈天石介绍，它的性能将达到寒武纪1a的10倍以上，高度集成，具有更高的性能功耗比，目标是让中国的汽车全部都用上国产智能处理器。
国产cv芯片目前的各项指标还只停留在要求较低的后装水平，各个公司也希望在未来几年能够研发出符合车规要求的芯片。
但从后装到前装，芯片所要符合的不仅是车规的要求，还要经受oem对公司没有任何大规模前装量产经验的质疑。
业内人士透露，目前国内的oem已经在积极布局下一代车型，基于视觉的adas功能也或多或少的被列入了产品规划中。
对于cv方案的选型，oem更倾向于一些具有量产经验的厂商，算力、功耗以及价格都在考虑范围内。oem并不会因为要新增adas功能而盲目上cv芯片，如果原有的传统芯片可以满足相应功能的算力需求，那么oem也会倾向于沿用上一代产品。
要做符合车规等级的cv芯片，并不容易，即使是原来具备传统车载芯片的厂商也一样。cv芯片市场目前还处在早期，传统领域的巨头也尚在摸索推广阶段，初创公司要想直接进入，难度不小。
除此以外，同等性能下的芯片功耗、价格将会成为各个厂商竞争的关键。
高阶PCB设备需求持续成长 大量等厂商加码成长动能
毫米波雷达与摄像头单应性变换标定方法误差因素分析
多层级网格划分技术如何做到便捷、高效？积鼎CFD大幅减少前处理时间
跨界合作推动创新：IEEE标准协会与多方达成全球战略合作，引领无线局域网络和超高清视频等关键技术的全球
17部门近日印发《“机器人+”应用行动实施方案》
CV芯片作为整个视觉感知技术中最关键的一环，目前也还处在初期
FPGA跨异步时钟ASYNC_REG和XPM_CDC处理
计算光学成像：突破传统光学成像极限
放大器中幅频特性和相频特性的概念及实例测量
王斌正式加入小米集团，任AI实验室自然语言处理首席科学家
消息称iPhone12或导致植入式心脏复律除颤器失效
Imec致力于打造更好的SWIR传感器
Arm平台将成为加速计算领域和人工智能计算领域的前沿
4G智能手表发力 中国智能穿戴设备Q3增长2.6倍
最强游戏主机Xbox One X将亮相ChinaJoy展台 Xbox负责人：即将开启预订！
2022年游戏蓝牙耳机排行榜：四款口碑最好的游戏蓝牙耳机
浅谈智能供配电系统的定义、特点、优势及价值
评估物联网产品的信息安全风险 必须考虑端到端的整体系统
谁来给人工智能泼泼冷水
新形势下智能制造发展趋势
相比于超声波雷达、毫米波雷达、激光雷达等传感器，摄像头诞生时日更久，但基于摄像头的感知技术，兴起并没有多年。
cv（compute vision）计算机视觉或称机器视觉，是一门通过图像获取所需要信息的学科，在实际的应用中，会通过硬件的摄像头，获取图片或者视频信息，中间需要经过内部的isp、dsp处理，以得到更清晰的图像，然后利用深度学习的算法，对获得的图片信息进行分析、处理，最终得到现实世界通过图像映射而来的数字或符号信息，以便于机器理解现实世界。
在这个过程中，涉及到的最核心技术，就是对图像的分析、处理，工程应用中，视觉芯片担当了处理的核心任务。
得益于cv在识别、运动分析、场景重建、图像恢复的能力，其广泛应用于安防、无人机、自动驾驶等领域。
而在自动驾驶中，cv不仅可以识别障碍物（行人、车辆等）、道路情况，还可用于构建地图。相比于传统消费领域，汽车的使用环境更为复杂严苛，因此cv在自动驾驶领域的应用才刚起步。cv芯片作为整个视觉感知技术中最关键的一环，目前也还处在初期。
cv&自动驾驶
在自动驾驶中应用cv技术，cv技术必须具备实时性、鲁棒性、实用性这三个特点。
实时性要求cv系统的数据处理必须与车辆的高速行驶同步进行；
鲁棒性是要求智能车辆对不同的道路环境如高速公路、市内公路、普通公路等，复杂的路面环境如路面的宽度、颜色、纹理、弯道、坡度、坑洼、障碍与车流等，各种天气晴、阴、雨、雪、雾等均具有良好的适应性；
实用性指智能车辆能够为普通用户所接受。
目前，cv主要用于路径的识别与跟踪。与其它传感器相比，cv具有检测信息量丰富、无接触测量和能实现道路环境三维建模等优点，但数据处理量极大，存在系统实时性和稳定性问题，要靠开发高性能的计算机硬件，研究新算法来解决。
随着计算机技术和图像处理技术的飞速发展，三维重建道路环境为车辆高速智能驾驶提供强大的信息，在不远的将来具有现实可行性。
cv的道路识别基本原理为，公路路面的环境（白色路标、边缘、路面颜色、坑洼、障碍物等）的ccd图像灰度值和图像纹理、光流有差异。
根据这种差异，经图像处理后可以获得需要的路径图像信息，如方位偏差、侧向偏差、车辆在道路中的位置等信息。将这些信息与车辆的动力学方程相结合，可构成车辆控制系统数学模型。
深度学习在cv中应用广泛，主要是因为深度学习算法的通用性很强，比如faster rcnn在人脸、行人、一般物体检测任务上都可以取得非常好的效果；深度学习获得的特征(feature)有很强的迁移能力，比如在imagenet（物体为主）上学习到的特征在场景分类任务上也能取得非常好的效果；
深度学习计算主要是卷积和矩阵乘，针对这种计算优化，所有深度学习算法都可以提升性能，因此工程开发、优化、维护成本低。
cv在自动驾驶中使用，必须具备可靠、低功耗、超强算力等特点，因此基于cv的自动驾驶专用芯片也就应用而生。
cv芯片的研发制造，除却工艺难度，最大的难度便在于芯片的设计，算法的调教。拥有芯片设计能力的公司并不多，大部分公司都是基于一些成熟的ip核进行研发。
业内人士表示，基于外部ip核开发，是一种普遍的做法，但在调校算法以及芯片的性能过程中，由于不具有自下而上的能力，很难将芯片的性能发挥到极致。如此一来，就会在各个性能指标上存在差距，比如功耗，算力等。
cv芯片厂商之国际力量
针对自动驾驶领域的视觉芯片的公司，全球范围内有adi、nxp、ti、mobileye/st、movidius、nextchip 、ambarella、inuitive等公司。
adi（analog devices, inc.）是数字信号处理芯片(dsp)厂商，其发布的blackfin处理器（bf60x系列）专门针对adas，具有车道偏离警告、交通信号识别、智能前灯控制、物体检测/分类、行人检测等功能。
低端系统基于bf592，实现ldw功能；中端系统基于 bf53x/bf54x/bf561，实现ldw（车辆偏离预警系统）/hblb/tsr（traffic signrecognition道路交通标志识别系统）等功能；高端系统基于bf60x，实现ldw/hblb（智能远光灯控制）/tsr/fcw（前方碰撞预警系统）/pd（车辆探测）等功能。集成的视觉预处理器能够显著减轻处理器的负担，从而降低对处理器的性能要求。
恩智浦s32v234是nxp的s32v系列产品中2015年推出的adas处理芯片，在bluebox平台上负责视觉数据处理、多传感器融合数据处理以及机器学习。
该款芯片拥有cpu(4颗arm cortexa53和1颗m4)、3d gpu(gc3000)和视觉加速单元(2颗apex-2vision accelerator)，能同时支持4路摄像头，gpu能实时3d建模，计算能力为50gflops。s32v234在设计时加入了诸如ecc（错误检查与纠正），fccu（故障收集与控制单元），m/l bist（内存/逻辑内置自测）等多种安全机制，能够满足iso26262 asil b~c的需求。
德州仪器（ti）的tda soc系列，包括tda2x、tda3x、tda2eco，其中tda3x系列可支持车线维持辅助、自适应巡航控制、交通标志识别、行人与物体检测、前方防碰撞预警和倒车防碰撞预警等多种adas算法。
这些算法对于前置摄像头、全车环视、融合、雷达与智能后置摄像头等众多adas应用的有效使用至关重要。此外，tda3x处理器系列还能帮助客户开发针对行人和车辆、前方碰撞预警及车线维持辅助的自主紧急制动（aeb）等符合ncap程序的adas应用。
mobileye虽然不是芯片制造商，但其同意法半导体（st）合作，生产了知名的eyeq系列芯片，用于自动驾驶。
其最先进的eyeq5装备了8枚多线程cpu内核，搭载18枚mobileye的下一代视觉处理器。相比而言，eyeq4作为上一代视觉soc芯片，只配置了4个cpu内核和6个矢量微码处理器（vector microcode processor，俗称vmp）。eyeq5最多支持20个外部传感器（摄像头、雷达或激光雷达），而eyeq4最多只能处理8个传感器的数据信息。
nextchip（韩）是一个以图像处理技术为主的公司，产品包括视频监控、dvr、soc、自动驾驶系统中的核心芯片，均是以图形处理、传输为主的半导体芯片厂家。
公司涉及cv领域芯片是在自动驾驶系统的应用中，主打产品apache4是瞄准下一代的adas体系的soc芯片。apache4加入了专用检测引擎，支持行人检测、车辆检测、车道检测和移动物体检测四种监测类型。嵌入其中的ceva-xm4图像和视觉平台可让apache4的客户使用高阶软件编程来开发差异化的adas应用。
安霸则一直是高清视频业界的技术领导者，主要提供低功耗、高清视频压缩与图像处理的解决方案，应用领域涵盖安防、无人机、车机等。
2015年安霸以3000万美元的价格收购了意大利初创自动驾驶公司vislab，开始发力自动驾驶领域。
2017年到现在，安霸相继发布了针对adas的cv1和cv2 系列芯片，cv1和cv2都在同一芯片上提供单目和立体视觉处理，cv1能够对分辨率高达4k的视频进行计算机视觉处理，cv2的深度神经网络性能是cv1的20倍。
inuitive是一家先进的3d计算机视觉和图像处理器设计厂家，利用ceva-xm4智慧视觉dsp的授权许可，运行复杂的即时深度感测、特征跟踪、目标识别、深度学习和其它以各种行动设备为目标的视觉相关之演算法。
ceva图像和视觉dsp满足最复杂计算摄影和电脑视觉应用对极端处理的需求，比如视频分析、扩增实境和先进驾驶辅助系统(adas)。
inuitive视觉处理器nu3000以第三代的ceva-mm3101图像和视觉dsp来提供立体视觉功能，现在是google project tango生态系统中的一部分，开发人员能够利用它来开发需要即时深度产生、映射、定位、导航和其它复杂信号处理演算法的应用。
国际知名汽车电子ic厂商，都纷纷发布了针对自动驾驶的cv芯片，但主要的应用领域还是在较低等级的adas。
业内人士表示，芯片厂商在推出一款芯片时，特别注重市场和时机，因为每一款芯片的研发都需要投入上千万美金，成本的回收基本要依靠kk级别的出货量。
如果时机未到，市场还未成熟，即使芯片性能、品质都能达到要求，但不能大规模销售，仍会影响公司的计划，甚至拖垮公司。
因此面对自动驾驶的浪潮，大部分传统车载芯片巨头，都还只是谨慎的在推adas级别的芯片，内部都在积累更高级别的技术，甚至在算力上一定程度可以满足，但并不会盲目推出更高级别的芯片。
尚处早期的自动驾驶cv芯片市场
国内近年来也涌现出了不少初创公司推出了cv芯片，比如地平线、深鉴科技、寒武纪、西井科技。
地平线在2017年发布了后装的征程1.0，征程能够以1.5w的功耗，实现1tflops的算力，每秒处理30帧4k视频，对图像中超过200个物体进行识别，能够实现fcw/ ldw/ jacc等高级别辅助驾驶功能，满足l2的计算需求。
计划中的征程2.0将会支持4-6路摄像头的同时接入；支持车辆、行人、车道线和可行驶区域的检测；支持交通指示标志，包括交通牌、路标、地面标志、交通文字和符号的检测和识别；支持一般障碍物检测、地面缺陷检测；征程3.0将会支持最多8路摄像头的同时接入和多传感器融合。
寒武纪在2017年发布了面向智能驾驶领域的ip核寒武纪1m，ceo陈天石介绍，它的性能将达到寒武纪1a的10倍以上，高度集成，具有更高的性能功耗比，目标是让中国的汽车全部都用上国产智能处理器。
国产cv芯片目前的各项指标还只停留在要求较低的后装水平，各个公司也希望在未来几年能够研发出符合车规要求的芯片。
但从后装到前装，芯片所要符合的不仅是车规的要求，还要经受oem对公司没有任何大规模前装量产经验的质疑。
业内人士透露，目前国内的oem已经在积极布局下一代车型，基于视觉的adas功能也或多或少的被列入了产品规划中。
对于cv方案的选型，oem更倾向于一些具有量产经验的厂商，算力、功耗以及价格都在考虑范围内。oem并不会因为要新增adas功能而盲目上cv芯片，如果原有的传统芯片可以满足相应功能的算力需求，那么oem也会倾向于沿用上一代产品。
要做符合车规等级的cv芯片，并不容易，即使是原来具备传统车载芯片的厂商也一样。cv芯片市场目前还处在早期，传统领域的巨头也尚在摸索推广阶段，初创公司要想直接进入，难度不小。
除此以外，同等性能下的芯片功耗、价格将会成为各个厂商竞争的关键。
高阶PCB设备需求持续成长 大量等厂商加码成长动能
毫米波雷达与摄像头单应性变换标定方法误差因素分析
多层级网格划分技术如何做到便捷、高效？积鼎CFD大幅减少前处理时间
跨界合作推动创新：IEEE标准协会与多方达成全球战略合作，引领无线局域网络和超高清视频等关键技术的全球
17部门近日印发《“机器人+”应用行动实施方案》
CV芯片作为整个视觉感知技术中最关键的一环，目前也还处在初期
FPGA跨异步时钟ASYNC_REG和XPM_CDC处理
计算光学成像：突破传统光学成像极限
放大器中幅频特性和相频特性的概念及实例测量
王斌正式加入小米集团，任AI实验室自然语言处理首席科学家
消息称iPhone12或导致植入式心脏复律除颤器失效
Imec致力于打造更好的SWIR传感器
Arm平台将成为加速计算领域和人工智能计算领域的前沿
4G智能手表发力 中国智能穿戴设备Q3增长2.6倍
最强游戏主机Xbox One X将亮相ChinaJoy展台 Xbox负责人：即将开启预订！
2022年游戏蓝牙耳机排行榜：四款口碑最好的游戏蓝牙耳机
浅谈智能供配电系统的定义、特点、优势及价值
评估物联网产品的信息安全风险 必须考虑端到端的整体系统
谁来给人工智能泼泼冷水
新形势下智能制造发展趋势