索尼近日宣布即将推出两款ai图像传感器,型号为imx500和imx501,号称具备智能视觉的“全球首款ai图像传感器”。索尼方面表示,这两款cmos图像传感器首批目标是零售商和工业客户,比如亚马逊go无人商店,其他应用场景包括访客统计、交通状况和人流量热图绘制等,未来将把imx500打造成一个简单的单应用设备,即专门应对复杂和多样化任务的专用ai硬件,具备处理和分析更复杂任务的能力,而不仅局限于运行基础算法。
紧接着,索尼和微软宣布他们将为共同的客户开发解决方案。据了解,索尼将在imx500嵌入微软的azure ai,从而在智能相机和其他设备的图像中提取有效信息。
第一个问号:索尼+2b=?
这是索尼在ai领域交上的第一份作业。去年11月,索尼宣布成立索尼ai,以推动ai的基础研究和开发,当时索尼方面就曾表示将在影像和传感解决方案上推动所有现有业务领域的转型,并开发全新的业务领域。
索尼业务与创新副总裁mark hanson表示,这款ai图像传感器将不会应用到手机设备中,目标人群为零售商与工业用户。目前,imx500已经出货给索尼的合作伙伴,而mx501将会在6月份出货。
业内人士分析认为,索尼是想通过这项技术摆脱对手机等消费电子市场的依赖,向具有更广阔前景的产业互联网进军。据悉,尽管市场的不确定性犹存,但索尼仍然计划将其传感解决方案业务占芯片业务的比重从4%提高到2026年的30%。
索尼在图像传感器领域长期保持领先优势,日本调研公司techno systems research(tsr)2019年cmos图像传感器市场报告显示,索尼以49.1%的份额排名第一。索尼选择与ai技术相结合,一是为继续领跑图像传感器领域,二是为拓展自身业务版块,同时提高其产品技术能力。
“索尼将ai技术集成于cmos图像传感器的难度之一是需要利用3d堆叠技术(例如3d-ic tsv方案)实现逻辑电路芯片(包括计算和存储功能)与像素阵列芯片(感光功能)的三维集成。”麦姆斯咨询ceo王懿在接受《中国电子报》记者采访时说道。
3d堆叠技术核心包括晶圆级键合、层间互联技术——硅通孔(tsv)等。索尼在2017年发布了cmos图像传感器imx400,它采用了业界先进的三层堆叠结构——像素芯片+dram(存储芯片)+isp(图像处理芯片),意味着索尼在计算及存储芯片集成于cmos图像传感器上已经具备一定实力。
第二个问号:ai+图像传感器=?
图像传感器作为摄像头模组的核心部件,伴随电子产品对“视觉”功能的逐年递增,而成为业界关注的焦点。那么图像传感器集成ai技术相比传统传感器有何提升?又有哪些技术难点?
王懿认为,将ai技术集成于cmos图像传感器,可以让“传统传感器”升级为“智能传感器”,同时“边缘计算”也演变为“传感器端计算”,通过将数据处理过程“前置”至传感器端,应用开发者能够实现更快的处理速度、更高的系统效率、更好的隐私保护,并降低数据传输延迟、节省系统功耗、减少网络带宽需求,以及降低系统硬件的实现成本,从而从“传感器端”实现智能硬件及物联网的创“芯”和创新。
赛迪顾问人工智能产业研究中心副总经理邹德宝认为,该图像传感器由像素芯片和逻辑芯片组成的配置,能够输出元数据(图像数据的语义信息),减少数据量并解决隐私问题,并能提高精度,将成为边缘ai领域的理想选择。
赛迪智库集成电路研究所研究员麻尧斌博士向记者指出,从电路设计来说,ai图像传感器配备了具有ai图像分析和处理功能的逻辑芯片,电路实现功能的增加将使得逻辑层的设计复杂度提高。从生产工艺来说,索尼通过晶圆减薄、cu-cu连接和堆叠晶圆等技术(wafer-on-wafer,wow)来构建芯片,其中堆叠晶圆包含带有光敏像素芯片的晶圆和dsp、isp和内存等电路的晶圆,工艺复杂度将显著提升,同时具备dsp功能的逻辑层可能会采用更高的工艺制程。
第三个问号:微软azure+imx500=?
索尼新推出的cmos图像传感器与微软azure ai又会碰撞出怎样的火花?
索尼方面表示,将在imx500中嵌入微软的azure ai,从而在智能相机和其它设备的图像中提取有效信息。同时,开发管理智能相机的app,并采用azure的iot和感知服务完善imx500传感器,为企业级客户扩展视频分析的范围和能力。
“ai图像传感器使在高速ai处理下进行实时对象跟踪等应用成为可能,同时根据用户的要求可以选择不同的ai模型对数据进行提取。”麻尧斌向记者指出,这些特点将让ai图像传感器未来在工业、零售业和汽车等行业得到应用,具体可用于仓库库存检测、人流监控、驾驶行为监控等应用场景。
邹德宝认为,ai图像传感器未来在智能网联汽车、智能零售、资产追踪、公共安全等方面均有应用空间。
据介绍,配备ai图像传感器的相机在获取信息后,可使用“边缘计算”与“云计算”两种方法在终端上进行数据处理。需要加快速度时,可通过使用边缘计算或云处理的方式来减少分析数据的时间。
微软入局云计算多年,一方面在通过azure扩张其云服务版图。而另一方面则是加码其“云+端”的战略布局。据了解,微软在“端”上的定位是覆盖各种类型的设备,端则是云的出口,云要持续发展,与端紧密结合是大势所趋,与索尼在图像传感器上达成合作也是微软在拓展端边能力上的一步棋。
智能手机和相机是索尼传感器的主要应用终端,新推出的ai图像传感器目标是企业级用户,索尼此举意在拓展自身业务领土,微软在ai云服务上的实力将成为其有力帮手。
图像传感器处于3d半导体技术的最前沿,是ai发展的重要抓手。随着索尼与微软的合作走向产品化,ai图像传感器又一次引起业内关注。产品是否已进入量产阶段?未来能否成为传感器领域的“香饽饽”?让我们拭目以待。
Oclaro推出针对100Gbps及其以上速率的相干光传输系统的拉曼放大器系列产品
英伟达开启的DPU跑道
这几类人不适合跑步,有你吗
工业应用的IEC 61508标准详解
LDO在IoT中省电的两种方法
索尼想通过哪项技术摆脱对手机等消费电子市场的依赖?
MPX扩散硅压阻式传感器
超高亮LED迷你台灯工作原理
Acrel-3200远程预付费系统的应用
谁才是最好的全面屏手机?
关于非洲猪瘟检测专用仪器清单的详细介绍
一种基于DSP2812实现对电网电压软件锁相的设计概述
工业机器人和机床应用的时序挑战分析
工业以太网在物流行业自动化的应用
MEMS传感器——TDK赋能TWS耳机,创新从芯开始
LG化学迅速超越松下成为特斯拉在中国的主要电池供应商
1992~2008深圳电子业野蛮生长史 山寨or创新?
小爱蓝牙音箱随身版高清图赏
合肥迈斯MES实施众所周知的SCADA系统?
智能家居品类的渗透率不足10% 新玩家想踏出一条新路还需努力