OPPO似乎是要抢先在华为、小米之前推出基于3D感测技术的智能手机了

去年9月13日,苹果推出了拥有多项重大升级的iphone x,除了异形切割的“刘海屏“之外,最为引人关注的还是其首次搭载了基于结构光技术的3d sensing模组,实现了3d人脸识别,并以face id彻底取代了touch id指纹识别。由此也彻底引爆了3d感测市场。
国产手机厂商也纷纷对于iphone x掀起了一股“学习”热潮。虽然现在包括华为在内的众多国产手机厂商都纷纷推出了与iphone x类似的刘海屏,而且也有非常多的手机厂商推出了支持人脸识别的手机,但是基本都是基于2d/2.5d感测技术的,而到目前为止还没有任何一家国产手机厂商有推出真正支持3d感测的智能手机。不过,华为、小米、oppo等厂商都在积极的推动。
此前凯基证券分析师郭明池也曾表示,苹果的3d感测技术已经领先安卓阵营至少一年。另外,今年年初,郭明池还透露安卓阵营中,华为将第一个用上类似苹果的3d结构光模组,时间点要等到2019年。
不过,令人意外的是,oppo似乎是要抢先在华为、小米之前推出基于3d感测技术的智能手机。
oppo公布3d感测进展
2018年5月10日,oppo在深圳举行“5g&3d结构光技术媒体沟通会”,正式公布了其基于结构光的3d感测技术的进展。
在本次媒体沟通会上,oppo介绍了其在3d结构光+5g的应用方面的探索。
相比传统的2d面部识别,oppo的3d结构光技术可更好的应用于安全支付、三围重建、ar、游戏等众多场景。
oppo表示,特别是在对于安全性要求较高的支付领域,其3d结构光技术可基于深度学习的人脸智能识别算法能快速从输入的人脸红外特征信息与深度信息中提取个人的安全识别特征。安全特征具有10000+维度信息,可以保证达到百万分之一的精度,算法将此安全信息与录入时安全信息进行匹配决定是否安全认证通过。
在用户比较关注的美颜方面,通过3d结构光技术还可实现3d美颜。通过结构光深度相机将3d人像还原出来,然后基于高精度的3d人脸信息进行更细致的磨皮、美白、大眼、瘦脸,使得人像更加立体自然。
此外,利用3d结构光技术还可以对人脸进行更精确的3d重建,并模拟影棚灯光进行3d补光渲染,可以拍出更出色的照片,后期处理也有更多的空间。
在3d结构光+5g的应用方面,oppo认为3d视频通话是一个比较好的场景,由于3d视频流数据量较高,所以与5g网络是非常好的搭配。
另外,在3d结构光技术还可以带来3d ar、3d游戏等更丰富的体验。
在沟通会现场,oppo 也演示了3款demo,分别包括5g下载速率,3d生物识别,以及3d视频建模。
现场展示的3d人脸识别的demo,识别解锁速度非常快。
据oppo介绍,其3d人脸识别已经具备量产条件,预计在未来6个月内推出相应终端产品。
为什么都选择3d结构光技术?
目前,可以应用在智能手机端的3d感测技术主要有有“飞行时间”(time of flight)和“结构光”(structured light)两大类。
飞行时间与结构光技术原理
所谓飞行时间技术,就是传感器发出经调制的近红外光,遇物体后反射,随后传感器通过计算光线发射和反射时间差或相位差来换算被拍摄景物的距离,以产生深度信息;此外再结合传统的相机拍摄,从而将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。此前被联想和谷歌极为重视的project tango手机使用的就是 tof 技术。
“结构光”(structured light),就是将近红外激光器发出的光栅或线光源等投射到被测物上,再由近红外摄像头采集返回的信号,根据物体产生的光信号的变化来计算出被测物的三维信息。这其中近红外激光发射器和近红外摄像头之间的距离则为三角测距的基线。
由于两种技术都是采用的红外光,所以即使在夜间也能够使用。
从上面这张对比图上我们可以看到,tof技术具有响应时间更快,低光下表现良好,强光下表现尚可,深度信息精确度高、识别距离远等优势,但是其也有着分辨率底、成本高、功耗高的劣势。
而结构光优势则在于低光下表现良好,分辨率更高,成本、功耗适中,主要缺点是易受阳光影响,识别距离短,相应时间稍慢的缺点。
但是如果只是用于智能手机的前置3d感测系统,进行人脸识别/解锁 和人脸建模等,结构光技术应该是要比tof技术更有优势。
因为通过智能手机的前置3d系统来进行面部识别这种应用场景本身识别的距离就很近,所以不存在需要支持更远的识别距离的问题。另外结构光相比tof技术,短距离的精度更高,也更适合用在手机前置摄像头上。而且其分辨率、相应时间已经足以应对手机端面部识别的需求(采用tof技术的project tango手机是后置3d系统,其作用也不是主要用于面部识别/解锁)。
另外,就两种技术所产生的深度图来看,tof深度图会存在多重反射产生的噪音、边缘精细度过低、时域滤波导致滞后等问题。而结构光的深度图则只有边界线清晰度略低的问题。
最后,由于是用在智能手机这样的消费类移动设备上,所以成本、功耗也都是需要考虑的因素。
所以总的来说,如果是手机前置3d面部识别系统,结构光技术相比tof技术更具优势。这也是为何苹果、oppo、华为、小米等厂商都选择3d结构光技术的主要原因。
3d结构光模组的关键器件
3d结构光模组当中的结构光发射器(即iphone x上的dot projector)是整个模组当中最为核心的关键器件。
而结构光发射器当中又包含了光学衍射元件(doe)、准直镜头(wlo)和vcsel(vertical cavity surface emitting laser,垂直共振腔表面放射激光)等关键元器件。
准直镜头(wlo)是利用光的折射原理,将波瓣较宽的衍射图案校准汇聚为窄波瓣的近似平行光。光学衍射元件(doe)是利用光的衍射原理,将点光源转换为散斑图案。
结构光发射器原理就是vcsel发出940nm点激光之后,通过wlo准直镜头校准为线性激光,然后线性激光照射在doe上发生衍射,形成近千个具备调制信息的光斑。这其中vcsel可以说是最为核心的关键器件。iphonex中就使用了三颗vcsel芯片。
目前,具有vcsel芯片设计能力的公司,全球只有少数几家,例如lumentum、finisar、princeton optronics(已被ams艾迈斯半导体收购)、heptagon、ⅱⅵ等公司,并且大都是从光通信芯片领域,转型到消费电子市场的。
根据资料显示,目前lumentum是iphone x的vcsel芯片的主要供应商,而finisar是第二大供应商,艾迈斯半导体则是第三家供应商。
虽然国内厂商在vcsel这块起步相对较晚,目前光通信芯片企业光讯科技和华芯半导体都已具备了vcsel芯片量产能力,华工科技的子公司华工正源也很有潜力,但目前这几家公司的主要精力还是放在光通信领域。另外,三安光电在2016年也切入了vcsel产业。国内初创企业纵慧光电也正在开发并批量试产vcsel。但是,到目前为止,国内尚无一家拥有针对移动端3d感测市场的vcsel芯片量产能力的企业。
在vcsel设计和芯片代工方面,***厂商也具有一定的优势。比如在上游方面,全新、联亚与光环科技都积淀了十五年的外延与芯片技术,led大厂晶电也早做了布局。芯片制造方面,lumentum的代工订单是交给了稳懋,宏捷科技则拿下了princeton optronics的代工订单。封装方面,***也累积了长久的精密封装实力,目前联钧、华信、华星、光环、矽品与同欣都是有实力可以达到世界大厂要求的封装技术。此外,长期专注vcsel技术与产品的公司华立捷,更是具有上中下游垂直整合的实力,也是目前在vcsel模组上可以跟国际大厂竞争的公司。
最后需要补充的是,ams近年来通过自主研发以及一些列的收购,目前已经拥有了包括vcsel、wlo、doe等关键器件在内的全套的光学传感器解决方案(而且还有tof的方案)。ams也是苹果iphone x的wlo 镜头主要供应商。
3d感测模组供应商
介绍完了核心器件,我们再来介绍一下3d感测模组的主要供应商,由于厂商较多,所以下面我们就主要介绍几家能够提供手机端/移动端3d感测模组的厂商。
1、lg innotek
众所周知,苹果iphone x的3d感测模组主要是由lg旗下的电子零部件制造商lg innotek供应的。根据lg innotek的审计报告显示,其2017年的销售额中的37.6亿美元是来自向苹果公司供应提供基板材料和光学解决方案,占其2017年销售总额71.9亿美元的一半以上(52.5%),而2016年苹果的销售额的占比仅36.9%。
2、高通+himax:小米7或将首发采用
去年下半年,高通宣布其下一代骁龙处理器(预计今年12月公布)将支持红外3d感知技术,并且联合himax(奇景光电)推出了三款基于qualcomm spectra isp技术的摄像头模块项目,其中就一款是就是基于结构光3d感测技术的摄像头模组。由高通提供算法技术,奇景提供模组。
高通与奇景的这款3d感测模组则采用的是与iphone x类似的结构光技术,由红外发光器、红外摄像头以及一个rgb 摄像头(据说有1600万像素、2000万像素两个版本)组成。通过红外发光器发射出一束光,形成光斑,再通过ir 摄像头读取该图案,并对点状图在物体上发生的扭曲、以及点与点之间的距离进行计算,再加上rgb图像,结合起来就构成了一个3d模型。
根据最新的消息显示,高通与奇景的这款3d感测模组有望将在今年上半年量产。此外,高通似乎还与信利也进行了合作。而传闻中的小米7或将首发搭载。但是有消息称,因高通的软件调适进度落后,脸部识别成功率偏低,小米搭载3d脸部识别功能的机型可能将延至第三季推出。这个进度要比oppo更快。
所以,从时间上来看,如果一切顺利的话,小米将会在第三季度推出搭载3d感测的手机,成为首家商用3d感测技术的国产智能手机厂商。
另外需要指出的是,虽然高通+奇景的3d感测方案是目前安卓阵营当中相对更为成熟的方案(其内部的doe/wlo等多个核心器件都是基于奇景的自有技术),但是受限于需要采用高通的骁龙845芯片或者更新一代的芯片,所以三星、华为等厂商的旗舰手机可能不会直接采用,而是更为倾向于开发自己的3d算法。去年年底,华为荣耀还推出了一款外接式3d感测模组——点云深度摄像头,该模组由舜宇供应。
3、奥比中光:oppo或将首发采用
奥比中光是国内比较知名的一家3d感测模组厂商,他们从从2015年便开始研发3d结构光的手机方案,去年就推出了针对智能手机的前置3d人脸识别结构光摄像头模组方案——astra p。
奥比中光astra p模组  芯智讯拍摄于2017年高交会现场
资料显示,奥比中光的astra p的ir尺寸为7.4*7.4*4.8mm,ldm尺寸为5.1*5.1*4.55mm,深度范围:0.2—1.5m,深度图像分辨率可达1280×800@30fps、640×400@90fps、320×200@120fps,精度可达0.7m:±1-3mm,深度fov d78°,支持android和win10系统,模组功耗小于0.5w。
从奥比中光近期公布的与苹果iphone x的3d感测对比结果来看,奥比中光的3d感测模组已经达到了接近iphone x的水平。
据芯智讯的了解,此次oppo发布的3d结构光技术就是采用的奥比中光的方案。也就是说,oppo即将推出的搭载3d结构光技术的智能手机采用的就是奥比中光的astra p模组。另外需要补充的是,奥比中光主要是提供模组,算法则是来自于第三方。
4、舜宇
作为国内手机镜头的最大供应商,舜宇在光学领域拥有非常强的技术实力。根据韩国媒体《etnews》的报导,韩国三星galaxy s9的前置摄像头就采用了舜宇所生产的光学镜头,这也是中国的光学厂商首次打入三星高端智能手机的供应链。
去年11月,舜宇就与苹果iphone x的3d传感器供应商之一的ams(艾迈斯半导体)公司达成合作,双方将结合各自在光学传感和成像领域的技术优势,为移动设备和汽车应用联合开发并市场化3d结构光传感摄像头解决方案。正如我们前面所介绍的,ams拥有全套的光学传感器解决方案。
另外,今年年初,舜宇子公司宁波舜宇光电信息有限公司还宣布与3d感测技术厂商pmd technologies(以下简称pmd)达成合作,将联合为中国及全球的移动设备oem厂商,开发并市场化3d传感摄像头解决方案。
需要指出的是,pmd是全球唯一将深度传感器成功植入手机的tof技术提供商(全球首款配备3d摄像头的联想phab 2 pro采用的就是pmd的技术)。在今年的ces2018展会上,首次展示了其最新的3d图像传感器irs238xc,同时展示了基于此传感器的全球最小3d摄像头模组,尺寸仅为12 mm x 8 mm,它将使tof深度传感3d摄像头变得更加易于集成。
对于双方的合作,pmd将提供3d图像传感器(主要是irs238xc),以及专有技术实现成本优化、坚实且高性能的3d摄像头设计,包括校准和软件专有技术,舜宇则将提供在3d摄像头模组规模量产方面的专有技术,实现更经济、更快速、更稳定的产品制造。
显然通过与ams和pmd的合作,舜宇将拥有tof及结构光两种技术的3d摄像头模组的供应能力。
去年11月底,华为荣耀推出了一款外挂式3d结构光配件——点云深度摄像头就是基于舜宇的3d结构光模组。舜宇提供了包括光学设计、结构设计、id设计、图像处理等嵌入式软件系统开发在内的一整套解决方案,其内部代号为jupiter x。
虽然华为荣耀和舜宇都并未详细介绍这款点云深度摄像头的结构,不过根据现有的资料可以看出,其采用了与苹果iphone x的3d感测模组类似的结构。其点阵发射器可以发射出30万的散板点阵,可以支持3d人脸建模和3d人脸识别。在400ms内即可完成3d人脸识别,3d建模只需10秒,建模精度可以达到亚毫米级。
不过需要强调的是,从目前公开的消息来看,舜宇似乎还无法提可以集成在智能手机内部3d结构光模组。
5、华捷艾米
华捷艾米也是比较知名的3d感测技术厂商。公司的主要产品有:3d结构光,包括双目结构光硬件方案;ar/ai算法; ar/ai芯片。
资料显示,华捷艾米的1180 3d感应芯片可以实时处理 3d 测量和图像深度,并已经开始量产。同时,华捷艾米的rgb-d光学模组已经开始量产,能够与机顶盒、机器人和游戏机等设备实现模组型开发。近期海尔推出的一款机器人就采用了华捷艾米的3d感测模组。
华捷艾米还针对智能手机推出了小型化的模组,目前正在进行批量化生产技术研发。
据说在与iphone x的对比测试中,华捷艾米也做到了与之相近的效果。
另外,华捷艾米的sdk 支持安卓、linux、windows 和 unity3d 平台。它可以识别手势、重组物体和进行 3d 建模。运动感应设备采用先进和骨架技术,适用于大众市场的商业设备。
小结:
除了以上介绍的厂商之外,还有很多的3d感测方案供应商,比如英特尔也有3d感测模组realsense 3d,国内的还有未动科技、图漾科技等,但是目前这些厂商的产品都无法应用于智能手机平台。
终端厂商方面,从目前的情况来看,华为、小米、oppo都在积极的推动3d感测在自家智能手机当中的应用,从时间进度上来看,选择采用高通和奇景方案的小米,以及采用奥比中光方案的oppo可能会更快一些。相比之下,另一家手机大厂vivo则更多的下注于屏下指纹,并且旗下已经有两款手机成功商用。而其他的手机厂商目前可能还是处于观望状态,到底是选择跟进屏下指纹还是3d感测还有待市场进一步反馈。

穗晶光电营收规模不及同行公司
直线模组3D打印Olympic Games领奖台
Eurocom推出Tornado F7W堪称最强笔记本
小Biu智能耳机体验 智能家族的绝佳入口
NXP与MWCapital、GSMA合作共同促进NFC应用
OPPO似乎是要抢先在华为、小米之前推出基于3D感测技术的智能手机了
低功耗MS5199T模数转换器的简单介绍
比特币期货来临,开盘报15000美元,现货价格约为15206美元
通过一个GSM源放大器仿真实例学习电路包络仿真的基本方法和技巧
基于石墨烯器件发射的远红外波显著抑制肿瘤细胞
如何将SiC库导入LTspice并对其进行仿真
纯电动汽车在高速行驶时怎么开更省电
三星正在开发一种Galaxy型号的手机用于解决低端手机市场定位的问题
钢结构行业如何选择焊接机器人
射频贴片电感在选型与使用中的注意要点
LPWAN技术的类型和应用领域
浅谈AEC-Q101认证标准
西门子S7-200 SMART系列PLC在食用菌培育工艺调节实验室中的应用设计
AIRLOOK数字技术赋能水利建设,让治水走向“智水”
浅析变频器的自由停车问题