基于芯片的AI摄影到底有哪些体验呢?

在咱们身边,有一个铁打的定律,那就是一个东西或者名称火了,马上就会群起而模仿之。久而久之,这种“微创新”甚至“不用创新”的方式,被国人冠名为“山寨文化”。
互联网领域则更是如此,团购火了能百团大战,o2o火了能全面“开o”,共享经济火了,愣是连男友女友都能“共享”。
山寨得多,就连技术都可以山寨。比如到了今年,全面屏等技术普及之后,ai似乎成为了各手机厂商普遍希望蹭到的热点。
那么问题来了,到底实现ai有哪些方法,各种方法最终又会得到什么结果呢?让我们先从摄影说起,聊一聊手机ai摄影的三个流派。
流派一:用芯片提供ai摄影通用加速
去年,华为发布了搭载npu的麒麟970芯片开始,之后苹果也公开了a11仿生神经芯片。从后来华为、荣耀的相关搭载产品,以及苹果iphonex来看,基于ai专用芯片来实现手机的ai摄影功能,是这类手机的核心ai能力。
这可以看做是手机ai摄影的第一个流派:芯片派。
从底层芯片开始做ai处理能力。有两个层面的目的,一是在硬件里完成终端ai计算,可以保证摄像任务的实时性和安全性。毕竟摄影任务上传到云端计算有卡顿可能,断网后无法工作,图片上传服务器面临的数据危险也是显而易见的。
另一方面,芯片派容易被忽略的目的,在于对ai摄影任务进行通用加速。比如有的玩法要人脸识别,有的直播要读取动作指令,有的滤镜要搞空间处理,把这些全挤在cpu、gpu上手机马上会进入龟速状态,用云处理无法支持不说,更丧失了实时体验。app的摄影需求有千千万,目前来看只有在终端有ai处理单元才能满足这些“未知需求”。
说到底,基于芯片的ai摄影到底有哪些体验呢?
华为mate10、荣耀v10以及iphone x的能力数据说明,ai摄影可以体现在识别、动作捕捉、光影分析、ar等几个方面。
比如iphonex利用a11仿生芯片,可以与结构光传感器、深度陀螺仪进行结合,处理人脸、ar等任务,并可以快速处理图像识别。
接下来,荣耀、华为的新产品,以及新一代iphone必然会继续这条路。
这个流派的优点在于,用户可以体验到ai的多样化和增长性,手机里不是一成不变的ai体验,而是可以随着生态和技术的发展不断进化。但问题是芯片流的门槛很高,需要研发的巨大投入和长达几年的等待周期。
流派二:基于摄像头搞ai
第二个ai手机摄影流派,不能不提到让人爱恨纠葛的谷歌。
众所周知,谷歌是不大力押注硬件技术的,而是在战略上选择强打ai算法优势和云计算强项。这个被谷歌称为ai first的战略,已经体现在谷歌各种穿戴、家庭以及移动设备上,其中pixel系列手机也不例外。
去年推出的谷歌pixel2,给出了一个非常特别的ai摄影模式,它没有专属的ai芯片,却利用算法和ai图像处理单元完成了动态模糊摄影等摄影能力的补偿。甚至把摄像头切割成非常复杂的成像单元,来供给算法端实现对景深、空间感的ai计算。
这种“吃力不讨好”的方式,大概也只有谷歌会做。背后的核心原因,一方面是谷歌希望用户适应所有数据都上传到谷歌云的生活方式,另一方面也是希望加强ai优势的商业化通道。
谷歌手机的ai秘诀,不在底层芯片里,而是在摄像头区域里藏了一颗专用图像处理协处理器,即imageprocessing unit (ipu),专门用来结合云计算与算法集群处理ai拍照与视频任务。
但这样做的问题是图像任务会在专门的部件里处理,并且极大程度依赖云计算。但确实一定程度上绕开了开发芯片的难度,弥补了谷歌硬件上的弱势。这种剑走偏锋,让手机各部件自行ai的思路,有赖于谷歌强绝天下的算法积累,以及云计算处理能力。缺点是:除了谷歌大概没有人可以尝试。
流派三:搞个带算法的app算了
在手机ai概念火热起来之后,国内手机厂商似乎很快就按耐不住了。雨后春笋版的“ai摄影”字样应运而生,于是也催生了ai摄影的第三个流派:app派。
所谓app派很好理解,想一想我们用的各种美颜拍照相机、动态美颜录制应用等等,这些能力,在今天基本都要用到ai算法来实现更好的效果。比如美图秀秀旗下的美图相机,就是在app里集成了机器学习算法,用来识别拍摄人像和背景、光源间的关系,从而把人像分离出来。
假如把这种基于算法的“ai应用”或者“ai滤镜”,直接搭载到产品摄像头里,说这是ai摄影功能,行不行呢?
好像,大概,可能,也可以吧?
前不久,红米note5主打了所谓“千元ai双摄”打开了这场关于ai的宣传战序幕。随后vivo x21也以ai摄影能力作为宣传。从产品说明中可见,这两部手机的解决方案基本就是上文所说的“ai滤镜”模式:开发具有一定识别特性的摄影功能,然后在不卡的前提下部署在手机中就可以了。
刚刚发布的小米mix2s,也是走这种解决方案。即在手机相机中初始化搭载“美图相机”之类app的算法功能。比如场景识别拍照、用机器学习进行人脸和人体轮廓识别,自动进行背景虚化和抠图等等。
这类手机的问题,在于芯片和摄像头中缺乏专项处理ai任务的单元,一旦运行高负载的ai任务就需要呼唤云端。而云端的响应速度不够,就可能导致ai摄影的识别率和准确率下降。
举个例子,处理夜拍效果时,手机需要运用光源捕捉、空间捕捉等ai算法,从而实现夜晚中清晰拍照和光源还原。
而这类app派假如要加载夜拍类的ai应用就有点尴尬了。因为这类深度学习的负载很大,用传统移动芯片+云计算来跑这类ai拍摄任务,会出现黑夜一层层褪去,半天无法对焦。拍照之后又要上传到云端进行很长时间“处理”,精准度和体验都很差。而一旦没网就更麻烦了。所以我们能看到的是,目前大部分国产手机宣传所谓的ai拍照时,都绝口不提夜拍、动作捕捉等复杂任务。
于是,这个流派中消费者看到的宣传材料里的“ai拍照”,也就变成了整个手机的全部ai能力。其实这些能力弄个不算太差的手机下载个相关app就可以实现了,单独作为一款产品的主要宣传材料就有点奇怪。

科捷机器人打造钢帘线生产车间自动物流系统,开启自动化时代
随着机器学习技术不断深入,人工智能在医疗领域的前景更加开阔
电力监控系统在酒店项目中的设计与应用
AMEYA360:Panasonic松下HF系列压敏电阻器
如何使用Spring scheduling task简化定时任务功能的实现?
基于芯片的AI摄影到底有哪些体验呢?
第三十二颗北斗导航卫星发射成功,备份星助力北斗服务能力发展
差分放大器计算公式讲解
农业物联网的应用现状和产业化的新路径
鸿蒙系统的新设备曝光,华为实力进一步提升
信阳中部半导体项目正式投产 2019年销售额预计可达3.5亿元
生物医药因为有了区块链技术有了什么新的发展
三星推出了新的Galaxy S21系列和其他设备
中美摩擦若成“长征”,谁是这场战役的最大得利者?
iPhone 15系列若限充电速度或违法?
小米手表为什么到现在还不支持iOS系统
智能音箱代表的,是否为足够浩瀚的蓝海市场?
围观八类网络跳线性能优势
Agilent N9330B手持式天馈线测试仪
一个和椭圆曲线加密技术具有相同元素的Mimblewimble技术解析