工业界“黄金标准”之称的全球人脸识别算法测试结果

美国国家标准与技术研究院(nist)刚刚公布了有工业界“黄金标准”之称的全球人脸识别算法测试(frvt)结果,依图科技以千万分之一误报下的识别准确率超过99%,继续保持全球人脸识别竞赛冠军,中国公司商汤科技摘得第三名和第四名。
根据最新公布的全球权威人脸识别供应商测试 frvt 结果,旷视、商汤和依图这三家视觉独角兽首次在公开场合同台竞技,最终由依图拿下第一。
frvt 是美国国家标准技术局(nist)定期举办的人脸识别供应商测试(face recognition vendor test),旨在衡量人脸识别算法的最先进水平。由于训练集不公开,数据集不能凭借过拟合测试集达到更好的成绩,再加上结果受商业因素影响较小,frvt 素来被视为工业界“黄金标准”。
根据报告,排在第一名的是依图科技今年10月提交的算法,也是参赛团队中在千万分之一误报指标下,唯一将漏报率降到1%以下的团队。在相同漏报率的情况下,商汤科技(sense time-001)的误报率是依图(yitu-002)的30-50倍,在误报率指标相同的情况下,依图的漏报率是商汤的30%-45%。
在这份官方公布的报告中,中国人工智能公司实力展现,依图科技(yitu)、商汤科技(sensetime)、旷视科技(megvii)囊括了前十中的五席,加上排名第五的中国科学院深圳先进技术研究院(siat),中国团队已经超过半数,并稳稳“霸屏”前五,领跑全球人脸识别算法。
旷视商汤依图首次同台公开竞技,依图拿下第一
美国国家标准与技术研究院(national institute of standards and technology,nist)直属美国商务部,主要任务是建立国家计量基准与标准,提供为美国工业和国防服务的测试技术,参加标准化技术委员会制定标准等。nist指导下的人脸识别算法测试,数据均来自真实业务场景,意味着测试结果代表该技术在实战场景中的表现。
frvt通过上百亿次样本比对,对算法精度的评估可以到达百万分之一,也是当今全球规模最大、标准最严、竞争最激烈、最权威的人脸识别算法比赛。由于竞赛评测标准的严谨性、一致性和全面性,frvt十多年来一直被业界作为人脸识别算法性能的“黄金标准”。
frvt人脸识别测试集数据量很大,包含签证照片(visa)、逮捕照片(mugshot)、网络摄像头照片(webcam)、人脸自拍(selfie)和无约束环境下人脸图像(wild)等几大种类,frvt会在每次结果报告中给出特定阈值下单项测试集的排名。
frvt人脸识别测试集有多种测试集组成,数据量大且均来自实际场景,代表了算法在实战场景中的表现。制图:新智元
截至目前,全球顶级大厂都参加过这项竞赛,包括老牌大厂荷兰公司gemalto,法国公司morpho,日本公司panasonic,俄罗斯公司vocord,以及中国的海康威视、平安科技等。
最新一次的frvt测评结果是2018年10月中旬提交,本次共有39个厂家参与,相比4个月前多了7家,分别是anke、比特大陆(bitmain)、大华股份(dahua)、商汤科技(sensetime)、saffe、tech5,以及文安智能(vion)。
由此,这次测评也成为商汤、旷视、依图三家视觉独角兽首次在公开场合下的实力较量,算法比拼可谓激烈。
从专业角度讲,没有哪种人脸识别算法可以在任何场景下都做到性能最优,这也是每家公司提交多个算法的原因之一。
但是,从下图中可以看出,依图人脸识别算法在visa(≤0.000001和≤0.0001,受限和不受限)场景下位均居第一,mugshot也位于前十,表现优异。
frvt官网最新leaderboard:左起第三列开始,数字右上角的角标代表算法在特定阈值下单项测试集的排名,可以看出 yitu-002 在 visa 和 mugshot 两个场景中性能优异,因此综合排名第一。
值得一提,yitu-001是依图科技2018年6月评测提交的算法,时隔多月仍然处在前十之列。
人脸识别算法性能一年内提升80%,中国初创公司展现世界一流实力
在1:1人脸识别领域,业界通常以误识率(false match rate,fmr)、漏报率(false non-match rate,nmr)作为衡量算法能力的主要指标。
简单说,“误识”就是把不应该匹配的人脸当做成功匹配,“漏报”则是应该成功匹配的没有查找出来。
一般来说,在误识率相同的情况下,识别准确率越高,漏报率越低,都意味着算法的性能越好。
2018年10月中旬frvt测评,visa测试集上误识和漏报相关(roc)曲线。排在第一名的是依图科技今年10月提交的算法(最下方的紫红色线条),也是参赛团队中在千万分之一误报指标下,唯一将漏报率降到1%以下的团队。来源:frvt
2018年11月16日发布的报告显示,由依图代表的全球人脸识别算法最高水平,可以做到在千万分之一误报率下,漏报率降低于1%,这意味着千万分位误报下的识别准确率已经超过99%。相比于去年同期,全球人脸识别性能提升了80%。
在安防场景中,万路甚至十万路摄像头视频的人脸搜索、归档对算法有极高要求,在这些场景下,假定每路人流为万,要在万路视频中,搜索性能相当于要求算法百亿、千亿规模上的可识别率。这时候,识别率99%和99.99%的不同算法,以及以这些算法为基础的产品端体验差异,就会被同比例放大。
因此,千万分位误报下的识别准确率超过99%,意味着更多核心关键的安防场景被解锁。
另外值得关注的是,在最新成绩排行上排名前十位的公司几乎都是创业公司,而且多数来自中国。全球老牌企业在人脸识别算法技术上的迭代速度,相比较创业公司已经呈现落后趋势。

联想小新Pro 13s发布,新增轻感触控功能
电动拖把哪个牌子好?地板清洁秘密武器助您深度清洁
实体店永远不会消失:未来它比电商还要疯狂100倍!
超宽带低噪声连接器放大器——ZX60-153LN-S+
AR/VR实验室 旨在提升行业利益并帮助就业
工业界“黄金标准”之称的全球人脸识别算法测试结果
华为Mate10高端旗舰机皇回归!发布会邀请函曝光:四大亮点+双版本,入门价只要3738元
教程:把TensorCores带到标准Fortran
虚拟现实技术目前还存在着很大的发展空间
中兴通讯推出5G-V2X智能汽车解决方案,赋能自动驾驶
什么蓝牙耳机好用,音质好的真无线蓝牙耳机推荐
虚拟货币正在入侵实体经济并将颠覆第三方支付
人工智能在精准医疗、分级诊疗中发挥巨大的驱动作用
导线型号的选择原则
元宇宙具体是哪些技术的集合呢?
人工智能会把程序员给替换吗
国芯科技肖佐楠:发展车规级芯片要坚持长期主义
三星S8/S8 Plus谍照齐曝光 双曲面设计家虚拟按键
新SMARC设计指南有助于创建供应商生态系统
华硕飞行堡垒6PLUS评测 游戏性能到底怎样