苹果终于把Siri开放给开发者 这是所有细节
果不其然，苹果在昨晚wwdc 2016上发布了新的sirikit，即把siri开放给开发者。作为自2012年就发布的siri，除了偶尔说几个段子、打个电话或者发个短信，似乎也没啥太多常用的功能。ios平台的一个显著优势其拥有丰富的第三方应用生态和众多优质开发者，将siri开放给ios生态希望能够让siri支持更丰富的功能。
| siri 变身 sirikit 之后，带来什么？
面向开发者的siri的api都集成在今天早上刚刚发布的sirikit中。（有趣的是，现任泰国王后也叫sirikit，就是中国人民的老朋友诗琳通公主的母上）。
sirikit采用了跟google和出门问问类似的策略，即用户通过正常的流程唤醒siri，siri做完语音识别和语义分析之后，将结构化语音分析结果打包成一个某个领域（domain）的意图（intent），然后交给支持这个意图（intent）的第三方应用（比如微信），第三方应用被启动，从传入的intent中获取相应的信息，完成操作。
例如，上图演示中提到了的例句 “i need to send a message to nancy via wechat saying i‘ll be five minutes late“，当用户唤醒siri说出这句话的时候，siri会把上面这句话转换成结构化语义意图：
领域 （domain）：messaging
意图 （intent）：send a message （insendmessageintent）
意图参数 （intent parameter）
收件人（recipients）：nancy
消息内容（content）：i’ll be five minutes late
然后这个意图会被转交给微信，微信会从该意图中抽取出收件人和消息内容，匹配用户联系人并发送消息。
按照苹果官方的ios文档，现在sirikit共支持7个领域的共计22种意图：
语音通话 voip calling：打电话、发起视频电话、查通话记录
信息 messaging：发信息、搜索信息
照片搜索 photo search：搜索照片、播放照片幻灯片
个人之间的付款 payments：向某人付款、向某人收款
健身 workouts：开始健身、暂停健身、恢复健身、结束健身、取消健身
打车 ride booking：查看附近可用的车辆、订车、查看订单
车载 carplay：切换音频输入源、空调、除霜、座椅加热、fm调台
对于以上的22种意图，苹果都会帮开发者处理好所有的语音识别和语义理解，开发者只需要申明支持某些意图，然后坐等用户唤醒就好了。
比如说，“hey siri， 用支付宝付20元给小张作为午饭钱”，支付宝就会自动被唤醒，找到用户“小张”并转账20元。
“hey siri，用滴滴给我叫一辆车去中关村”，则启动滴滴打车，并自动设定目的地为中关村。
（图为作者自制）
作为开发者而言，如果你的app功能正好跟以上7大领域22意图重合，那么是一个很好的机会去声明支持其中某一些意图，这样就可以让用户用语音的方式来启动你的应用，大大增加使用的便利性和用户粘性。
| 苹果为什么现在才开放siri的语音搜索api？
1、开放给开发者需谨慎
sirikit开放了siri的语音搜索api，机制跟google android voice 类似，后者都已经上线两年并早已支持十几种领域，远超sirikit现在发布的7个领域。而国内的出门问问，因有ticwear智能手表操作系统作为入口，早在去年年初就开发了类似的语义api，滴滴、支付宝、阿里小智智能家居等第三方厂商早已通过这种形式落地其手表操作系统。
在语音搜索api上，一般公司的做法都是极其谨慎的。不同于以科大讯飞为代表的“应用内”语音、语义api，苹果、google、出门问问这些api属于“入口级”语音搜索api，即语音搜索是系统发起的而非在应用内发起，系统识别语音意图并分发给第三方应用。
一般这类“入口级”语音搜索api，会非常谨慎地先做好领域分类（domain classification），然后根据分出来的领域导流给不同的应用。所以，领域和领域内意图，一般要由系统事先定义好、并且优化好语音、语义识别模型之后，才开放给第三方开发者使用。
2、现有语音识别api存在哪些技术瓶颈？
由于众所周知的技术难度，现有的语音识别api还存在以下技术瓶颈：
首先，语音识别方面，训练一个可靠的语音识别需要领域内的大量语言模型。
例如如果不将北京地名词典这样的领域知识输入进语音识别引擎，语音识别根本无法正确输出类似于“簋（gui）街”这样的不常见词语。
其次，由于是“入口级”语音搜索，还要处理好不同领域之间的歧义。
例如“发微信给小苹果让她帮我打电话订一辆出租车”，这句话对人类来说是再简单不过了，但是对于现有的语义识别系统来说都是极具挑战性的：这到底是要发短信呢？还是打电话？还是叫车？怎么还提到了歌曲“小苹果”啊！
3、发布会上没有提到的特色
不过，笔者也从官方文档中惊喜地发现一个未在发布会上提及的特色。不同于google voice action［1］，sirikit发布第一版就允许开发者在一定程度上自定义语音命令。sirikit允许开发者通过配置文件的方式自定义某一些词的读音、上下文例句、甚至语义含义，当然，这些必须限定在这7大领域22个意图框架内。
如下面图中例子所示：
图中展示了一个名为“cardiobonaza”的健身应用，其应用支持一个名为“cardio craze”的健身项目，用户可以通过siri直接启动cardiobonaza应用并开始cardio craze健身项目上图的配置文件通过以下几方面帮助siri识别有有关命令：
定义cardio craze是开始健身（instartworkoutintent）这个意图下面的workoutname这个属性（注意，这个意图以及意图的指令都是包含在sirikit那7大领域和22意图内的）。这样一但识别出来，siri会把cardio crazes识别成workoutname属性传给cardiobonazay应用
定义cardio craze的发音以及可能出现的上下文，这有助于帮助siri更准确的语音识别这些不常用词
通过定义intent phrase的一些例句，甚至可以影响siri入口的领域分类（domain classification）
苹果一向谨小慎微，这次sirikit仅仅开放了7个领域，应该是经过充分的用户调研和模型调优。但实际使用中是否能够胜任复杂的用户自然语言，还需要等到真正发布之后好好体验。不过，sirikit确实做了充分的准备，准备和开发者一起保证良好的语音交互体验。
| 什么是用户真正需要的语音搜索？
除此之外，苹果今天还发布了macos版本的siri，可以在mac上通过siri去完成手机上的一些基本功能。比如听歌、查天气，以及一些为mac笔记本开发的语音命令，比如查找某个文件、或者看看电脑还有多少剩余空间。
连同sirikit，这应该是siri自从2012年发布以来最大的一次更新。
但我认为，这次更新仍然乏善可陈。竞争对手google本身拥有强大的ai研发能力和长期以来的技术积累，sirikit做的这些事情从技术上来讲都只是一直在追赶google而已。
要做到如同google now一样的智能，比如百科类问题的问答、智能推送［2］，苹果还有很长的一段路要走。当然当前，不管是哪家的语音识别技术，从能力上来讲并没有质的区别，人工智能语音搜索仍然是一个新鲜玩意，他的能力远低于人们的预期。在短期人工智能技术难以进行质的突破的情况下，像苹果这样谨小慎微地一步步往前走，慢慢地加入新的功能，让更多的开发者加入这场游戏，总体来说也是推动了整个行业的发展。今天凌晨发布的时候，苹果宣布sirikit已经得到众多主流app的支持，包括微信、支付宝、滴滴、whatsapp、skype等，这也许正是苹果作为一个后来者的优势。
这让我想起了4年前第一次发布siri的时候，无声无息地发布，在沉寂了十几年的人工智能圈，确确实实地掀起了一阵浪潮。
本文作者陈村，剑桥大学自然语言处理（nlp）组，现为机器学习语义分析工程师。
注解：
【1】google的voice action有自定义语音命令，但是看起来还没有完全准备好。
【2】google now会分析用户的email 来获取用户的一些个人信息，比如航班行程、酒店。苹果在今天凌晨的发布会上声称，出于用户隐私方面的考虑，暂时没有类似的功能。
荣耀9怎么样?2299元的当红旗舰荣耀9值不值得买?荣耀9深度评测
A57处理器大规模投产在即 性能飚升三倍
vivo第二代微云台稳定器深度评测一览
高端芯片就可以解决智能驾驶的问题吗
拳打TPU，脚踢英特尔，亚马逊自研CPU和AI云芯片曝光
苹果终于把Siri开放给开发者 这是所有细节
EV充电方案全攻略！看安森美如何见招拆招
光伏运维十大痛点—逆变器篇
看看全球首款“实时监听”智能麦克风的产品特色
逆变器单频和混频区别 逆变器单频和双频正确使用方法
PCB的阳极性玻璃纤维漏电为什么会产生
利用NVIDIA EGX平台加速部署人工智能
诺基亚Nokia 6 测评, 到底比华为Mate9强在哪里
3D视觉检测风挡玻璃智能涂胶工作站的特点
提升“硬实力”! 中科驭数近期成功拿下CMMI3级国际认证和知识产权管理、信息技术服务管理等6项权威资质认
功放pcb电路板设计是怎么精确接线的？
物联网为什么需要5G
设备堆砌就是信息化？智慧教室信息化应该是怎样的？
可独立配置方向的四通道电平转换器RS4T774特性介绍
华为AI Cube智能音箱引关注 可以变身4G路由器
| siri 变身 sirikit 之后，带来什么？
面向开发者的siri的api都集成在今天早上刚刚发布的sirikit中。（有趣的是，现任泰国王后也叫sirikit，就是中国人民的老朋友诗琳通公主的母上）。
sirikit采用了跟google和出门问问类似的策略，即用户通过正常的流程唤醒siri，siri做完语音识别和语义分析之后，将结构化语音分析结果打包成一个某个领域（domain）的意图（intent），然后交给支持这个意图（intent）的第三方应用（比如微信），第三方应用被启动，从传入的intent中获取相应的信息，完成操作。
例如，上图演示中提到了的例句 “i need to send a message to nancy via wechat saying i‘ll be five minutes late“，当用户唤醒siri说出这句话的时候，siri会把上面这句话转换成结构化语义意图：
领域 （domain）：messaging
意图 （intent）：send a message （insendmessageintent）
意图参数 （intent parameter）
收件人（recipients）：nancy
消息内容（content）：i’ll be five minutes late
然后这个意图会被转交给微信，微信会从该意图中抽取出收件人和消息内容，匹配用户联系人并发送消息。
按照苹果官方的ios文档，现在sirikit共支持7个领域的共计22种意图：
语音通话 voip calling：打电话、发起视频电话、查通话记录
信息 messaging：发信息、搜索信息
照片搜索 photo search：搜索照片、播放照片幻灯片
个人之间的付款 payments：向某人付款、向某人收款
健身 workouts：开始健身、暂停健身、恢复健身、结束健身、取消健身
打车 ride booking：查看附近可用的车辆、订车、查看订单
车载 carplay：切换音频输入源、空调、除霜、座椅加热、fm调台
对于以上的22种意图，苹果都会帮开发者处理好所有的语音识别和语义理解，开发者只需要申明支持某些意图，然后坐等用户唤醒就好了。
比如说，“hey siri， 用支付宝付20元给小张作为午饭钱”，支付宝就会自动被唤醒，找到用户“小张”并转账20元。
“hey siri，用滴滴给我叫一辆车去中关村”，则启动滴滴打车，并自动设定目的地为中关村。
（图为作者自制）
作为开发者而言，如果你的app功能正好跟以上7大领域22意图重合，那么是一个很好的机会去声明支持其中某一些意图，这样就可以让用户用语音的方式来启动你的应用，大大增加使用的便利性和用户粘性。
| 苹果为什么现在才开放siri的语音搜索api？
1、开放给开发者需谨慎
sirikit开放了siri的语音搜索api，机制跟google android voice 类似，后者都已经上线两年并早已支持十几种领域，远超sirikit现在发布的7个领域。而国内的出门问问，因有ticwear智能手表操作系统作为入口，早在去年年初就开发了类似的语义api，滴滴、支付宝、阿里小智智能家居等第三方厂商早已通过这种形式落地其手表操作系统。
在语音搜索api上，一般公司的做法都是极其谨慎的。不同于以科大讯飞为代表的“应用内”语音、语义api，苹果、google、出门问问这些api属于“入口级”语音搜索api，即语音搜索是系统发起的而非在应用内发起，系统识别语音意图并分发给第三方应用。
一般这类“入口级”语音搜索api，会非常谨慎地先做好领域分类（domain classification），然后根据分出来的领域导流给不同的应用。所以，领域和领域内意图，一般要由系统事先定义好、并且优化好语音、语义识别模型之后，才开放给第三方开发者使用。
2、现有语音识别api存在哪些技术瓶颈？
由于众所周知的技术难度，现有的语音识别api还存在以下技术瓶颈：
首先，语音识别方面，训练一个可靠的语音识别需要领域内的大量语言模型。
例如如果不将北京地名词典这样的领域知识输入进语音识别引擎，语音识别根本无法正确输出类似于“簋（gui）街”这样的不常见词语。
其次，由于是“入口级”语音搜索，还要处理好不同领域之间的歧义。
例如“发微信给小苹果让她帮我打电话订一辆出租车”，这句话对人类来说是再简单不过了，但是对于现有的语义识别系统来说都是极具挑战性的：这到底是要发短信呢？还是打电话？还是叫车？怎么还提到了歌曲“小苹果”啊！
3、发布会上没有提到的特色
不过，笔者也从官方文档中惊喜地发现一个未在发布会上提及的特色。不同于google voice action［1］，sirikit发布第一版就允许开发者在一定程度上自定义语音命令。sirikit允许开发者通过配置文件的方式自定义某一些词的读音、上下文例句、甚至语义含义，当然，这些必须限定在这7大领域22个意图框架内。
如下面图中例子所示：
图中展示了一个名为“cardiobonaza”的健身应用，其应用支持一个名为“cardio craze”的健身项目，用户可以通过siri直接启动cardiobonaza应用并开始cardio craze健身项目上图的配置文件通过以下几方面帮助siri识别有有关命令：
定义cardio craze是开始健身（instartworkoutintent）这个意图下面的workoutname这个属性（注意，这个意图以及意图的指令都是包含在sirikit那7大领域和22意图内的）。这样一但识别出来，siri会把cardio crazes识别成workoutname属性传给cardiobonazay应用
定义cardio craze的发音以及可能出现的上下文，这有助于帮助siri更准确的语音识别这些不常用词
通过定义intent phrase的一些例句，甚至可以影响siri入口的领域分类（domain classification）
苹果一向谨小慎微，这次sirikit仅仅开放了7个领域，应该是经过充分的用户调研和模型调优。但实际使用中是否能够胜任复杂的用户自然语言，还需要等到真正发布之后好好体验。不过，sirikit确实做了充分的准备，准备和开发者一起保证良好的语音交互体验。
| 什么是用户真正需要的语音搜索？
除此之外，苹果今天还发布了macos版本的siri，可以在mac上通过siri去完成手机上的一些基本功能。比如听歌、查天气，以及一些为mac笔记本开发的语音命令，比如查找某个文件、或者看看电脑还有多少剩余空间。
连同sirikit，这应该是siri自从2012年发布以来最大的一次更新。
但我认为，这次更新仍然乏善可陈。竞争对手google本身拥有强大的ai研发能力和长期以来的技术积累，sirikit做的这些事情从技术上来讲都只是一直在追赶google而已。
要做到如同google now一样的智能，比如百科类问题的问答、智能推送［2］，苹果还有很长的一段路要走。当然当前，不管是哪家的语音识别技术，从能力上来讲并没有质的区别，人工智能语音搜索仍然是一个新鲜玩意，他的能力远低于人们的预期。在短期人工智能技术难以进行质的突破的情况下，像苹果这样谨小慎微地一步步往前走，慢慢地加入新的功能，让更多的开发者加入这场游戏，总体来说也是推动了整个行业的发展。今天凌晨发布的时候，苹果宣布sirikit已经得到众多主流app的支持，包括微信、支付宝、滴滴、whatsapp、skype等，这也许正是苹果作为一个后来者的优势。
这让我想起了4年前第一次发布siri的时候，无声无息地发布，在沉寂了十几年的人工智能圈，确确实实地掀起了一阵浪潮。
本文作者陈村，剑桥大学自然语言处理（nlp）组，现为机器学习语义分析工程师。
注解：
【1】google的voice action有自定义语音命令，但是看起来还没有完全准备好。
【2】google now会分析用户的email 来获取用户的一些个人信息，比如航班行程、酒店。苹果在今天凌晨的发布会上声称，出于用户隐私方面的考虑，暂时没有类似的功能。
荣耀9怎么样?2299元的当红旗舰荣耀9值不值得买?荣耀9深度评测
A57处理器大规模投产在即 性能飚升三倍
vivo第二代微云台稳定器深度评测一览
高端芯片就可以解决智能驾驶的问题吗
拳打TPU，脚踢英特尔，亚马逊自研CPU和AI云芯片曝光
苹果终于把Siri开放给开发者 这是所有细节
EV充电方案全攻略！看安森美如何见招拆招
光伏运维十大痛点—逆变器篇
看看全球首款“实时监听”智能麦克风的产品特色
逆变器单频和混频区别 逆变器单频和双频正确使用方法
PCB的阳极性玻璃纤维漏电为什么会产生
利用NVIDIA EGX平台加速部署人工智能
诺基亚Nokia 6 测评, 到底比华为Mate9强在哪里
3D视觉检测风挡玻璃智能涂胶工作站的特点
提升“硬实力”! 中科驭数近期成功拿下CMMI3级国际认证和知识产权管理、信息技术服务管理等6项权威资质认
功放pcb电路板设计是怎么精确接线的？
物联网为什么需要5G
设备堆砌就是信息化？智慧教室信息化应该是怎样的？
可独立配置方向的四通道电平转换器RS4T774特性介绍
华为AI Cube智能音箱引关注 可以变身4G路由器