云知声正式公布全新多模态AI芯片战略与规划
2019年1月2日，云知声在北京召开一场主题为”声视不凡“的新闻发布会，正式公布了其全新的多模态ai芯片战略与规划。这一次，云知声突破原有的语音ai厂商的定位，进一步扩展到了视觉ai领域。同时，云知声还曝光了其正在研发中的三款ai芯片，包括第二代物联网语音ai芯片雨燕lite、面向智慧城市的支持图像与语音计算的多模态ai芯片海豚（dolphin），以及面向智慧出行的车规级多模态ai芯片雪豹（leopard）。
从ivm到雨燕，云知声的造芯之路
众所周知， 云知声一直以来都是一家语音技术厂商。随着人工智能以及边缘计算的兴起，自2014年云知声开始切入物联网ai硬件芯片方案（ivm），并于2015年开始形成量产出货，其中家居领域客户覆盖格力、美的、海尔、长虹、海信、华帝等几乎所有国内一线家电厂商。
另外值得一提的是，根据云知声创始人兼ceo黄伟在今天发布会上公布的数据也显示，自2015年以来到现在，云知声的语音ai已经进入了500多家医院，其中80%都是三甲医院（比如北京协和医院、上海华山医院等）。
在深入场景提供服务的过程中，为弥补通用芯片方案在给定成本和功耗条件下的能效比问题，以及在边缘算力、多模态ai数据处理方面的能力短板，2015年云知声正式启动自研ai芯片计划。
经过三年的研发，去年5月16日，云知声率先推出了业界首款面向物联网的语音ai芯片——unione雨燕（swift）及其系统解决方案。该芯片采用云知声自主ai指令集，拥有具备完整自主知识产权的deepnet1.0、udsp（数字信号处理器），并支持dnn/lstm/cnn等多种深度神经网络模型，性能较通用方案提升超50倍。
而为了进一步加速”雨燕“及系统解决方案的落地，去年9月12日，云知声又发布了基于”雨燕“的智能音箱和智能家居的解决方案，并宣布将该方案开源。过“云端芯”结合，提供给客户与合作伙伴面向具体场景的软硬件一体化turnkey解决方案，可让客户站在更高的设计起点、以更低的成本，在更短的时间周期内打造出更稳定可靠的产品。同时，开源的方案也可确保客户基于已提供的ai能力自行设计其它各种长尾产品形态，构建更为丰富的aiot生态。
据介绍，目前基于雨燕芯片的全栈解决方案已导入的各类方案商及合作伙伴已超过10 家，包括美的、奥克斯、海信、京东、360、中国平安、硬蛋科技等，相关产品最早将于q1量产上市。
而雨燕芯片在市场上的成功，也成功推动了云知声营收的增长。虽然2018年整体的大环境不是很好，但是，根据云知声公布的数据显示，2018年云知声的营收相比2017年竟猛增了3倍。而之所以能够有如此巨大的增长，与”雨燕“的”开花结果“密不可分。
云知声创始人兼ceo黄伟也表示，2018年云知声的营收主要就是来源于芯片和软件服务。
5g推动aiot落地，多模态ai芯片成必然
那么作为一家语音ai技术厂商，云知声这一次为什么会突破原有的语音ai厂商的定位，进一步扩展到了视觉ai领域，并宣布推多模态ai芯片呢？
▲云知声创始人兼ceo黄伟
云知声创始人兼ceo 黄伟认为，当前我们正处于5g 爆发的边缘，5g与人工智能的结合将真正促使万物智联（aiot）的落地与实现。可以预见的是，未来巨量的多维数据（如语音、图像、视频等）集中处理与边缘式分布计算的需求，势必将进一步挑战 ai 底层支持硬件——芯片的计算能力。
与此同时，aiot 场景下人工智能应用对于端云互动有着强需求。强大的云会让端能力更强，而强大的端则可提升数据处理的实时性和有效性，进而增强云的能力。二者需要紧密结合，这要求对芯片设计和云端架构进行统一考量。传统的通用方案架构由于在高实时性、高智能化场景中的算力有限，且无法平衡好成本、功耗、安全性等诸多现实需求，因此具备多维度 ai数据集中处理能力的多模态ai芯片将成必由之路。
物联网ai芯片的多模态演进之路
在第一代 unione芯片雨燕的发布会上，云知声联合创始人李霄寒曾指出，unione 并不是一颗芯片，而是一系列芯片，代表了云知声对于物联网 ai 芯片发展战略的整体构想。在今日举行的云知声 2019 多模态 ai 芯片战略发布会上，李霄寒再次从三方面论证了物联网多模态 ai 芯片的必要性。
▲云知声联合创始人李霄寒
李霄寒认为，当前物联网产品线的 ai 芯片越来越明显地体现出三个趋势：
首先是场景化。芯片设计正在由原来的片面追求 ppa，即性能（power）、功耗（performance）和面积（area）逐渐演变成基于软硬一体，甚至包括云端服务的方式来解决某个垂直领域的具体问题，芯片本身上升成为整个解决方案中的重要部分，而非唯一；
其次，端云互动。在物联网的不同应用场景下，海量终端设备要实现功能智能化必须端云配合，即形成边缘算力和云端算力的动态平衡。端云互动的命题需要 ai芯片的强有力支持，进一步也深刻影响到芯片的设计，以及最终的交付；
第三，数据多模态。在以5g驱动的万物智联场景下，芯片所接触到的数据维度将由原来的单一化走向多元化，芯片所需处理的数据也由单模态变成多模态，这对芯片尤其是物联网人工智能芯片的设计提出了新的挑战。
云知声多模态 ai 芯片技术布局
为实现多模态 ai芯片的战略落地，目前云知声已在加速技术布局，并在机器视觉方面取得飞速进展。
其中，面向机器视觉的轻量级图像信号处理器已可实现在不依赖外部内存的情况下，在 30 fps的速率下实时对传感器的图片进行预处理，以进一步提高后续机器视觉处理模块的处理速度和效果。
▲云知声面向机器视觉的轻量级图像信号处理器
借助基于人脸信息分析的多模态技术，已可实现人脸/物体识别、表情分析、标签化、唇动状态跟踪等功能，可为产品交互和用户体验提供更多的可玩性和灵活性。
▲云知声的人脸识别、表情分析、标签化技术
▲多目标物体识别
▲多目标唇动状态跟踪
尤为值得一提的是，云知声多模态人工智能核心 ip——deepnet2.0 的发布，标志着云知声人工智能处理核心由 1.0语音时代全面迈入 2.0 融合语音、图像等处理能力的多模态时代。
deepnet2.0可兼容 lstm/cnn/rnn/tdnn等多种推理网络，支持可重构计算与winograd 处理。
根据云知声公布的数据显示，基于云知声的deepnet2.0，在lfw2018、megaface2018等人脸识别评测中，准确度分别达到了99.80%、99.47%，已接近现有的最优成绩。
目前云知声deepnet2.0已在fpga上得到验证，将在2019年落地的全新多模态ai芯片海豚（dolphin）上落地。
除此之外，在图像与芯片技术的产学研合作方面，云知声还与杜克大学所领导的美国自然科学基金旗下唯一人工智能计算中心——asic达成深度合作，致力于ai 芯片算法压缩与量化技术,以及非冯新型 ai 芯片计算架构研究，将进一步为云知声多模态 ai芯片战略的推进夯实基础。
三款在研芯片曝光，2019年启动量产
在首款量产芯片雨燕已有大批客户导入，占领市场先发优势的背景下，云知声在2019年ai芯片规划方面显得较为激进，计划推出三款ai芯片，并计划于2019年启动量产。
一款是轻量级物联网ai芯片雨燕lite。支持麦克风矩阵、轻量级语音唤醒、轻量级语音识别。
一款是面向智慧城市的多模态ai芯片“海豚”。支持摄像头，isp、od、face id，支持麦克风矩阵、语音唤醒、离线语音识别合成等。
还有一款面向智慧出行的多模态ai芯片“雪豹”。其中，后两者都同时融合了语音ai和视觉ai的能力。
而根据云知声在会上公布的资料显示，多模态ai芯片“海豚”将采用28nm工艺,对标的是mobileye eq4。根据规划，云知声的“海豚”最高可配置算力达4tops，达到了eq4的1.6倍，功耗为4.3w，略高于eq4。
另据李霄寒透露，面向智慧出行场景的多模态车规级ai芯片雪豹（leopard）是与吉利集团旗下生态链企业亿咖通科技共同打造的，这也意味着一旦这款芯片成功量产，后续或有机会在吉利集团的支持下实现快速落地商业化。
小结：
2017年年底百度率先宣布免费开放其语音ai能力，随后科大讯飞的讯飞开放平台也免费开放了基础能力。这也使得语音ai市场竞争变得异常激烈。在此背景之下，不少语音ai初创公司纷纷寄希望于通过推出语音ai芯片来打造生态，从而实现价值的提升。
而对于云知声来说，从语音技术服务提供商，进一步扩展语音ai芯片，再到视觉ai领域，显然是希望能够摆脱语音ai市场的激烈竞争，分食市场更为庞大的视觉ai市场蛋糕。
不过，相对于语音ai市场来说，视觉ai市场虽然更为广阔，但是同样也是竞争激烈，不仅有着商汤科技、旷视科技、依图科技、云从科技等众多的独角兽，也有着海康、大华等老牌安防厂商，还有着一大批的中小型视觉ai初创企业，并且不少视觉ai厂商已经推出或正在积极的准备推出视觉ai芯片/模组。
另外，对于视觉ai最大的也是价值最高的一块市场——安防市场，其壁垒相对较高，而且需要较长周期的持续耕耘，而这一块市场也是大家争夺的焦点。但是由于各地政府的政策、偏好及要求不同，也使得这块市场呈现出割裂的态势。所以，新的玩家依然存在机会。
不过，对于云知声这样一家过往长期专注于语音ai领域的技术厂商，突然进入到视觉ai领域，确实会给市场一种突兀感，要想在强敌林立的视觉ai市场取得成功确实不易。当然，视觉ai市场巨大，机会犹存，这也是为什么现有的视觉ai厂商的数量数倍于语音ai厂商的一个原因。
Science Advances：自下而上地设计几何可重构三维细观结构与电磁器件
英飞凌全新低功率大气压力传感器为物联网设备带来更高精确度
什么是多谐振荡器？多谐振荡器的种类及使用方法
IML工艺流程及在智能穿戴产品上的应用
小米max2什么时候上市？小米官方宣布: 小米max2本月25号上市，骁龙660处理器+5000毫安时电池
云知声正式公布全新多模态AI芯片战略与规划
PCB设计中合理布置各元件方法
校园照明助力科学校园构建
扬杰科技：公司MOS等功率器件产品已供货英伟达
华为p10闪存门最新消息：华为P10“闪存门”剧情大反转，余承东的道歉关乎华为的未来
美国制造业就业率上升,关税战热火朝天
按钮、接触器双重联锁的正反转控制线路讲解
Netsol SPI MRAM芯片S3A1604
机器人服务员亮相阿富汗 吸引了广大顾客的关注
小米9为什么缺货
小米6什么时候上市？小米6最新消息：小米6再次被确认，支持防水设计，米粉欢呼雀跃！
华为P10开卖华为Mate9即降价 对比华为P10该怎么选?
2019年全球电信设备市场报告 华为市场份额28%
串口屏储存器不够自己扩展怎么操作？
电力变压器常见故障的分析判断
从ivm到雨燕，云知声的造芯之路
众所周知， 云知声一直以来都是一家语音技术厂商。随着人工智能以及边缘计算的兴起，自2014年云知声开始切入物联网ai硬件芯片方案（ivm），并于2015年开始形成量产出货，其中家居领域客户覆盖格力、美的、海尔、长虹、海信、华帝等几乎所有国内一线家电厂商。
另外值得一提的是，根据云知声创始人兼ceo黄伟在今天发布会上公布的数据也显示，自2015年以来到现在，云知声的语音ai已经进入了500多家医院，其中80%都是三甲医院（比如北京协和医院、上海华山医院等）。
在深入场景提供服务的过程中，为弥补通用芯片方案在给定成本和功耗条件下的能效比问题，以及在边缘算力、多模态ai数据处理方面的能力短板，2015年云知声正式启动自研ai芯片计划。
经过三年的研发，去年5月16日，云知声率先推出了业界首款面向物联网的语音ai芯片——unione雨燕（swift）及其系统解决方案。该芯片采用云知声自主ai指令集，拥有具备完整自主知识产权的deepnet1.0、udsp（数字信号处理器），并支持dnn/lstm/cnn等多种深度神经网络模型，性能较通用方案提升超50倍。
而为了进一步加速”雨燕“及系统解决方案的落地，去年9月12日，云知声又发布了基于”雨燕“的智能音箱和智能家居的解决方案，并宣布将该方案开源。过“云端芯”结合，提供给客户与合作伙伴面向具体场景的软硬件一体化turnkey解决方案，可让客户站在更高的设计起点、以更低的成本，在更短的时间周期内打造出更稳定可靠的产品。同时，开源的方案也可确保客户基于已提供的ai能力自行设计其它各种长尾产品形态，构建更为丰富的aiot生态。
据介绍，目前基于雨燕芯片的全栈解决方案已导入的各类方案商及合作伙伴已超过10 家，包括美的、奥克斯、海信、京东、360、中国平安、硬蛋科技等，相关产品最早将于q1量产上市。
而雨燕芯片在市场上的成功，也成功推动了云知声营收的增长。虽然2018年整体的大环境不是很好，但是，根据云知声公布的数据显示，2018年云知声的营收相比2017年竟猛增了3倍。而之所以能够有如此巨大的增长，与”雨燕“的”开花结果“密不可分。
云知声创始人兼ceo黄伟也表示，2018年云知声的营收主要就是来源于芯片和软件服务。
5g推动aiot落地，多模态ai芯片成必然
那么作为一家语音ai技术厂商，云知声这一次为什么会突破原有的语音ai厂商的定位，进一步扩展到了视觉ai领域，并宣布推多模态ai芯片呢？
▲云知声创始人兼ceo黄伟
云知声创始人兼ceo 黄伟认为，当前我们正处于5g 爆发的边缘，5g与人工智能的结合将真正促使万物智联（aiot）的落地与实现。可以预见的是，未来巨量的多维数据（如语音、图像、视频等）集中处理与边缘式分布计算的需求，势必将进一步挑战 ai 底层支持硬件——芯片的计算能力。
与此同时，aiot 场景下人工智能应用对于端云互动有着强需求。强大的云会让端能力更强，而强大的端则可提升数据处理的实时性和有效性，进而增强云的能力。二者需要紧密结合，这要求对芯片设计和云端架构进行统一考量。传统的通用方案架构由于在高实时性、高智能化场景中的算力有限，且无法平衡好成本、功耗、安全性等诸多现实需求，因此具备多维度 ai数据集中处理能力的多模态ai芯片将成必由之路。
物联网ai芯片的多模态演进之路
在第一代 unione芯片雨燕的发布会上，云知声联合创始人李霄寒曾指出，unione 并不是一颗芯片，而是一系列芯片，代表了云知声对于物联网 ai 芯片发展战略的整体构想。在今日举行的云知声 2019 多模态 ai 芯片战略发布会上，李霄寒再次从三方面论证了物联网多模态 ai 芯片的必要性。
▲云知声联合创始人李霄寒
李霄寒认为，当前物联网产品线的 ai 芯片越来越明显地体现出三个趋势：
首先是场景化。芯片设计正在由原来的片面追求 ppa，即性能（power）、功耗（performance）和面积（area）逐渐演变成基于软硬一体，甚至包括云端服务的方式来解决某个垂直领域的具体问题，芯片本身上升成为整个解决方案中的重要部分，而非唯一；
其次，端云互动。在物联网的不同应用场景下，海量终端设备要实现功能智能化必须端云配合，即形成边缘算力和云端算力的动态平衡。端云互动的命题需要 ai芯片的强有力支持，进一步也深刻影响到芯片的设计，以及最终的交付；
第三，数据多模态。在以5g驱动的万物智联场景下，芯片所接触到的数据维度将由原来的单一化走向多元化，芯片所需处理的数据也由单模态变成多模态，这对芯片尤其是物联网人工智能芯片的设计提出了新的挑战。
云知声多模态 ai 芯片技术布局
为实现多模态 ai芯片的战略落地，目前云知声已在加速技术布局，并在机器视觉方面取得飞速进展。
其中，面向机器视觉的轻量级图像信号处理器已可实现在不依赖外部内存的情况下，在 30 fps的速率下实时对传感器的图片进行预处理，以进一步提高后续机器视觉处理模块的处理速度和效果。
▲云知声面向机器视觉的轻量级图像信号处理器
借助基于人脸信息分析的多模态技术，已可实现人脸/物体识别、表情分析、标签化、唇动状态跟踪等功能，可为产品交互和用户体验提供更多的可玩性和灵活性。
▲云知声的人脸识别、表情分析、标签化技术
▲多目标物体识别
▲多目标唇动状态跟踪
尤为值得一提的是，云知声多模态人工智能核心 ip——deepnet2.0 的发布，标志着云知声人工智能处理核心由 1.0语音时代全面迈入 2.0 融合语音、图像等处理能力的多模态时代。
deepnet2.0可兼容 lstm/cnn/rnn/tdnn等多种推理网络，支持可重构计算与winograd 处理。
根据云知声公布的数据显示，基于云知声的deepnet2.0，在lfw2018、megaface2018等人脸识别评测中，准确度分别达到了99.80%、99.47%，已接近现有的最优成绩。
目前云知声deepnet2.0已在fpga上得到验证，将在2019年落地的全新多模态ai芯片海豚（dolphin）上落地。
除此之外，在图像与芯片技术的产学研合作方面，云知声还与杜克大学所领导的美国自然科学基金旗下唯一人工智能计算中心——asic达成深度合作，致力于ai 芯片算法压缩与量化技术,以及非冯新型 ai 芯片计算架构研究，将进一步为云知声多模态 ai芯片战略的推进夯实基础。
三款在研芯片曝光，2019年启动量产
在首款量产芯片雨燕已有大批客户导入，占领市场先发优势的背景下，云知声在2019年ai芯片规划方面显得较为激进，计划推出三款ai芯片，并计划于2019年启动量产。
一款是轻量级物联网ai芯片雨燕lite。支持麦克风矩阵、轻量级语音唤醒、轻量级语音识别。
一款是面向智慧城市的多模态ai芯片“海豚”。支持摄像头，isp、od、face id，支持麦克风矩阵、语音唤醒、离线语音识别合成等。
还有一款面向智慧出行的多模态ai芯片“雪豹”。其中，后两者都同时融合了语音ai和视觉ai的能力。
而根据云知声在会上公布的资料显示，多模态ai芯片“海豚”将采用28nm工艺,对标的是mobileye eq4。根据规划，云知声的“海豚”最高可配置算力达4tops，达到了eq4的1.6倍，功耗为4.3w，略高于eq4。
另据李霄寒透露，面向智慧出行场景的多模态车规级ai芯片雪豹（leopard）是与吉利集团旗下生态链企业亿咖通科技共同打造的，这也意味着一旦这款芯片成功量产，后续或有机会在吉利集团的支持下实现快速落地商业化。
小结：
2017年年底百度率先宣布免费开放其语音ai能力，随后科大讯飞的讯飞开放平台也免费开放了基础能力。这也使得语音ai市场竞争变得异常激烈。在此背景之下，不少语音ai初创公司纷纷寄希望于通过推出语音ai芯片来打造生态，从而实现价值的提升。
而对于云知声来说，从语音技术服务提供商，进一步扩展语音ai芯片，再到视觉ai领域，显然是希望能够摆脱语音ai市场的激烈竞争，分食市场更为庞大的视觉ai市场蛋糕。
不过，相对于语音ai市场来说，视觉ai市场虽然更为广阔，但是同样也是竞争激烈，不仅有着商汤科技、旷视科技、依图科技、云从科技等众多的独角兽，也有着海康、大华等老牌安防厂商，还有着一大批的中小型视觉ai初创企业，并且不少视觉ai厂商已经推出或正在积极的准备推出视觉ai芯片/模组。
另外，对于视觉ai最大的也是价值最高的一块市场——安防市场，其壁垒相对较高，而且需要较长周期的持续耕耘，而这一块市场也是大家争夺的焦点。但是由于各地政府的政策、偏好及要求不同，也使得这块市场呈现出割裂的态势。所以，新的玩家依然存在机会。
不过，对于云知声这样一家过往长期专注于语音ai领域的技术厂商，突然进入到视觉ai领域，确实会给市场一种突兀感，要想在强敌林立的视觉ai市场取得成功确实不易。当然，视觉ai市场巨大，机会犹存，这也是为什么现有的视觉ai厂商的数量数倍于语音ai厂商的一个原因。
Science Advances：自下而上地设计几何可重构三维细观结构与电磁器件
英飞凌全新低功率大气压力传感器为物联网设备带来更高精确度
什么是多谐振荡器？多谐振荡器的种类及使用方法
IML工艺流程及在智能穿戴产品上的应用
小米max2什么时候上市？小米官方宣布: 小米max2本月25号上市，骁龙660处理器+5000毫安时电池
云知声正式公布全新多模态AI芯片战略与规划
PCB设计中合理布置各元件方法
校园照明助力科学校园构建
扬杰科技：公司MOS等功率器件产品已供货英伟达
华为p10闪存门最新消息：华为P10“闪存门”剧情大反转，余承东的道歉关乎华为的未来
美国制造业就业率上升,关税战热火朝天
按钮、接触器双重联锁的正反转控制线路讲解
Netsol SPI MRAM芯片S3A1604
机器人服务员亮相阿富汗 吸引了广大顾客的关注
小米9为什么缺货
小米6什么时候上市？小米6最新消息：小米6再次被确认，支持防水设计，米粉欢呼雀跃！
华为P10开卖华为Mate9即降价 对比华为P10该怎么选?
2019年全球电信设备市场报告 华为市场份额28%
串口屏储存器不够自己扩展怎么操作？
电力变压器常见故障的分析判断