Kinara发布Ara-2边缘AI处理器,实现高效、经济、节能的推理性能

kinar于近期发布了ara-2边缘ai处理器,这是一款专为边缘服务器及笔记本电脑打造的高性能、高效能且节能推理解决方案,尤其适用于视频分析、大规模语言模型(llm)在内的各类ai应用。值得注意的是,ara-2也能够良好适应传统ai模型和基于transformer架构的尖端ai模型,其所具备的体验式增强功能集使得ara-2的性能较初代的ara-1处理器有显著提升,可达成超过5至8倍的增长,将实时响应能力与大吞吐量相结合,从而达致高度精炼的延迟优化设计和均衡性能。
生成式ai现已成为主流,然而大多数此类应用却在数据中心的gpu上运行,由此引发的延迟、高成本以及隐私问题亟待解决。ara-2顺应时代变化,贴心支持生成式ai模型所需引导的数十亿个参数,为跨境转移提供便利。同时,为了更顺畅地完成从gpu至各个ai模型的过度,其内建的计算引擎以及软件开发套件(sdk)均为此进行定制搭建。
“ara-2的诞生使得我们有能力根据客户需求提供更高性能和成本选择。如ara-1,其专为智能相机及具有2至8路视频流的边缘ai设备而生;而ara-2则特别擅长处理针对16至32路甚至更多视频流的底层边缘服务器或笔记本电脑,且与高端相机完美兼容。” kinara首席执行官ravi annavajjhala对此表示。“借助先进的计算引擎,ara-2能够快速处理高清图像,有效提升精度,实现更高水平的对象检视、识别及追踪。例如,针对生成式ai模型,stable diffusion每10秒即可生成一幅图片,llama-7b则可达到每秒几十个token的处理速率。”
据悉,ampere将在10月份容忍kinar加入其人工智能平台联盟,共同致力于降低系统复杂度,推动人工智能进一步提升协同工作能力和开放性,目标在于提供比gpu更优的总体性能,同时兼顾吞吐量、功率和成本效益。该团队的首席布道师sean varley认为:“ ara-2展现的性能和功能集让我坚定朝这个方向发展,助力行业推出性能更优且与现有gpu技术相匹敌的ai替代方案。”
除此之外,ara-2还秉持着安全启动、加密内存访问以及安全主控接口等特性,确保企业ai部署拥有更高的安全性。kinar亦为之提供全套的sdk支持,囊括模型编译器、计算单元调度程序、灵活的量化选项(含内置的kinar量化器)以及对pytorch和tflite预量化模型的支持、多芯片负荷均衡器系统与动态调节主控运行等诸多要素。
ara-2提供独立设备、usb模块、m.2模块以及多个ara-2组成的pcie卡等丰富形式供消费者选择。 kinara计划在ces上现场展示这款备受瞩目的ara-2产品。

iPhone8什么时候上市?iPhone8最新消息:保留实体按键+98%屏占比,多屏操作或是趋势
应变计测量的应变是哪一种?
钛酸锂电池的使用寿命_如何保养
timsTOF Pro质谱助力深度血液样本蛋白质组学研究
天线的演化及物理原理
Kinara发布Ara-2边缘AI处理器,实现高效、经济、节能的推理性能
OLED一体型触摸式显示屏是什么
CS5054,CS5601,CS4056几款单节锂电池线性充电芯片的参数对比与功能特征
比例运算放大电路使用场景
华为公司正在准备俄罗斯的5G网络建设
MQTT协议的主要特征是什么
云手机是如何炼成的?
国内化合物半导体集成电路市场前景分析
适用于任何类型的物联网应用的开发板:重力板
陀螺仪在火箭上怎么运用?原来它的原理是这么神奇
激光焊接设备特点
南孚重磅首发新一代5号充电锂电池套装,2775mWh强大能量,1.8小时极速充满
iPhone8什么时候上市?iPhone8终极曝光,彻底致敬华为!
光伏电站智能运维机器人实现智能运维,有效提高系统发电效率
探讨碲镉汞线性雪崩焦平面器件评价及其应用