如何给OriginBot安装大语言模型

一、安装
1. originbot系统安装
目前originbot系统有v1和v2两个版本,只有v2才支持harbot_llm,所以一定要给originbot安装v2。
2. hobor_llm 安装
①安装 transformers
pip3 install transformers -i https://mirrors.aliyun.com/pypi/simple/安装的时候会提示部分依赖包版本冲突,我没有修复也能直接运行,所以看起来问题不大
②安装hobot-dnn
sudo apt update sudo apt install -y tros-hobot-llm③下载模型文件
wget http://archive.sunrisepi.tech/llm-model/llm_model.tar.gzsudo tar -xf llm_model.tar.gz -c /opt/tros/lib/hobot_llm/④修改设备配置
# 修改bpu的保留内存 # 替换dtb文件 sudo cp /opt/tros/lib/hobot_llm/config/hobot-dtb/*.dtb /boot/hobot/ # 重启 reboot # 调整cpu的频率 sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'

数码摄像机显示屏尺寸
A9配套数据升级USB接口详细步骤分享
科技巨头纷纷加大AI发展力度:AI智能应用崛起
三相电机改二相方法_三相电机的正反转控制电路图
智能音箱能偷听了我们的对话 隐私安全问题无法解决
如何给OriginBot安装大语言模型
CAN总线防护电路及解决方案
Protel转换到PADS的步骤
Simon-Smart系列智能家居 五大系统领航解决方案
黑幕黑幕!小米7被曝光,无下巴刘海屏+屏下指纹
MM32F0140学习笔记——CRC
6.7英寸+8000万+麒麟990,华为手机具有与众不同的魅力
一文简述陶瓷3D打印技术
人工智能的恶意用途:预测、预防和缓解
区块链终端技术将颠覆全球对冲基金行业
关于NXP QN902x 蓝牙SoC及相关开发套件分析介绍
基于多传感器信息融合技术的自主式移动机器人导航系统设计
基于DA-14B33的开关电源电路设计流程
相对于硅(Si)和碳化硅(SiC),GaN有哪些优势
饱和电感及其在开关电源中的应用