bp神经网络
首先给出只包含一个隐层的bp神经网络模型(两层神经网络):
bp神经网络其实由两部分组成:
前馈神经网络:神经网络是前馈的,其权重都不回送到输入单元,或前一层输出单元(数据信息是单向传播的,不会回流),区别于循环神经网络rnn。
bp算法(back propagation):误差反向传播算法,用于更新网络中的权重。
bp神经网络思想:
表面上:1. 数据信息的前向传播,从输入层到隐含层,最后到输出层。2. 误差的反向传播:输出结果与真实结果的误差值,从输出层传递到隐含层,最后到输入层。
本质上:针对每个输入样本,采用随机梯度下降算法,动态更新网络中的权重和偏倚,以使网络的输出不断地接近期望的输出。
bp神经网络算法推导(更新权重和偏倚):
从上面推导可以发现:
对于任意从神经元i(输出神经元/隐层神经元)至 神经元j(隐层神经元/输出层神经元)的权重w ijwijw_{ij},其权重更新量δw ijδwijdelta w_{ij}=学习步长η ηeta × × imes 前一层神经元的输出(x ixix_{i} 或y jyjy_{j})× × imes 后一层神经元(y jyjy_{j}或o koko_{k})的误差
神经元偏倚的变化量:δθ δθ delta theta=学习步长η ηeta × × imes 乘以神经元的误差
bp神经网络算法过程
网络的初始化:包括权重和偏倚的初始化
计算隐含层的输入输出
计算输出层的输入输出
误差的计算:隐层和输出层的误差
权值的更新:1. 输入层—隐层。2. 隐层—输出层
偏倚的更新:神经元的步长η ηeta × × imes 相应的误差err
判断算法迭代是否结束:1.超过迭代次数,2.相邻的两次误差之间的差别小于阈值等。
误差的反向传播描述
反向传播过程是这样的:输出层每个节点都会得到一个误差e(d k −o kdk−okd_{k}-o_{k}),把e作为输出层反向输入,这时候就像是输出层当输入层一样把误差往回传播,先得到输出层误差err kerrkerr_{k},然后将输出层err kerrkerr_{k}根据连接权重往隐层传输,得到隐层误差err jerrjerr_{j}。具体如下图所示(画的有点难看,将就看吧。。)
单片机的作业进程说明
5G超级SIM卡魅力何在,迪信通力推承诺销售一千万张
利用外部SRAM和CPLD构成先进先出缓冲器FIFO的设计
关于商用和工业用发动机发展趋势分析
“会员配送费更贵”?终究是被割韭菜
基于BP算法的前馈神经网络
不同的操作系统访问服务器很麻烦?来看看虹科Linux远程桌面解决方案!
什么是基站?基站由哪些组成?你知道5G基站和4G基站有哪些区别吗?
新能源汽车充电桩费用开始上涨 充电桩价格上涨潮要来了吗
石英灯电子变压器原理及故障检修,Electronic Transformer
艾睿视觉感知产品宣传片〡热成像赋能安防消防
24GB内存手机并不是骁龙8 Gen2的极限?
可编程逻辑器件PLD介绍
基于微流控的电泳核酸浓缩技术
企业在实现边缘计算的四个阶段分析
制造商怎么利用AR/VR提高生产力
病害肉快速检测仪的检测技术如何?
igbt的优缺点介绍
单核CPU为何也支持多线程
对于ATE测试仪器仪表,典型测试设备系统设计