深度学习基础知识(2)
二、神经网络
第0层是输入层，最后一层是输出层，中间是中间层或隐藏层。上图中的网络有3层神经元，实质只有两层有权重，因此称为两层网络。
1、激活函数
感知器：y=0(b+w1x1+w2x20)改写为
y=h(b+w1x1+w2x2)，h(x)=0(x0)
激活函数h(x)：将输入信号的总和转换为输出信号的表达式，决定如何激活输入信号的总和。
上式中的激活函数是阶跃函数，只能返回0或1，而神经网络中的激活函数常用的是sigmoid函数和relu函数。
1'sigmoid函数
h(x)=1/(1+exp(-x))
和阶跃函数的对比：sigmoid是平滑的函数，输出随输入发生连续的变化，因此可以返回0-1之间的实数。
和阶跃函数的相同点：输入小时，输出接近0，输入增大时输出向1靠近，即当输入信号为重要信息时，都会输出较大值，且两者输出都在0-1之间。
2'relu函数
h(x)=x(x>0);h(x)=0(x<=0)
输入大于0时直接输出，输入小于0时输出0
总结：激活函数只能为非线性函数，因为线性函数的问题是多个隐藏层可以用一个隐藏层实现。例如h(x)=cx作为激活函数，y(x)=h(h(h(x)))对应的三层神经网络可以用一层表示y(x)=c^3x。如果要用叠加层则必须使用非线性函数。
AVR单片机开发经验
全差分放大器LTC6605
热电偶和热电阻的区别及设计方案
帷幕燃烧测试仪上海徽涛自动化
如何做好防晒？避开紫外线让皮肤更完美！
深度学习基础知识(2)
IMX6 MfgTool烧录的详细步骤
Cypress全球线上嵌入式设计大会将于12月12日至13日举行
魅族Pro7换上高通骁龙835，你能够接受吗？
如何把HEIC格式转化jpg？
瑞萨电子扩展其RA4系列MCU阵容 推出12款全新RA4M2微控制器
新任CEO能否带领英特尔走出困境?
东芯半导体设计并量产闪存芯片工艺制程,实现本土存储芯片的技术突破
Toshiba(东芝)光耦TLP521-4价格指数分析
各种感应加热电源性能对比
小米6最新消息：小米6价格、发布时间曝光，强势来袭果真是贵了！
华为、OPPO、三星、苹果均在布局GaN技术；高通骁龙X60可能用于新款iPhone上...
Spring Cloud Gateway服务网关的部署与使用详细教程
英特尔新一批无核显系列游戏本将于明年推出
注意：IoT时代即将“失业”的十大岗位
第0层是输入层，最后一层是输出层，中间是中间层或隐藏层。上图中的网络有3层神经元，实质只有两层有权重，因此称为两层网络。
1、激活函数
感知器：y=0(b+w1x1+w2x20)改写为
y=h(b+w1x1+w2x2)，h(x)=0(x0)
激活函数h(x)：将输入信号的总和转换为输出信号的表达式，决定如何激活输入信号的总和。
上式中的激活函数是阶跃函数，只能返回0或1，而神经网络中的激活函数常用的是sigmoid函数和relu函数。
1'sigmoid函数
h(x)=1/(1+exp(-x))
和阶跃函数的对比：sigmoid是平滑的函数，输出随输入发生连续的变化，因此可以返回0-1之间的实数。
和阶跃函数的相同点：输入小时，输出接近0，输入增大时输出向1靠近，即当输入信号为重要信息时，都会输出较大值，且两者输出都在0-1之间。
2'relu函数
h(x)=x(x>0);h(x)=0(x<=0)
输入大于0时直接输出，输入小于0时输出0
总结：激活函数只能为非线性函数，因为线性函数的问题是多个隐藏层可以用一个隐藏层实现。例如h(x)=cx作为激活函数，y(x)=h(h(h(x)))对应的三层神经网络可以用一层表示y(x)=c^3x。如果要用叠加层则必须使用非线性函数。
AVR单片机开发经验
全差分放大器LTC6605
热电偶和热电阻的区别及设计方案
帷幕燃烧测试仪上海徽涛自动化
如何做好防晒？避开紫外线让皮肤更完美！
深度学习基础知识(2)
IMX6 MfgTool烧录的详细步骤
Cypress全球线上嵌入式设计大会将于12月12日至13日举行
魅族Pro7换上高通骁龙835，你能够接受吗？
如何把HEIC格式转化jpg？
瑞萨电子扩展其RA4系列MCU阵容 推出12款全新RA4M2微控制器
新任CEO能否带领英特尔走出困境?
东芯半导体设计并量产闪存芯片工艺制程,实现本土存储芯片的技术突破
Toshiba(东芝)光耦TLP521-4价格指数分析
各种感应加热电源性能对比
小米6最新消息：小米6价格、发布时间曝光，强势来袭果真是贵了！
华为、OPPO、三星、苹果均在布局GaN技术；高通骁龙X60可能用于新款iPhone上...
Spring Cloud Gateway服务网关的部署与使用详细教程
英特尔新一批无核显系列游戏本将于明年推出
注意：IoT时代即将“失业”的十大岗位