CNN卷积神经网络算法原理

张开发
• 2026/4/6 19:55:18 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

CNN卷积神经网络算法原理
一、全连接神经网络的整体结构全连接神经网络由输入层、隐藏层和输出层构成。每一层的神经元与相邻层的所有神经元相互连接形成密集的网络结构。输入层接收原始数据隐藏层负责特征提取和转换输出层生成最终预测结果。参数数量随网络深度和宽度呈指数增长导致计算复杂度较高。二、全连接神经网络的结构单元单个神经元是网络的基本单元包含权重、偏置和激活函数三部分。输入数据与权重相乘后求和加上偏置最终通过激活函数进行非线性变换。三、为什么要加入激活函数线性变换的组合仍是线性变换无法拟合复杂非线性关系。激活函数引入非线性特性使网络能够学习更复杂的模式。若缺少激活函数多层网络等效于单层线性模型失去深层结构的优势。这里我们考虑把线性函数ℎ() 作为激活函数把() ℎ(ℎ(ℎ()))的运算对应3层神经网络这个运算会进行() ∗ ∗ ∗ 的乘法运算但是同样的处理可以由() 注意这里 ∗∗ 3一次乘法运算既没有隐藏层的神经网络来表示。1、激活函数---Sigmoid函数Sigmoid函数的公式和导数如式所示Sigmoid函数优点1、简单、非常适用分类任务Sigmoid函数缺点1、反向传播训练时有梯度消失的问题2、输出值区间为(0,1)关于0不对称3、梯度更新在不同方向走得太远使得优化难度增大训练耗时2、激活函数---Tanh函数Tanh函数的公式和导数如式所示Tanh函数优点1、解决了Sigmoid函数输出值非0对称的问题2、训练比Sigmoid函数快更容易收敛Tanh函数缺点1、反向传播训练时有梯度消失的问题2、Tanh函数和Sigmoid函数非常相似。3、激活函数---ReLU函数Tanh函数的公式和导数如式所示ReLU函数优点1、解决了梯度消失的问题2、计算更为简单没有Sigmoid函数和Tanh函数的指数运算ReLU函数缺点1、训练时可能出现神经元死亡4、激活函数---Leaky ReLU函数Leaky ReLU函数的公式和导数如式所示Leaky ReLU函数优点1、解决了ReLU的神经元死亡问题;Leaky ReLU函数缺点1、无法为正负输入值提供一致的关系预测不同区间函数不同

更多文章