80页笔记看遍机器学习基本概念、算法、模型
本文要介绍的是一份长约 80 页的学习笔记，旨在总结机器学习的一系列基本概念（如梯度下降、反向传播等），不同的机器学习算法和流行模型，以及一些作者在实践中学到的技巧和经验。
如果你是一个刚刚入门机器学习领域的人，这份学习笔记或许可以帮你少走很多弯路；如果你不是学生，这些笔记还可以在你忘记某些模型或算法时供你快速查阅。必要时，你可以使用 ctrl+f 搜索自己想知道的概念。
笔记共分为以下六大部分：
激活函数
梯度下降
参数
正则化
模型
实用窍门
在第一部分「激活函数」中，作者提供了 sigmoid、tanh、relu、leaky relu 四种常用的机器学习激活函数。
第二部分「梯度下降」又分为计算图、反向传播、l2 正则化梯度、梯度消失和梯度爆炸等 12 个小节：
为了帮助读者理解，作者举了一些例子，并对很多内容进行了可视化的展示：
梯度下降
笔记的第三部分是机器学习中的参数，又分为可学习参数和超参数、参数初始化、超参数调优等几个小节。
为了防止新手走弯路，作者在「参数初始化」部分的开头就提醒道：其实，tensorflow 等机器学习框架已经提供了鲁棒的参数初始化功能。类似的提醒在笔记中还有很多。
笔记的第四部分是正则化，包含 l2 正则化、l1 正则化、dropout、早停四个小节。
第五部分是整份笔记的重中之重，详细描述了逻辑回归、多类分类（softmax 回归）、迁移学习、多任务学习、卷积神经网络（cnn）、序列模型、transformer 和 bert 等八大类机器学习模型。并且，八大类模型下面又分为各个小类进行详解，具体如下所示：
解释相对简单的前四类机器学习模型。
解释最为详尽的卷积神经网络（cnn），包括 filter/kernel、lenet-5、alexnet、resnet、目标检测、人脸验证以及神经风格迁移等。
序列模型，包括常见的循环神经网络模型（rnn）、gated recurrent unit（gru）、lstm、双向 rnn、深度 rnn 示例、词嵌入、序列到序列翻译模型示例等。
transformer 和 bert 模型。
笔记最后一部分给出了一些「实用窍门」，包括训练/开发/测试数据集、不匹配的数据分布、输入归一化以及误差分析等 6 方面内容。其中有些窍门来自 deep learning ai 等在线课程，还有一部分是作者自己总结得到的。
航空发动机支架质量检测非接触式全尺寸测量CASAIM
如何安装MAX44211输出保护
三种类型电机的拓扑结构及材料成本
虚拟现实产业市场发展何时将迎来爆发期？
【艾睿新闻】艾睿电子与香港科技园等签备忘录推动创科
80页笔记看遍机器学习基本概念、算法、模型
网约车D1两种运营模式的界限将被打破
亿光研发出能够有效促进草莓果实鲜红的特殊波段，转红比率增加30%
圆满完成2017年电网建设工作任务的上海看看是怎么管理的
手机厂商造车背后的底气在哪?
研华工业存储多宽温解决方案，面向工业机器人应用与挑战
性价比高，音质好的蓝牙耳机，兼顾功能，平价降噪蓝牙耳机之选
Holtek推出HT48R016/017与HT46R016/017系列高抗噪声16-pin单片机
NVIDIA宣布其AI推理平台的重大更新
上海数字资产交易所开发公司，开发场外OTC交易平台要多少钱
专家点评中国无线基础设施建设，09年达到最高峰
如何简化隔离电源的设计
VASS滚床输送控制FB453
360V5A2000W电压电流功率表,Power Meter
东芝推出汽车娱乐信息辅助芯片
如果你是一个刚刚入门机器学习领域的人，这份学习笔记或许可以帮你少走很多弯路；如果你不是学生，这些笔记还可以在你忘记某些模型或算法时供你快速查阅。必要时，你可以使用 ctrl+f 搜索自己想知道的概念。
笔记共分为以下六大部分：
激活函数
梯度下降
参数
正则化
模型
实用窍门
在第一部分「激活函数」中，作者提供了 sigmoid、tanh、relu、leaky relu 四种常用的机器学习激活函数。
第二部分「梯度下降」又分为计算图、反向传播、l2 正则化梯度、梯度消失和梯度爆炸等 12 个小节：
为了帮助读者理解，作者举了一些例子，并对很多内容进行了可视化的展示：
梯度下降
笔记的第三部分是机器学习中的参数，又分为可学习参数和超参数、参数初始化、超参数调优等几个小节。
为了防止新手走弯路，作者在「参数初始化」部分的开头就提醒道：其实，tensorflow 等机器学习框架已经提供了鲁棒的参数初始化功能。类似的提醒在笔记中还有很多。
笔记的第四部分是正则化，包含 l2 正则化、l1 正则化、dropout、早停四个小节。
第五部分是整份笔记的重中之重，详细描述了逻辑回归、多类分类（softmax 回归）、迁移学习、多任务学习、卷积神经网络（cnn）、序列模型、transformer 和 bert 等八大类机器学习模型。并且，八大类模型下面又分为各个小类进行详解，具体如下所示：
解释相对简单的前四类机器学习模型。
解释最为详尽的卷积神经网络（cnn），包括 filter/kernel、lenet-5、alexnet、resnet、目标检测、人脸验证以及神经风格迁移等。
序列模型，包括常见的循环神经网络模型（rnn）、gated recurrent unit（gru）、lstm、双向 rnn、深度 rnn 示例、词嵌入、序列到序列翻译模型示例等。
transformer 和 bert 模型。
笔记最后一部分给出了一些「实用窍门」，包括训练/开发/测试数据集、不匹配的数据分布、输入归一化以及误差分析等 6 方面内容。其中有些窍门来自 deep learning ai 等在线课程，还有一部分是作者自己总结得到的。
航空发动机支架质量检测非接触式全尺寸测量CASAIM
如何安装MAX44211输出保护
三种类型电机的拓扑结构及材料成本
虚拟现实产业市场发展何时将迎来爆发期？
【艾睿新闻】艾睿电子与香港科技园等签备忘录推动创科
80页笔记看遍机器学习基本概念、算法、模型
网约车D1两种运营模式的界限将被打破
亿光研发出能够有效促进草莓果实鲜红的特殊波段，转红比率增加30%
圆满完成2017年电网建设工作任务的上海看看是怎么管理的
手机厂商造车背后的底气在哪?
研华工业存储多宽温解决方案，面向工业机器人应用与挑战
性价比高，音质好的蓝牙耳机，兼顾功能，平价降噪蓝牙耳机之选
Holtek推出HT48R016/017与HT46R016/017系列高抗噪声16-pin单片机
NVIDIA宣布其AI推理平台的重大更新
上海数字资产交易所开发公司，开发场外OTC交易平台要多少钱
专家点评中国无线基础设施建设，09年达到最高峰
如何简化隔离电源的设计
VASS滚床输送控制FB453
360V5A2000W电压电流功率表,Power Meter
东芝推出汽车娱乐信息辅助芯片