线性判别分析LDA背后的数学原理
线性判别分析（lda）是一种降维技术，其目标是将数据集投影到较低维度空间中。线性判别分析也被称为正态判别分析（nda）或判别函数分析，是fisher线性判别的推广。
线性判别分析（lda）和主成分分析（pca）都是常用的线性变换技术，用于降低数据的维度。
pca可以描述为“无监督”算法，因为它“忽略”类别标签，其目标是找到最大化数据集方差的方向（所谓的主成分）。
与pca不同，lda是“有监督的”，它计算出能够最大化多个类别之间间隔的轴（“线性判别”）。
lda是如何工作的？
lda使用fisher线性判别方法来区分类别。
fisher线性判别是一种分类方法，它将高维数据投影到一维空间中，并在这个一维空间中进行分类。
投影最大化类别均值之间的距离，同时最小化每个类别内部的方差。
类别：1、2和3
类别均值：µ1、µ2和µ3
类别间散布：sb1、sb2和sb3
类别内散布：sw1、sw2和sw3
数据集均值：µ
它的思想是最大化类别间散布sb，同时最小化类别内散布sw。
数学公式
动机
寻找一个方向，可以放大类间差异。
最大化投影后的均值之间的（平方）差异。
(通过找到最大化类别均值之间差异的方向，lda可以有效地将数据投影到一个低维子空间中，其中类别更容易分离)
最小化每个类别内的投影散布
(通过找到最大化类别均值之间差异的方向，lda可以有效地将数据投影到一个低维子空间中，其中类别更容易分离)
散布
均值差异
散布差异
fischer 指数
这意味着在选择特征值时，我们将始终选择c-1个特征值及其相应的特征向量。其中，c为数据集中的类别数。
例子
**数据集
**
步骤1：计算类内散布矩阵（sw）
计算每个类别的协方差矩阵
类别1：
class 1
均值矩阵：
协方差：
将s1到 s5加在一起就得到了 sc1
类别2：
class 2
均值矩阵：
和 sc1一样, 将s6 到s10加到一起, 就得到了协方差 sc2 -
将sc1和sc2相加就得到了类内散布矩阵sw。
步骤2：计算类间散布矩阵（sb）
我们已经有了类别1和类别2每个特征的均值。
步骤3：找到最佳lda投影向量
与pca类似，我们使用具有最大特征值的特征向量来找到最佳投影向量。该特征向量可以用以下形式表示。
我们已经计算得到了sb和sw。
解出lambda后，我们得到最高值lambda = 15.65。现在，对于每个lambda值，解出相应的向量。
步骤4：将样本转换到新子空间上。
因此，使用lda我们进行了如下转换。
电磁流量计中噪声的产生机理及对策
HC-SR505 PIR传感器的基本概念及应用电路
基于铂电阻的数字温度测量系统设计[图]
曝富士康内部员工盗卖iPhone零组件牟利 疑似举报人直接与苹果CEO库克进行联系
降噪蓝牙耳机什么牌子好？音质好、口碑好的降噪蓝牙耳机品牌推荐
线性判别分析LDA背后的数学原理
电路功能设计的实用技巧
深开鸿用三个关键词，为你解读《2023 OpenHarmony 年度运营报告》
《麻省理工科技评论》点赞百度飞桨：推动产业智能化大爆发
嵌入式系统中触摸屏交互功能设计
首批搭载11代酷睿的RedmiBook Pro将发布
芯跨越·向未来|国民技术诚邀您共聚慕尼黑上海电子展
OpenHarmony构建了一套完善的内存解决方案——ESWAP
单目立体视觉：我用单目相机求了个体积！
三次函数图像的对称中心与其导函数对称轴之间有何关联？
PROFIBUS-DP的特性、系统组成及如何实现PLC通信设计
家电选购指南 网购洗衣机需注意以下事项
带式给料机减速电机振动的原因分析及解决方案
复旦争分夺秒研发消毒机器人 成为疫情防控的医生助手
迅准科技发布高兼容性IoT网关, 物联网应用如虎添翼
线性判别分析（lda）和主成分分析（pca）都是常用的线性变换技术，用于降低数据的维度。
pca可以描述为“无监督”算法，因为它“忽略”类别标签，其目标是找到最大化数据集方差的方向（所谓的主成分）。
与pca不同，lda是“有监督的”，它计算出能够最大化多个类别之间间隔的轴（“线性判别”）。
lda是如何工作的？
lda使用fisher线性判别方法来区分类别。
fisher线性判别是一种分类方法，它将高维数据投影到一维空间中，并在这个一维空间中进行分类。
投影最大化类别均值之间的距离，同时最小化每个类别内部的方差。
类别：1、2和3
类别均值：µ1、µ2和µ3
类别间散布：sb1、sb2和sb3
类别内散布：sw1、sw2和sw3
数据集均值：µ
它的思想是最大化类别间散布sb，同时最小化类别内散布sw。
数学公式
动机
寻找一个方向，可以放大类间差异。
最大化投影后的均值之间的（平方）差异。
(通过找到最大化类别均值之间差异的方向，lda可以有效地将数据投影到一个低维子空间中，其中类别更容易分离)
最小化每个类别内的投影散布
(通过找到最大化类别均值之间差异的方向，lda可以有效地将数据投影到一个低维子空间中，其中类别更容易分离)
散布
均值差异
散布差异
fischer 指数
这意味着在选择特征值时，我们将始终选择c-1个特征值及其相应的特征向量。其中，c为数据集中的类别数。
例子
**数据集
**
步骤1：计算类内散布矩阵（sw）
计算每个类别的协方差矩阵
类别1：
class 1
均值矩阵：
协方差：
将s1到 s5加在一起就得到了 sc1
类别2：
class 2
均值矩阵：
和 sc1一样, 将s6 到s10加到一起, 就得到了协方差 sc2 -
将sc1和sc2相加就得到了类内散布矩阵sw。
步骤2：计算类间散布矩阵（sb）
我们已经有了类别1和类别2每个特征的均值。
步骤3：找到最佳lda投影向量
与pca类似，我们使用具有最大特征值的特征向量来找到最佳投影向量。该特征向量可以用以下形式表示。
我们已经计算得到了sb和sw。
解出lambda后，我们得到最高值lambda = 15.65。现在，对于每个lambda值，解出相应的向量。
步骤4：将样本转换到新子空间上。
因此，使用lda我们进行了如下转换。
电磁流量计中噪声的产生机理及对策
HC-SR505 PIR传感器的基本概念及应用电路
基于铂电阻的数字温度测量系统设计[图]
曝富士康内部员工盗卖iPhone零组件牟利 疑似举报人直接与苹果CEO库克进行联系
降噪蓝牙耳机什么牌子好？音质好、口碑好的降噪蓝牙耳机品牌推荐
线性判别分析LDA背后的数学原理
电路功能设计的实用技巧
深开鸿用三个关键词，为你解读《2023 OpenHarmony 年度运营报告》
《麻省理工科技评论》点赞百度飞桨：推动产业智能化大爆发
嵌入式系统中触摸屏交互功能设计
首批搭载11代酷睿的RedmiBook Pro将发布
芯跨越·向未来|国民技术诚邀您共聚慕尼黑上海电子展
OpenHarmony构建了一套完善的内存解决方案——ESWAP
单目立体视觉：我用单目相机求了个体积！
三次函数图像的对称中心与其导函数对称轴之间有何关联？
PROFIBUS-DP的特性、系统组成及如何实现PLC通信设计
家电选购指南 网购洗衣机需注意以下事项
带式给料机减速电机振动的原因分析及解决方案
复旦争分夺秒研发消毒机器人 成为疫情防控的医生助手
迅准科技发布高兼容性IoT网关, 物联网应用如虎添翼