机器学习常用的5种采样方法盘点
简单随机抽样 假设您要选择一个群体的子集，其中该子集的每个成员被选择的概率都相等。 下面我们从一个数据集中选择 100 个采样点。 sample_df = df.sample(100)
分层采样
假设我们需要估计选举中每个候选人的平均票数。现假设该国有 3 个城镇： a 镇有 100 万工人， b 镇有 200 万工人，以及 c 镇有 300 万退休人员。 我们可以选择在整个人口中随机抽取一个 60 大小的样本，但在这些城镇中，随机样本可能不太平衡，因此会产生偏差，导致估计误差很大。 相反，如果我们选择从 a、b 和 c 镇分别抽取 10、20 和 30 个随机样本，那么我们可以在总样本大小相同的情况下，产生较小的估计误差。 使用 python 可以很容易地做到这一点： from sklearn.model_selection import train_test_splitx_train, x_test, y_train, y_test = train_test_split(x, y, stratify=y, test_size=0.25)
水塘采样
我喜欢这个问题陈述：
假设您有一个项目流，它长度较大且未知以至于我们只能迭代一次。 创建一个算法，从这个流中随机选择一个项目，这样每个项目都有相同的可能被选中。
我们怎么能做到这一点？ 假设我们必须从无限大的流中抽取 5 个对象，且每个元素被选中的概率都相等。 import randomdef generator(max): number = 1 while number < max: number += 1 yield number# create as stream generatorstream = generator(10000)# doing reservoir sampling from the streamk=5reservoir = []for i, element in enumerate(stream): if i+1<= k: reservoir.append(element) else: probability = k/(i+1) if random.random() < probability: # select item in stream and remove one of the k items already selected reservoir[random.choice(range(0,k))] = elementprint(reservoir)------------------------------------[1369, 4108, 9986, 828, 5589] 从数学上可以证明，在样本中，流中每个元素被选中的概率相同。这是为什么呢？ 当涉及到数学问题时，从一个小问题开始思考总是有帮助的。 所以，让我们考虑一个只有 3 个项目的流，我们必须保留其中 2 个。 当我们看到第一个项目，我们把它放在清单上，因为我们的水塘有空间。在我们看到第二个项目时，我们把它放在列表中，因为我们的水塘还是有空间。 现在我们看到第三个项目。这里是事情开始变得有趣的地方。我们有 2/3 的概率将第三个项目放在清单中。 现在让我们看看第一个项目被选中的概率：
移除第一个项目的概率是项目 3 被选中的概率乘以项目 1 被随机选为水塘中 2 个要素的替代候选的概率。这个概率是： 2/3*1/2 = 1/3 因此，选择项目 1 的概率为： 1–1/3=2/3
我们可以对第二个项目使用完全相同的参数，并且可以将其扩展到多个项目。 因此，每个项目被选中的概率相同：2/3 或者用一般的公式表示为 k/n
随机欠采样和过采样
我们经常会遇到不平衡的数据集。 一种广泛采用的处理高度不平衡数据集的技术称为重采样。它包括从多数类（欠采样）中删除样本或向少数类（过采样）中添加更多示例。 让我们先创建一些不平衡数据示例。 from sklearn.datasets import make_classificationx, y = make_classification( n_classes=2, class_sep=1.5, weights=[0.9, 0.1], n_informative=3, n_redundant=1, flip_y=0, n_features=20, n_clusters_per_class=1, n_samples=100, random_state=10)x = pd.dataframe(x)x[ target ] = y 我们现在可以使用以下方法进行随机过采样和欠采样： num_0 = len(x[x[ target ]==0])num_1 = len(x[x[ target ]==1])print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ x[x[ target ]==0].sample(num_1) , x[x[ target ]==1] ])print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ x[x[ target ]==0] , x[x[ target ]==1].sample(num_0, replace=true) ])print(len(oversampled_data))------------------------------------------------------------output:90 1020180
使用 imbalanced-learn 进行欠采样和过采样
imbalanced-learn（imblearn）是一个用于解决不平衡数据集问题的 python 包，它提供了多种方法来进行欠采样和过采样。
a. 使用 tomek links 进行欠采样： imbalanced-learn 提供的一种方法叫做 tomek links。tomek links 是邻近的两个相反类的例子。
在这个算法中，我们最终从 tomek links 中删除了大多数元素，这为分类器提供了一个更好的决策边界。 from imblearn.under_sampling import tomeklinks
tl = tomeklinks(return_indices=true, ratio= majority )x_tl, y_tl, id_tl = tl.fit_sample(x, y)
b. 使用 smote 进行过采样： 在 smoe（synthetic minority oversampling technique）中，我们在现有元素附近合并少数类的元素。 from imblearn.over_sampling import smote
smote = smote(ratio= minority )x_sm, y_sm = smote.fit_sample(x, y) imblearn 包中还有许多其他方法，可以用于欠采样（cluster centroids, nearmiss 等）和过采样（adasyn 和 bsmote）。
结论
算法是数据科学的生命线。 抽样是数据科学中的一个重要课题，但我们实际上并没有讨论得足够多。 有时，一个好的抽样策略会大大推进项目的进展。错误的抽样策略可能会给我们带来错误的结果。因此，在选择抽样策略时应该小心。
利用STC90C516单片机设计一个家庭用智能药盒
RFID技术应用在养老院人员定位管理系统中 保障老人的安全
拥抱数字化2019 ABB如何塑造行业领军者
ACS712/CH701在电动方向盘电机驱动控制器的应用
补码加、减运算规则
机器学习常用的5种采样方法盘点
据调查全球还有大多数人并不真正知道区块链是什么
攀升推出一款白色高颜值的电脑主机攀升战境S5
微软联合多家企业开展AI能源计划
蘑菇街纽交所挂牌 开盘价12.25美元
在线经济爆发,产业AI化进程加速
浅析香港PCB制造商在产品及技术上的优势
ATM与千兆以太网的区别
自动气象站的优点及应用
骁龙888和骁龙865区别对比
魅族16X评测 值不值得买
VT66／66A三极管型音乐集成电路
碳膜电阻的特点
荣耀9、OPPO r11，一大波新机来袭，准备剁手了吗？
一文速览！拓维信息@1024程序员节精彩看点
分层采样
假设我们需要估计选举中每个候选人的平均票数。现假设该国有 3 个城镇： a 镇有 100 万工人， b 镇有 200 万工人，以及 c 镇有 300 万退休人员。 我们可以选择在整个人口中随机抽取一个 60 大小的样本，但在这些城镇中，随机样本可能不太平衡，因此会产生偏差，导致估计误差很大。 相反，如果我们选择从 a、b 和 c 镇分别抽取 10、20 和 30 个随机样本，那么我们可以在总样本大小相同的情况下，产生较小的估计误差。 使用 python 可以很容易地做到这一点： from sklearn.model_selection import train_test_splitx_train, x_test, y_train, y_test = train_test_split(x, y, stratify=y, test_size=0.25)
水塘采样
我喜欢这个问题陈述：
假设您有一个项目流，它长度较大且未知以至于我们只能迭代一次。 创建一个算法，从这个流中随机选择一个项目，这样每个项目都有相同的可能被选中。
我们怎么能做到这一点？ 假设我们必须从无限大的流中抽取 5 个对象，且每个元素被选中的概率都相等。 import randomdef generator(max): number = 1 while number < max: number += 1 yield number# create as stream generatorstream = generator(10000)# doing reservoir sampling from the streamk=5reservoir = []for i, element in enumerate(stream): if i+1<= k: reservoir.append(element) else: probability = k/(i+1) if random.random() < probability: # select item in stream and remove one of the k items already selected reservoir[random.choice(range(0,k))] = elementprint(reservoir)------------------------------------[1369, 4108, 9986, 828, 5589] 从数学上可以证明，在样本中，流中每个元素被选中的概率相同。这是为什么呢？ 当涉及到数学问题时，从一个小问题开始思考总是有帮助的。 所以，让我们考虑一个只有 3 个项目的流，我们必须保留其中 2 个。 当我们看到第一个项目，我们把它放在清单上，因为我们的水塘有空间。在我们看到第二个项目时，我们把它放在列表中，因为我们的水塘还是有空间。 现在我们看到第三个项目。这里是事情开始变得有趣的地方。我们有 2/3 的概率将第三个项目放在清单中。 现在让我们看看第一个项目被选中的概率：
移除第一个项目的概率是项目 3 被选中的概率乘以项目 1 被随机选为水塘中 2 个要素的替代候选的概率。这个概率是： 2/3*1/2 = 1/3 因此，选择项目 1 的概率为： 1–1/3=2/3
我们可以对第二个项目使用完全相同的参数，并且可以将其扩展到多个项目。 因此，每个项目被选中的概率相同：2/3 或者用一般的公式表示为 k/n
随机欠采样和过采样
我们经常会遇到不平衡的数据集。 一种广泛采用的处理高度不平衡数据集的技术称为重采样。它包括从多数类（欠采样）中删除样本或向少数类（过采样）中添加更多示例。 让我们先创建一些不平衡数据示例。 from sklearn.datasets import make_classificationx, y = make_classification( n_classes=2, class_sep=1.5, weights=[0.9, 0.1], n_informative=3, n_redundant=1, flip_y=0, n_features=20, n_clusters_per_class=1, n_samples=100, random_state=10)x = pd.dataframe(x)x[ target ] = y 我们现在可以使用以下方法进行随机过采样和欠采样： num_0 = len(x[x[ target ]==0])num_1 = len(x[x[ target ]==1])print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ x[x[ target ]==0].sample(num_1) , x[x[ target ]==1] ])print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ x[x[ target ]==0] , x[x[ target ]==1].sample(num_0, replace=true) ])print(len(oversampled_data))------------------------------------------------------------output:90 1020180
使用 imbalanced-learn 进行欠采样和过采样
imbalanced-learn（imblearn）是一个用于解决不平衡数据集问题的 python 包，它提供了多种方法来进行欠采样和过采样。
a. 使用 tomek links 进行欠采样： imbalanced-learn 提供的一种方法叫做 tomek links。tomek links 是邻近的两个相反类的例子。
在这个算法中，我们最终从 tomek links 中删除了大多数元素，这为分类器提供了一个更好的决策边界。 from imblearn.under_sampling import tomeklinks
tl = tomeklinks(return_indices=true, ratio= majority )x_tl, y_tl, id_tl = tl.fit_sample(x, y)
b. 使用 smote 进行过采样： 在 smoe（synthetic minority oversampling technique）中，我们在现有元素附近合并少数类的元素。 from imblearn.over_sampling import smote
smote = smote(ratio= minority )x_sm, y_sm = smote.fit_sample(x, y) imblearn 包中还有许多其他方法，可以用于欠采样（cluster centroids, nearmiss 等）和过采样（adasyn 和 bsmote）。
结论
算法是数据科学的生命线。 抽样是数据科学中的一个重要课题，但我们实际上并没有讨论得足够多。 有时，一个好的抽样策略会大大推进项目的进展。错误的抽样策略可能会给我们带来错误的结果。因此，在选择抽样策略时应该小心。
利用STC90C516单片机设计一个家庭用智能药盒
RFID技术应用在养老院人员定位管理系统中 保障老人的安全
拥抱数字化2019 ABB如何塑造行业领军者
ACS712/CH701在电动方向盘电机驱动控制器的应用
补码加、减运算规则
机器学习常用的5种采样方法盘点
据调查全球还有大多数人并不真正知道区块链是什么
攀升推出一款白色高颜值的电脑主机攀升战境S5
微软联合多家企业开展AI能源计划
蘑菇街纽交所挂牌 开盘价12.25美元
在线经济爆发,产业AI化进程加速
浅析香港PCB制造商在产品及技术上的优势
ATM与千兆以太网的区别
自动气象站的优点及应用
骁龙888和骁龙865区别对比
魅族16X评测 值不值得买
VT66／66A三极管型音乐集成电路
碳膜电阻的特点
荣耀9、OPPO r11，一大波新机来袭，准备剁手了吗？
一文速览！拓维信息@1024程序员节精彩看点