如何制作能够分类120种小狗的图像分类器
这篇文章会讲解如何制作能够分类120种小狗的图像分类器。
这篇文章中所讲述的内容都是基于colab notebook和fastai技术的深度学习的应用。
为什么使用colab？
使用colab的好处是，你不需要有任何显卡gpu，colab中提供了一块免费的k80带12g显存的gpu
colab是google提供的一个免费的jupyter notebook的环境，可以省去安装它的功夫
为什么使用fastai？
fastai是一种超级简洁的深度学习工具，代码上甚至比当前keras还要简洁。
底层是pytorch，能够提供高速的处理性能。
和之前文章中的两个物种（猫和狗）的分类略有不同，这次使用的数据集全部是狗，需要把这些狗分到不同的类别中。也就是说，图片之间特征的区别的差异要比之前猫和狗分类的来的更加细微。
好吧，接下来我们看看如何动手制作。
1.在colab的作业本中配置fastai的环境
!curlhttps://course.fast.ai/setup/colab|bash
2.导入fastai包
fromfastaiimport*fromfastai.visionimport*
3.加载kaggle.json
这里我们准备从kaggle下载所需要的狗的数据集，如果你可以从其他地方得到数据集，那么可以省略步骤3和4，按照自己的方法在环境中导入数据集即可。
!mkdir/content/.kaggle/!mkdir/content/data/dogsbreed/path=/content/data/dogsbreed/fromgoogle.colabimportfiles#loadfromuploaddialoguploaded=files.upload()forfninuploaded.keys():withopen(f'/content/.kaggle/{fn}','wb')asf:f.write(uploaded[fn])
4.安装kaggle环境
!chmod600/content/.kaggle/kaggle.json!pipinstallkaggle!cp/content/.kaggle/kaggle.json~/.kaggle/kaggle.json!kaggleconfigset-npath-v{/content}importkaggle!kagglecompetitionsdownload-p/content/data/dogsbreed/dog-breed-identification
从结果中可以看到，我们已经从kaggle成功的下载了数据集文件。
5.验证gpu
torch.cuda.is_available()#truetorch.backends.cudnn.enabled#true
6.解压缩文件
!cd/content/data/dogsbreed&&unziplabels.csv.zip!cd/content/data/dogsbreed&&unzipsample_submission.csv.zip!cd/content/data/dogsbreed&&unziptest.zip!cd/content/data/dogsbreed&&unziptrain.zip
7.读取label.csv
labels_df=pd.read_csv(f'{path}labels.csv')labels_df.head()
这里我们可以看到labels.csv中的前五条数据
8.查看狗的类别
labels_df.pivot_table(index='breed',aggfunc=len).sort_values('id',ascending=false)
这里可以看到一共有120行数据，也就是120种狗的类别，以及每种类别里面有多少条数据。
9.加载数据集并显示
data=imagedatabunch.from_csv(path,folder='train',valid_pct=0.2,ds_tfms=get_transforms(),size=224,test='test',suffix='.jpg',bs=64).normalize(imagenet_stats)data.show_batch(rows=3,figsize=(10,12))
如果一切顺利，这里会显示出9张狗的图片，并且图片上方会显示相应的狗的类别。
如果只显示了图片，而图片上的标签不是类别的话，那说明数据导入部分存在问题。
ok，我们继续下一步。
10.下载与训练模型并微调
learner=create_cnn(data,models.resnet101,metrics=[accuracy])learner.fit_one_cycle(10)
这里我们设置了10个epoch，会稍微花费点时间大约40分钟。
可以看到，在最后一个epoch时候，我们的精度在89%。当然我们还可以继续调优：）
或者直接从零开始对每一层权重的训练，这都是可以的。
到这里我们就已经成功的完成了一个120种狗狗的图片分类器的制作啦，怎么样？是不是很简单？希望这篇文章可以给每一个前来阅读的朋友带来收获，对深度学习，图像分类有一个直接的体会。
瑞萨生产中断延长可能会加剧全球“芯片荒”
技术创新推动我国无人机产业上规模、上水平、上台阶
顶象主办的首届“人工智能反欺诈应用沙龙”在南京召开
适合女生用的蓝牙耳机：高音质高颜值蓝牙耳机推荐
国内薄片飞秒激光器领域研究获重大进展
如何制作能够分类120种小狗的图像分类器
CITE 2018：人工智能渗透电子产业的方方面面
电阻负载的单相桥式全控整流电路
高速PCB设计的九大设计原则解析
莱迪思FPGA在网络边缘计算AI开发方案
XBee XB24-Z7UIT-004模块简单通信技术
机器视觉基本概念学习笔记3
McWiLL宽带基站的信道管理
基于直线电机3D打印的吉他让音色变得更好
车规级芯片价格暴涨 晶圆代工厂商成本增加
华为玩抢购但缺货，mate9pro预存现金才拿到货
九代酷睿桌面CPU订单延期价格逐步走高
引入 FinFET晶体后的多重图案拆分布局和布线
华为云数据库\-GaussDB for MySQL数据库
智能可穿戴医疗健康产业深度解析（附方案厂商）
这篇文章中所讲述的内容都是基于colab notebook和fastai技术的深度学习的应用。
为什么使用colab？
使用colab的好处是，你不需要有任何显卡gpu，colab中提供了一块免费的k80带12g显存的gpu
colab是google提供的一个免费的jupyter notebook的环境，可以省去安装它的功夫
为什么使用fastai？
fastai是一种超级简洁的深度学习工具，代码上甚至比当前keras还要简洁。
底层是pytorch，能够提供高速的处理性能。
和之前文章中的两个物种（猫和狗）的分类略有不同，这次使用的数据集全部是狗，需要把这些狗分到不同的类别中。也就是说，图片之间特征的区别的差异要比之前猫和狗分类的来的更加细微。
好吧，接下来我们看看如何动手制作。
1.在colab的作业本中配置fastai的环境
!curlhttps://course.fast.ai/setup/colab|bash
2.导入fastai包
fromfastaiimport*fromfastai.visionimport*
3.加载kaggle.json
这里我们准备从kaggle下载所需要的狗的数据集，如果你可以从其他地方得到数据集，那么可以省略步骤3和4，按照自己的方法在环境中导入数据集即可。
!mkdir/content/.kaggle/!mkdir/content/data/dogsbreed/path=/content/data/dogsbreed/fromgoogle.colabimportfiles#loadfromuploaddialoguploaded=files.upload()forfninuploaded.keys():withopen(f'/content/.kaggle/{fn}','wb')asf:f.write(uploaded[fn])
4.安装kaggle环境
!chmod600/content/.kaggle/kaggle.json!pipinstallkaggle!cp/content/.kaggle/kaggle.json~/.kaggle/kaggle.json!kaggleconfigset-npath-v{/content}importkaggle!kagglecompetitionsdownload-p/content/data/dogsbreed/dog-breed-identification
从结果中可以看到，我们已经从kaggle成功的下载了数据集文件。
5.验证gpu
torch.cuda.is_available()#truetorch.backends.cudnn.enabled#true
6.解压缩文件
!cd/content/data/dogsbreed&&unziplabels.csv.zip!cd/content/data/dogsbreed&&unzipsample_submission.csv.zip!cd/content/data/dogsbreed&&unziptest.zip!cd/content/data/dogsbreed&&unziptrain.zip
7.读取label.csv
labels_df=pd.read_csv(f'{path}labels.csv')labels_df.head()
这里我们可以看到labels.csv中的前五条数据
8.查看狗的类别
labels_df.pivot_table(index='breed',aggfunc=len).sort_values('id',ascending=false)
这里可以看到一共有120行数据，也就是120种狗的类别，以及每种类别里面有多少条数据。
9.加载数据集并显示
data=imagedatabunch.from_csv(path,folder='train',valid_pct=0.2,ds_tfms=get_transforms(),size=224,test='test',suffix='.jpg',bs=64).normalize(imagenet_stats)data.show_batch(rows=3,figsize=(10,12))
如果一切顺利，这里会显示出9张狗的图片，并且图片上方会显示相应的狗的类别。
如果只显示了图片，而图片上的标签不是类别的话，那说明数据导入部分存在问题。
ok，我们继续下一步。
10.下载与训练模型并微调
learner=create_cnn(data,models.resnet101,metrics=[accuracy])learner.fit_one_cycle(10)
这里我们设置了10个epoch，会稍微花费点时间大约40分钟。
可以看到，在最后一个epoch时候，我们的精度在89%。当然我们还可以继续调优：）
或者直接从零开始对每一层权重的训练，这都是可以的。
到这里我们就已经成功的完成了一个120种狗狗的图片分类器的制作啦，怎么样？是不是很简单？希望这篇文章可以给每一个前来阅读的朋友带来收获，对深度学习，图像分类有一个直接的体会。
瑞萨生产中断延长可能会加剧全球“芯片荒”
技术创新推动我国无人机产业上规模、上水平、上台阶
顶象主办的首届“人工智能反欺诈应用沙龙”在南京召开
适合女生用的蓝牙耳机：高音质高颜值蓝牙耳机推荐
国内薄片飞秒激光器领域研究获重大进展
如何制作能够分类120种小狗的图像分类器
CITE 2018：人工智能渗透电子产业的方方面面
电阻负载的单相桥式全控整流电路
高速PCB设计的九大设计原则解析
莱迪思FPGA在网络边缘计算AI开发方案
XBee XB24-Z7UIT-004模块简单通信技术
机器视觉基本概念学习笔记3
McWiLL宽带基站的信道管理
基于直线电机3D打印的吉他让音色变得更好
车规级芯片价格暴涨 晶圆代工厂商成本增加
华为玩抢购但缺货，mate9pro预存现金才拿到货
九代酷睿桌面CPU订单延期价格逐步走高
引入 FinFET晶体后的多重图案拆分布局和布线
华为云数据库\-GaussDB for MySQL数据库
智能可穿戴医疗健康产业深度解析（附方案厂商）