基于YOLOv5算法的PCB板上缺陷检测识别方案

一、数据集介绍
本教程主要是利用yolov5算法实现对pcb板上的缺陷进行检测识别。使用的deeppcb缺陷数据集中的所有图像都是从线性扫描ccd获得的,分辨率约为每1毫米48个像素,以上述方式从采样图像中手动检查
测试图像的原始大小约为16k x 16k像素, 然后将它们裁剪成许多大小为640 x 640的子图像,共1500张图片,deeppcb数据集中的部分图片如下图所示。
对于测试图像中的每个缺陷,我们使用轴对齐的边界框和一个类id。如上所示,我们标注了六种常见的pcb缺陷类型:open、short、mousebite、spur、pin-hole、spur。 
由于实际测试图像中只有少数缺陷,我们根据 pcb 缺陷模式在每个测试图像上手动论证一些人工缺陷,这导致每个640 x 640图像中大约有3到12个缺陷。
pcb缺陷数如下图所示。我们将1000 张图像作为训练集,剩下的作为测试集。
二、构建训练数据集 
1、先构建数据集文件夹
本人按照voc格式创建数据集,具体格式如下:
├── data│   ├── xml  进行 detection 任务时的标签文件,xml 形式,文件名与图片名一一对应│   ├── image  存放.jpg 格式的图片文件│   ├── label  存放label标注信息的txt文件,与图片一一对应│   ├── txt  存放原始标注信息,x1,y1,x2,y2,type├── dataset(train,val,test建议按照8:1:1比例划分)│   ├── train.txt  写着用于训练的图片名称│   ├── val.txt  写着用于验证的图片名称│   ├── trainval.txt  train与val的合集│   ├── test.txt  写着用于测试的图片名称 2、数据集格式转换
原始的标注信息是保存成txt文件,txt文件里面的每一行都包含一个标注信息,格式为x1,y1,x2,y2,type,这里 (x1,y1) 和 (x2,y2) 是缺陷边界框的左上角和右下角
type是匹配后的整数 id:0-background、1-open、2-short、3-mousebite、4-spur、5-copper、6-pin-hole。通过一下代码进行转换:
import osimport cv2import timefrom xml.dom import minidom name_dict = {'0': 'background', '1': 'open', '2': 'short',             '3': 'mousebite', '4': 'spur', '5': 'copper', '6': 'pin-hole'} def transfer_to_xml(pic, txt, file_name,xml_save_path):    if not os.path.exists(xml_save_path):        os.makedirs(xml_save_path,exist_ok=true)    img = cv2.imread(pic)    img_w = img.shape[1]    img_h = img.shape[0]    img_d = img.shape[2]    doc = minidom.document()    annotation = doc.createelement(annotation)    doc.appendchild(annotation)    folder = doc.createelement('folder')    folder.appendchild(doc.createtextnode('visdrone'))    annotation.appendchild(folder)    filename = doc.createelement('filename')    filename.appendchild(doc.createtextnode(file_name))    annotation.appendchild(filename)    source = doc.createelement('source')    database = doc.createelement('database')    database.appendchild(doc.createtextnode(unknown))    source.appendchild(database)    annotation.appendchild(source)    size = doc.createelement('size')    width = doc.createelement('width')    width.appendchild(doc.createtextnode(str(img_w)))    size.appendchild(width)    height = doc.createelement('height')    height.appendchild(doc.createtextnode(str(img_h)))    size.appendchild(height)    depth = doc.createelement('depth')    depth.appendchild(doc.createtextnode(str(img_d)))    size.appendchild(depth)    annotation.appendchild(size)    segmented = doc.createelement('segmented')    segmented.appendchild(doc.createtextnode(0))    annotation.appendchild(segmented)    with open(txt, 'r') as f:        lines = [f.readlines()]        for line in lines:            for boxes in line:                box = boxes.strip('')                box = box.split( )                x_min = box[0]                y_min = box[1]                x_max = box[2]                y_max = box[3]                object_name = name_dict[box[4]]                if object_name != background:                    object = doc.createelement('object')                    nm = doc.createelement('name')                    nm.appendchild(doc.createtextnode(object_name))                    object.appendchild(nm)                    pose = doc.createelement('pose')                    pose.appendchild(doc.createtextnode(unspecified))                    object.appendchild(pose)                    truncated = doc.createelement('truncated')                    truncated.appendchild(doc.createtextnode(1))                    object.appendchild(truncated)                    difficult = doc.createelement('difficult')                    difficult.appendchild(doc.createtextnode(0))                    object.appendchild(difficult)                    bndbox = doc.createelement('bndbox')                    xmin = doc.createelement('xmin')                    xmin.appendchild(doc.createtextnode(x_min))                    bndbox.appendchild(xmin)                    ymin = doc.createelement('ymin')                    ymin.appendchild(doc.createtextnode(y_min))                    bndbox.appendchild(ymin)                    xmax = doc.createelement('xmax')                    xmax.appendchild(doc.createtextnode(str(x_max)))                    bndbox.appendchild(xmax)                    ymax = doc.createelement('ymax')                    ymax.appendchild(doc.createtextnode(str(y_max)))                    bndbox.appendchild(ymax)                    object.appendchild(bndbox)                    annotation.appendchild(object)                    with open(os.path.join(xml_save_path, file_name + '.xml'), 'w') as x:                        x.write(doc.toprettyxml())                    x.close()    f.close() if __name__ == '__main__':    t = time.time()    print('transfer .txt to .xml...ing....')    txt_folder = 'data/pcbdatasets/txt'    txt_file = os.listdir(txt_folder)    img_folder = 'data/pcbdatasets/image'    xml_save_path = 'data/pcbdatasets/xml/'    for txt in txt_file:        txt_full_path = os.path.join(txt_folder, txt)        img_full_path = os.path.join(img_folder, txt.split('.')[0] + '.jpg')        try:            transfer_to_xml(img_full_path, txt_full_path, txt.split('.')[0],xml_save_path)        except exception as e:            print(e)    print(transfer .txt to .xml sucessed. costed: {:.3f}s....format(time.time() - t)) 3、训练集划分代码
主要是将数据集分类成训练数据集和测试数据集,默认train,val,test按照比例进行随机分类,运行后dataset文件夹中会出现四个文件
主要是生成的训练数据集和测试数据集的图片名称,如下图。同时data目录下也会出现这四个文件,内容是训练数据集和测试数据集的图片路径。
import osimport random trainval_percent = 0.9train_percent = 0.9xmlfilepath = 'data/pcbdatasets/xml/'txtsavepath = 'data/pcbdatasets/dataset/'total_xml = os.listdir(xmlfilepath) num = len(total_xml)list = range(num)tv = int(num * trainval_percent)tr = int(tv * train_percent)trainval = random.sample(list, tv)train = random.sample(trainval, tr) ftrainval = open('data/pcbdatasets/dataset/trainval.txt', 'w')ftest = open('data/pcbdatasets/dataset/test.txt', 'w')ftrain = open('data/pcbdatasets/dataset/train.txt', 'w')fval = open('data/pcbdatasets/dataset/val.txt', 'w') for i in list:    name = total_xml[i][:-4] + ''    if i in trainval:        ftrainval.write(name)        if i in train:            ftrain.write(name)        else:            fval.write(name)    else:        ftest.write(name) ftrainval.close()ftrain.close()fval.close()ftest.close() 4、生成yolo格式的标签
主要是将图片数据集标注后的xml文件中的标注信息读取出来并写入txt文件,运行后在label文件夹中出现所有图片数据集的标注信息
# xml解析包 import xml.etree.elementtree as etimport pickleimport os # os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表 from os import listdir, getcwdfrom os.path import join sets = ['train', 'test', 'val']classes = ['open', 'short','mousebite','spur', 'copper', 'pin-hole'] # 进行归一化操作 def convert(size, box):  # size:(原图w,原图h) , box:(xmin,xmax,ymin,ymax)    dw = 1./size[0]     # 1/w    dh = 1./size[1]     # 1/h    x = (box[0] + box[1])/2.0   # 物体在图中的中心点x坐标    y = (box[2] + box[3])/2.0   # 物体在图中的中心点y坐标    w = box[1] - box[0]         # 物体实际像素宽度    h = box[3] - box[2]         # 物体实际像素高度    x = x*dw    # 物体中心点x的坐标比(相当于 x/原图w)    w = w*dw    # 物体宽度的宽度比(相当于 w/原图w)    y = y*dh    # 物体中心点y的坐标比(相当于 y/原图h)    h = h*dh    # 物体宽度的宽度比(相当于 h/原图h)    return (x, y, w, h)    # 返回 相对于原图的物体中心点的x坐标比,y坐标比,宽度比,高度比,取值范围[0-1] def convert_annotation(image_id):    '''    将对应文件名的xml文件转化为label文件,xml文件包含了对应的bunding框以及图片长款大小等信息,    通过对其解析,然后进行归一化最终读到label文件中去,也就是说    一张图片文件对应一个xml文件,然后通过解析和归一化,能够将对应的信息保存到唯一一个label文件中去   labal文件中的格式:calss x y w h同时,一张图片对应的类别有多个,所以对应的bounding的信息也有多个    '''    # 对应的通过year 找到相应的文件夹,并且打开相应image_id的xml文件,其对应bund文件    in_file = open('data/pcbdatasets/xml/%s.xml' % (image_id), encoding='utf-8')    # 准备在对应的image_id 中写入对应的label,分别为    #    out_file = open('data/pcbdatasets/label/%s.txt' % (image_id), 'w', encoding='utf-8')    # 解析xml文件    tree = et.parse(in_file)    # 获得对应的键值对    root = tree.getroot()    # 获得图片的尺寸大小    size = root.find('size')    # 如果xml内的标记为空,增加判断条件    if size != none:        # 获得宽        w = int(size.find('width').text)        # 获得高        h = int(size.find('height').text)        # 遍历目标obj        for obj in root.iter('object'):            # 获得difficult ??            difficult = obj.find('difficult').text            # 获得类别 =string 类型            cls = obj.find('name').text            # 如果类别不是对应在我们预定好的class文件中,或difficult==1则跳过            if cls not in classes or int(difficult) == 1:                continue            # 通过类别名称找到id            cls_id = classes.index(cls)            # 找到bndbox 对象            xmlbox = obj.find('bndbox')            # 获取对应的bndbox的数组 = ['xmin','xmax','ymin','ymax']            b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),                 float(xmlbox.find('ymax').text))            print(image_id, cls, b)            # 带入进行归一化操作            # w = 宽, h = 高, b= bndbox的数组 = ['xmin','xmax','ymin','ymax']            bb = convert((w, h), b)            # bb 对应的是归一化后的(x,y,w,h)            # 生成 calss x y w h 在label文件中            out_file.write(str(cls_id) + + .join([str(a) for a in bb]) + '') # 返回当前工作目录 wd = getcwd()print(wd) for image_set in sets:    '''    对所有的文件数据集进行遍历    做了两个工作:1.将所有图片文件都遍历一遍,并且将其所有的全路径都写在对应的txt文件中去,方便定位2.同时对所有的图片文件进行解析和转化,将其对应的bundingbox 以及类别的信息全部解析写到label 文件中去     最后再通过直接读取文件,就能找到对应的label 信息    '''    # 先找labels文件夹如果不存在则创建    if not os.path.exists('data/pcbdatasets/labels/'):        os.makedirs('data/pcbdatasets/labels/')    # 读取在imagesets/main 中的train、test..等文件的内容    # 包含对应的文件名称    image_ids = open('data/pcbdatasets/dataset/%s.txt' % (image_set)).read().strip().split()      list_file = open('data/pcbdatasets/%s.txt' % (image_set), 'w')    # 将对应的文件_id以及全路径写进去并换行    for image_id in image_ids:        list_file.write('data/pcbdatasets/image/%s.jpg' % (image_id))        # 调用  year = 年份  image_id = 对应的文件名_id        convert_annotation(image_id)    # 关闭文件    list_file.close() label文件夹中某文件内容如下:
三、修改配置文件
1、数据配置文件
首先需要在/yolov5-master/data文件夹中,新建一个pcbdetect.yaml文件,内容设置如下:
train: data/pcbdatasets/dataset/train.txtval:  data/pcbdatasets/dataset/val.txttest: data/pcbdatasets/dataset/test.txt nc: 6 names: ['copper', 'mousebite', 'open', 'pin-hole', 'short', 'spur'] 2、网络参数修改
对yolov5-master/model文件夹中,对yolov5x.yaml(根据自己选择的模型而定)文件内容修改。
3、trian.py修改
主要用到的几个参数:–weights,–cfg,–data,–epochs,–batch-size,–img-size,–project,-workers
重点注意:–weights,–cfg,–data,其他的默认即可(batch_size,workers根据自己电脑属性进行设置)。
四、训练及测试
1、训练
在完成上述所有的操作之后,就可以进行训练,在命令窗口输入python train.py即可以进行训练。
2、测试
在训练完成后可以利用测试集对训练后的模型进行测试,利用val.py文件进行测试,主要修改一下地方:
测试完成后会输出map、precision、recall等指标,具体如下图所示:
p-r曲线如下图所示:
同时也可以利用detect.py文件对测试集进行测试,将检测后的框绘制在图像上,部分测试结果如下图所示:


工业4.0下的汽车产业“智造”之路
苏宁AGV机器人幕后的黑科技
新能源汽车市场不断下跌 电动汽车的政策时代已去
小米6曝光:这外观小米Note2比不上 陶瓷机身835处理器
汽车电子的LED驱动解决方案
基于YOLOv5算法的PCB板上缺陷检测识别方案
模组电源原理图设计指南
IXIA发布虚拟化数据中心IxLoad-VM测试解决方案
超声衍射时差法的概念_超声衍射时差法的优缺点
iPhone6s换电池排长队 预约未必能更换
李冰冰都知道区块链,火爆背后的深层原因是什么?
LED驱动电源将何去何从
刷剧游戏两不误!海信电视U8感知画质体验更过瘾
一加6设计解读 真正自由的无负担使用体验
TDK开发出频率特性平稳、不易失真的MEMS麦克风
【节能学院】安科瑞无线测温产品在某风电场项目的超温事故预警及分析
美国军方要投资发展小型卫星网络?构建强势的监视和侦察系统
雷辉:视频系统由标清进入到移动高清时代
车联网应用进入2.0时代,C-V2X技术标准逐渐成熟
安达泰安防任命Alex Kim为亚太区策略副总裁