作者:大森林
3d点云目标跟踪的评价指标,可以根据跟踪的目标是单个还是多个,分为单目标跟踪(sot)和多目标跟踪(mot)两种。一般来说,sot的评价指标主要关注跟踪的准确性和鲁棒性,而mot的评价指标则需要考虑跟踪的完整性和一致性。
sot的常用评价指标有:
平均重叠率(average overlap rate, aor):表示预测的3d边界框与真实的3d边界框之间的重叠比例的平均值。
平均中心误差(average center error, ace):表示预测的3d边界框与真实的3d边界框之间的中心点距离的平均值。
成功率(success rate, sr):表示预测的3d边界框与真实的3d边界框之间的重叠比例超过某个阈值(如0.5)的帧数占总帧数的比例。
精确率(precision rate, pr):表示预测的3d边界框与真实的3d边界框之间的中心点距离小于某个阈值(如1米)的帧数占总帧数的比例。
mot的常用评价指标有:
多目标跟踪精度(multiple object tracking accuracy, mota):综合考虑了漏检率、误检率和id切换率对跟踪精度的影响。
多目标跟踪精确度(multiple object tracking precision, motp):表示预测的3d边界框与真实的3d边界框之间的重叠比例或中心点距离的平均值。
跟踪长度(track length, tl):表示每个目标被成功跟踪的帧数。
跟踪片段(track fragment, tf):表示每个目标被中断跟踪的次数。
id切换率(id switch rate, isr):表示每个目标被错误地分配给另一个id或从另一个id切换过来的次数。
评价指标详细代码:
首先,我们需要导入一些必要的库,如numpy, scipy和sklearn。然后,我们需要定义一些辅助函数,如计算两个3d边界框之间的重叠比例(iou),计算两个3d点之间的欧氏距离,以及使用匈牙利算法进行数据关联。
import numpy as npfrom scipy.spatial.transform import rotation as rfrom scipy.optimize import linear_sum_assignmentfrom sklearn.metrics import pairwise_distances# 计算两个3d边界框之间的重叠比例(iou)def iou_3d(box1, box2): # box1和box2都是7维向量,表示(x, y, z, w, l, h, yaw) # 其中(x, y, z)是中心点坐标,(w, l, h)是宽度、长度和高度,yaw是偏航角 # 返回两个边界框之间的iou值,范围在[0, 1] # 将边界框转换为8个顶点的矩阵 box1_corners = box_to_corners(box1) box2_corners = box_to_corners(box2) # 计算两个边界框在每个轴上的投影区间 box1_xmin = np.min(box1_corners[:, 0]) box1_xmax = np.max(box1_corners[:, 0]) box1_ymin = np.min(box1_corners[:, 1]) box1_ymax = np.max(box1_corners[:, 1]) box1_zmin = np.min(box1_corners[:, 2]) box1_zmax = np.max(box1_corners[:, 2]) box2_xmin = np.min(box2_corners[:, 0]) box2_xmax = np.max(box2_corners[:, 0]) box2_ymin = np.min(box2_corners[:, 1]) box2_ymax = np.max(box2_corners[:, 1]) box2_zmin = np.min(box2_corners[:, 2]) box2_zmax = np.max(box2_corners[:, 2]) # 计算两个边界框在每个轴上的交集区间 inter_xmin = max(box1_xmin, box2_xmin) inter_xmax = min(box1_xmax, box2_xmax) inter_ymin = max(box1_ymin, box2_ymin) inter_ymax = min(box1_ymax, box2_ymax) inter_zmin = max(box1_zmin, box2_zmin) inter_zmax = min(box1_zmax, box2_zmax) # 如果没有交集,返回0 if inter_xmax < inter_xmin or inter_ymax < inter_ymin or inter_zmax = iou_threshold) / pred_boxes.shape[0] return sr# 计算精确率(pr)def precision_rate(pred_boxes, gt_boxes, dist_threshold=1.0): # pred_boxes是一个p x 7的矩阵,表示p个预测的3d边界框 # gt_boxes是一个g x 7的矩阵,表示g个真实的3d边界框 # dist_threshold是一个浮点数,表示中心点距离的阈值,默认为1.0 # 返回精确率(pr)值 # 如果没有预测或真实边界框,返回0 if pred_boxes.shape[0] == 0 or gt_boxes.shape[0] == 0: return 0.0 # 提取预测和真实边界框的中心点坐标 pred_centers = pred_boxes[:, :3] gt_centers = gt_boxes[:, :3] # 计算预测和真实边界框之间的中心点距离矩阵,大小为p x g dist_matrix = pairwise_distances(pred_centers, gt_centers) # 使用匈牙利算法进行数据关联,得到匹配结果 matches = data_association(dist_matrix) # 计算并返回精确率(pr)值 pr = np.sum(dist_matrix[matches != -1] <= dist_threshold) / pred_boxes.shape[0] return pr# 计算多目标跟踪精度(mota)def multiple_object_tracking_accuracy(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表,长度为t,表示t个时间步的预测的3d边界框 # gt_boxes是一个列表,长度为t,表示t个时间步的真实的3d边界框 # iou_threshold是一个浮点数,表示重叠比例的阈值,默认为0.5 # 返回多目标跟踪精度(mota)值 # 如果没有预测或真实边界框,返回0 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return 0.0 # 初始化漏检数、误检数、id切换数和总真实数为0 miss_count = 0 false_count = 0 switch_count = 0 total_count = 0 # 初始化上一时间步的匹配结果为空字典 prev_matches = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 计算当前时间步的真实边界框的数量,并累加到总真实数中 total_count += gt_box.shape[0] # 如果当前时间步没有预测或真实边界框,跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵,大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联,得到匹配结果 matches = data_association(-iou_matrix) # 初始化当前时间步的匹配结果为空字典 curr_matches = {} # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框,或者重叠比例低于阈值,累加误检数,并跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: false_count += 1 continue # 获取匹配的真实边界框的索引 j = matches[i] # 如果上一时间步有匹配的真实边界框,并且id不同,累加id切换数 if j in prev_matches and prev_matches[j] != i: switch_count += 1 # 将当前的匹配结果保存到字典中 curr_matches[j] = i # 遍历每个真实边界框 for j in range(gt_box.shape[0]): # 如果没有匹配的预测边界框,累加漏检数 if j not in curr_matches: miss_count += 1 # 更新上一时间步的匹配结果为当前的匹配结果 prev_matches = curr_matches # 计算并返回多目标跟踪精度(mota)值 mota = 1 - (miss_count + false_count + switch_count) / total_count return mota# 计算多目标跟踪精确度(motp)def multiple_object_tracking_precision(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表,长度为t,表示t个时间步的预测的3d边界框 # gt_boxes是一个列表,长度为t,表示t个时间步的真实的3d边界框 # iou_threshold是一个浮点数,表示重叠比例的阈值,默认为0.5 # 返回多目标跟踪精确度(motp)值 # 如果没有预测或真实边界框,返回0 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return 0.0 # 初始化总匹配数和总重叠率为0 match_count = 0 sum_iou = 0.0 # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框,跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵,大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联,得到匹配结果 matches = data_association(-iou_matrix) # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框,或者重叠比例低于阈值,跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 累加匹配数和重叠率 match_count += 1 sum_iou += iou_matrix[i][j] # 计算并返回多目标跟踪精确度(motp)值 motp = sum_iou / match_count return motp# 计算跟踪长度(tl)def track_length(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表,长度为t,表示t个时间步的预测的3d边界框 # gt_boxes是一个列表,长度为t,表示t个时间步的真实的3d边界框 # iou_threshold是一个浮点数,表示重叠比例的阈值,默认为0.5 # 返回一个字典,键为真实目标的id,值为对应的跟踪长度 # 如果没有预测或真实边界框,返回空字典 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return {} # 初始化跟踪长度字典为空字典 tl_dict = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框,跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵,大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联,得到匹配结果 matches = data_association(-iou_matrix) # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框,或者重叠比例低于阈值,跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 如果真实目标的id已经在跟踪长度字典中,累加1 if j in tl_dict: tl_dict[j] += 1 # 否则,初始化为1 else: tl_dict[j] = 1 # 返回跟踪长度字典 return tl_dict# 计算跟踪片段(tf)def track_fragment(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表,长度为t,表示t个时间步的预测的3d边界框 # gt_boxes是一个列表,长度为t,表示t个时间步的真实的3d边界框 # iou_threshold是一个浮点数,表示重叠比例的阈值,默认为0.5 # 返回一个字典,键为真实目标的id,值为对应的跟踪片段数 # 如果没有预测或真实边界框,返回空字典 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return {} # 初始化跟踪片段字典为空字典 tf_dict = {} # 初始化上一时间步的匹配结果为空字典 prev_matches = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框,跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵,大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联,得到匹配结果 matches = data_association(-iou_matrix) # 初始化当前时间步的匹配结果为空字典 curr_matches = {} # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框,或者重叠比例低于阈值,跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 将当前的匹配结果保存到字典中 curr_matches[j] = i # 如果真实目标的id已经在跟踪片段字典中,且上一时间步没有匹配该目标,累加1 if j in tf_dict and j not in prev_matches: tf_dict[j] += 1 # 否则,初始化为1 elif j not in tf_dict: tf_dict[j] = 1 # 更新上一时间步的匹配结果为当前的匹配结果 prev_matches = curr_matches # 返回跟踪片段字典 return tf_dict# 计算id切换率(isr)def id_switch_rate(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表,长度为t,表示t个时间步的预测的3d边界框 # gt_boxes是一个列表,长度为t,表示t个时间步的真实的3d边界框 # iou_threshold是一个浮点数,表示重叠比例的阈值,默认为0.5 # 返回一个字典,键为真实目标的id,值为对应的id切换次数 # 如果没有预测或真实边界框,返回空字典 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return {} # 初始化id切换率字典为空字典 isr_dict = {} # 初始化上一时间步的匹配结果为空字典 prev_matches = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框,跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵,大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联,得到匹配结果 matches = data_association(-iou_matrix) # 初始化当前时间步的匹配结果为空字典 curr_matches = {} # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框,或者重叠比例低于阈值,跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 将当前的匹配结果保存到字典中 curr_matches[j] = i # 如果上一时间步有匹配的真实边界框,并且id不同,累加1 if j in prev_matches and prev_matches[j] != i: # 如果真实目标的id已经在id切换率字典中,累加1 if j in isr_dict: isr_dict[j] += 1 # 否则,初始化为1 else: isr_dict[j] = 1 # 更新上一时间步的匹配结果为当前的匹配结果 prev_matches = curr_matches # 返回id切换率字典 return isr_dict 以上就是我帮大家总结的3d点云目标跟踪中常见的评价指标和代码详解,希望可以帮助到大家。
本生燃烧器的位置和火焰高度的介绍
COB微间距显示屏的发展趋势,它的优势是什么
采用前胆后石和集成电路BTL功率放大器完成音箱的设计
新疆地区采用安全用电管理平台能带来什么
cbb电容容易击穿吗?CBB电容被击穿的常见原因
3D点云目标跟踪中常见的评价指标和代码详解
使用Omniverse Replicator SDK构建自定义、物理级精确的合成数据生成管线
昇腾助力AI大赛,推动人工智能产业发展
永信至诚位居安全企业级培训服务市场第一名
菜鸟宣布全面启动物流物联网战略,发布全球首个“未来园区”
采用L293D的双向电机控制器电路
科思创开设首条专用于聚碳酸酯回收再生材料共混生产的物理回收生产线
运动蓝牙耳机选择指南,音质好、防水好的运动耳机推荐
LED照明企业扎堆智慧灯杆业务,分食新基建“蛋糕”
等离子焊接和氩弧焊接的区别
交流异步电动机的结构与特点
瑞萨电子推出两款具有低静态电流双路输出同步控制器 适用于车载常开系统
电位器两端串联.二极管的电路
基于单片机的温湿度实时监控的程序设计
4G时代 如何应对测试挑战