这里粗略回顾一下,这里直接提供YOLOv5的整理的结构图吧:
Backbone:CSPDarkNet结构,主要结构思想的体现在C3模块,这里也是梯度分流的主要思想所在的地方;PAN-FPN:双流的FPN,必须香,也必须快,但是量化还是有些需要图优化才可以达到最优的性能,比如cat前后的scale优化等等,这里除了上采样、CBS卷积模块,最为主要的还有C3模块(记住这个C3模块哦);Head:Coupled Head+Anchor-base,毫无疑问,YOLOv3、YOLOv4、YOLOv5、YOLOv7都是Anchor-Base的,后面会变吗?Loss:分类用BEC Loss,回归用CIoU Loss。话不多说,直接YOLOv8吧!直接上YOLOv8的结构图吧,小伙伴们可以直接和YOLOv5进行对比,看看能找到或者猜到有什么不同的地方?
(资料图)
下面就直接揭晓答案吧,具体改进如下:
Backbone:使用的依旧是CSP的思想,不过YOLOv5中的C3模块被替换成了C2f模块,实现了进一步的轻量化,同时YOLOv8依旧使用了YOLOv5等架构中使用的SPPF模块;PAN-FPN:毫无疑问YOLOv8依旧使用了PAN的思想,不过通过对比YOLOv5与YOLOv8的结构图可以看到,YOLOv8将YOLOv5中PAN-FPN上采样阶段中的卷积结构删除了,同时也将C3模块替换为了C2f模块;Decoupled-Head:是不是嗅到了不一样的味道?是的,YOLOv8走向了Decoupled-Head;Anchor-Free:YOLOv8抛弃了以往的Anchor-Base,使用了Anchor-Free的思想;损失函数:YOLOv8使用VFL Loss作为分类损失,使用DFL Loss+CIOU Loss作为分类损失;样本匹配:YOLOv8抛弃了以往的IOU匹配或者单边比例的分配方式,而是使用了Task-Aligned Assigner匹配方式。1、C2f模块是什么?与C3有什么区别?我们不着急,先看一下C3模块的结构图,然后再对比与C2f的具体的区别。针对C3模块,其主要是借助CSPNet提取分流的思想,同时结合残差结构的思想,设计了所谓的C3 Block,这里的CSP主分支梯度模块为BottleNeck模块,也就是所谓的残差模块。同时堆叠的个数由参数n来进行控制,也就是说不同规模的模型,n的值是有变化的。
其实这里的梯度流主分支,可以是任何之前你学习过的模块,比如,美团提出的YOLOv6中就是用来重参模块RepVGGBlock来替换BottleNeck Block来作为主要的梯度流分支,而百度提出的PP-YOLOE则是使用了RepResNet-Block来替换BottleNeck Block来作为主要的梯度流分支。而YOLOv7则是使用了ELAN Block来替换BottleNeck Block来作为主要的梯度流分支。
C3模块的Pytorch的实现如下:
classC3(nn.Module):#CSPBottleneckwith3convolutionsdef__init__(self,c1,c2,n=1,shortcut=True,g=1,e=0.5):#ch_in,ch_out,number,shortcut,groups,expansionsuper().__init__()c_=int(c2*e)#hiddenchannelsself.cv1=Conv(c1,c_,1,1)self.cv2=Conv(c1,c_,1,1)self.cv3=Conv(2*c_,c2,1)#optionalact=FReLU(c2)self.m=nn.Sequential(*(Bottleneck(c_,c_,shortcut,g,e=1.0)for_inrange(n)))defforward(self,x):returnself.cv3(torch.cat((self.m(self.cv1(x)),self.cv2(x)),1))
下面就简单说一下C2f模块,通过C3模块的代码以及结构图可以看到,C3模块和名字思路一致,在模块中使用了3个卷积模块(Conv+BN+SiLU),以及n个BottleNeck。
通过C3代码可以看出,对于cv1卷积和cv2卷积的通道数是一致的,而cv3的输入通道数是前者的2倍,因为cv3的输入是由主梯度流分支(BottleNeck分支)依旧次梯度流分支(CBS,cv2分支)cat得到的,因此是2倍的通道数,而输出则是一样的。
不妨我们再看一下YOLOv7中的模块:
YOLOv7通过并行更多的梯度流分支,放ELAN模块可以获得更丰富的梯度信息,进而或者更高的精度和更合理的延迟。
C2f模块的结构图如下:
我们可以很容易的看出,C2f模块就是参考了C3模块以及ELAN的思想进行的设计,让YOLOv8可以在保证轻量化的同时获得更加丰富的梯度流信息。
C2f模块对应的Pytorch实现如下:
classC2f(nn.Module):#CSPBottleneckwith2convolutionsdef__init__(self,c1,c2,n=1,shortcut=False,g=1,e=0.5):#ch_in,ch_out,number,shortcut,groups,expansionsuper().__init__()self.c=int(c2*e)#hiddenchannelsself.cv1=Conv(c1,2*self.c,1,1)self.cv2=Conv((2+n)*self.c,c2,1)#optionalact=FReLU(c2)self.m=nn.ModuleList(Bottleneck(self.c,self.c,shortcut,g,k=((3,3),(3,3)),e=1.0)for_inrange(n))defforward(self,x):y=list(self.cv1(x).split((self.c,self.c),1))y.extend(m(y[-1])forminself.m)returnself.cv2(torch.cat(y,1))SPPF改进了什么?
这里讲解的文章就很多了,这里也就不具体描述了,直接给出对比图了
上图中,左边是SPP,右边是SPPF。
PAN-FPN改进了什么?我们先看一下YOLOv5以及YOLOv6的PAN-FPN部分的结构图:
YOLOv5的Neck部分的结构图如下:
YOLOv6的Neck部分的结构图如下:
我们再看YOLOv8的结构图:
可以看到,相对于YOLOv5或者YOLOv6,YOLOv8将C3模块以及RepBlock替换为了C2f,同时细心可以发现,相对于YOLOv5和YOLOv6,YOLOv8选择将上采样之前的1×1卷积去除了,将Backbone不同阶段输出的特征直接送入了上采样操作。
Head部分都变了什么呢?先看一下YOLOv5本身的Head(Coupled-Head):
而YOLOv8则是使用了Decoupled-Head,同时由于使用了DFL 的思想,因此回归头的通道数也变成了4*reg_max的形式:
对比一下YOLOv5与YOLOv8的YAML损失函数对于YOLOv8,其分类损失为VFL Loss,其回归损失为CIOU Loss+DFL的形式,这里Reg_max默认为16。
VFL主要改进是提出了非对称的加权操作,FL和QFL都是对称的。而非对称加权的思想来源于论文PISA,该论文指出首先正负样本有不平衡问题,即使在正样本中也存在不等权问题,因为mAP的计算是主正样本。
q是label,正样本时候q为bbox和gt的IoU,负样本时候q=0,当为正样本时候其实没有采用FL,而是普通的BCE,只不过多了一个自适应IoU加权,用于突出主样本。而为负样本时候就是标准的FL了。可以明显发现VFL比QFL更加简单,主要特点是正负样本非对称加权、突出正样本为主样本。
针对这里的DFL(Distribution Focal Loss),其主要是将框的位置建模成一个 general distribution,让网络快速的聚焦于和目标位置距离近的位置的分布。
DFL 能够让网络更快地聚焦于目标 y 附近的值,增大它们的概率;
DFL的含义是以交叉熵的形式去优化与标签y最接近的一左一右2个位置的概率,从而让网络更快的聚焦到目标位置的邻近区域的分布;也就是说学出来的分布理论上是在真实浮点坐标的附近,并且以线性插值的模式得到距离左右整数坐标的权重。
样本的匹配标签分配是目标检测非常重要的一环,在YOLOv5的早期版本中使用了MaxIOU作为标签分配方法。然而,在实践中发现直接使用边长比也可以达到一阿姨你的效果。而YOLOv8则是抛弃了Anchor-Base方法使用Anchor-Free方法,找到了一个替代边长比例的匹配方法,TaskAligned。
为与NMS搭配,训练样例的Anchor分配需要满足以下两个规则:
正常对齐的Anchor应当可以预测高分类得分,同时具有精确定位;不对齐的Anchor应当具有低分类得分,并在NMS阶段被抑制。基于上述两个目标,TaskAligned设计了一个新的Anchor alignment metric 来在Anchor level 衡量Task-Alignment的水平。并且,Alignment metric 被集成在了 sample 分配和 loss function里来动态的优化每个 Anchor 的预测。Anchor alignment metric:分类得分和 IoU表示了这两个任务的预测效果,所以,TaskAligned使用分类得分和IoU的高阶组合来衡量Task-Alignment的程度。使用下列的方式来对每个实例计算Anchor-level 的对齐程度:
s 和 u 分别为分类得分和 IoU 值,α 和 β 为权重超参。从上边的公式可以看出来,t 可以同时控制分类得分和IoU 的优化来实现 Task-Alignment,可以引导网络动态的关注于高质量的Anchor。
Training sample Assignment:为提升两个任务的对齐性,TOOD聚焦于Task-Alignment Anchor,采用一种简单的分配规则选择训练样本:对每个实例,选择m个具有最大t值的Anchor作为正样本,选择其余的Anchor作为负样本。然后,通过损失函数(针对分类与定位的对齐而设计的损失函数)进行训练。
参考[1].https://github.com/uyolo1314/ultralytics.[2].https://github.com/meituan/YOLOv6.[3].https://arxiv.org/abs/2209.02976.[4].https://github.com/PaddlePaddle/PaddleDetection.[5].https://github.com/PaddlePaddle/PaddleYOLO.[6].https://github.com/open-mmlab/mmyolo.
推荐阅读书童改进 | YOLOv5之架构改进、样本匹配升级、量化部署、剪枝、自蒸馏以及异构蒸馏
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头
目标检测Trick | SEA方法轻松抹平One-Stage与Two-Stage目标检测之间的差距
扫描上方二维码可联系小书童加入交流群~
想要了解更多前沿AI视觉感知全栈知识【分类、检测、分割、关键点、车道线检测、3D视觉(分割、检测)、多模态、目标跟踪、NerF】、行业技术方案【AI安防、AI医疗、AI自动驾驶】、AI模型部署落地实战【CUDA、TensorRT、NCNN、OpenVINO、MNN、ONNXRuntime以及地平线框架等】,欢迎扫描下方二维码,加入集智书童知识星球,日常分享论文、学习笔记、问题解决方案、部署方案以及全栈式答疑,期待交流!
推荐内容
- 全球热头条丨YOLOv8来啦 | 详细解读YOL
- 焦点信息:步步高股票临停,或将迎来国资
- 当前视点!南昌董家窑街道社区卫生服务中
- 寻衅滋事轻伤二级怎样量刑|环球即时
- 远大智能董秘回复:公司没有参与比亚迪汽
- 历史性突破!百亿级晶硅项目落户宜宾珙县
- 涨停雷达:ST板块异动 ST中基触及涨停-
- 松原对国家工作人员行贿罪该怎么办
- 消息!深港城市\建筑双城双年展首设坪山
- 修文发放“防疫健康包”
- 5个案例:难以描述的需求,PRD越抹越黑?
- 大家保险荣获“2022金柿奖·年度值得信任
- 猪肉能生吃吗 猪肉是否可以生吃
- 采年货品年味,江城这里氛围浓
- 板块异动 | 央视网评论指出烟花一禁了
- 瓜子一般可以放多久
- 合生创展集团2022年总合约销售金额325.79
- CFA有什么补考注意事项?成绩查询方式有
- 上市险企“开门红”主打“长期锁息”产品
- 歌尔股份今日涨停 一机构净买入2.92亿元
- 北约对乌发出警告:俄30万大军整装待发,背
- 知乎往返于洞穴 当前快看
- 涨停雷达:PET铜箔个股异动 沃格光电触
- 从上海裸辞将农村老瓦房改造成大别墅,95
- 孩子兔年本命年都买什么 孩子兔年本命年
- 外媒:RCEP令东盟国家受益良多
- 国新能源:目前公司在太原附近没有LNG加
- 世界微资讯!首台全国产化“争气机”并网
- 天天速递!广深港高铁今起试运行 车票或
- 电子城: 电子城 第十二届董事会第九次
- 护士连值9小时夜班晕倒 多名病友争当志
- 世界讯息:开封考区2022年下半年教资面试
- 全球快看点丨*ST吉艾1月3日开盘跌幅达5%
- 我国荒漠化和沙化土地面积持续减少
- 即时焦点:快讯:恒大集团2022年累计交楼
- 罪魁祸首 热讯
- 电缆盗窃的量刑标准是怎么规定的 每日头条
- 北京新发地加大供应 24小时运转满足市场
- 环球热头条丨观众讨厌,他们却戏约不断,
- 单月最大涨幅超200%,中资地产美元债触底
- 东风日产全面开启电驱化战略转型 环球快
- 本周盘点(12.26-12.30):辽宁能源周涨0
- 隐形键盘打出莎士比亚的诗?喷涂智能皮肤
- Mysteel解读:棉价稳中偏强,仓单数量骤
- 【环球速看料】武汉地铁16号线最新站点运
- 今世缘发起成立“中国白酒绿色生态智能酿
- 开火100多次却没打下1架朝鲜无人机 韩总
- 无视美股大盘暴跌 多只低价生科股实现三
- 涪陵榨菜:12月28日融券卖出金额153.11万
- 青春不过几场世界杯|环球最新
- 2023年1月8日起国际道路客运将逐步有序恢复
- 中小银行改革化险蹄疾步稳_世界速讯
- 环球今热点:港股异动 | 电力股普涨
- 八宝稀饭豆子不易烂,如何做?|全球新消息
- 世界热点评!创意信息: 关于使用暂时闲
- 2022年终策划:跨越|每日关注
- 永鼎股份:控股股东拟减持,今年已有多位
- 网贷逾期三天如果按时还款会不会上征信
- 环球新动态:苏泊尔(002032.SZ)获得政府
- 一把子期待!沈腾马丽2023央视春晚首次联
- 北约对乌发出警告:俄30万大军整装待发,背
- 知乎往返于洞穴 当前快看
- 涨停雷达:PET铜箔个股异动 沃格光电触
- 从上海裸辞将农村老瓦房改造成大别墅,95
- 孩子兔年本命年都买什么 孩子兔年本命年
- 外媒:RCEP令东盟国家受益良多
- 国新能源:目前公司在太原附近没有LNG加
- 世界微资讯!首台全国产化“争气机”并网
- 天天速递!广深港高铁今起试运行 车票或
- 电子城: 电子城 第十二届董事会第九次
- 护士连值9小时夜班晕倒 多名病友争当志
- 世界讯息:开封考区2022年下半年教资面试
- 全球快看点丨*ST吉艾1月3日开盘跌幅达5%
- 我国荒漠化和沙化土地面积持续减少
- 即时焦点:快讯:恒大集团2022年累计交楼
- 罪魁祸首 热讯
- 电缆盗窃的量刑标准是怎么规定的 每日头条
- 北京新发地加大供应 24小时运转满足市场
- 环球热头条丨观众讨厌,他们却戏约不断,
- 单月最大涨幅超200%,中资地产美元债触底
- 东风日产全面开启电驱化战略转型 环球快
- 本周盘点(12.26-12.30):辽宁能源周涨0
- 隐形键盘打出莎士比亚的诗?喷涂智能皮肤
- Mysteel解读:棉价稳中偏强,仓单数量骤
- 【环球速看料】武汉地铁16号线最新站点运
- 今世缘发起成立“中国白酒绿色生态智能酿
- 开火100多次却没打下1架朝鲜无人机 韩总
- 无视美股大盘暴跌 多只低价生科股实现三
- 涪陵榨菜:12月28日融券卖出金额153.11万
- 青春不过几场世界杯|环球最新
- 2023年1月8日起国际道路客运将逐步有序恢复
- 中小银行改革化险蹄疾步稳_世界速讯
- 环球今热点:港股异动 | 电力股普涨
- 八宝稀饭豆子不易烂,如何做?|全球新消息
- 世界热点评!创意信息: 关于使用暂时闲
- 2022年终策划:跨越|每日关注
- 永鼎股份:控股股东拟减持,今年已有多位
- 网贷逾期三天如果按时还款会不会上征信
- 环球新动态:苏泊尔(002032.SZ)获得政府
- 一把子期待!沈腾马丽2023央视春晚首次联
- 毕得医药:12月23日获融资买入65.01万元
- 新鲜嫩胡豆怎么做最好吃 新鲜嫩胡豆的做
- 【天天聚看点】现在离婚孩子多少岁可以归
- 环球今日报丨私处鱼腥味的原因 女性私处
- 世界信息:商务部:1-11月全国实际使用外
- 牛肉电压力锅要炖多久能烂熟 关于牛肉电
- 【世界报资讯】e点贷网贷逾期3个月延迟还
- 合同变更内容有哪些
- 工商银行:特定养老储蓄产品销量已突破50
- 今日热门!首届珠海法院跨境司法理论与实
- 环球微动态丨ST花王(603007)12月21日主
- 今头条!14个行业获融资净买入 银行行业
- 全球视讯!经济复苏按下快进键,来自平安
- 小米贷款借款逾期32年征信会怎么样
- 安徽富乐德科技发展股份有限公司 首次公
- 【世界速看料】中国医药:截止11月底 辉
- 复必泰二价疫苗在香港已累计接种超10万剂
- 世界快消息!本周还需关注三件大事
- 浙海德曼:目前在手订单中新能源汽车方面
- 天天热点!PIC32MM系列和Curiosity生态系统