數(shù)據(jù)擴(kuò)充是一種增加數(shù)據(jù)集多樣性的技術(shù)，無需收集更多真實(shí)數(shù)據(jù)，但仍有助于提高模型精度并防止模型過擬合。

在本文中，你將學(xué)習(xí)使用Python和OpenCV為對(duì)象檢測(cè)任務(wù)實(shí)現(xiàn)最流行、最高效的數(shù)據(jù)擴(kuò)充過程。

即將引入的一組數(shù)據(jù)擴(kuò)充方法包括：

1．隨機(jī)裁剪

2．Cutout

3．顏色抖動(dòng)

4．增加噪音

5．過濾

首先，在繼續(xù)之前，讓我們導(dǎo)入幾個(gè)庫(kù)并準(zhǔn)備一些必要的子例程。

import os

import cv2

import numpy as np

import random

def file＿lines＿to＿list（path）：

   ＇＇＇
          ＃＃＃ 在TXT文件里的行轉(zhuǎn)換為列表 ＃＃＃
           path： 文件路徑
          ＇＇＇
           with open（path） as f：
           content ＝ f．readlines（）
           content ＝ ［（x．strip（））．split（） for x in content］
           return content

def get＿file＿name（path）：
          ＇＇＇
          ＃＃＃ 獲取Filepath的文件名 ＃＃＃
          path： 文件路徑
          ＇＇＇
          basename ＝ os．path．basename（path）
          onlyname ＝ os．path．splitext（basename）［0］
          return onlyname

def write＿anno＿to＿txt（boxes， filepath）：
         ＇＇＇
         ＃＃＃ 給TXT文件寫注釋 ＃＃＃
         boxes： format ［［obj x1 y1 x2 y2］，．．．］
         filepath： 文件路徑
         ＇＇＇
         txt＿file ＝ open（filepath， ＂w＂）
         for box in boxes：
              print（box［0］， int（box［1］）， int（box［2］）， int（box［3］）， int（box［4］）， file＝txt＿file）
         txt＿file．close（）

下面的圖片是在這篇文章中使用的示例圖片。

隨機(jī)裁剪隨機(jī)裁剪隨機(jī)選擇一個(gè)區(qū)域并進(jìn)行裁剪以生成新的數(shù)據(jù)樣本，裁剪后的區(qū)域應(yīng)具有與原始圖像相同的寬高比，以保持對(duì)象的形狀。

從上圖中，左側(cè)圖像表示具有邊界框（紅色）的原始圖像，通過裁剪橙色框內(nèi)的區(qū)域創(chuàng)建一個(gè)新樣本作為右側(cè)圖像。在新示例的注釋中，將刪除與左側(cè)圖像中的橙色框不重疊的所有對(duì)象，并細(xì)化位于橙色框邊界上的對(duì)象的坐標(biāo)，使其適合新圖像示例。原始圖像的隨機(jī)裁剪輸出為新裁剪圖像及其注釋。

Cutout

Terrance DeVries和Graham W．Taylor在2017年的論文中介紹了Cutout，它是一種簡(jiǎn)單的正則化技術(shù)，用于在訓(xùn)練過程中隨機(jī)屏蔽輸入的方塊區(qū)域，可用于提高卷積神經(jīng)網(wǎng)絡(luò)的魯棒性和整體性能。

這種方法不僅非常容易實(shí)現(xiàn)，而且還表明它可以與現(xiàn)有形式的數(shù)據(jù)擴(kuò)充和其他正則化工具結(jié)合使用，以進(jìn)一步提高模型性能。

如本文所述，剪切用于提高圖像識(shí)別（分類）的準(zhǔn)確性，因此，如果我們將相同的方案部署到對(duì)象檢測(cè)數(shù)據(jù)集中，可能會(huì)導(dǎo)致丟失對(duì)象的問題，尤其是小對(duì)象。

在下圖中，cutout區(qū)域（黑色區(qū)域）內(nèi)的大量小對(duì)象被移除，這不符合數(shù)據(jù)擴(kuò)充的精神。

為了使這種方式適用于對(duì)象檢測(cè)，我們可以進(jìn)行簡(jiǎn)單的修改，而不是僅使用一個(gè)蒙版并將其放置在圖像中的隨機(jī)位置。當(dāng)我們隨機(jī)選擇一半數(shù)量的對(duì)象并將剪切應(yīng)用于這些對(duì)象區(qū)域時(shí)，效果會(huì)更好。增強(qiáng)圖像如下圖中的右圖所示。

剪切輸出是新生成的圖像，我們不移除對(duì)象或更改圖像大小，則生成圖像的注釋與原始圖像相同。

def cutout（img， gt＿boxes， amount＝0．5）：
         ＇＇＇
         ＃＃＃ Cutout ＃＃＃
         img： 圖像
         gt＿boxes： format ［［obj x1 y1 x2 y2］，．．．］
         amount： 蒙版數(shù)量／對(duì)象數(shù)量
         ＇＇＇
         out ＝ img．copy（）
         ran＿select ＝ random．sample（gt＿boxes， round（amount＊len（gt＿boxes）））
         for box in ran＿select：
             x1 ＝ int（box［1］）
             y1 ＝ int（box［2］）
             x2 ＝ int（box［3］）
             y2 ＝ int（box［4］）
             mask＿w ＝ int（（x2 － x1）＊0．5）
             mask＿h(yuǎn) ＝ int（（y2 － y1）＊0．5）
             mask＿x1 ＝ random．randint（x1， x2 － mask＿w）
             mask＿y1 ＝ random．randint（y1， y2 － mask＿h(yuǎn)）
             mask＿x2 ＝ mask＿x1 ＋ mask＿w
             mask＿y2 ＝ mask＿y1 ＋ mask＿h(yuǎn)
             cv2．rectangle（out， （mask＿x1， mask＿y1）， （mask＿x2， mask＿y2）， （0， 0， 0）， thickness＝－1）
         return out

顏色抖動(dòng)

ColorJitter是另一種簡(jiǎn)單的圖像數(shù)據(jù)增強(qiáng)，我們可以隨機(jī)改變圖像的亮度、對(duì)比度和飽和度。我相信這個(gè)技術(shù)很容易被大多數(shù)讀者理解。

增加噪聲在一般意義上，噪聲被認(rèn)為是圖像中的一個(gè)意外因素，然而，幾種類型的噪聲（例如高斯噪聲、椒鹽噪聲）可用于數(shù)據(jù)增強(qiáng)，在深度學(xué)習(xí)中添加噪聲是一種非常簡(jiǎn)單和有益的數(shù)據(jù)增強(qiáng)方法。在下面的示例中，為了增強(qiáng)數(shù)據(jù)，將高斯噪聲和椒鹽噪聲添加到原始圖像中。

對(duì)于那些無法識(shí)別高斯噪聲和椒鹽噪聲之間差異的人，高斯噪聲的值范圍為0到255，具體取決于配置，因此，在RGB圖像中，高斯噪聲像素可以是任何顏色。相比之下，椒鹽噪波像素只能有兩個(gè)值0或255，分別對(duì)應(yīng)于黑色（PEPER）或白色（salt）。

濾波本文介紹的最后一個(gè)數(shù)據(jù)擴(kuò)充過程是濾波。與添加噪聲類似，濾波也簡(jiǎn)單且易于實(shí)現(xiàn)。實(shí)現(xiàn)中使用的三種類型的濾波包括模糊（平均）、高斯和中值。

總結(jié)

在這篇文章中，向大家介紹了一個(gè)關(guān)于為對(duì)象檢測(cè)任務(wù)實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)的教程。你們可以在這里找到完整實(shí)現(xiàn)。