本發(fā)明涉及紋理分割領(lǐng)域，尤其是涉及了于一種基于全卷積網(wǎng)絡(luò)的紋理分割方法。

背景技術(shù)：

對于計算機視覺領(lǐng)域來講，紋理分割與分析任務(wù)非常重要，是眾多圖像分析和機器視覺應(yīng)用的基礎(chǔ)。然而，由于自然紋理類型龐雜、形態(tài)各異且結(jié)構(gòu)繁復(fù)，同時也因為對人類視覺系統(tǒng)感知紋理的機理認識不足，紋理圖像分割一直是圖像處理領(lǐng)域的一大難題。紋理區(qū)域一般被認為是像素密度的統(tǒng)計性空域分布，并且能夠被描述評級為好、中、粗糙等。紋理是圖像分割的一條重要線索，能夠清晰地獲得圖像的紋理分割，極大地幫助了解多場景下的不同應(yīng)用，例如海洋島嶼測繪、森林火災(zāi)防御、紅外遙感圖像識別等實用領(lǐng)域。

深度學習是近年來非常熱門的研究方法，此前在其他應(yīng)用例如文本識別、語音識別等問題上取得突破性的成功，此次引入深度學習，一方面驗證對抗已有的圖像分割算法，另一方面要從傳統(tǒng)卷積網(wǎng)絡(luò)入手改進，發(fā)展延伸出全卷積網(wǎng)絡(luò)，并且充分利用局部信息利用輸出改善了區(qū)域分割方法。

本發(fā)明提出了一種基于紋理區(qū)域識別的新框架。使用卷積網(wǎng)絡(luò)和池化函數(shù)對輸入圖像進行處理，得到多個階段的特征圖并對特征圖進行反卷積處理，得到上采樣填充的特征圖，再對此最后階段的特征圖進行分割函數(shù)處理，得到概率最高的類別作為分割結(jié)果。本發(fā)明可以有效分割紋理區(qū)域，提供一個更完善的區(qū)域分割函數(shù)來完成紋理特征識別，同時提高了其精細程度。

技術(shù)實現(xiàn)要素：

針對在圖像中尋找紋理特征區(qū)別紋理區(qū)域的問題，本發(fā)明的目的在于提供一種基于全卷積網(wǎng)絡(luò)的紋理分割方法，提出了一種基于紋理區(qū)域識別的新框架。

為解決上述問題，本發(fā)明提供一種基于視頻數(shù)據(jù)的人體動作分析方法，其主要內(nèi)容包括：

(一)卷積和池化模塊；

(二)數(shù)據(jù)層融合模塊；

(三)反卷積模塊；

(四)分類模塊。

(五)分割區(qū)域的改善方法

其中，所述的卷積和池化模塊，對于輸入圖像，組合使用卷積和池化函數(shù)組成相應(yīng)的集合，從而得到經(jīng)過處理的特征圖，具體的，依次使用10層函數(shù)，其中第1、3、5、7、9、10層為卷積函數(shù)(共6層)，第2、4、6、8層為池化函數(shù)(共4層)，因此為了敘述方便可分別命名為conv1，conv2，……，conv6和poll1，pool2，pool3，pool4兩個模塊系統(tǒng)。

進一步地，所述的卷積和池化函數(shù)，對于在給定層位置(i,j)其數(shù)據(jù)向量為xi,j，則緊跟著下一層的對應(yīng)數(shù)據(jù)向量為：

yi,j＝fks(<xsi+δi,sj+δj>0≤δi,δj≤k)(1)

這里k指的是卷積核尺寸大小，s指的是步長或者下采樣因子，fks則是具體的函數(shù)，即可以為卷積函數(shù)或者池化函數(shù)；

其中，在卷積函數(shù)中，卷積核大小由最終分類特征圖的大小決定；池化函數(shù)中，步長默認設(shè)置為2，即相當于使用步長為2的下采樣函數(shù)。

進一步地，所述的數(shù)據(jù)層融合模塊，從輸入圖像經(jīng)過10層函數(shù)處理過后，具體地抽出第n層函數(shù)處理后的特征圖，在各自擴充到統(tǒng)一維度后進行相互疊加，具體為：輸入圖像依次經(jīng)過每層函數(shù)的運算后，依次得到每個函數(shù)使用完時得到的特征圖mi(i＝1,2,…,n)，然后使用反卷積的方法統(tǒng)一特征圖的尺寸，然后線性相加融合；特別地，抽取的特征圖為pool1，pool2，pool3和conv6，這四個特征圖的尺寸分別為原圖像尺寸的1/2，1/4，1/16和1/32。

進一步地，所述的反卷積模塊，假若通過卷積或者池化后的特征圖尺寸是原輸入圖像尺寸的1/f，并且f是整數(shù)，那么通過改變卷積核的大小，可將此特征圖通過卷積的方法上采樣填充至原輸入圖像的尺寸，由此可實現(xiàn)網(wǎng)絡(luò)的端對端調(diào)整。

進一步地，所述的上采樣填充，對pool2，pool3和conv6三個特征圖mi經(jīng)過反卷積函數(shù)處理，得到與pool1尺寸(即輸入圖像尺寸的1/2)同等大小的特征圖，然后將這三個經(jīng)過處理的特征圖與pool1四者線性疊加，得到新的特征圖m^s(此特征圖的尺寸仍為輸入圖像的1/2)；

對m^s再進行反卷積模塊的操作，使之上采樣填充至與輸入圖像尺寸相等的特征圖m^f，m^f即為用待分類的特征圖。

進一步地，所述的分類模塊，對輸入圖像做區(qū)域分割時，不同的區(qū)域由邊界隔開并用數(shù)字標簽1到x(x≥1)標示，因此待分割區(qū)域數(shù)目等于類別數(shù)目等于數(shù)字標簽數(shù)目，即x；對于具有x個標簽的特征圖m^f，使用分類函數(shù)對其進行分割。

進一步地，所述的分類函數(shù)，使用softmax函數(shù)對特征圖m^f對不同類別的大小概率進行估計：

其中θi和x是列向量，通過此函數(shù)，可以使得p(i)的范圍在[0,1]之間，實現(xiàn)端對端調(diào)節(jié)；

最后輸出的結(jié)果是一個概率估計圖，圖中對應(yīng)像素點的某個標簽值越大，其像素為該類的結(jié)果也越大。

進一步地，所述的分割區(qū)域的改善方法，根據(jù)分類函數(shù)輸出的概率向量中有各個類別(區(qū)域)的概率值，概率值最高的標簽將代表這個像素所處在的區(qū)域，因此，利用剩余的概率信息，可以將獨立成塊的、非單個像素的區(qū)域進行迭代重新賦予標簽。

進一步地，所述的迭代重新賦予標簽，對于圖像中獨立成塊、非單個像素的區(qū)域，按照從大到小的方式賦予標簽1到x(x≥1)，即：

1)定位最大的像素塊；

2)重新賦予標簽1；

3)尋找剩余區(qū)域最大的像素塊；

4)重新賦予標簽2；

……

5)重新賦予標簽x；

其中如果有相同大小的像素塊，回到上一級并賦予標簽xi-1。

附圖說明

圖1是本發(fā)明一種基于全卷積網(wǎng)絡(luò)的紋理分割方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于全卷積網(wǎng)絡(luò)的紋理分割方法檢測結(jié)果的比較圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細說明。

圖1是本發(fā)明一種基于全卷積網(wǎng)絡(luò)的紋理分割方法的系統(tǒng)流程圖。主要包括卷積和池化模塊；數(shù)據(jù)層融合模塊；反卷積模塊；分類模塊；分割區(qū)域的改善方法。

其中，對于輸入圖像，組合使用卷積和池化函數(shù)組成相應(yīng)的集合，從而得到經(jīng)過處理的特征圖，具體的，依次使用10層函數(shù)，其中第1、3、5、7、9、10層為卷積函數(shù)(共6層)，第2、4、6、8層為池化函數(shù)(共4層)，因此為了敘述方便可分別命名為conv1，conv2，……，conv6和poll1，pool2，pool3，pool4兩個模塊系統(tǒng)。

對于在給定層位置(i,j)其數(shù)據(jù)向量為xi,j，則緊跟著下一層的對應(yīng)數(shù)據(jù)向量為：

yi,j＝fks(<xsi+δi,sj+δj>0≤δi,δj≤k)(1)

這里k指的是卷積核尺寸大小，s指的是步長或者下采樣因子，fks則是具體的函數(shù)，即可以為卷積函數(shù)或者池化函數(shù)；

其中，在卷積函數(shù)中，卷積核大小由最終分類特征圖的大小決定；池化函數(shù)中，步長默認設(shè)置為2，即相當于使用步長為2的下采樣函數(shù)。

從輸入圖像經(jīng)過10層函數(shù)處理過后，具體地抽出第n層函數(shù)處理后的特征圖，在各自擴充到統(tǒng)一維度后進行相互疊加，具體為：輸入圖像依次經(jīng)過每層函數(shù)的運算后，依次得到每個函數(shù)使用完時得到的特征圖mi(i＝1,2,…,n)，然后使用反卷積的方法統(tǒng)一特征圖的尺寸，然后線性相加融合；特別地，抽取的特征圖為pool1，pool2，pool3和conv6，這四個特征圖的尺寸分別為原圖像尺寸的1/2，1/4，1/16和1/32。

假若通過卷積或者池化后的特征圖尺寸是原輸入圖像尺寸的1/f，并且f是整數(shù)，那么通過改變卷積核的大小，可將此特征圖通過卷積的方法上采樣填充至原輸入圖像的尺寸，由此可實現(xiàn)網(wǎng)絡(luò)的端對端調(diào)整。

對pool2，pool3和conv6三個特征圖mi經(jīng)過反卷積函數(shù)處理，得到與pool1尺寸(即輸入圖像尺寸的1/2)同等大小的特征圖，然后將這三個經(jīng)過處理的特征圖與pool1四者線性疊加，得到新的特征圖m^s(此特征圖的尺寸仍為輸入圖像的1/2)；

對m^s再進行反卷積模塊的操作，使之上采樣填充至與輸入圖像尺寸相等的特征圖m^f，m^f即為用待分類的特征圖。

對輸入圖像做區(qū)域分割時，不同的區(qū)域由邊界隔開并用數(shù)字標簽1到x(x≥1)標示，因此待分割區(qū)域數(shù)目等于類別數(shù)目等于數(shù)字標簽數(shù)目，即x；對于具有x個標簽的特征圖m^f，使用分類函數(shù)對其進行分割。

使用softmax函數(shù)對特征圖m^f對不同類別的大小概率進行估計：

其中θi和x是列向量，通過此函數(shù)，可以使得p(i)的范圍在[0,1]之間，實現(xiàn)端對端調(diào)節(jié)；

最后輸出的結(jié)果是一個概率估計圖，圖中對應(yīng)像素點的某個標簽值越大，其像素為該類的結(jié)果也越大。

根據(jù)分類函數(shù)輸出的概率向量中有各個類別(區(qū)域)的概率值，概率值最高的標簽將代表這個像素所處在的區(qū)域，因此，利用剩余的概率信息，可以將獨立成塊的、非單個像素的區(qū)域進行迭代重新賦予標簽。

對于圖像中獨立成塊、非單個像素的區(qū)域，按照從大到小的方式賦予標簽1到x(x≥1)，即：

1)定位最大的像素塊；

2)重新賦予標簽1；

3)尋找剩余區(qū)域最大的像素塊；

4)重新賦予標簽2；

……

5)重新賦予標簽x；

其中如果有相同大小的像素塊，回到上一級并賦予標簽xi-1。

圖2是本發(fā)明一種基于全卷積網(wǎng)絡(luò)的紋理分割方法檢測結(jié)果的比較圖。如圖所示，從a)到g)分別為薯條、輸入圖像、實際有效分割、基于馬爾科夫隨機場的分割、基于共生特征的分割、基于con-col方法的分割、沒有改善方法的全卷積網(wǎng)絡(luò)分割、改善方法的全卷積網(wǎng)絡(luò)分割，可以看出，最后一張結(jié)果圖也就是本發(fā)明的結(jié)果圖要比其他方法得到的圖像更加真實，更加接近實際，邊界銳利，說明精細程度高。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進和變型也應(yīng)視為本發(fā)明的保護范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。