圖像的超分辨率重建技術(shù)指的是將給定的低分辨率圖像通過(guò)特定的算法恢復(fù)成相應(yīng)的高分辨率圖像。隨著人工智能的不斷發(fā)展，超分辨率重建技術(shù)在視頻圖像壓縮傳輸、醫(yī)學(xué)成像、遙感成像、視頻感知與監(jiān)控等領(lǐng)域得到了廣泛的應(yīng)用與研究。

       本文簡(jiǎn)要介紹了圖像超分辨率技術(shù)的研究背景與意義，同時(shí)概述了其基本原理及評(píng)估指標(biāo)，然后著重介紹了基于深度學(xué)習(xí)的超分辨率重建技術(shù)的處理流程及幾種具有代表性的超分辨率深度學(xué)習(xí)模型。

　　超分辨率重建技術(shù)的研究背景與意義

　　圖像分辨率是一組用于評(píng)估圖像中蘊(yùn)含細(xì)節(jié)信息豐富程度的性能參數(shù)，包括時(shí)間分辨率、空間分辨率及色階分辨率等，體現(xiàn)了成像系統(tǒng)實(shí)際所能反映物體細(xì)節(jié)信息的能力。相較于低分辨率圖像，高分辨率圖像通常包含更大的像素密度、更豐富的紋理細(xì)節(jié)及更高的可信賴度。

     但在實(shí)際上中，受采集設(shè)備與環(huán)境、網(wǎng)絡(luò)傳輸介質(zhì)與帶寬、圖像退化模型本身等諸多因素的約束，我們通常并不能直接得到具有邊緣銳化、無(wú)成塊模糊的理想高分辨率圖像。提升圖像分辨率的最直接的做法是對(duì)采集系統(tǒng)中的光學(xué)硬件進(jìn)行改進(jìn)，但這種做法受限于制造工藝難以大幅改進(jìn)、制造成本十分高昂等約束。

      由此，從軟件和算法的角度著手，實(shí)現(xiàn)圖像超分辨率重建的技術(shù)成為了圖像處理和計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域的熱點(diǎn)研究課題。

      1955年，Toraldo di Francia在光學(xué)成像領(lǐng)域首次明確定義了超分辨率這一概念，主要是指利用光學(xué)相關(guān)的知識(shí)，恢復(fù)出衍射極限以外的數(shù)據(jù)信息的過(guò)程。

     1964年左右，Harris和Goodman則首次提出了圖像超分辨率這一概念，主要是指利用外推頻譜的方法合成出細(xì)節(jié)信息更豐富的單幀圖像的過(guò)程。

     1984 年，在前人的基礎(chǔ)上，Tsai和 Huang 等首次提出使用多幀低分辨率圖像重建出高分辨率圖像的方法后, 超分辨率重建技術(shù)開(kāi)始受到了學(xué)術(shù)界和工業(yè)界廣泛的關(guān)注和研究。具體來(lái)說(shuō)，圖像超分辨率重建技術(shù)指的是利用數(shù)字圖像處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域的相關(guān)知識(shí)，借由特定的算法和處理流程，從給定的低分辨率圖像中復(fù)原出高分辨率圖像的過(guò)程。其旨在克服或補(bǔ)償由于圖像采集系統(tǒng)或采集環(huán)境本身的限制，導(dǎo)致的成像圖像模糊、質(zhì)量低下、感興趣區(qū)域不顯著等問(wèn)題。

　　圖像超分辨率重建技術(shù)在多個(gè)領(lǐng)域都有著廣泛的應(yīng)用范圍和研究意義，主要包括：  

(1) 圖像壓縮領(lǐng)域

　　在視頻會(huì)議等實(shí)時(shí)性要求較高的場(chǎng)合，可以在傳輸前預(yù)先對(duì)圖片進(jìn)行壓縮，等待傳輸完畢，再由接收端解碼后通過(guò)超分辨率重建技術(shù)復(fù)原出原始圖像序列，極大減少存儲(chǔ)所需的空間及傳輸所需的帶寬。

(2) 醫(yī)學(xué)成像領(lǐng)域

　　對(duì)醫(yī)學(xué)圖像進(jìn)行超分辨率重建，可以在不增加高分辨率成像技術(shù)成本的基礎(chǔ)上，降低對(duì)成像環(huán)境的要求，通過(guò)復(fù)原出的清晰醫(yī)學(xué)影像，實(shí)現(xiàn)對(duì)病變細(xì)胞的精準(zhǔn)探測(cè)，有助于醫(yī)生對(duì)患者病情做出更好的診斷。

(3) 遙感成像領(lǐng)域

　　高分辨率遙感衛(wèi)星的研制具有耗時(shí)長(zhǎng)、價(jià)格高、流程復(fù)雜等特點(diǎn)，由此研究者將圖像超分辨率重建技術(shù)引入了該領(lǐng)域，試圖解決高分辨率的遙感成像難以獲取這一挑戰(zhàn)，使得能夠在不改變探測(cè)系統(tǒng)本身的前提下提高觀測(cè)圖像的分辨率。

(4) 公共安防領(lǐng)域

　　公共場(chǎng)合的監(jiān)控設(shè)備采集到的視頻往往受到天氣、距離等因素的影響，存在圖像模糊、分辨率低等問(wèn)題。通過(guò)對(duì)采集到的視頻進(jìn)行超分辨率重建，可以為辦案人員恢復(fù)出車牌號(hào)碼、清晰人臉等重要信息，為案件偵破提供必要線索。

(5) 視頻感知領(lǐng)域

　　通過(guò)圖像超分辨率重建技術(shù)，可以起到增強(qiáng)視頻畫質(zhì)、改善視頻的質(zhì)量，提升用戶的視覺(jué)體驗(yàn)的作用。2 圖像超分辨率重建技術(shù)概述

　　2.1 降質(zhì)退化模型

　　低分辨率圖像在成像的過(guò)程中受到很多退化因素的影響，運(yùn)動(dòng)變換、成像模糊和降采樣是其中最主要的三個(gè)因素。如圖1所示，整個(gè)過(guò)程可以通過(guò)使圖示的線性變換模型來(lái)表征。

　　上述退化模型可以由以下線性變換表示;

　　式中，L表示觀測(cè)圖像，H表示輸入的高分辨率圖像，F(xiàn)表示運(yùn)動(dòng)變換矩陣，通常由運(yùn)動(dòng)、平移等因素造成，B表示模糊作用矩陣，通常由環(huán)境或成像系統(tǒng)本身引起，D表示降采樣矩陣，通常由成像系統(tǒng)的分辨率決定，N表示加性噪聲，通常來(lái)自于成像環(huán)境或成像過(guò)程。圖像降質(zhì)退化模型描述了自然界中的高分辨率圖像轉(zhuǎn)換成人眼觀測(cè)到的低分辨率圖像的整個(gè)過(guò)程，即高分辨率圖像成像逆過(guò)程，為圖像超分辨率技術(shù)提供了堅(jiān)實(shí)的理論基礎(chǔ)。

       2.2 重建圖像的評(píng)估

　　為了衡量重建算法優(yōu)劣，需要引入一種評(píng)估指標(biāo)來(lái)對(duì)重建后的圖像進(jìn)行評(píng)估。重建圖像的評(píng)價(jià)方式一般分為兩大類，一是主觀評(píng)價(jià)，二是客觀評(píng)價(jià)。主觀評(píng)價(jià)以人為評(píng)價(jià)主體，對(duì)重建后圖像的視覺(jué)效果做出主觀和定性的評(píng)估。為保證圖像的主觀評(píng)價(jià)具有一定的統(tǒng)計(jì)意義，此種評(píng)估方法需要選擇足夠多的評(píng)價(jià)主體，并保證評(píng)價(jià)主體中未受訓(xùn)練的普通人和受過(guò)訓(xùn)練的專業(yè)人員數(shù)量大致均衡。

       客觀評(píng)價(jià)中，峰值信噪比(Peak signal-to-noise ratio ，PSNR)和結(jié)構(gòu)相似性(Structural Similarity， SSIM)是最常用的兩種圖像質(zhì)量評(píng)估指標(biāo)。其中PSRN通過(guò)比較兩幅圖像對(duì)應(yīng)像素點(diǎn)的灰度值差異來(lái)評(píng)估圖像的好壞，SSIM則從亮度、對(duì)比度和結(jié)構(gòu)這三個(gè)方面來(lái)評(píng)估兩幅圖像的相似性。具體計(jì)算公式如下：

　　2.3 圖像分辨率重建技術(shù)分類

　　根據(jù)分類準(zhǔn)則的不同，可以將圖像超分辨率重建技術(shù)劃分為不同的類別。從輸入的低分辨率圖像數(shù)量角度來(lái)看，可以分為單幀圖像的超分辨率重建和多幀圖像(視頻)的超分辨率重建;從變換空間角度來(lái)看，可以分為頻域超分辨率重建、時(shí)域超分辨率重建、色階超分辨率重建等;從重建算法角度來(lái)看，可以分為基于插值的重建、基于重構(gòu)的重建和基于學(xué)習(xí)的超分辨率重建。本節(jié)主要從算法內(nèi)容出發(fā)，介紹幾類常見(jiàn)的超分辨率重建技術(shù)。

       (1) 基于插值的超分辨率重建

　　基于插值的方法將每一張圖像都看做是圖像平面上的一個(gè)點(diǎn)，那么對(duì)超分辨率圖像的估計(jì)可以看做是利用已知的像素信息為平面上未知的像素信息進(jìn)行擬合的過(guò)程，這通常由一個(gè)預(yù)定義的變換函數(shù)或者插值核來(lái)完成?；诓逯档姆椒ㄓ?jì)算簡(jiǎn)單、易于理解，但是也存在著一些明顯的缺陷。

　　首先，它假設(shè)像素灰度值的變化是一個(gè)連續(xù)的、平滑的過(guò)程，但實(shí)際上這種假設(shè)并不完全成立。其次，在重建過(guò)程中，僅根據(jù)一個(gè)事先定義的轉(zhuǎn)換函數(shù)來(lái)計(jì)算超分辨率圖像，不考慮圖像的降質(zhì)退化模型，往往會(huì)導(dǎo)致復(fù)原出的圖像出現(xiàn)模糊、鋸齒等現(xiàn)象。常見(jiàn)的基于插值的方法包括最近鄰插值法、雙線性插值法和雙立方插值法等。(2) 基于重構(gòu)的超分辨率重建

　　基于重構(gòu)的方法則是從圖像的降質(zhì)退化模型出發(fā)，假定高分辨率圖像是經(jīng)過(guò)了適當(dāng)?shù)倪\(yùn)動(dòng)變換、模糊及噪聲才得到低分辨率圖像。這種方法通過(guò)提取低分辨率圖像中的關(guān)鍵信息，并結(jié)合對(duì)未知的超分辨率圖像的先驗(yàn)知識(shí)來(lái)約束超分辨率圖像的生成。常見(jiàn)的基于重構(gòu)的方法包括迭代反投影法、凸集投影法和最大后驗(yàn)概率法等。(3) 基于學(xué)習(xí)的超分辨率重建

　　基于學(xué)習(xí)的方法則是利用大量的訓(xùn)練數(shù)據(jù)，從中學(xué)習(xí)低分辨率圖像和高分辨率圖像之間某種對(duì)應(yīng)關(guān)系，然后根據(jù)學(xué)習(xí)到的映射關(guān)系來(lái)預(yù)測(cè)低分辨率圖像所對(duì)應(yīng)的高分辨率圖像，從而實(shí)現(xiàn)圖像的超分辨率重建過(guò)程。常見(jiàn)的基于學(xué)習(xí)的方法包括流形學(xué)習(xí)、稀疏編碼和深度學(xué)習(xí)方法。3 基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)

　　機(jī)器學(xué)習(xí)是人工智能的一個(gè)重要分支，而深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)中最主要的一個(gè)算法，其旨在通過(guò)多層非線性變換，提取數(shù)據(jù)的高層抽象特征，學(xué)習(xí)數(shù)據(jù)潛在的分布規(guī)律，從而獲取對(duì)新數(shù)據(jù)做出合理的判斷或者預(yù)測(cè)的能力。隨著人工智能和計(jì)算機(jī)硬件的不斷發(fā)展，Hinton等人在2006年提出了深度學(xué)習(xí)這一概念，其旨在利用多層非線性變換提取數(shù)據(jù)的高層抽象特征。憑借著強(qiáng)大的擬合能力，深度學(xué)習(xí)開(kāi)始在各個(gè)領(lǐng)域嶄露頭角，特別是在圖像與視覺(jué)領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)大放異，這也使得越來(lái)越多的研究者開(kāi)始嘗試將深度學(xué)習(xí)引入到超分辨率重建領(lǐng)域。2014年，Dong等人首次將深度學(xué)習(xí)應(yīng)用到圖像超分辨率重建領(lǐng)域，他們使用一個(gè)三層的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低分辨率圖像與高分辨率圖像之間映射關(guān)系，自此，在超分辨率重建率領(lǐng)域掀起了深度學(xué)習(xí)的浪潮。

　　基于深度學(xué)習(xí)的圖像超分辨率技術(shù)的重建流程主要包括以下幾個(gè)步驟：

       (1) 特征提取：首先對(duì)輸入的低分辨率圖像進(jìn)行去噪、上采樣等預(yù)處理，然后將處理后的圖像送入神經(jīng)網(wǎng)絡(luò)，擬合圖像中的非線性特征，提取代表圖像細(xì)節(jié)的高頻信息;

　　(2) 設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及損失函數(shù)：組合卷積神經(jīng)網(wǎng)絡(luò)及多個(gè)殘差塊，搭建網(wǎng)絡(luò)模型，并根據(jù)先驗(yàn)知識(shí)設(shè)計(jì)損失函數(shù);

　　(3) 訓(xùn)練模型：確定優(yōu)化器及學(xué)習(xí)參數(shù)，使用反向傳播算法更新網(wǎng)絡(luò)參數(shù)，通過(guò)最小化損失函數(shù)提升模型的學(xué)習(xí)能力;’

　　(4) 驗(yàn)證模型：根據(jù)訓(xùn)練后的模型在驗(yàn)證集上的表現(xiàn)，對(duì)現(xiàn)有網(wǎng)絡(luò)模型做出評(píng)估，并據(jù)此對(duì)模型做出相應(yīng)的調(diào)整。以下是幾種常見(jiàn)的基于深度學(xué)習(xí)的超分辨率重建技術(shù)及其對(duì)比。

　　(1) SRCNN

　　SRCNN(Super-Resolution Convolutional Neural Network)是首次在超分辨率重建領(lǐng)域應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。對(duì)于輸入的一張低分辨率圖像，SRCNN首先使用雙立方插值將其放大至目標(biāo)尺寸，然后利用一個(gè)三層的卷積神經(jīng)網(wǎng)絡(luò)去擬合低分辨率圖像與高分辨率圖像之間的非線性映射，最后將網(wǎng)絡(luò)輸出的結(jié)果作為重建后的高分辨率圖像。SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

　　(2) ESPCN

　　與SRCNN不同，ESPCN (Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network)在將低分辨率圖像送入神經(jīng)網(wǎng)絡(luò)之前，無(wú)需對(duì)給定的低分辨率圖像進(jìn)行一個(gè)上采樣過(guò)程，得到與目標(biāo)高分辨率圖像相同大小的低分辨率圖像。如圖3所示，ESPCN中引入一個(gè)亞像素卷積層(Sub-pixel convolution layer)，來(lái)間接實(shí)現(xiàn)圖像的放大過(guò)程。這種做法極大降低了SRCNN的計(jì)算量，提高了重建效率。　

　　(3) SRGAN

　　與上述兩種方法類似，大部分基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)使用均方誤差作為其網(wǎng)絡(luò)訓(xùn)練過(guò)程中使用的損失函數(shù)，但是由于均方差本身的性質(zhì)，往往會(huì)導(dǎo)致復(fù)原出的圖像出現(xiàn)高頻信息丟失的問(wèn)題。而生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks, GAN)則通過(guò)其中的鑒別器網(wǎng)絡(luò)很好的解決了這個(gè)問(wèn)題，GAN的優(yōu)勢(shì)就是生成符合視覺(jué)習(xí)慣的逼真圖像，所以SRGAN (Photo-Realistic Single Image SuperResolution Using a Generative Adversarial Network)的作者就將GAN引入了圖像超分辨率重建領(lǐng)域。

　　如圖4所示，SRGAN也是由一個(gè)生成器和一個(gè)鑒別器組成。生成器負(fù)責(zé)合成高分辨率圖像，鑒別器用于判斷給定的圖像是來(lái)自生成器還是真實(shí)樣本。通過(guò)一個(gè)二元零和博弈的對(duì)抗過(guò)程，使得生成器能夠?qū)⒔o定的低分辨率圖像復(fù)原為高分辨率圖像。

　　總結(jié)與展望

　　深度學(xué)習(xí)在圖像超分辨率重建領(lǐng)域已經(jīng)展現(xiàn)出了巨大的潛力，極大的推動(dòng)了該領(lǐng)域的蓬勃發(fā)展發(fā)展。但距離重建出既保留原始圖像各種細(xì)節(jié)信息、又符合人的主觀評(píng)價(jià)的高分辨率圖像這一目標(biāo)，深度學(xué)習(xí)的圖像超分辨率重建技術(shù)仍有很長(zhǎng)的一段路要走。主要存在著以下幾個(gè)問(wèn)題：(1)深度學(xué)習(xí)的固有性的約束。深度學(xué)習(xí)存在著需要海量訓(xùn)練數(shù)據(jù)、高計(jì)算性能的處理器以及過(guò)深的網(wǎng)絡(luò)容易導(dǎo)致過(guò)擬合等問(wèn)題。(2)類似傳統(tǒng)的基于人工智能的學(xué)習(xí)方法，深度學(xué)習(xí)預(yù)先假定測(cè)試樣本與訓(xùn)練樣本來(lái)自同一分布，但現(xiàn)實(shí)中二者的分布并不一定相同，甚至可能沒(méi)有相交的部分。(3)盡管當(dāng)前基于深度學(xué)習(xí)的重建技術(shù)使得重建圖像在主觀評(píng)價(jià)指標(biāo)上取得了優(yōu)異的成績(jī)，但重建后的圖像通常過(guò)于平滑，丟失了高頻細(xì)節(jié)信息。

　　因此進(jìn)一步研究基于深度學(xué)習(xí)的圖像超分辨率技術(shù)仍有較大的現(xiàn)實(shí)意義和發(fā)展空間。參考文獻(xiàn)

　　Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical overview[J]. IEEE signal processing magazine, 2003, 20(3): 21-36.

　　Kim J, Kwon Lee J, Mu Lee K. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 1646-1654.

　　Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(2): 295-307.

　　Shi W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 1874-1883.

　　Ledig C, Theis L, Huszár F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]//CVPR. 2017, 2(3): 4.

       本文作者：內(nèi)蒙古大學(xué)博士、教授、博導(dǎo)劉永信、段添添，

       原文地址：https://www.sdnlab.com/22455.html