熟女人妻水多爽中文字幕,国产精品鲁鲁鲁,隔壁的少妇2做爰韩国电影,亚洲最大中文字幕无码网站

引言

    虛擬視圖合成技術是從現有的圖像或視頻，生成原本不存在的圖像或視頻，是計算機視覺領域的一個重要研究課題，廣泛應用于2D到3D視頻轉化，自由視角電視，虛擬現實技術，3D視頻編解碼。而基于深度圖的虛擬視圖合成（depth-image-basedrendering，DIBR）是虛擬視圖合成最常用的方法，該技術通過現有的2D圖像/視頻和對應的深度圖把原始視角視頻映射到虛擬視角上，形成虛擬圖像/視頻。

    早在2002年，ATTEST提出了把3D視頻分離成2D視頻和深度圖傳輸，在用戶端播放3D視頻時再通過DIBR合成兩路或多路的視頻。德國費勞恩霍夫通訊技術研究所（HHI）細化了DIBR算法以獲取更高的立體視頻質量。俄羅斯莫斯科國立大學在虛擬視圖合成的研究已有10年，其成立的公司YUVsoft已有成熟的2D轉3D、立體轉多視角視頻、立體視頻增強的產品。日本的名古屋大學谷本研究室（NagoyaUniversityTanimotoLaboratory）除了參與開發虛擬視頻合成軟件（ViewSynthesisReferenceSoftware，VSRS），還提供有效的深度圖估計算法，并公開了其拍攝和制作的多視點視頻數據集，為學術界和工業界研究提供了參照基礎。

1空洞產生原理與填補難點

    在基于深度圖的虛擬視圖合成技術中，原始視圖的像素通過深度值和原始攝像機參數反向投影到世界坐標，然后再通過虛擬攝像機參數把世界坐標投影變換到虛擬視圖的像平面，即3D扭曲（3Dwarping）。

    在合成過程中，在原始視點中，有部分背景被前景遮擋著，而到了新的虛擬視點時，被前景遮擋的部分背景會暴露出來，這部分內容是無法知曉的，從而產生空洞區域；另外，由于原始攝像機拍攝范圍有限，新視點的部分邊界區域無法在原始視點找到對應的映射區域，在經過3D扭曲變化后，虛擬視點部分邊界也會存在較大的空洞。消除這些空洞區域是虛擬視點合成的一個重要步驟。

圖1產生空洞的實例

    圖1展示了實際場景中產生空洞的例子，在“Ballet”序列中，把原始視點的2D圖像和對應的深度圖通過3D扭曲映射到了虛擬視點位置，由于前景（芭蕾舞者和男士）離攝像頭更近，他們把部分背景給遮擋了，這部分被遮擋的背景暴露在虛擬視點下，形成空洞區域（白色區域）。另外，由于虛擬視點位置更加偏左邊，導致虛擬視點的左邊邊界處存在較大的空洞。

    空洞問題是虛擬視圖合成中最難解決的問題，原因如下：

（1）空洞區域所占面積比較大

    空洞面積大小是由虛擬視圖與原始視圖之間的偏離程度決定的，它們的之間的距離越大，空洞面積越大，距離越小，空洞面積越小。通常情況下，即使它們的距離很小，非閉塞區域的空洞水平寬度也在10個像素以上。由于這些空洞較大，無法使用簡單的線性插值之類的方法填補。

（2）空洞里的真實內容難以獲取

    對于單幀圖像，空洞里的內容無法知曉，只能通過空洞周圍的像素信息預測空洞部分的內容，預測出來的不一定是真實的，特別是對于大的空洞，過多信息的缺失導致真實恢復空洞內容變得十分困難。對于無法恢復真實值的區域，如何保證修復得到的結果看起來“合理”，也是一個關鍵難點。

（3）前景目標的干擾

    根據空洞產生的原理，空洞需要使用背景內容來填補。填補過程中如何很好地區分前景與背景本身就是一個難題，如果沒有把前景目標排除，填補出來的空洞通常會夾雜著前景物體的瑕疵。許多方法會采取一些措施加以限制，但仍然有部分區域，比如前景邊緣處，會存在一些瑕疵。

（4）虛擬視圖需保持連續性。

    人眼對于視頻幀與幀之間的跳變十分敏感，過多的跳變會引起觀看者不舒適，因此需要保持視頻里空洞部分內容具有連續性，幀與幀之間空洞的內容應避免不一致、閃爍現象發生，保持幀與幀之間的內容一致是一個關鍵難點。

2空洞填補方法研究現狀

    虛擬視圖非閉塞區域的填充可以分為2類，第一類是預處理深度圖以減少非閉塞區域的產生，第二類是不預處理深度圖，利用視頻的時域或空域間關聯性獲取填充信息，以填充非閉塞區域。

2.1預處理深度圖方法

    虛擬視圖里產生空洞主要是因為深度圖發生突變造成的，特別是前景和背景的交界處，深度值變化劇烈，導致空洞的產生。深度圖的預處理方法通過低通濾波器把這些突變過濾掉，使得深度圖的變化變得平緩，減少了虛擬視圖空洞。

    深度圖的預處理過程可采用對稱或非對稱高斯低通濾波。對稱高斯低通濾波會產生嚴重失真，比如放大前景目標，即橡皮效應（rubbersheeteffect）。為了解決這一缺陷，可利用非對稱高斯低通濾波對深度圖的水平和垂直方向進行不同程度的平滑，水平方向比垂直方向平滑的程度更高。由于各向異性的性質，非對稱高斯低通濾波在一定程度減少了空洞的產生。對稱或非對稱高斯低通濾波能夠在水平方向上平滑深度圖邊緣區域，但同時也會平滑非空洞區域，從而引起非空洞區域圖像質量的下降。為了克服這個問題，邊緣依賴高斯濾波器（edge-dependentGaussianfilter）只在水平方向上平滑邊緣，自適應邊緣定向平滑濾波器（adaptiveedge-orientedsmoothingfilter）在預處理深度圖時不平滑非空洞區域。深度圖的預處理方法只能適用于攝像機之間基線較小的情況，很難應用于基線較大的情形，即無法填補較大的空洞。

    基于深度圖平滑的方法，由于深度信息大部分被過濾掉，使得生成的虛擬視圖的3D效果大大減少，合成的3D視圖本來是想讓人體驗強烈的層次感的，平滑深度圖違背了原始意圖；深度圖的失真同樣導致生成的虛擬視圖產生失真，特別是前景目標變形了，垂直方向上的紋理錯位了。

2.2非預處理深度圖方法

    另一類方法是不預處理深度圖，利用視頻時域或空域間的關聯性獲取填充信息。根據所利用的關聯性類別，可分為三類：基于空域方法，基于時域方法，基于時空域方法。

（1）基于空域方法

    該方法利用圖像在幀內空域上的相關性，根據空洞周圍的背景信息填補空洞。在空域上，視圖混合方法能夠利用多個視角信息填充大部分空洞區域。視圖混合方法需要多份攝像采集設備和傳輸帶寬，成本較高，所以單個視角的應用得到更廣泛的關注。分層視圖合成方法通過下采樣和上采樣的方法逐步填補虛擬視圖的空洞，這樣產生的視圖不會產生幾何失真，但當空洞區域比較大時會產生模糊效應。目前流行的不會產生模糊效應的空洞填補是基于圖像修復的方法。Criminisi等人提出了利用圖像修復（imageinpainting）和紋理合成相結合的方案，它首先計算空洞邊界像素的優先程度，然后從非空洞區域搜索匹配塊，并把它填充到優先級最高的區域。直接使用圖像修復方法可以有效的填充大的空洞，但填充的區域存在大量的前景瑕疵。為了減輕這個問題，許多圖像修復提升方法利用深度信息把前景排除于填充過程。Daribo和Saito把深度信息加入到Criminisi算法的圖像塊優先級和距離的計算過程中，方差低的圖像塊被賦予高的優先級，然后從深度值和顏色相似的區域選取最匹配的圖像塊。Gautier等人也拓展了Criminisi的算法，他們使用DiZenzo矩陣的結構張量定義數據項（dataterm），也把深度信息加入到最優圖像塊的計算模型中。文獻假設虛擬視圖的深度圖是提供的，這在實際中是不合理的。Ahn和Kim，Köppel等人，Buyssens等人的方法同樣使用深度圖改進了填補的優先級和圖像塊的選擇過程，而且這些方法不需要提供虛擬視圖的深度圖，而是在修復虛擬視圖空洞的過程中，同步修復虛擬視圖的深度圖。

（2）基于時域方法

    在時域上，由于前景的運動，當前幀被前景遮擋的區域可能會在其它幀會變得可見，因此可以利用背景建模的方法恢復被遮擋區域的背景。平均背景模型先從場景中分割出背景，然后動態更新形成穩定的背景，該方法只適合準靜止背景的場景。時域背景模型使用深度值方差在參考視頻前向和后向搜索未被遮擋的背景信息，中值濾波這部分信息形成參考背景，然而，合適的背景信息受限于相鄰時間段。文獻先預測非閉塞區域的深度值，然后采用深度值做門限分割前景和背景，并更新背景深度圖和背景視頻。在文獻中，利用混合高斯背景建模方法產生背景視頻，還加入前景深度關聯修正混合高斯背景建模，以去除旋轉的前景和靜止的前景，但當深度圖不準確時，FDC會前景瑕疵塊引入到背景里。為了減少計算量并提高對場景的適應性，文獻提出了在線的可切換高斯模型。文獻提出的基于背景建模的框架，先挖出前面，然后再進行背景建模，并采用了運動估計，能避免前景紋理瑕疵且適用于運動的背景。

（3）基于時空域方法

    Wexler等人的視頻修復方法采用全局優化方法，使得填充的內容能夠在時域和空域內都保持最佳連續性，能夠填補視頻序列中的大面積空洞區域。該方法由于采用了時空域圖像塊在時域和空域內尋求最佳匹配，計算復雜度與時間和圖像成比例增長，即使文中介紹了采用由粗到細的優化方法，但其運行時間依然太高，無法適用于實際場景。PatchMatch方法能大大降低塊匹配計算復雜度，得到近似的最佳結果。Newson等人把PatchMatch優化方法拓展到了時空域,進一步優化了視頻修復性能和速度。Huang等人提出了適合于運動背景的視頻修復方法。直接使用視頻修復方法在填充空洞區域時會引入大量的前景瑕疵。Choi等人同時考慮了時域和空域的關聯性，在原本只利用空域關聯信息的Criminisi修復算法中加入時間維度，同時利用幀內、幀間關聯信息填補空洞，使得幀與幀之間更具連續性，減少了閃爍現象。Hsu等人，Kim等人相繼提出了基于能量函數最優化的時空域空洞填補方法，也能夠保證修復視頻的時空域連續性。

3各類方法評述

    空洞填補是虛擬視圖合成需要解決的關鍵問題，理想的空洞填補需要滿足以下特性：1）反映真實值；2）看起來自然直觀；3）保持時域的連續性；4）處理速度快。

    對于基于深度圖預處理的方法，由于深度圖經過了平滑，使得生成的視圖3D效果減少，也不適用于處理大面積空洞的場景。算法雖然簡單快速，但虛擬視圖嚴重失真。

    圖像修復的方法能夠恢復未知區域的內容，能夠用來填補大面積空洞，填補的結果不會引起模糊效應。但把圖像修復的方法直接用于填補非閉塞區域，可能會采集前景內容來填充空洞區域，導致“前景穿透”現象。一些基于修復的提升方法利用非閉塞區域特性以更好的填補空洞，但這些方法的改進需要結合所采用的修復方法，對其它修復方法并不一定適用，不具有普遍性。而且修復所得到的內容雖然看起來與周圍的內容相似，但不一定是真實內容。

    基于背景建模方法可以恢復部分背景，卻無法恢復視頻中被靜止前景遮擋的那部分背景或者一些無法在原始視圖中找到對應映射區域的邊界部分；而且，傳統的背景建模方法會把一些前景紋理帶入到構建的背景中，或者不適合攝像機運動的場景；文獻所提出的基于背景建模的框架能避免前景紋理瑕疵，但未考慮幀與幀之間的連續性問題，存在閃爍現象。

    時空域填補法采用全局優化，能夠選取最佳的時空圖像塊填補空洞，但每次最匹配時空圖像塊的選擇都是遍歷視頻中所有幀圖像，計算復雜度太高。

    綜上所述，目前還沒有理想的方法能夠同時滿足反映真實值，保持連續性和速度快這幾點要求。