傳動網 > 新聞頻道 > 行業資訊 > 資訊詳情

英偉達GPU加持廣電畫面,修復幀速度提升百萬倍

時間:2020-08-24

來源:智東西

導語:8月21日消息,近日,在北京國際廣播電視展覽會(BIRTV)期間,英偉達在線上溝通會中分享了英偉達解決方案在廣播電視行業的實際應用案例。

  8月21日消息,近日,在北京國際廣播電視展覽會(BIRTV)期間,英偉達在線上溝通會中分享了英偉達解決方案在廣播電視行業的實際應用案例。

  英偉達借助游戲起家,逐漸在HPC(高性能計算)、人工智能等方面進行了各行各業的應用覆蓋。BIRTV是中國最具權威的廣播電影電視綜合設備展覽會,英偉達連續多年參展,表現了其對廣電傳播行業的重視。

  英偉達在計算機圖形和人工智能領域已經有很成熟的技術,通過與國內外行業領導者進行合作,英偉達在廣電傳播領域有著很多落地的實際應用。

  英偉達專業可視化亞太區業務主管沈威說,在疫情影響下,廣電內容的需求大幅度增長,且質量要求越來越嚴苛。5G、大數據、AI的全面推行正在重新“定義”廣電行業,與此同時,廣電行業對技術、以及硬軟件成本的要求隨之提升。

  隨著英偉達全新一代GPU架構——圖靈Turing架構的問世,新的AI應用可以提升畫面的分辨率,為畫面降噪、插幀等,電視臺開始越來越多地使用基于英偉達AI的應用,比如在體育比賽中對成績實時分析、對大量的視頻內容進行管理、在直播中創建虛擬圖像等。

  有一個細節值得注意,在Webex上召開的溝通會中,與會人員都使用軟件更換了自己的參會背景,這種實時背景更換的技術就可以依靠英偉達的AI實現。

  關心英偉達的用戶近期最“眼熟”的要數英偉達新推出的旗艦A100GPU,智東西對A100是否具有今天英偉達著重呈現的QuadroRTXGPU一樣在廣電方面做出貢獻的功能提出了問題。

  英偉達中國區高級技術市場經理施澄秋對這一問題進行了回答,他說:“A100的架構目前暫時發布的產品還主要是針對AI和高性能運算部分,在專業可視化領域還沒有基于這個架構的產品,目前為止Turing架構的RTX系列仍是現階段針對專業圖形可視化領域,以及廣電領域最高級的、功能最多的GPU?!?/p>

  一、AI增強電視報道的沉浸感

  在電視中我們經??吹剑趯嵤┺D播時會有一些特效出現,而流暢的實時轉播和快速定位都需要顯卡的支持。

  英偉達Quadro產品部門高級解決方案架構師宋毅明在演講中說,英偉達在AI領域的布局比較廣泛,比如英偉達的AI在廣電應用中可以統計體育比賽中傳球、出球之類的數據,還能對爆炸性的互聯網應用進行標簽分類。英偉達的深度學習、機器學習的算法可以支持這些功能的流暢運行。

  在直播中,宋毅明放出了一段虛擬演播室的視頻,在虛擬演播室呈現出的圖像中,主持人似乎真正處于所報道的“臺風”新聞場景內,受眾也可以更深刻的沉浸于新聞內容。

  除了“車從天上來”的場景降臨,隨著新聞的播報,整個演播室同樣遭到了“臺風侵襲”,被破壞得不成樣子。

  虛擬的場景通過電腦技術合成,疊加了字幕和特效。以往這些畫面都需要提前錄制或進行預渲染,如今使用英偉達的技術可以直接在直播中疊加特效畫面。

  在實時的上海《英雄聯盟》比賽中,站在主持人身旁觀看比賽的游戲人物“阿塔麗”的呈現應用到了英偉達GPU。這個3D的虛擬人就像親臨現場,還可以和現場的主持人互動。

  施澄秋在溝通會上說,不同的用戶、不同的形式、正在蔓延的4K趨勢等推動互聯網打破了以往的瓶頸。以往的錄播,甚至是無法提供更多互動形式的直播都不足以滿足用戶當下的需求。

  如今的廣電不僅需要提供更高的質量,還需要提供更多的互動形式。5G的出現使降低延遲成為了可能,供給方和用戶未來將會實現更方便的互動。

  廣電的使用方式和流程發生了很多改變,在直播中加入虛擬角色、通過流媒體形式進行大數據推送等,成為了提升信息吸引力的新趨勢。

  此外,以往廣電播出內容審查、校驗往往會花費大量的時間,而依靠英偉達的RTX平臺,搭配上廣電內容播出的整個流程,不同階段、不同流程的工作人員可以在工作流中實時互動溝通,甚至能夠同步修改調整內容,大大節約了時間,節省了物料成本。

  二、老電影翻新,馬賽克變4K畫質

  英偉達還正在致力于用AI去除噪點,提升分辨率。這一技術可以應用于將老電影生成更高的分辨率。

  例如,拿出一張老的影片,英偉達的AI可以重新給黑白的影片上色,將分辨率提高到4K或1080P,甚至未來可以做到8K。

  英偉達NGX是一種使用深度神經網絡和深度學習框架下的軟件開發套件,可以自動在畫面中添加幀,對畫面進行降噪、美化,甚至補充殘缺的像素。

  舉例來說,如果想創造一幅“千軍萬馬”的圖畫,以往設計師需要畫一匹馬進行無限復制,或是耗費大量精力進行繪畫。英偉達的NGX則可以通過定義“馬”“顏色”等標簽,就能一鍵生成栩栩如生的“千軍萬馬圖”。

  英偉達的AI技術還可以做超分辨率以及慢動作。

  以往做慢動作需要使用超高幀率的攝像機捕捉畫面,對應不同的廣播制式回放。但是如今UGC(用戶生成內容)越來越多,廣電設備如果用傳統方式對手機拍出的畫面進行慢動作加工,極易出現“卡成PPT”的“廢片”。

  英偉達的AI可以在此基礎上進行插幀,生成幀間像素,呈現出的視頻明顯在視覺上看起來會更柔和。

  英偉達利用AI重建技術將修復幀的速度大大提高,以往一天只能修復2~3幀的重大活動視頻,使用英偉達的AI一天就可以修復百萬幀。

  此外,在視頻編輯中,以往使用CPU進行編輯的圖像會非常卡頓,實時性很差。但是英偉達和強氧科技聯合推出了一款應用在“達芬奇”軟件中的工具:達芬奇調色板,可以支持實時編輯8K的場景,即時對圖像進行加工。

  達芬奇調色板利用英偉達圖靈Turing架構的QuadroRTXGPU,可以基于AI把不需要的物體自動移除,也能進行匹配內容、做人臉檢測、面光提升等操作。

  在Zoom之類的在線會議中,我們能看到的實時背景、實時風格的轉換,甚至是通過人臉帶動虛擬表情,都是通過AI來做的。英偉達的AI可以帶動虛擬人的技術為設計師節省了很多時間成本,呈現的效果也更加逼真。

  英偉達還與Adobe合作,開發了AdobeSensei軟件,這個軟件其中一個用途大大貼合目前豎屏視頻的需要。AdobeSensei中的一個功能可以自主追蹤畫面主體,將up主上傳的橫屏視頻自動截成豎屏。

  不同的領域中的應用需要不同的軟件,用戶可以依據自己用于云端或影視片加工等場景的需要,挑選適合自己的顯卡。

  三、Mellanox高清視頻解決方案:SDI轉向IP

  英偉達Mellanox高級市場經理陳龍說,在1080P格式使用以前,廣電行業里面視頻的傳輸是靠SDI的方式來進行的。隨著現在4K、8K、超高清業務的興起,整個傳輸帶寬都在極劇的膨脹,傳統的SDI視頻傳輸方式遇到了瓶頸。

  首先,為了實現4K的傳輸,所使用的傳輸線帶寬需要達到原來的14倍,且組網復雜成本高昂。

  如果換成12GSDI,由于本身高速信號在SDI銅纜里面的傳輸距離跟速率是成反比的,那么大概只有50米的傳輸距離遠遠不能滿足在廣電行業里面視頻傳輸的需要。

  從IP解決方案來看,近幾年帶寬已經一躍到400G,不僅成本上比現有的定制化SDI傳輸方式更低,帶寬也更高,因此陳龍說英偉達判斷SDI轉向IP是一個大概率事件。

  但是這就產生了一個新的問題,即當傳輸管道擴寬后,終端的CPU處理這些協議棧的負載壓力會大幅度的上升。

  這個時候Mellanox基于在網卡行業傳統的優勢強項,可以做硬件卸載,把厚重的網絡協議棧處理切換到網卡上來加速整個網絡協議棧的處理,降低CPU的負載。

  Mellanox解決方案會把SDI轉到IP化最后一公里的問題解決突破掉,輕松實現SDI轉入到IP化的解決方案,同時又降低了CPU的功耗,降低了整個服務器的購置成本,大大的降低了從SDI切換到IP的采購門檻。

  此外,陳龍還在演講中介紹了英偉達核心軟件的解決方案Rivermax。Rivermax主要解決的是SDI轉IP化之后的傳輸標準問題,即在PacketPacing、KernelBypass、PacketAggregate、CloudReady四種特性下實現IP的傳輸。

  英偉達的合作伙伴當虹科技、強氧科技、博彩傳媒、新奧特、EpicGames的工作人員均在溝通會上暢談了與英偉達合作帶來的高質量的產品呈現,未來更多的技術會投入到廣電行業中,用戶的體驗感也會飛速提升。

  結語:軟硬件合力加持廣電應用

  在溝通會中,英偉達介紹并演示了其在廣播電視行業的產品和解決方案,包括英偉達圖靈Turing架構的QuadroRTXGPU和RTX平臺讓實時8K錄制變為現實,基于深度學習方法的英偉達NGXSDK讓開發者能夠輕松將AI功能集成到應用程序當中,以及英偉達RTX服務器能夠實現實時離線渲染以及提供虛擬工作站等性能。

  對于戰略問題的回答中,英偉達的市場開發專家何展說未來英偉達還會有更好的產品問世,將會面向廣電行業各種應用服務。

中傳動網版權與免責聲明:

凡本網注明[來源:中國傳動網]的所有文字、圖片、音視和視頻文件,版權均為中國傳動網(www.hysjfh.com)獨家所有。如需轉載請與0755-82949061聯系。任何媒體、網站或個人轉載使用時須注明來源“中國傳動網”,違反者本網將追究其法律責任。

本網轉載并注明其他來源的稿件,均來自互聯網或業內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。

關注伺服與運動控制公眾號獲取更多資訊

關注直驅與傳動公眾號獲取更多資訊

關注中國傳動網公眾號獲取更多資訊

最新新聞
查看更多資訊

熱搜詞
  • 運動控制
  • 伺服系統
  • 機器視覺
  • 機械傳動
  • 編碼器
  • 直驅系統
  • 工業電源
  • 電力電子
  • 工業互聯
  • 高壓變頻器
  • 中低壓變頻器
  • 傳感器
  • 人機界面
  • PLC
  • 電氣聯接
  • 工業機器人
  • 低壓電器
  • 機柜
回頂部
點贊 0
取消 0