Facebook正在開發神經超采樣實時渲染技術
據外媒venturebeat報道，Facebook的AR/VR研發部門Facebook Reality Labs近日發表了一篇名為《Neural Supersampling for Real-time Rendering》的論文，該論文詳細闡述了一項全新技術“神經超采樣實時渲染”，該技術可以對實時渲染的3D內容進行超采樣處理，采用機器學習方法將低分辨率、計算上更容易成像的圖片轉換成高分辨率的輸出圖像。
如果要理解Facebook這項創新技術，我們不妨打個比方我們可以把《蒙娜麗莎》的畫像想象成一個由16個彩色正方形組成的4×4網格圖。常見的問題是，通常我們注視網格圖的時候往往會深陷于其表面凹凸不平的鋸齒狀方形圖像，而發現不了圖像原本真實的模樣。但通過機器學習方法，我們就能很快對這張網格進行計算，并從中識別出《蒙娜麗莎》的畫像。
為此，Facebook的研究人員通過三層卷積神經網絡開發了這項全新技術，如上所述在識別畫像的機器學習過程中采用了該神經網絡，并以場景統計進行了計算識別，從而能夠快速恢復畫像清晰的細節，同時節省了在實時應用中直接渲染細節所需的計算開銷。該技術不僅適用于平面圖像，而且也適用于3D渲染場景，可將“高度混疊運動”轉換為“實時的高保真度和時間點穩定性的結果”，同時考慮了顏色、深度貼圖和時間運動矢量等變量。
從計算的角度來看，這項研究表明，通過預先機器學習，我們可以將與原版《毀滅戰士》游戲相似的3D環境渲染成類似于VR游戲《雷神之錘》的游戲畫質。雖然這并不意味著游戲開發人員可以通過該方法將3D游戲直接轉化成VR游戲，但通過該技術可以讓諸如Oculus Quest的VR一體機以較少的功耗實時渲染出高分辨率的圖像輸出效果。
盡管機器學習的細節很復雜，但其最終結果是，神經網絡是使用從給定3D場景的100個視頻中捕獲的圖像進行訓練的，因為真實的用戶可能會從各種角度來體驗它。這些圖像都采用了全分辨進行渲染場景，其中1600 x 900像素場景渲染時間為140.6毫秒，而400 x 225像素場景渲染時間為26.4毫秒，4×4網格上采樣的時間為17.68毫秒，總計渲染時間為184.68毫秒，在非常接近原始圖像的情況下，渲染時間節省了近3.2倍。這樣一來，Oculus Quest用戶將能受益于性能強大的PC的計算輸出結果。
研究人員表示，他們的系統通過提供更高的重建精度，其性能優于最新版本虛幻引擎的時間抗鋸齒縮放技術。同時研究人員認為NVIDIDA的深度學習超級采樣技術（DLSS）最接近其解決方案，但是DLSS依賴于專有的軟硬件，而這些軟硬件可能無法在所有平臺上都通用。相比之下，Facebook的解決方案不需要采用特殊的軟硬件，就可以輕松集成到3D引擎中，從而實現4×4超級采樣，而普通解決方案最多只能支持2×2上采樣。
雖然Facebook正在開發的神經超采樣實時渲染技術十分新穎且應用前景廣闊，但它還并不完美。盡管該技術通過機器學習使生成的圖像具備了穩定的平滑度，但是在生成的過程中可能會丟失一些精細的細節。例如，如果以低分辨率進行渲染時最后幾幀文本沒有被正確的標記出來，那么該文本可能無法在便箋上被讀取。其次，盡管更高的性能、更好的優化有望提高系統的性能，但開發“高分辨率顯示應用”所需的高昂成本仍是短期內難以解決的問題。
即使Facebook解決方案目前面臨著很多現實問題，但綜上所述，我們依舊可以清晰的看出神經超采樣實時渲染技術對于VR/AR頭顯朝著更高分辨率、更快幀速率的方向發展起到了積極推進作用。
電科技專注于TMT領域報道，青云計劃、百+計劃獲得者。榮獲2013搜狐最佳行業自媒體人稱號、2015中國新媒體創業大賽總決賽季軍、2018百度動態年度實力紅人等諸多大獎。
投稿請登錄：http://www.diankeji.com/member 商務合作請洽：marketing#diankeji.com
聲明：本站原創文章文字版權歸電科技所有，轉載務必注明作者和出處；本站轉載文章僅僅代表原作者觀點，不代表電科技立場，圖文版權歸原作者所有。如有侵權，請聯系我們刪除。
猜你喜歡
核心關鍵字： VR/AR相關文章
-
抹鏈科技攜手綿陽市商業銀行舉行區塊鏈技術和應用業務交流會
7月2日，抹鏈科技受綿陽市商業銀行總行邀請，舉行題為《區塊鏈技術在金融領域的應用研究》業務交流會，綿陽市商業銀行總行互聯網金融部、科技部負責人等高層均出席此次分享會。會上，抹鏈科技與綿陽市商業銀行總行互聯網金融部總經理戴總針對區塊鏈在金融領域的應用進行了深入的探討。戴總肯定了區塊鏈技術帶來的巨大革新，并表示將進一步嘗試為綿陽市商業銀行引入區塊鏈技術，與現有業務進行緊密結合。區塊鏈在金融領域將大有可...
2020-07-03 19:17:21 區塊綿陽市金融 -
助力投融資對接，“科創中國”信息技術（二）專場路演舉辦
創頭條消息，7月2日下午，“科創中國”系列路演活動第038場——“科技傳播助力信息技術（二）”專場如期舉辦。龍飛船、網藤科技、蘭亭數字、中鑫融信等四家中小型科技企業參加路演。據介紹，龍飛船致力于研發生產AI智能護欄及新型周界監測系統，基于融合信息技術的新型智能護欄可實現剪斷報警、攀爬報警等功能，解決安防周界監測產品存在的弊端。網藤科技已研發出設備監測、行為追溯、態勢感知、分析預警、安全培訓等安全產...
2020-07-03 19:17:18 蘭亭周界科技 -
中國光刻機有多厲害 技術獲得突破超過多國
隨著中國的發展越來越好，這里面不少于中國人的努力。近十幾年來，我國科技方面快速崛起，與某些科技大國比肩。近些年，我國科技領域越發強大起來了，中國也有屬于自己的光刻機了，真是為此感到驕傲，中國光刻機有多厲害？一起看一看。中國光刻機研發
2020-07-03 12:55:29 光刻有多中國
芯片領域，許多企業芯片依靠國外企業供應，一旦國外企業停止供應，那么，我國企業就會被卡在“脖子”上，所以必須要自足研發芯片，才不會受到外界阻撓。那么，中國光刻機有多厲... -
人類研究出全新技術，讓牙齒可以重新生長，我們再也不用看牙醫了
人類的牙齒是野生動物的牙齒完全不同，人類因為吃的東西比較雜，所以我們需要每天刷牙，保護好自己的牙齒，這樣才不會有蛀牙，牙齒才能更健康，因此我們的一生需要一個好牙醫，要知道牙疼不是病疼起來真要命，一旦我們牙疼了，我們就要去看牙醫，看牙醫不但耗費時間，而且還非常貴。那么我們的牙齒到底是什么呢，為什么人一生只能換兩次牙齒呢，其實牙齒是人類身體上最硬的部位，牙齒的主要成分是牙質，它的中間有牙髓腔，這里面 因為我們原裝的牙齒一定是最適合最好的，但是平時伴隨著牙齒的磨損老化，甚至有時候不注意口腔衛生，就會導致蛀牙的出...
2020-07-02 14:26:51 牙醫牙齒生長 -
40年最清晰的不明飛行物！網友稱草帽飛了，如今科學技術無法識別
不明飛行物可以說是科學界最熱議的事件，而關于“波蘭”發現拍攝到不明飛行物事件又出現了新話題。我們都知道一般情況而言，看到的一些不明飛行物視頻和照片都是模糊不清的。然而波蘭這次公布出來的不明飛行物是非常清晰的照片，根據俄羅斯專家表示，這次發現的高清不明飛行物照片，是40年來最為清晰的UFO目擊照。同時為了解除大家的疑慮，根據專家鑒定表明，這些圖片并未經過照片處理或篡改，并且不明飛行物是一個真正的物 根據科學報告指出，這次不明飛行物照片是波蘭一名男子在距離華沙110公里外拍攝的，總計拍了5張照片，是真實的不明...
2020-07-02 14:26:20 不明飛行物草帽飛了 -
“母公司”技術下放：蘋果正在iPhone上測試macOS系統
2020年WWDC最大的驚喜想必就是未來Mac將使用蘋果自己的ARM處理器。而這也意味著iPhone、iPad、Mac三個終端在系統與生態層面的聯系更加緊密。近日，AppleInsider就爆料稱，蘋果正在iPhone上測試運行macOS系統，這也就意味著未來iPhone連接顯示器后，可以直接為用戶帶來“主機級”的桌面體驗。事實上，目前科技圈不止蘋果有此做法，此前微軟、三星、華為、錘子等都在自己的...
2020-07-02 14:17:05 三星系統自己的 -
星辰天合獲3.2億元D輪投資，著重發展國產化信創存儲基礎技術研發
本輪由中國國有資本風險投資基金領投，清華控股旗下清控華義創投跟投，在持股東啟明創投等亦跟投。今天，星辰天合數據科技（XSKY）獲3.2億元人民幣D輪投資。本輪由中國國有資本風險投資基金領投，清華控股旗下清控華義創投跟投，在持股東啟明創投等亦跟投。據悉，公司此輪融資將用于發展國產化信創存儲基礎技術研發，混合云數據管理方案構建，以及軟件定義存儲產品在下沉市場的推廣。XSKY是i黑馬＆數字觀察持續追蹤和...
2020-07-02 12:17:04 數據企業定義 -
Facebook正在開發一款基于折疊式全息光學技術概念的原型頭顯
據外媒roadtovr報道，Facebook的AR/VR研發部門FacebookRealityLabs近日發表了一篇名為《HolographicOpticsforThinandLightweightVirtualReality》的論文，該論文詳細闡述了一款基于折疊式全息光學技術的概念驗證頭顯，并表示這是“迄今為止所開發的最薄VR頭顯”。研究人員AndrewMaimone和JunrenWang表示，...
2020-07-01 23:17:08 光學原型全息 -
一枚假公章引發騰訊老干媽烏龍糾紛 百度超級鏈技術可杜絕蘿卜章問題
2020年下半年才第一天，2020年度新聞已經出現了有力競爭者——日前，騰訊狀告老干媽拖欠廣告費，老干媽回應騰訊遭遇詐騙。7月1日，貴陽公安雙龍分局通報了該事件調查結果：3人偽造老干媽公司印章，冒充該公司市場經營部經理與騰訊簽訂合作協議，目前3人已被刑拘。????一時間網友紛紛打趣“馬化騰終于虧了”，“這事寫成小說都沒人信”、“李國慶告訴我們公章確實重要”，騰訊的Bilibili賬號也“自黑”了一...
2020-07-01 22:17:05 區塊騰訊公章 -
印軍雷達捕獲2架殲16？屏幕圖像令印媒崩潰，莫迪怒斥：奇恥大辱
美國女記者混進精神病院，經歷“黑暗”10天，最終獲救了嗎？ 世上被暗殺最多的3個人：第2是希特勒，最后一位634次 秦始皇陵到底有多少水銀？專家：看山上的石榴樹就知道了 美軍研發“外星”偵察機，為何從不敢來中國？對手被打出陰影 如果美國不投原子彈，日本下場有多慘？真是兩顆原子彈救了日本 曾舉國向我們捐4萬，受盡白眼嘲笑，事后所得回報卻讓各國羨慕 印度軍隊造假已經是老傳統了，不過雖然造假的次數很多，但他們的造假技術卻始終沒有提高。此前，在班公湖對峙事件發生之后，印度軍方就一直在虛假報道雙方的傷亡情況，甚至...
2020-07-01 11:26:06 奇恥大辱圖像屏幕
| 留言與評論（共有 0 條評論） |
