時間:2022-09-12 17:33:20來æºï¼šæ¢ç‚Žèˆˆ çŽ‹æ˜ è¼ æ±Ÿå—大å¸äººå·¥æ™ºèƒ½èˆ‡è¨ˆç®—機å¸é™¢
  基于å¯è¦‹å…‰å–®åœ–åƒçš„三ç¶é‡æ§‹æ–¹æ³•ä¸€ç›´æ˜¯è¨ˆç®—æ©Ÿè¦–è¦ºé ˜åŸŸçš„ç ”ç©¶ç†±é»žï¼Œè©²æ–‡å¾žå…‰ç…§ç‰©é«”çš„æè³ªå’Œçµæ§‹å·®ç•°ï¼Œä»¥åŠæˆåƒéŽç¨‹ä¸ä¿¡æ¯æå¤±ç‰å› ç´ è‘—æ‰‹ï¼Œå°åŸºäºŽå…‰ç…§æ¨¡åž‹ã€åŸºäºŽå¹¾ä½•圖元以åŠåŸºäºŽæ·±åº¦å¸ç¿’ç–略的三ç¶é‡å»ºæ–¹æ³•進行了分類和概述,并分æžè¨Žè«–å„é¡žæ–¹æ³•çš„å„ªç¼ºé»žä»¥åŠæœªä¾†çš„ç ”ç©¶æ–¹å‘。
  1 引言
  從二ç¶åœ–åƒé‡å»ºå‡ºä¸‰ç¶çµæ§‹ä½œç‚ºè¨ˆç®—機視覺的一個é‡è¦ç ”ç©¶é ˜åŸŸï¼Œå·²å–å¾—è±å¯Œçš„æˆæžœã€‚å…¶ä¸»è¦ä»»å‹™æ˜¯é€šéŽç›¸æ©Ÿç²å–物體的二ç¶åœ–åƒä¿¡æ¯ï¼Œåˆ©ç”¨ä¸‰ç¶é‡å»ºçš„相關ç†è«–分æžè™•ç†ã€æ¢å¾©çœŸå¯¦ç‰©é«”的表é¢å½¢è²Œã€‚è©²æŠ€è¡“å»£æ³›æ‡‰ç”¨äºŽäººå·¥æ™ºèƒ½ã€æ©Ÿå™¨äººã€ç„¡äººé§•é§›ã€è™›æ“¬ç¾å¯¦ã€èˆªç©ºé™æ„Ÿæ¸¬é‡ã€å·¥æ¥è‡ªå‹•化ç‰é‡è¦é ˜åŸŸã€‚ç›®å‰ï¼Œè¨±å¤šåŸºäºŽå¤šåœ–åƒçš„ä¸‰ç¶æ¢å¾©æ–¹æ³•已被æå‡ºå¹¶å¾—到廣泛應用。雖然基于單圖åƒçš„ä¸‰ç¶æ¢å¾©æ–¹æ³•å› å…¶ç—…æ…‹æ€§è€Œæ›´å…·é›£åº¦ï¼Œ 但其方便性一直å—到æ¥ç•Œå’Œå¸è¡“界的關注。尤其是基于å¯è¦‹å…‰( 波段在 380 ~ 760 nm å€é–“的肉眼å¯è¦‹å…‰ ) 而éžçµæ§‹å…‰ã€ç´…外激光ã€è¶…è²æ³¢ç‰æ–¹å¼çš„單圖åƒï¼Œå…¶è‡ªèº«å·²ç¶“丟失很多關éµå¹¾ä½•ä¿¡æ¯ï¼Œéœ€è¦é€šéŽä¸€äº›å‡è¨ã€å…ˆé©—知è˜ï¼Œæˆ–借助基于已有模型的深度å¸ç¿’方法實ç¾ä¸‰ç¶æ¢å¾©ã€‚
  總的來說,基于å¯è¦‹å…‰å–®åœ–åƒçš„ä¸‰ç¶æ¢å¾©å˜åœ¨ä»¥ä¸‹å½±éŸ¿å› ç´ å’Œå›°é›£ï¼š
  (1) 物體自身的æè³ªå·®ç•°ã€‚ä¸åŒæè³ªçš„ç‰©é«”å› å¾®è§€åˆ†åçµæ§‹ä¸åŒï¼Œå‘ˆç¾å‡ºä¸åŒçš„表é¢ç‰¹æ€§ï¼Œå¦‚金屬ã€ç™½ç´™ã€çŽ»ç’ƒç‰ã€‚如果åªè€ƒæ…®æŸç¨®ç‰¹å®šæè³ªçš„ç‰©é«”ï¼Œå¾€å¾€æœƒä½¿ä¸‰ç¶æ¢å¾©ç³»çµ±ç¼ºä¹æ³›åŒ–æ€§å’Œé¯æ£’性,而é‡å°å¤šå€‹é¡žåˆ¥æœƒå› 較大的類內差異和較å°çš„類間差異導致é‡å»ºç²¾åº¦ä¸‹é™ã€‚
  (2) 物體表é¢çš„å¹¾ä½•çµæ§‹å·®ç•°ã€‚點ã€ç·šã€é¢ä»£è¡¨äº†ä¸åŒç¶åº¦çš„å¹¾ä½•çµæ§‹ï¼Œé€™äº›åŸºæœ¬å¹¾ä½•çµæ§‹å…ƒç´ çš„çµ„åˆæ§‹æˆäº†ç‰©é«”的表é¢å½¢è²Œã€‚åŒä¸€å€‹ç‰©é«”çš„ä¸åŒå€åŸŸï¼Œå› 物體表é¢å‡¹å‡¸ã€é«˜ä½Žç¨‹åº¦çš„ä¸åŒï¼Œé€ æˆè¡¨é¢çµæ§‹ã€è¼ªå»“的差異。å³ä½¿æ˜¯åŒç¨®æè³ªçš„ä¸åŒç‰©é«”ï¼Œä¹Ÿæœƒå› åˆ¶é€ å·¥è—ã€è¨è¨ˆå¤–å½¢ç‰å› ç´ å°Žè‡´ç‰©é«”è¡¨é¢çš„å¹¾ä½•çµæ§‹æœ‰è¼ƒå¤§çš„差異。
  (3) 圖åƒä¿¡æ¯é‡‡é›†çš„æå¤±ã€‚真實世界ä¸çš„物體往往å—到環境的影響,å˜åœ¨é«˜å…‰ã€é™°å½±ã€é®æ“‹ã€éžå‰›æ€§è®Šå½¢ç‰ç¾è±¡ï¼ŒåŠ ä¸Šç›¸æ©Ÿæ‹æ”角度ã€è·é›¢ã€é¡é ç•¸è®Šã€æŠ•å½±ç‰å› ç´ ï¼Œå°Žè‡´åœ–åƒæœ¬èº«çš„ä¿¡æ¯æå¤±ç”šè‡³éŒ¯èª¤ï¼Œå¹²æ“¾ä¸‰ç¶æ¢å¾©çš„æ•¸æ“šè¼¸å…¥ã€‚
  基于單圖åƒçš„三ç¶çµæ§‹æ¢å¾©æ˜¯ä¸€å€‹ä¸ç¢ºå®šæ€§å•題,å³ç—…態性å•題,僅é 單幅圖åƒç„¡æ³•å¾—åˆ°å”¯ä¸€ç¢ºå®šçš„ä¸‰ç¶æ¢å¾©çµæžœï¼Œå¦‚何利用一定的先驗知è˜å’Œé 標定數據集,來指導和約æŸä¸‰ç¶é‡å»ºæ˜¯ä¸€å¤§é›£é»žã€‚
ã€€ã€€åŸºäºŽä»¥ä¸Šå›°é›£ï¼Œåœ‹å…§å¤–è¨±å¤šç ”ç©¶æˆæžœçµ¦å‡ºäº†ä¸åŒçš„解決方案和方法,概括起來包括:基于光照模型的方法ã€åŸºäºŽå¹¾ä½•圖元展布è¦å¾‹çš„æ–¹æ³•和基于深度å¸ç¿’的方法。
  2 基于光照模型的方法
  2.1 基于紋ç†çš„形狀æ¢å¾©æ–¹æ³•
ã€€ã€€å¾žç´‹ç†æ¢å¾©å½¢ç‹€ (Shape from Texture,SfT) 的方法,是由 Gibson 于 1950 年首次æå‡ºï¼Œå®ƒæ˜¯ä¸€ç¨®æ ¹æ“šç‰©é«”表é¢ç´‹ç†è®ŠåŒ–來推算表é¢å½¢è®Šæƒ…æ³ï¼Œé€²è€Œæ¢å¾©å‡ºç‰©é«”三ç¶çµæ§‹çš„æ–¹æ³•。為了簡化模型使其å¯è¨ˆç®—,通常å‡å®šç‰©é«”表é¢åœ¨ä¸€å€‹æ°´å¹³é¢ä¸Šï¼Œ æ¤æ™‚該方法將å•題轉變為估算物體所在平é¢çš„æ³•å‘é‡ã€‚之åŽï¼Œ è©²æ–¹æ³•é€æ¼¸å¾žå¹³é¢æ“´å±•到光滑連續曲é¢ã€‚
  應用 SfT æ–¹æ³•å¿…é ˆæ»¿è¶³ä»¥ä¸‹å…ˆé©—æ¢ä»¶ï¼š(1) ç´‹ç†ç”±è¦å‰‡çš„ç´‹ç†å–®å…ƒçµ„æˆï¼Œå¹¶å‡å®šé€™äº›å–®å…ƒå…·æœ‰å®Œå…¨ä¸€è‡´çš„固定形狀 ( é€šå¸¸åªæœ‰äººå·¥æ§‹é€ çš„è¦å‰‡åœ–æ¡ˆæ‰æ»¿è¶³è©²è¦æ±‚ );(2) ç´‹ç†åˆ†å¸ƒå…·æœ‰å‡å‹»æ€§ï¼Œå³ç´‹ç†å¯†åº¦ç›¸åŒ;(3) ç´‹ç†åœ–åƒèƒ½å¤ è½‰æ›æˆåŸºäºŽé »åŸŸçš„表示;(4) ç´‹ç†å…·æœ‰å„å‘åŒæ€§ç‰¹æ€§æˆ–隨機相ä½ç‰¹æ€§ã€‚由于該方法é™åˆ¶æ¢ä»¶åš´æ ¼ï¼Œé€šç”¨æ€§å¼±ï¼Œä¸”ç´‹ç†åœ–案極易å—到光照ã€é™°å½±çš„å½±éŸ¿ï¼Œå°Žè‡´å…¶æº–ç¢ºæ€§è¼ƒä½Žã€‚è©²æ–¹æ³•é€æ¼¸è¢«åŸºäºŽæ˜Žæš—的形狀æ¢å¾©æ–¹æ³•所代替。
  2.2 基于明暗的形狀æ¢å¾©æ–¹æ³•
  基于明暗的形狀æ¢å¾© (Shape from Shading,SfS) æ–¹æ³•æ˜¯è¨ˆç®—æ©Ÿè¦–è¦ºé ˜åŸŸä¸ä¸‰ç¶çµæ§‹æ¢å¾©çš„é‡è¦æ–¹æ³•之一。該方法最早由 Horn[14] 于 1986 å¹´æå‡ºï¼Œå…¶åŸºæœ¬éŽç¨‹æ˜¯å€ŸåŠ©ä¸€å®šçš„æˆåƒæ¨¡åž‹ï¼Œå¾žå–®å¹…圖åƒçš„æ˜Žæš—è®ŠåŒ–å‡ºç™¼ï¼Œæ ¹æ“šè¡¨é¢é»žçš„äº®åº¦å–æ±ºäºŽå…¥å°„å…‰ç·šå’Œè¡¨é¢æ³•線之間的角度這一物ç†å®šç†ï¼Œé€šéŽæ–½åŠ ç´„æŸæ¢ä»¶æ±‚解物體表é¢çš„æ¢¯åº¦å ´ï¼Œé€²è€Œç”±ç©åˆ†æ¢¯åº¦çš„æ–¹å¼å¾—到表é¢èµ·ä¼é«˜åº¦å€¼ã€‚基于 SfS 方法的系統具有è¨å‚™ç°¡å–®ã€åˆ†è¾¨çŽ‡é«˜ã€é©ç”¨æ€§å¼·ç‰å„ªå‹¢ï¼Œåœ¨å·¥æ¥ç”Ÿç”¢éŽç¨‹æª¢æ¸¬ã€é†«å¸åœ–åƒåˆ†æžèˆ‡é‡å»ºã€äººè‡‰èˆ‡æŒ‡ç´‹ç‰ç”Ÿç‰©ç‰¹å¾è˜åˆ¥ã€æ˜Ÿçƒè¡¨é¢å½¢è²Œé‡å»ºç‰é ˜åŸŸå¾—到廣泛的應用。
  2.2.1 經典的 SfS 方法
  由于物體表é¢çš„æ˜Žæš—æ¥µæ˜“å—到光æºã€å½¢ç‹€ã€æè³ªç‰¹æ€§ï¼Œä»¥åŠç›¸æ©Ÿæˆ–視點的角度ã€è·é›¢ã€åƒæ•¸ç‰å› ç´ çš„å½±éŸ¿ï¼Œå› æ¤ç¶“典的SfS æ–¹æ³•éœ€æ»¿è¶³ä»¥ä¸‹å‰æå‡è¨ï¼š(1) 表é¢å¾®è§€çµæ§‹éœ€è¦æŠ½è±¡ç‚ºä¸€ç¨®æœ—伯特å射模型;(2) 物體表é¢å„點的光照å射特性一致, 且å射系數已知;(3) å…‰æºç‚ºç„¡é™é 處的點光æº;(4) 物體表é¢èˆ‡ç›¸æ©Ÿè·é›¢è¼ƒé ,æˆåƒå¹¾ä½•關系滿足æ£äº¤æŠ•影。
  如圖 1 所示,由朗伯特å射模型å¯çŸ¥ï¼Œå射光的強度與入射光的強度,以åŠå…¥å°„å…‰èˆ‡é«”è¡¨é¢æ³•å‘é‡ä¹‹é–“å¤¾è§’çš„ä½™å¼¦å€¼æˆæ£æ¯”ï¼Œå¦‚å…¬å¼ (1) 所示:
(1)
  其ä¸ï¼Œx å’Œ y 為圖åƒçš„二ç¶å標;為漫å射光強度;
為光æºå¼·åº¦;Ï ç‚ºè¡¨é¢å射系數;θ ç‚ºå…¥å°„å…‰èˆ‡è¡¨é¢æ³•å‘é‡ä¹‹é–“的夾角。
ã€€ã€€è‹¥ä»¥ç›¸æ©Ÿåæ¨™ç³»ç‚ºåƒç…§ç³»ï¼Œè¨ç‰©é«”表é¢èµ·ä¼é«˜åº¦ç‚ºï¼Œå‰‡ç‰©é«”表é¢çš„æ³•æ–¹å‘å¯é€šéŽè¡¨é¢å„點的法å‘é‡
å’Œè¡¨é¢æ¢¯åº¦
è¡¨ç¤ºï¼Œå®ƒå€‘ä¹‹é–“çš„é—œç³»å¦‚å…¬å¼ (2)~(3) 所示:
(2)
(3)
由公å¼(1) ~ (3) å¯çŸ¥ï¼Œæœ—伯特å射模型å¯ç”±å…¬å¼(4) 表示:
(4)
å…¶ä¸ï¼Œç‚ºæ¸ä¸€åŒ–的圖åƒäº®åº¦;
為å射函數; p0 å’Œ q0 為åå°„é»žæ²¿å…‰æºæ–¹å‘çš„å‘é‡ã€‚
ã€€ã€€é€šå¸¸ï¼Œåƒ…ç”±è©²æ¨¡åž‹ç„¡æ³•ç¢ºå®šå…¶å”¯ä¸€è§£ï¼Œå› æ¤ï¼Œå¿…é ˆå»ºç«‹è¯åˆè¡¨é¢å射模型和表é¢å¾®è§€çµæ§‹æ¨¡åž‹çš„æ£å‰‡åŒ–æ¨¡åž‹ï¼Œå°ä¸Šå¼é€²è¡Œé€²ä¸€æ¥ç´„æŸå’Œæ±‚解。
ã€€ã€€æ ¹æ“šå»ºç«‹æ£å‰‡åŒ–模型方å¼çš„ä¸åŒï¼ŒSfS 算法大致å¯åˆ†ç‚ºæœ€å°å€¼æ–¹æ³•ã€æ¼”化方法ã€ç·šæ€§åŒ–æ–¹æ³•å’Œå±€éƒ¨æ–¹æ³•ç‰ 4 類典型算法。
  (1) 最å°å€¼æ–¹æ³•
  最å°å€¼æ–¹æ³•就是將物體表é¢å射模型推導出的亮度方程和物體表é¢å¾®è§€çµæ§‹æ¨¡åž‹è¯åˆè¡¨ç¤ºæˆä¸€å€‹èƒ½é‡å‡½æ•¸çš„æ³›å‡½æ¥µå€¼å•題或最優化å•題,以求得最å°å€¼è§£æˆ–近似解。由于二ç¶åœ–åƒæ•¸æ“šèˆ‡ç”±å射模型所確定的物體表é¢äº®åº¦ä¹‹é–“å˜åœ¨èª¤å·®ï¼Œè©²æ–¹æ³•首先將亮度方程轉化為誤差函數的形å¼;ç„¶åŽçµåˆä¸åŒçš„ç´„æŸæ¢ä»¶ ( 如光滑性約æŸã€å¯ç©æ€§ç´„æŸã€åœ–åƒæ¢¯åº¦ç´„æŸç‰ ),è¯ç«‹å¾—åˆ°æ–°çš„æ³›å‡½æ¥µå€¼å‡½æ•¸ï¼Œå¹¶æ‡‰ç”¨äº¤éŒ¯ç¶²æ ¼æ–¹æ³•æˆ–ä¸‰è§’é¢å…ƒé€¼è¿‘方法將其離散化 ;最åŽåˆ©ç”¨ GaussSeidel è¿ä»£æ–¹æ³•å¾—åˆ°ç‰©é«”è¡¨é¢æ¢¯åº¦å’Œè¡¨é¢èµ·ä¼é«˜åº¦ Z çš„ç¶²æ ¼é»žå€¼ã€‚
  (2) 演化方法
ã€€ã€€æ¼”åŒ–æ–¹æ³•çš„æ ¸å¿ƒæ˜¯åˆ©ç”¨å‹•åŠ›å¸æ€æƒ³ï¼Œå°‡ SfS 的泛函求解å•題看作是一個 Hamilton 系統方程å•題。當給定åˆå€¼æˆ–邊界æ¢ä»¶æ™‚,該方程就轉化為一個柯西åˆå€¼å•題或狄利克雷邊界å•題。這類å•題通常å¯ä»¥åˆ©ç”¨ç‰¹å¾ç·šæ–¹æ³•ã€Viscosity 方法ã€Level Sets æ–¹æ³•ç‰æ–¹æ³•進行求解。其ä¸ï¼Œç¢ºå®šåœ–åƒä¸å”¯ä¸€å½¢ç‹€çš„特å¾é»žæ˜¯é—œéµï¼Œè©²é»žæ˜¯æ¼”化éŽç¨‹é–‹å§‹çš„起點。演化éŽç¨‹å¾žèµ·é»žé–‹å§‹ï¼Œæœç´¢é„°è¿‘點,找出其ä¸é é›¢å…‰æºæ–¹å‘的所有點,并從ä¸ç¯©é¸å‡ºé›¢å…‰æºæ–¹å‘æœ€è¿‘çš„é»žï¼Œå†æ²¿è‘—è©²æ–¹å‘æ§‹æˆçš„æ¼”化路徑計算圖åƒä¸æ¯ä¸€é»žçš„高度值,從而得到整個表é¢çš„高度。由于演化éŽç¨‹æ˜¯é—œäºŽæ™‚é–“å¯å¾®çš„,故應用演化方法求解 SfS å•題,實際上也隱å«åœ°åˆ©ç”¨äº†ç‰©é«”表é¢å¾®è§€çµæ§‹æ¨¡åž‹ã€‚
  
  
圖 1 朗伯特å射模型示æ„圖
  (3) 線性化方法
  線性化方法是指通éŽå°å射函數作泰勒展開åŽï¼Œèˆå޻其éžç·šæ€§é …,將其轉化為線性å•題進行求解。該方法èªç‚ºåœ¨å射函數ä¸ï¼Œä½ŽéšŽé …å ä¸»è¦æˆä»½ï¼ŒèˆåŽ»é«˜éšŽé …åŽçš„çµæžœèˆ‡çœŸå¯¦æƒ…æ³æŽ¥è¿‘ï¼Œä¸”æ»¿è¶³æ³°å‹’å±•é–‹çš„è¦æ±‚ï¼Œå¾žè€Œé–“æŽ¥è¦æ±‚物體表é¢çš„é«˜ä½Žè®ŠåŒ–æ»¿è¶³é€£çºŒç·©æ…¢çš„ç‰¹æ€§ã€‚å› æ¤ï¼Œå…ˆå°‡è¡¨é¢åå°„å‡½æ•¸è¡¨ç¤ºç‚ºè¡¨é¢æ¢¯åº¦çš„函數,并作泰勒展開,åªä¿ç•™å¸¸æ•¸é …å’Œä¸€æ¬¡é …ï¼Œå…©é‚ŠåŒæ™‚進行傅里葉變æ›ï¼Œç„¶åŽæ ¹æ“šå…‰æºæ–¹å‘的傾角和åè§’å°å…¶é€²è¡Œæ”¹å¯«ï¼Œå†é€²è¡Œé€†å‚…里葉變æ›ï¼Œå³å¯å¾—到物體表é¢çš„高度值。
  (4) 局部化方法
  上述方法的求解éŽç¨‹æ˜¯å…¨å±€çš„,ä¸èƒ½ç¨ç«‹å¾—到物體表é¢çš„å±€éƒ¨å½¢ç‹€è¡¨ç¤ºã€‚è€Œå±€éƒ¨åŒ–æ–¹æ³•é¦–å…ˆæ ¹æ“šå…ˆé©—çŸ¥è˜å‡å®šç‰©é«”表é¢å¾®è§€çµæ§‹æ˜¯ä¸€å€‹ç‰¹å®šçš„形狀 ( 如çƒå½¢ );ç„¶åŽå°‡åå°„æ¨¡åž‹èˆ‡ç‰©é«”å¾®è§€çµæ§‹æ¨¡åž‹è¯åˆæ§‹æˆå½¢ç‹€åƒæ•¸çš„線性å微方程組,通éŽå°‹æ‰¾åœ–åƒç‰¹å¾é»žï¼Œæ—‹è½‰åœ–åƒä½¿å…¶èˆ‡å…‰æºæ–¹å‘在圖åƒå¹³é¢ä¸Šçš„æŠ•影方å‘ä¸€è‡´ï¼Œè¨ˆç®—åœ¨è©²åæ¨™ç³»ä¸‹è¡¨é¢é»žçš„傾角 γ å’Œåè§’ θ;最åŽåˆ©ç”¨é‚Šç•Œæ¢ä»¶è¿ä»£æ±‚解,å³å¯ç›´æŽ¥ç¢ºå®šç‰©é«”的局部三ç¶è¡¨é¢å½¢ç‹€ã€‚
  綜上所述,經典 SfS 方法的算法復雜度高,å°åˆå§‹ç’°å¢ƒå°¤å…¶æ˜¯å…‰ç…§æ¢ä»¶é™åˆ¶åš´æ ¼ã€‚朗伯特å射模型本身å˜åœ¨ç¼ºé™·â€”— ç†æƒ³æ¼«åå°„çš„æ¢ä»¶åœ¨ç¾å¯¦ä¸å¹¾ä¹Žç„¡æ³•滿足,以æ¤ç‚ºåŸºç¤Žçš„å„種計算方法必然å˜åœ¨è¼ƒå¤§èª¤å·®ã€‚ä½†æ˜¯ï¼Œè©²é¡žæ–¹æ³•ç‚ºå…¶ä»–æ–¹æ³•å¥ å®šäº†è¨±å¤šå…‰å¸å’Œè¨ˆç®—機渲染的ç†è«–åŸºç¤Žï¼Œå¦‚åŽæ”¹é€²çš„ SfS 方法。
  2.2.2 åŽæ”¹é€²çš„ SfS 方法
  經典的 SfS 方法使用簡化的æˆåƒæ¨¡åž‹ ( 如å‡è¨ç‰©é«”è¡¨é¢æ»¿è¶³ç†æƒ³åå°„ã€å…‰æºä½äºŽç„¡é™é 處ã€ç›¸æ©Ÿéµå¾ªæ£äº¤æŠ•å½±æ¨¡åž‹ç‰ ), 盡管é™ä½Žäº† SfS æ–¹æ³•çš„å¾©é›œæ€§ï¼Œä½†ä¹Ÿç›´æŽ¥å°Žè‡´äº†ä¸‰ç¶æ¢å¾©çµæžœçš„èª¤å·®è¼ƒå¤§ã€‚é€™æ˜¯å› ç‚ºå¯¦éš›ç‰©é«”çš„è¡¨é¢å¹¶éžç†æƒ³çš„æ¼«å射表é¢ï¼Œ è€Œæ˜¯æ—¢å«æœ‰æ¼«åå°„åˆå«æœ‰é¡é¢å射的混åˆè¡¨é¢ã€‚尤其是當相機è·é›¢ç‰©é«”表é¢è¼ƒè¿‘時,相機ä¸å†æ»¿è¶³æ£äº¤æŠ•影,而接近于é€è¦–投影,甚至還會發生陰影ã€é®æ“‹ç‰ç¾è±¡ï¼Œå¾žè€Œå°è¡¨é¢å„é»žçš„äº®åº¦ç”¢ç”Ÿæ›´å¤§çš„å¹²æ“¾ã€‚åŒæ™‚ï¼Œå¯¦éš›ç‰©é«”çš„è¡¨é¢æè³ªæ˜¯éžå‡å‹»ã€å„å‘異性的,使得物體表é¢å„點的光照å射特性ä¸ä¸€è‡´ï¼Œå射系數也會隨著表é¢èµ·ä¼é«˜åº¦å’Œå‡¹å‡¸ç™¼ç”Ÿè®ŠåŒ–。近年來,國內外諸多å¸è€…å°ç¶“典的 SfS 方法展開了ä¸åŒæ–¹é¢çš„ç ”ç©¶å’Œæ”¹é€²ï¼Œè¡ç”Ÿå‡ºè¨±å¤šçªç ´å‰æå‡è¨çš„åŽæ”¹é€²çš„ SfS 方法。
  (1) 基于表é¢å¾®è§€çµæ§‹çš„æ–¹æ³•
  經典的 SfS 算法ä¸ä¸€å€‹æœ€é‡è¦çš„剿å‡è¨æ˜¯ç‰©é«”表é¢çš„å…‰å射模型éµå¾ªæœ—伯特åå°„æ¨¡åž‹ï¼Œè©²æ¨¡åž‹æ˜¯ä¸€å€‹é«˜åº¦ç°¡åŒ–çš„ç†æƒ³æ¨¡åž‹ï¼Œå¿½ç•¥äº†è¨±å¤šå¯¦éš›æƒ…æ³ã€‚å› æ¤ï¼Œé‡‡ç”¨ä¸åŒçš„表é¢å¾®è§€çµæ§‹æ¨¡åž‹å’Œå射模型,盡å¯èƒ½åœ°è¦†è“‹å¤šç¨®å…‰ç…§æƒ…æ³ï¼Œå¯ä»¥å¤§å¤§æé«˜ä¸‰ç¶æ¢å¾©çµæžœçš„精確性。Ahmed ç‰é¦–次建立了 Ward 模型下的 SfS 圖åƒè¼»ç…§åº¦æ–¹ç¨‹ï¼Œå¹¶åˆ©ç”¨ Lax-Friedrichs 算法進行了求解。
  Vogel ç‰æå‡ºäº†é€è¦–投影下基于 Phong 模型的混åˆè¡¨é¢SfS æ–¹æ³•çš„ç ”ç©¶ï¼Œå¦‚åœ– 2 æ‰€ç¤ºï¼ŒåŒæ¨£ä½¿ç”¨äº† Lax-Friedrichs 算法進行求解。Archinal ç‰åŸºäºŽæ•¸å—è¡¨é¢æ¨¡åž‹åˆ©ç”¨æœˆçƒè»Œé“è§€å¯Ÿç›¸æ©Ÿæ•æ‰åˆ°çª„視角圖åƒï¼Œé€šéŽå…‰é›»æ˜ 射增強技術,改進了月çƒè¡¨é¢é‡å»ºæ¨¡åž‹çš„細節。O’Hara ç‰ä½¿ç”¨æœ—伯特å射模型和Oren-Nayar åå°„æ¨¡åž‹çš„æ··åˆæ¨¡åž‹ï¼ŒåŸºäºŽå°å”æˆåƒç›¸æ©Ÿæ¨¡åž‹ï¼Œ 實ç¾äº†å–®åœ–åƒçš„ç«æ˜Ÿåœ°è¡¨é‡å»ºã€‚Yang ç‰æå‡ºæ‘’æ£„ç°¡å–®çš„å射模型,將基于徑å‘基函數的模型擬åˆåˆ°æ•¸æ“šä¸ï¼Œå…¶å¯¦é©—çµæžœç›¸æ¯”于朗伯特å射模型有明顯æå‡ã€‚
  Camilli ç‰ç ”ç©¶äº†å¦‚ä½•ä½¿ä¸€äº›éžæœ—伯特模型應用在 SfS 方法的é©é…性å•題上,拓展了 SfS æ–¹æ³•çš„æ™®é©æ€§ã€‚王國ç¿ç‰æå‡ºä¸€ç¨®åŸºäºŽç‰›é “ - 拉弗森法的 Blinn-Phong æ··åˆè¡¨é¢æ¨¡åž‹çš„ä¸‰ç¶æ¢å¾©å¿«é€Ÿ SfS 算法,相比于其他方法æé«˜äº†æ±‚解效率。
  (2) 基于光照å射率的方法
  物體表é¢çš„å‡¹å‡¸å’Œé«˜åº¦ï¼Œå¯æ ¹æ“šè¡¨é¢é»žçš„亮度變化,通éŽä¸åŒçš„å射模型計算得到。å‡å‹»çš„光照å射率å‡å®šç‰©é«”è¡¨é¢æ˜¯å…‰æ»‘的,忽略了ç¾å¯¦çš„éžå‡å‹»æ€§å’Œå„å‘異性。å°ä¸åŒæƒ…æ³çš„å射率進行分類處ç†ï¼Œæœ‰åˆ©äºŽæé«˜ä¸‰ç¶æ¢å¾©çš„精度。
  Samaras ç‰å»ºç«‹äº†å…·æœ‰åˆ†æ®µæ’定å射率的多視點 SfS 模型,并將其應用于人臉é‡å»ºï¼Œæé«˜äº†äººè‡‰æ¨¡åž‹çš„精細程度。Capanna ç‰ä½¿ç”¨æœ€å¤§ä¼¼ç„¶ä¼°è¨ˆæ–¹æ³•來é™ä½Žå™ªè²å°ä¸åŒæè³ªçš„åå°„çŽ‡çš„æ•æ„Ÿæ€§ï¼Œå¹¶å°‡å…¶æ‡‰ç”¨äºŽé‡å»º Lutetia å°è¡Œæ˜Ÿä¸ã€‚Wu ç‰ä½¿ç”¨å–®å¹…圖åƒå’Œä¸åŒçš„ç´„æŸæ¢ä»¶ï¼Œå¾žä½Žåˆ†è¾¨çŽ‡è¡¨é¢æ¨¡åž‹ä¸æ¢å¾©å‡ºä¸åŒçš„åå°„çŽ‡å°æ‡‰çš„ä¸åŒå½¢è²Œï¼Œçµæžœè¡¨æ˜Žå¯ä»¥é”到和使用相å°é«˜åˆ†è¾¨çŽ‡åœ–åƒä¸€æ¨£çš„é‡å»ºæ•ˆæžœã€‚
  (3) åŸºäºŽå…‰æºæˆ–相機與物體è·é›¢çš„æ–¹æ³•
  
  圖 2 使用 SfS 方法æ¢å¾©èŽ«æ‰Žç‰¹è‡‰æ¨¡
  相機è·é›¢ç‰©é«”é è¿‘çš„ä¸åŒç›´æŽ¥æ±ºå®šåŽçºŒè¨ˆç®—使用æ£äº¤æŠ•影還是é€è¦–æŠ•å½±ï¼Œå¾žè€Œå½±éŸ¿ä¸‰ç¶æ¢å¾©çš„精度。Herbort ç‰åŸºäºŽéžæœ—伯特模型和å¯è®Šå射率,通éŽä¸»å‹•è·é›¢æŽƒææŠ€è¡“ï¼Œä¸æ–·æ”¹è®Šç›¸æ©Ÿå’Œç‰©é«”之間的è·é›¢ï¼Œå¯¦ç¾ä¸‰ç¶ç‰©é«”æ¢å¾©ï¼ŒåŒæ™‚å¢žåŠ è·é›¢æ‡²ç½°é …進行優化約æŸï¼Œä¿è‰å…¶ç²¾åº¦æŽ¥è¿‘原始曲é¢ï¼Œä»¥æé«˜ä¸‰ç¶æ¢å¾©æ¨¡åž‹çš„細節。Liu ç‰ä»”細分æžäº†å…‰ç…§æ–¹å‘和光æºèˆ‡ç‰©é«”çš„è·é›¢å°ä¸‰ç¶çµæ§‹æ¢å¾©çš„影響,æå‡ºä¸€ç¨®èª¤å·®é 測模型。該模型æç¤ºäº†å…‰æºèˆ‡ç‰©é«”表é¢çš„è·é›¢å’Œæ–¹ä½è§’å¦‚ä½•å½±éŸ¿ä¸‰ç¶æ¢å¾©ç²¾åº¦ã€‚å¯¦é©—çµæžœè¡¨æ˜Žï¼Œåœ¨çª„視角高分辨率相機采集的圖åƒä¸ï¼Œå…¶ä¸‰ç¶æ¢å¾©çµæžœå„ªäºŽå…¶ä»–åŒæ™‚期的方法。
  相比于經典的 SfS æ–¹æ³•ï¼ŒåŸºäºŽå…‰æºæˆ–相機與物體è·é›¢çš„æ–¹æ³•在三ç¶çµæ§‹æ¢å¾©çš„çµæžœä¸Šæœ‰æ˜Žé¡¯æå‡ï¼Œå¯ä»¥æ ¹æ“šä¸åŒçš„å ´æ™¯é©æ‡‰ä¸åŒçš„é‡å»ºè¦æ±‚。但良好的é‡å»ºçµæžœä¾è³´äºŽæº–確的先驗知è˜ï¼ŒåŒ…括å°å…‰ç…§æƒ…æ³çš„ç¶œåˆè€ƒæ…®ã€ç‰©é«”表é¢å¾®è§€çµæ§‹çš„精確建模ã€ç›¸æ©Ÿèˆ‡è¦–點的角度關系ç‰ã€‚å°äºŽå°èŒƒåœçš„室內近è·é›¢å–®å€‹ç‰©é«”ï¼Œæˆ–çµæ§‹ç°¡å–®çš„æ˜Ÿçƒå®è§€åœ°è²Œç‰ï¼ŒSfS æ–¹æ³•çš„ä¸‰ç¶æ¢å¾©æ•ˆæžœè¼ƒå¥½ï¼Œè€Œå°äºŽå¤§èŒƒåœçš„å¾©é›œå®¤å¤–å ´æ™¯ï¼Œæ¢å¾©æ•ˆæžœè¼ƒå·®ã€‚為了æé«˜å®¤å¤–å ´æ™¯çš„ä¸‰ç¶æ¢å¾©æ•ˆæžœï¼ŒSfS æ–¹æ³•é€æ¼¸è¢«ä»¥å¤šè¦–圖幾何ç†è«–為基礎的é‹å‹•çµæ§‹æ¢å¾© (Structure from Motion,SfM) æ–¹æ³•å’ŒåŒæ™‚定ä½èˆ‡åœ°åœ–ç”Ÿæˆ (Simultaneous Localization And Mapping,SLAM) 方法所å–代,但這類方法ä¸å±¬äºŽåŸºäºŽå–®åœ–åƒèŒƒç–‡çš„三ç¶çµæ§‹æ¢å¾©æ–¹æ³•。
  3 基于幾何圖元展布è¦å¾‹çš„æ–¹æ³•
  自然界ä¸çš„éƒ¨åˆ†ç‰©é«”ï¼Œå°¤å…¶æ˜¯äººé€ ç‰©é«”å…·æœ‰æ˜Žé¡¯çš„å¹¾ä½•è¦å¾‹ï¼Œå¦‚é‡å¾©çš„ç´‹ç†ã€å°ç¨±çš„çµæ§‹ã€è¦å‰‡çš„幾何拼接圖形ã€äººé€ CAD 模型ç‰ã€‚借助幾何è¦å¾‹é€™ä¸€é‡è¦ç‰¹æ€§ï¼Œé€šéŽå°å–®å¹…圖åƒ
  局部建模和全局拓展,就å¯ä»¥æ¢å¾©å‡ºå®Œæ•´çš„ä¸‰ç¶æ¨¡åž‹ã€‚å…·é«”å¯åˆ†ç‚ºåˆ©ç”¨äºŒç¶å¹¾ä½•特å¾çš„æ–¹æ³•å’Œåˆ©ç”¨ä¸‰ç¶æ§‹é€ 模型的方法。
  3.1 基于二ç¶å¹¾ä½•特å¾çš„æ–¹æ³•
  基于二ç¶å¹¾ä½•特å¾çš„æ–¹æ³•æ˜¯æŒ‡ä¸€å€‹ä¸‰ç¶æ¨¡åž‹æ˜ 射在二ç¶å¹³é¢ä¸Šçš„幾何圖形具有諸如å°ç¨±ã€é‡å¾©ç‰è¦å¾‹ï¼Œé€šéŽå°‡ä¸€å€‹å–®ä½åœ–元旋轉ã€å¹³ç§»æˆ–縮放就å¯ä»¥åæŽ¨å‡ºæ•´å€‹ä¸‰ç¶æ¨¡åž‹ã€‚
ã€€ã€€è©²æ–¹æ³•çš„ç¬¬ä¸€æ¥æ˜¯å®šç¾©å’Œæª¢æ¸¬é€™ç¨®è¦å¾‹ï¼Œå³éœ€è¦å°ç›®æ¨™å½¢ç‹€æˆ–é 先訓練的模型進行強約æŸã€‚Wei ç‰å°æ¤æå‡ºäº†ä¸€èˆ¬å°ç¨±æ€§çš„æ¦‚念( 包括平移å°ç¨±ã€æ—‹è½‰å°ç¨±å’Œåå°„å°ç¨±),Chertokã€Lee å’Œ Loy 在二ç¶åœ–åƒçš„å°ç¨±æ€§æª¢æ¸¬æ–¹é¢ä¹Ÿåšäº†è¨±å¤šå·¥ä½œã€‚這些定義和方法é‡å°ç‰¹å®šçš„目標類 ( 如人臉,人體和汽車 ) 或æŸäº›ç‰¹å®šå ´æ™¯ ( 如具有平é¢å¢»ã€å¤©èбæ¿å’Œåœ°æ¿çš„å®¤å…§å ´æ™¯ï¼Œå…·æœ‰é‡å¾©åœ–案的平é¢å ´æ™¯ ) å–得了良好的效果。
  第二æ¥è¦é‡å°é„°è¿‘åƒç´ 進行強制光度匹é…,使二ç¶å–®ä½åœ–å…ƒé‡å¾©æ‹“展拼接形æˆä¸‰ç¶æ¨¡åž‹çš„éŽç¨‹ä¸ï¼Œåœ–å…ƒä¹‹é–“çš„æ‹¼æŽ¥è™•æ›´åŠ å¹³æ»‘è‡ªç„¶ã€‚é€šå¸¸ä½¿ç”¨åŸºäºŽé¦¬çˆ¾å¯å¤«éš¨æ©Ÿå ´ (Markov Random Field,MRF) 的立體優化來強制匹é…åƒç´ ä¹‹é–“çš„å…‰åº¦ä¸€è‡´æ€§ï¼Œä½¿ç”¨ä¸€å€‹å¹³æ»‘é …ä¾†æ‡²ç½°åƒç´ 鄰域之間的ä¸ä¸€è‡´æ€§ã€‚第三æ¥ç‚ºäº†ä½¿åœ–元之間具有相互一致的深度值,還需è¦å°ä¸‰ç¶æ¨¡åž‹çš„æ·±åº¦åœ–進行建模。Zabih ç‰å®šç¾©å¤šå€‹åœ–åƒä¹‹é–“的交互集并強制å¯è¦‹æ€§ç´„æŸï¼ŒSun ç‰ä½¿ç”¨é®æ“‹é …ä¾†æ‡²ç½°é®æ“‹ï¼Œé€™é–“æŽ¥åœ°ä½¿æ·±åº¦è²¼åœ–ä¿æŒäº†ä¸€è‡´ã€‚
  基于上述 3 個é‡å»ºæ¥é©Ÿï¼Œè¨±å¤šå¸è€…æå‡ºäº†ç³»çµ±æ€§æ¡†æž¶ã€‚Wu ç‰æå‡ºä¸€ç¨®å´é‡äºŽåˆ©ç”¨åœ–å…ƒé‡å¾©æ€§çš„æ¡†æž¶ï¼Œè©²æ¡†æž¶èƒ½é€šéŽè¼¸å…¥å–®å¹…圖åƒï¼Œè‡ªå‹•檢測é‡å¾©å€åŸŸï¼Œå¹¶å°‡å…¶ä»¥åœ–åƒä¸ç¨ 密åƒç´ 匹é…çš„å½¢å¼æ¢å¾©å‡ºä¸‰ç¶æ¨¡åž‹ï¼Œå¦‚圖 3 所示。該匹é…關系由一個
  
  圖 3 基于é‡å¾©åœ–元的單圖åƒé‡å»º
  å€é–“圖表示,å€é–“圖表示圖åƒä¸æ¯å€‹åƒç´ 與其匹é…åƒç´ 之間的è·é›¢ã€‚為了ç²å¾—ç¨ å¯†çš„é‡å¾©çµæ§‹ï¼Œè©²æ–¹æ³•é‚„æå‡ºäº†ä¸€å€‹åœ–割來平衡高層次的幾何é‡å¾©ç´„æŸã€ä½Žå±¤æ¬¡çš„光度一致性和空間平滑性約æŸï¼Œä»¥æ¶ˆé™¤é‡å¾©æ‹¼æŽ¥è™•çš„ä¸ä¸€è‡´æ€§ã€‚Xue ç‰æå‡ºä¸€ç¨®å´é‡äºŽåˆ©ç”¨åœ–å…ƒå°ç¨±æ€§ç¸®å°æœç´¢ç©ºé–“的框架,通éŽè¼¸å…¥ä¸€å€‹å°ç¨±åˆ†æ®µå¹³é¢ç‰©é«”的單幅圖åƒï¼Œå°‹æ‰¾æ‰€æœ‰çš„å°ç¨±ç·šåŒ¹é…å°ï¼Œç„¶åŽåŸºäºŽå°ç¨±ç·šå’Œå¹³é¢ç·šï¼Œé€šéŽ MRF æ¢å¾©å‡ºæ·±åº¦åœ–,相比于其他方法計算效率更高。
ã€€ã€€ç›¸è¼ƒäºŽå…¶ä»–ä¸‰ç¶æ¨¡åž‹ï¼Œä¸åœ‹å¤ä»£å»ºç‘æ˜¯ä¸€ç¨®å…¸åž‹çš„åŒæ™‚具備軸å°ç¨±å’Œä¸å¿ƒå°ç¨±ç‰¹é»žçš„ä¸‰ç¶æ¨¡åž‹ã€‚çŽ‹æ˜ è¼æ•™æŽˆåœ˜éšŠé‡å°æ¤é¡žå•é¡Œé€²è¡Œäº†è©³ç´°çš„ç ”ç©¶ï¼Œå¹¶æå‡ºäº†ä¸€ç¨®ä¸åœ‹å”æœé¢¨æ ¼çš„å¤å»ºç‘建模方法。該方法åªéœ€è¦å·²çŸ¥å»ºç‘物一個角的圖åƒï¼Œå°±å¯ä»¥æ ¹æ“šå…¶å¹¾ä½•特å¾è¦å‰‡æ¢å¾©å‡ºå®Œæ•´çš„唿œå»ºç‘ä¸‰ç¶æ¨¡åž‹ï¼Œç›¸æ¯”于其他方法具有數據é‡å°‘ã€é¯æ£’性強的特點。基于上述建模方法, åœ˜éšŠæ›´é€²ä¸€æ¥æå‡ºä¸€ç¨®åŸºäºŽæ§‹ä»¶æå–çš„å®¤å…§å ´æ™¯é‡å»ºæ–¹æ³•。該方法å°å¹¾ä½•圖元è¦å¾‹é€²è¡Œäº†å»¶ä¼¸å’Œæ‹“展,æå‡ºäº†æ¨¡åž‹æ§‹ä»¶ç†è«–。首先,利用形狀檢測和平é¢åˆ†è§£æ–¹æ³•æå–å®¤å…§å ´æ™¯ä¸åŸºæœ¬å½¢ç‹€æ§‹ä»¶ï¼Œç”¨åŸºäºŽé‚Šç•Œæª¢æ¸¬æ–¹æ³•åŠåŸºäºŽæœ‰å‘包åœç›’的方法實ç¾å®¤å…§å ´æ™¯ä¸åŸºæœ¬å½¢ç‹€æ§‹ä»¶çš„æ“¬åˆ;ç„¶åŽï¼Œé¸æ“‡åŸºæœ¬å½¢ç‹€æ§‹ä»¶é›†ä¸æœ€å¤§çš„æ§‹ä»¶ä½œç‚ºåŸºæº–構件,以基準構件為ä¸å¿ƒå°‹æ‰¾æœ€ä½³çš„çµ„åˆæ§‹ä»¶ï¼Œå°çµ„åˆæ§‹ä»¶èˆ‡æ¨™æº–模型庫的標準模型é€ä¸€åŒ¹é…,尋找匹é…度最高的構件組åˆï¼Œè˜åˆ¥æœ€ä½³çµ„åˆæ§‹ä»¶çµ„æˆçš„物體,并利用標
  準模型庫ä¸çš„å°æ‡‰æ¨™æº–模型進行替æ›;最åŽï¼Œå®Œæˆå®¤å…§å ´æ™¯çš„é‡å»ºã€‚該方法è±å¯Œäº†äºŒç¶å¹¾ä½•特å¾çš„ç¨®é¡žå’Œè¡¨é”æ–¹å¼ï¼Œä¿è‰äº†å ´æ™¯ç‰©é«”æ§‹ä»¶æå–çš„æº–ç¢ºæ€§å’Œå ´æ™¯ç‰©é«”çš„å½¢ç‹€å®Œæ•´æ€§ï¼Œå¹¶æé«˜äº†å®¤å…§å ´æ™¯é‡å»ºçš„æº–確性。
  é‡å¾©æ€§å’Œå°ç¨±æ€§æ˜¯ä¸€ç¨®ç°¡å–®æ˜Žç¢ºçš„先驗æ¢ä»¶ï¼Œåªéœ€çŸ¥é“一個圖元就å¯ä»¥æ ¹æ“šè¦å¾‹é‡å»ºå‡ºæ‰€æœ‰è¡¨é¢ï¼Œå¤§å¤§æ¸›å°‘了三ç¶çµæ§‹æ¢å¾©çš„é›£åº¦ã€‚ä½†æ˜¯ï¼Œç‰¹å®šåœ¨ä¸€å€‹ä¸‰ç¶æ¨¡åž‹ä¸Šçš„圖元無法用于處ç†å¦ä¸€å€‹ä¸‰ç¶æ¨¡åž‹ã€‚ç†æƒ³çš„ç´„æŸæ¢ä»¶æ‡‰ç›¡å¯èƒ½å»£ç¾©ï¼Œä»¥é©æ‡‰æ›´å¤šçš„å°è±¡ï¼Œä½†æ˜¯ä¹Ÿæ‡‰ç›¡å¯èƒ½åš´æ ¼ï¼Œä½¿å•題收斂。
  3.2 åŸºäºŽä¸‰ç¶æ§‹é€ 模型的方法
  ç¾å¯¦ä¸æœ‰è¨±å¤šç‰©é«”是具有簡單幾何構型的,如立方體ã€åœ“柱體ç‰ï¼Œä¹Ÿæœ‰è¨±å¤šç‰©é«”是具有特殊固定形狀的,如人臉是由眼ç›ã€é¼»åã€å˜´å·´ã€è€³æœµå’Œé¢éƒ¨æ§‹æˆçš„,汽車是由底盤ã€è»Šè¼ªã€è»Šæ®¼æ§‹æˆçš„。這些模型的三ç¶çµæ§‹æ¸…楚明確,åªéœ€é€šéŽå°åŸºæœ¬å¹¾ä½•體拼接組åˆå³å¯å¾—åˆ°ä¸€å€‹æ›´å¤§çš„å¾©é›œå¹¾ä½•é«”ã€‚å› æ¤ï¼Œåœ¨ä¸‰ç¶æ¢å¾©éŽç¨‹ä¸ï¼Œä½¿ç”¨ç‰¹å®šçš„ä¸‰ç¶æ§‹é€ 模型代替通用的光照å射模型å¯ä»¥å¤§å¤§æé«˜é‡å»ºç²¾åº¦ã€‚åŸºäºŽä¸‰ç¶æ§‹é€ 模型的方法由待表示å°è±¡çš„åƒæ•¸æ¨¡åž‹çµ„æˆï¼Œé€šéŽå°‹æ‰¾æœ€ä½³æ“¬åˆæ™‚的輸入圖åƒå’Œä¸‰ç¶æ¨¡åž‹æŠ•å½±ä¹‹é–“çš„åƒæ•¸ä¾†å¯¦ç¾é‡å»ºã€‚
  最早 Pentland é‡å°è‡ªç„¶ç•Œä¸çš„常見物體æå‡ºäº†è¶…äºŒæ¬¡æ›²é¢æ¨¡åž‹ï¼Œç‚ºåŸºäºŽä¸‰ç¶æ§‹é€ æ¨¡åž‹çš„æ–¹æ³•å¥ å®šäº†åŸºç¤Žã€‚éš¨åŽ Jia æå‡ºäº†å»£ç¾©æŸ±é«”çš„æ¦‚å¿µï¼Œå¹¶å°æ‰€æœ‰æŸ±é¡žå¤–形進行詳細分類æè¿°ã€‚ Gupta ç‰æå‡ºäº†é‡å°æ–¹å½¢ç‰©é«”的建模è¦å‰‡ï¼Œå¦‚圖 4 所示,
  將模型é‡å°ä¸åŒçš„æ‡‰ç”¨å ´æ™¯é€²ä¸€æ¥ç´°åŒ–分類,æé«˜äº†é‡å»ºç²¾åº¦ã€‚Xiao ç‰éš¨åŽä¹Ÿæå‡ºäº†é¡žä¼¼çš„建模è¦å‰‡ã€‚é€™äº›æ¨¡åž‹é›–ç„¶éƒ½èƒ½å°æŸç¨®ç‰¹å®šå¤–形物體進行æè¿°ï¼Œä½†å„æ¨¡åž‹çš„å±€é™æ€§å¤ªå¤§ï¼Œå°Žè‡´å…¶é©ç”¨é¢è¼ƒç‚ºç‹¹çª„ã€‚çŽ‹æ˜ è¼ç‰æå‡ºä¸€ç¨®å¯¦ç¾ä¸‰ç¶ç¶²æ ¼ç´°åŒ–çš„å¯èª¿å¤šé‚Šå½¢æ–¹æ³•,該方法首先通éŽå°‡ä¸‰è§’形的ä¸å¿ƒé»žæ˜ 射到切線平é¢ä¾†ç”Ÿæˆæ˜ 射點;ç„¶åŽå°‡æ˜ 射點按一定比例移動,逆時é‡é€£æŽ¥ï¼Œ 得到切平é¢ä¸Šçš„å¯èª¿å¤šé‚Šå½¢;最åŽå½¢æˆå¯èª¿ä¸‰è§’形和四邊形來填充å¯èª¿å¤šé‚Šå½¢ä¹‹é–“的間隙。該方法生æˆçš„細分曲é¢å¯ä»¥æ ¹æ“šä¸åŒçš„é‹å‹•ç³»æ•¸éˆæ´»èª¿æ•´ï¼Œç›¸è¼ƒäºŽå‚³çµ±è¶…äºŒæ¬¡æ›²é¢æ¨¡åž‹å…·æœ‰è¼ƒå¼·çš„靿£’性和有效性。
  隨著 CAD æŠ€è¡“çš„ä¸æ–·æˆç†Ÿï¼ŒåŸºäºŽ CAD æ¨¡åž‹çš„æ–¹æ³•é€æ¼¸æ¶Œç¾ã€‚該類方法通éŽå»ºç«‹ä¸€çµ„å°æ‡‰é»žæè¿°æ¨¡åž‹ï¼Œå¯ä»¥æœ‰æ•ˆåœ°ç¢ºå®šç‰©é«”的近似視點,從而粗略表示任æ„物體的近似外形。æ¤å¤–, 還有基于 CAD 模型的éžåƒæ•¸åŒ–é‡å»ºçš„æ–¹æ³•,但是該方法僅é™äºŽå°é 先分割好的在線商å“圖åƒé€²è¡Œä¸‰ç¶æ¢å¾©ï¼Œå…¶å±€é™æ€§è¼ƒå¤§ï¼Œ
  
  圖 4 åŸºäºŽä¸‰ç¶æ¨¡åž‹è§£æžåœ–的幾何é‡å»º
ã€€ã€€ç©¶å…¶åŽŸå› æ˜¯å› ç‚ºæ²’æœ‰å°æ¨¡åž‹çš„å„個組æˆéƒ¨åˆ†é€²è¡Œæœ‰æ•ˆåˆ†å‰²å’Œå…§éƒ¨ç‰¹å¾è¡¨ç¤ºã€‚çŽ‹æ˜ è¼ç‰æå‡ºä¸€å¥—å¤šåŸŸç‰©è³ªé«”æ•¸æ“šå…§éƒ¨åˆ†ç•Œé¢æå–æ–¹æ³•å’Œå¤šåŸŸç‰©è³ªé«”æ•¸æ“šå…§éƒ¨çµæ§‹ç‰¹å¾è¡¨é”æ–¹æ³•ã€‚è©²æ–¹æ³•é€šéŽæ§‹å»ºæœ‰å‘éª¨æž¶æ¨¹ã€æå–骨架形狀特å¾å’Œè„Šéª¨ç‰¹å¾ï¼Œå€ŸåŠ©æ¨¹å½¢çµæ§‹æ‹“撲進行å‘é‡è¡¨ç¤ºï¼Œå¯¦ç¾äº†é«”數據分界é¢å½¢ç‹€ç‰¹å¾çš„完整æè¿°ã€‚å¯¦é©—çµæžœè¡¨æ˜Žï¼Œè©²æ–¹æ³•ä¸åƒ…èƒ½å¤ æº–ç¢ºè¡¨é”ä¸‰ç¶æ¢å¾©æ¨¡åž‹ï¼Œ åŒæ™‚還能清晰地分割和æè¿°æ¨¡åž‹å…§å¤–çš„çµæ§‹é—œç³»ï¼Œå¢žå¼·äº†æ¨¡åž‹ç´°ç¯€çš„精確性。
  總體來看,基于幾何圖元展布è¦å¾‹çš„æ–¹æ³•的先驗知è˜ï¼Œåœ¨åœ–元或模型è¨è¨ˆéšŽæ®µå°±å·²ç¶“被è¨å®šå¥½ï¼Œå¯é‡å°ç‰¹å®šç‰©é«”æä¾›æ›´å¤šçš„先驗信æ¯ï¼Œå› æ¤èƒ½å–得較好的é‡å»ºæ•ˆæžœã€‚é›–ç„¶é€™é¡žæ–¹æ³•å¾ˆé›£æ“´å±•åˆ°å…¶ä»–ç‰©é«”ä¸Šï¼Œä½†å› å…¶æ‡‰ç”¨é¢å»£æ³›ï¼Œæˆç‚ºç¹¼ SfS 方法之åŽåˆä¸€å€‹é‡è¦çš„三ç¶çµæ§‹æ¢å¾©æ–¹æ³•。
  4 基于深度å¸ç¿’的方法
  深度å¸ç¿’ (Deep Learning) æºäºŽå°äººå·¥ç¥žç¶“網絡 (ArtificialNeural Network,ANN) 進一æ¥ç™¼å±•。本質上它是一種特å¾å¸ç¿’æ–¹æ³•ï¼Œè² è²¬æŠŠä½Žå±¤æ¬¡çš„åŽŸå§‹æ•¸æ“šé€šéŽä¸€äº›ç°¡å–®çš„ã€éžç·šæ€§çš„網絡模型轉化æˆç‚ºé«˜å±¤æ¬¡çš„è¡¨é” [82]。1986 å¹´ Rumelhart ç‰æå‡ºåå‘å‚³æ’ (Back Propagation,BP) ç®—æ³•ï¼Œä½†ç”±äºŽè©²ç®—æ³•åœ¨æ¢¯åº¦ä¸‹é™æ™‚æœƒé™·å…¥å±€éƒ¨æ¥µå€¼ï¼ŒåŠ ä¹‹å˜åœ¨æ¢¯åº¦æ¶ˆå¤±ã€ç¡¬ä»¶ç®—力ä¸è¶³ç‰å•é¡Œï¼Œæœªè¢«å¤§è¦æ¨¡æ‡‰ç”¨ã€‚直到 2006 年,Hinton ç‰
  æå‡ºä¸€ç¨®æ–°çš„æ·±åº¦ç¥žç¶“網絡模型,該模型利用é 訓練的方法緩解了局部極值å•題,é™ä½Žäº†æ·±åº¦ç¥žç¶“網絡的優化難度和å°è¨ˆç®—æ©Ÿç®—åŠ›çš„è¦æ±‚,æ‰ä½¿è©²é¡žæ–¹æ³•得以釿–°æ‡‰ç”¨ã€‚2012 年, 在 ImageNet 圖åƒè˜åˆ¥å¤§è³½ä¸ï¼ŒKrizhevsky ç‰é‡‡ç”¨æ·±åº¦å¸ç¿’模型 AlexNet ä¸€èˆ‰å¥ªå† ã€‚å¾žæ¤ï¼Œæ·±åº¦å¸ç¿’å—到國內外æ¥ç•Œå¸è€…çš„å»£æ³›é—œæ³¨å’Œæ‡‰ç”¨ã€‚éš¨è‘—ä¸€äº›æ–°çš„ç¶²çµ¡çµæ§‹ã€è¨“練模型ã€è¨“練數據集的出ç¾ï¼Œæ·±åº¦å¸ç¿’在語音è˜åˆ¥ã€è‡ªç„¶èªžè¨€è™•ç†ã€åœ–åƒè˜åˆ¥å’Œåˆ†å‰²ç‰å¤šå€‹é ˜åŸŸéƒ½å–得了顯著的效果。自 AlexNet 網絡發布以來,深度å¸ç¿’åœ¨ä¸‰ç¶æ•¸æ“šçš„分類ã€è˜åˆ¥å’Œé‡å»ºä¸Šä¹Ÿå–得了較大的進展。目å‰ï¼Œå»£æ³›æ‡‰ç”¨çš„æ·±åº¦å¸ç¿’模型主è¦åŒ…括深度置信網絡 (Deep Belief Network,DBN)ã€å·ç©ç¥žç¶“網絡 (Convolutional Neural Networks,CNN)ã€å¾ªç’°ç¥žç¶“網絡 (Recurrent Neural Networks,RNN)ã€ç”Ÿæˆå°æŠ—網絡(Generative Adversarial Networks,GAN) ç‰ã€‚
  相較于二ç¶åœ–åƒé ˜åŸŸï¼Œæ·±åº¦å¸ç¿’在三ç¶é‡å»ºä¸Šçš„ç ”ç©¶èµ·æ¥è¼ƒæ™šï¼Œä½†è‡ª 2012 年以來也å–得了較大進展。其ä¸ï¼ŒåŸºäºŽèªžç¾©æ¨™ç°½çš„æ–¹æ³•æ˜¯ä¸‰ç¶æ¢å¾©æ·±åº¦å¸ç¿’方法得以應用的é‡è¦å‰æï¼Œä¹Ÿæ˜¯å¯¦ç¾é€šéŽæ•¸æ“šé›†è¨“ç·´ä¸‰ç¶æ¢å¾©æ·±åº¦ç¶²çµ¡çš„é‡è¦åŸºç¤Žã€‚å ´æ™¯çš„èªžç¾©ç†è§£å°äºŽå°ºåº¦å’Œä¸‰ç¶çµæ§‹çš„æ„ŸçŸ¥èµ·é‡è¦ä½œç”¨ã€‚åŸºäºŽèªžç¾©æ¨™ç°½çš„ä¸‰ç¶æ¢å¾©æ–¹æ³•æ˜¯æŒ‡å¾žå¸¶æœ‰å¹¾ä½•ä¿¡æ¯æç¤º ( å¦‚åœ°å¹³ç·šã€æ¶ˆå¤±é»žã€è¡¨é¢é‚Šç•Œç‰ ) 的單幅圖åƒä¸ç”Ÿæˆç©ºé–“上åˆç†çš„å ´æ™¯ä¸‰ç¶æ¢å¾©ã€‚該方法通éŽäº†è§£åƒç´ 或å€åŸŸçš„語義類,å¯ä»¥å¾ˆå®¹æ˜“地實ç¾
  深度和幾何約æŸ( 如“天空â€è·é›¢è¼ƒé ,“地é¢â€æ˜¯æ°´å¹³çš„), 從而建立局部二ç¶åœ–åƒå’Œæ•´é«”ä¸‰ç¶æ¨¡åž‹ä¹‹é–“çš„æ˜ å°„é—œç³»ã€‚ä½†æ˜¯ï¼Œ è¦å”¯ä¸€ç¢ºå®šçµ•å°æ·±åº¦ï¼Œé‚„需è¦è«¸å¦‚ç´‹ç†ã€ç›¸å°æ·±åº¦ã€ç›¸æ©Ÿåƒæ•¸ç‰é¡å¤–ä¿¡æ¯ã€‚特別的,該方法éžå¸¸ä¾è³´èªžç¾©é¡žçš„åˆå§‹å®šç¾©ï¼Œèªžç¾©é¡žè¨“練集的精準與å¦ç›´æŽ¥å½±éŸ¿æœ€çµ‚çš„é‡å»ºæ•ˆæžœã€‚
  目å‰ï¼Œåœ‹éš›ä¸Šå…¬é–‹çš„æ•¸æ“šé›†åŒ…括 PASCAL3D+ã€Object- Net3D[102] å’Œ IKEA ç‰ã€‚這些數據集å°å¤šå€‹é¡žåˆ¥çš„物體語義和ä½å§¿ä¿¡æ¯é€²è¡Œé 先人工標注。公開數據集為å„大深度å¸ç¿’算法æä¾›äº†ä¸€å€‹ç›¸åŒçš„訓練起點和åƒè€ƒæ¨™æº–ï¼Œä½†æ˜¯é€™äº›æ•¸æ“šé›†ä¹Ÿæœ‰å…¶è‡ªèº«çš„å±€é™æ€§ï¼š(1) 樣本數é‡ä¸è¶³ï¼Œåƒ…é™äºŽå¾ˆå°‘çš„å°è±¡é¡žåˆ¥å’Œæ¨£æœ¬;(2) åªèƒ½å¾žæœ‰é™çš„æ¨™ç°½å—å…¸ä¸é¸æ“‡ä¸€å€‹æ¨™ç°½ä¾†æ¨™æ³¨æ¨¡åž‹ï¼Œå³ä½¿èªžç¾©ä¸å¤ 準確,也ä¸èƒ½å‰µé€ 發明新的標簽;(3) 圖åƒå’Œä¸‰ç¶æ¨¡åž‹å› ç‚ºæ‹æ”視角ã€ç›¸æ©Ÿç•¸è®Šç‰å› ç´ å°Žè‡´ä¸èƒ½å®Œå…¨åŒ¹é…;(4) æ•¸æ“šé›†ä¹‹é–“å°æ¨™ç°½çš„尺度定義ä¸çµ±ä¸€ï¼Œå˜åœ¨ç·šæ®µã€å¹³é¢ã€CAD 模型ç‰å¤šç¨®å°ºåº¦ã€‚以上å•é¡Œé€ æˆäº†æ·±åº¦å¸ç¿’方法在監ç£ç¨‹åº¦ä¸Šçš„å·®ç•°ï¼Œå¾žè€Œç›´æŽ¥å½±éŸ¿ä¸‰ç¶æ¢å¾©è³ªé‡ã€‚æ ¹æ“šå¯¦éš›æ‡‰ç”¨éœ€è¦ï¼Œæ·±åº¦å¸ç¿’方法通常分為有監ç£å¸ç¿’ã€åŠç›£ç£å¸ç¿’和無監ç£å¸ç¿’。
  4.1 有監ç£å¸ç¿’
  Wu ç‰å»ºç«‹ 3D ShapeNets 網絡,將三ç¶å¹¾ä½•外形標簽表示為三ç¶é«”ç´ ä¸ŠäºŒå€¼è®Šé‡çš„æ¦‚率分布,通éŽå‰å¸ƒæ–¯é‡‡æ¨£é 測外形類型,實ç¾å¡«è£œæœªçŸ¥ç©ºæ´žä¾†å®Œæˆé‡å»ºã€‚Kar ç‰æå‡ºç«‹é«”å¸ç¿’機系統,使用逆投影變æ›ï¼Œå°‡äºŒç¶åœ–åƒç‰¹å¾æŠ•å½±åˆ°ä¸‰ç¶æ¨¡åž‹ç¶²æ ¼ä¸ï¼Œåˆ©ç”¨å–®è¦–é»žèªžç¾©ç·šç´¢é€²è¡Œä¸‰ç¶æ¢å¾©ã€‚該系統在簡化特å¾åŒ¹é…éŽç¨‹çš„åŒæ™‚ä»èƒ½ä¿æŒè¼ƒå¥½çš„æ³›åŒ–性。Wu ç‰æå‡ºMarrNet 網絡模型,在端到端生æˆé‡å»ºçµæžœçš„ç¶²çµ¡çµæ§‹ä¸åŠ å…¥ 2.5D è‰åœ–,增強了é‡å»ºæ•ˆæžœï¼Œä½¿ç¶²çµ¡å¯ä»¥é‡å°ä¸åŒé¡žåˆ¥çš„物體進行三ç¶é‡å»ºã€‚Tulsiani ç‰åˆ©ç”¨å°„ç·šä¸€è‡´æ€§ç´„æŸæ§‹é€ 了一個通用檢測器,通éŽå¸ç¿’單視點的三ç¶çµæ§‹ä¾†è¨“練多視點的幾何一致性,使得普通 CNN 網絡å¯ä»¥æ¸¬é‡ä¸åŒä¸‰ç¶ç‰©é«”之間的外觀一致性。Kato ç‰æå‡ºä¸€ç¨®è¿‘ä¼¼æ¢¯åº¦æ¸²æŸ“ç¶²æ ¼æ¸²æŸ“å™¨ï¼Œå¹¶å°‡å…¶é›†æˆåˆ°ç¥žç¶“網絡ä¸ï¼Œç¶“éŽæ¸²æŸ“器處ç†ï¼Œä½¿å¾—神經網絡å¯ä»¥é€šéŽè¼¸å…¥å–®å¹…二ç¶è¼ªå»“圖åƒä¾†ç›£ç£ä¸‰ç¶çµæ§‹é‡å»ºéŽç¨‹ã€‚
  特別的,å°äºŽä¸€äº›å…·æœ‰å›ºå®šå½¢è²Œçš„三ç¶ç‰©é«”,有監ç£å¸ç¿’å¯ä»¥æ¥µå¤§å¹«åŠ©æ·±åº¦ç¶²çµ¡å¿«é€Ÿæ”¶æ–‚ï¼Œæé«˜ä¸‰ç¶é‡èšçš„精確性。下é¢å…·é«”以人臉模型和人體模型為例進行簡單介紹。
  人臉具有明確的五官和高度的å°ç¨±æ€§ï¼Œä¸”眼ç›ã€çœ‰æ¯›ã€é¼»åã€å˜´å·´å’Œè€³æœµç‰ç›¸å°ä½ç½®æ˜¯å›ºå®šçš„,深度å¸ç¿’網絡åªéœ€æ ¹æ“šè¼¸å…¥çš„二ç¶äººè‡‰åœ–åƒï¼Œé€²è¡Œåƒæ•¸èª¿æ•´å’Œæ¨¡åž‹è®Šå½¢ï¼Œå°±èƒ½å¾—åˆ°å°æ‡‰çš„三ç¶äººè‡‰æ¨¡åž‹ã€‚3D 主動形變模型 (3D Morphable Models, 3DMM) æ£æ˜¯å°æ‡‰è©²æ€è·¯çš„一種三ç¶åƒæ•¸åŒ–模型,該模型通éŽåˆ©ç”¨åŽŸåž‹äººè‡‰çš„å¤§æ•¸æ“šé›†é€²è¡Œäººè‡‰è˜åˆ¥å’Œåœ–åƒç·¨ç¢¼ï¼Œå°‹æ±‚構建基于圖åƒçš„二ç¶äººè‡‰ç·šæ€§è¡¨ç¤ºã€‚實ç¾è©²æ¨¡åž‹çš„æœ€ç›´æŽ¥æ€è·¯å°±æ˜¯åœ¨ç·šæ€§ç©ºé–“ä¸åµŒå…¥æ‰€æœ‰ä¸‰ç¶é¢éƒ¨ï¼Œæˆ–從大é‡çš„ä¸‰ç¶æ¿€å…‰æŽƒæåœ–åƒå…¬é–‹æ•¸æ“šé›†ä¸å¸ç¿’é¢éƒ¨çš„å¯†åº¦å‡½æ•¸åƒæ•¸ã€‚借助 3DMM 人臉模型,Romdhani æå‡ºäº†ä¸€ç¨®åŸºäºŽå¤šç‰¹å¾çš„æ–¹æ³•,該方法使用了éžç·šæ€§æœ€å°äºŒä¹˜å„ªåŒ–擬åˆï¼Œæé«˜äº†æ¢å¾©ç²¾åº¦ã€‚Jourabloo 使用 CNN 回æ¸ä¾†ä¼°è¨ˆå’Œæ›´æ–° 3DMM æ¨¡åž‹åƒæ•¸ã€‚雖然這些方法å¯ä»¥å¯¦ç¾é‡å°äººè‡‰çš„高精度模æ¿ç”Ÿæˆå’Œç²¾ç¢ºçš„單圖åƒäººè‡‰é‡å»ºï¼Œä½†æ˜¯éžå¸¸ä¾è³´åœ–åƒèˆ‡æ¨¡æ¿æ¨¡åž‹ä¹‹é–“詳細準確的é€é»žåŒ¹é…å’Œå¾©é›œçš„åƒæ•¸æ“¬åˆéŽç¨‹ï¼Œä»¥åŠå¤§é‡çš„人臉數據的支æŒã€‚
ã€€ã€€ç‚ºäº†ç°¡åŒ–æ¨¡åž‹è¨“ç·´å’Œåƒæ•¸æ“¬åˆçš„復雜度,Castelan ç‰å’ŒDovgard ç‰åˆ©ç”¨é¢éƒ¨ç‰¹å¾å°ç¨±æ€§ï¼Œå°‡æ‰€æœ‰æ¨¡åž‹çš„表é¢å½¢ç‹€å’Œäº®åº¦èžåˆåˆ°ä¸€å€‹å–®ä¸€çš„耦åˆçµ±è¨ˆæ¨¡åž‹ä¸ï¼Œç°¡åŒ–äº†åƒæ•¸æ“¬åˆçš„éŽç¨‹ã€‚這種方法å¯ä»¥ç”Ÿæˆæ›´åŠ ç²¾ç¢ºçš„é¢éƒ¨æ›²é¢è¼ªå»“,且當新é¢å”å’Œå˜å„²çš„æ¨¡æ¿é¢å”ä¹‹é–“å½¢ç‹€å·®ç•°å¾ˆå°æ™‚,å¯ä»¥å°‡æ–°é¢å”表示為å˜å„²çš„三ç¶é¢å”的線性組åˆã€‚但是在差異較大的情æ³ä¸‹ï¼Œéœ€è¦èª¿æ•´æ¨¡æ¿ä»¥é©æ‡‰ç‰¹å®šå½¢ç‹€ ( 如輸入的是笑臉時,數據庫應包括å„種笑臉形狀)ã€‚åŒæ™‚,該模型ä¸èƒ½é¡¯å¼åœ°å°è¡¨é¢äº®åº¦é€²è¡Œå»ºæ¨¡ï¼Œ ç•¶åœ–åƒæ˜Žæš—發生變化時會匹é…失敗,特別是é‡å°è†šè‰²è®ŠåŒ–時, 這種失效å分普é。
  Kemelmacher ç‰æå‡ºå¹¶è§£æ±ºäº†ä¸€å€‹ç”¨äºŽæ£é¢åœ–åƒçš„éžå‡¸å„ªåŒ–å•題,該方法使用深度圖和å射率圖代替普通的光照圖,并é‡å°æ·±åº¦å€¼å’Œåå°„çŽ‡å€¼å¢žåŠ äº†å°æ‡‰çš„æå¤±å‡½æ•¸ï¼Œæé«˜æ·±åº¦å¸ç¿’網絡在ä¸åŒäº®åº¦ä¸‹çš„é‡å»ºæ•ˆæžœã€‚Deng ç‰æå‡ºä¸€ç¨®åˆ©ç”¨3DMM 模型的 R-Netã€C-Net çš„è¯åˆç¶²çµ¡æ¡†æž¶ï¼Œå¦‚圖 5 所示。該網絡首先通éŽç´„æŸäººè‡‰è¡¨æƒ…ã€ç´‹ç†ã€æ–¹ä½ã€å…‰ç…§ç‰ä¿¡æ¯ï¼Œåˆ©ç”¨é¯æ£’çš„æ··åˆæå¤±å‡½æ•¸é€²è¡Œå¼±ç›£ç£å¸ç¿’ï¼ŒåŒæ™‚使用感知水平的信æ¯ä½œç‚ºç½®ä¿¡åº¦ï¼Œçµåˆåœ–åƒèˆ‡æ¨¡åž‹çš„互補信æ¯é€²è¡Œå½¢ç‹€èšé›†ï¼Œ 最終實ç¾äººè‡‰é‡å»ºã€‚Xu ç‰ä½¿ç”¨ 3DMM 模型以åŠå…¶ä»–é 部å€åŸŸçš„æ·±åº¦åœ–作為輸入,æå‡ºä¸€ç¨®é›™å±¤ç¶²çµ¡ä¾†é‡å»ºé 部模型。該模型首先使用自é‡å»ºæ–¹æ³•在單個圖åƒä¸Šå¸ç¿’人臉形狀,然åŽä½¿ç”¨ç«‹é«”圖åƒå¸ç¿’é 發和耳朵的幾何形狀,ä¸åƒ…æé«˜äº†ç²¾åº¦ï¼Œè€Œä¸”ä¿è‰äº†æ•´é«”é 部幾何形狀的一致性。
  åŒç†ï¼Œäººé«”也是一種具有固定特å¾çš„æ¨¡åž‹ï¼Œäººé«”ä¸‰ç¶æ¢å¾©çš„任務是從單幅圖åƒä¸åˆ†æžäºŒç¶äººé«”姿態,估計一個簡單的
  
  圖 5 基于 R-Netã€C-Net 的三ç¶äººè‡‰ç²¾ç¢ºé‡å»º
  三ç¶äººé«”骨架,從而實ç¾å®Œæ•´çš„三ç¶å§¿æ…‹å’Œä¸‰ç¶äººé«”模型的æ¢å¾©ã€‚雖然這個å•題在多相機和多視圖幾何ç†è«–下得到了很好的解決,但是å°äºŽå–®å¹…圖åƒï¼Œä¸ç¢ºå®šçš„æˆåƒæ¢ä»¶å’Œæœ‰é™çš„æ•¸æ“šé›†ä½¿å¾—該任務變得éžå¸¸å¾©é›œã€‚傳統基于優化的方法為單目姿態和形狀æ¢å¾©æä¾›äº†æœ€å¯é 的解決方案。然而,由于é‹è¡Œæ™‚é–“æ…¢ã€å°åˆå§‹åŒ–æ¢ä»¶çš„ä¾è³´ï¼Œä»¥åŠé™·å…¥å±€éƒ¨æ¥µå°å€¼ç‰å•題使得效果并ä¸é¡¯è‘—ã€‚å€ŸåŠ©äººé«”åƒæ•¸æ¨¡åž‹ (Skinned Multi-Person Linear, SMPL) å¯ç›´æŽ¥å¾žåœ–åƒä¸å›žæ¸å§¿å‹¢å’Œå½¢ç‹€ï¼Œç”šè‡³ç‰¹å¾é»žã€éª¨æž¶é»žã€è¼ªå»“ã€èªžç¾©åˆ†å‰²æˆ–原始åƒç´ 。以 Kolotouros ç‰çš„æ–¹æ³•為例, 該方法首先使用 SMPL 作為人體模型的模æ¿å¼•å…¥ç¶²æ ¼;ç„¶åŽå¼•å…¥ GraphCNN 直接處ç†è¼¸å…¥çš„單幅圖åƒå¹¶æå–特å¾é»žï¼Œéš¨åŽç›´æŽ¥é™„著在 SMPL æ¨¡åž‹çš„é ‚é»žåæ¨™åœ–çµæ§‹ä¸ä»¥ä¾¿ç¹¼çºŒè™•ç†; æœ€åŽæ¯å€‹é ‚點都將其在 SMPL æ¨¡åž‹è®Šå½¢ç¶²æ ¼ä¸çš„三ç¶ä½ç½®ä½œç‚ºæœ€çµ‚çš„è¼¸å‡ºçµæžœã€‚該方法能直接æ¢å¾©å‡ºäººé«”的完整三ç¶å¹¾ä½•模型,而無需顯å¼åœ°æ±‚è§£é å…ˆæŒ‡å®šçš„åƒæ•¸åŒ–ç©ºé–“ã€‚åŒæ™‚,在得到æ¯å€‹é ‚點的三ç¶å標åŽï¼Œå¦‚果需è¦é©é…å¹¶é æ¸¬ç¬¦åˆç‰¹å®šçš„æ¨¡åž‹ï¼Œåªéœ€è¦å¾žç•¶å‰æ¨¡åž‹ä¸åå‘回æ¸å…¶åƒæ•¸å³å¯ã€‚Jiang ç‰æå‡ºä¸€ç¨®åŸºäºŽ SMPL åƒæ•¸æ¨¡åž‹å’Œè·é›¢å ´çš„æ·±åº¦å¸ç¿’ç¶²çµ¡ï¼Œèƒ½å¤ åŒæ™‚利用兩種æå¤±å‡½æ•¸åƒèˆ‡ç¶²çµ¡è¨“ç·´ï¼Œç”Ÿæˆæ›´åŠ æº–ç¢ºçš„äººé«”å§¿æ…‹æ¨¡åž‹ã€‚Zhu ç‰æå‡ºä¸€ç¨®çµåˆåƒæ•¸æ¨¡åž‹èˆ‡è‡ªç”±å½¢è®Šçš„æ·±åº¦å¸ç¿’網絡, 該網絡利用身體關節ã€è¼ªå»“å’Œæ¯å€‹åƒç´ 著色信æ¯çš„ç´„æŸä¿¡æ¯é€²è¡Œåˆ†å±¤ç¶²æ ¼è®Šå½¢å„ªåŒ–,ä¸åƒ…能æ¢å¾©å‡ºå®Œæ•´äººé«”模型,而且能實ç¾ç²¾æº–的紋ç†è²¼åœ–匹é…。
  4.2 åŠç›£ç£å¸ç¿’
  ä¸åŒäºŽç›´æŽ¥ä½¿ç”¨ä¸‰ç¶æ¨¡åž‹æ•¸æ“šé›†æˆ–三ç¶åƒæ•¸æ¨¡åž‹æ•¸æ“šé›†è¨“ç·´æ·±åº¦ç¶²çµ¡æ±‚è§£çµ•å°æ·±åº¦ä¿¡æ¯çš„æœ‰ç›£ç£å¸ç¿’方法,åŠç›£ç£å¸ç¿’方法使用三ç¶ç©ºé–“ä¸Šçš„ç‰¹å¾ ( 如特å¾é»žã€ç‰¹å¾ç·šæ®µã€ç‰¹å¾é¢ ) 作為語義標簽,建立標簽和深度信æ¯çš„é—œè¯æ€§ï¼Œå¾žè€Œå¯¦ç¾ä¸‰ç¶æ¨¡åž‹æ¢å¾©ã€‚
  Delage ç‰åˆ©ç”¨å®¤å…§å ´æ™¯ä¸çš„幾何線索 ( 如天花æ¿å’Œå¢»å£çš„æŽ¥ç¸« ),使用 MRF é‡å»ºå¢»å£ã€å¤©èбæ¿å’Œåœ°æ¿çš„相å°ä½ç½®ã€‚Hedau ç‰åˆ©ç”¨ç›¸ä¼¼çš„幾何線索æ¢å¾©äº†é›œäº‚房間的空間布局。這兩種方法å°äºŽç°¡å–®çš„å®¤å…§å ´æ™¯æ•ˆæžœæ˜Žé¡¯ï¼Œä½†æ˜¯å°æˆ¿é–“çµæ§‹å’Œæˆ¿é–“å¸ƒå±€æœ‰åš´æ ¼çš„è¦æ±‚,應用å分有é™ã€‚Gould ç‰æå‡ºçš„å ´æ™¯åˆ†è§£æ¨¡åž‹è‰æ˜Žäº†æˆ¶å¤–å ´æ™¯ä¸å¹¾ä½•ä¿¡æ¯å’Œèªžç¾©ä¹‹é–“的強相關性。Hoiem ç‰æå‡ºäº†ä¸€å¥—èªžç¾©æ¾æ•£çš„幾何集,定義諸如建ç‘物是垂直的,é“è·¯ã€è‰å’Œæ°´æ˜¯æ°´å¹³çš„ç‰æ¦‚å¿µï¼Œå¹¶æ§‹å»ºäº†ä¸€ç¨®ç°¡å–®çš„ä¸‰ç¶æ¢å¾©æ¨¡åž‹èˆ‡ä¹‹åŒ¹é…,該模型å¯ä»¥é€šéŽâ€œå½ˆå‡ºâ€åž‚ç›´å€åŸŸä¾†æ¢å¾©çµæ§‹ã€‚Russell ç‰é‡‡ç”¨ä¸€ç¨®æ›´å…·èªžç¾©å‹•機的方法——利用詳細的人工標定數據集,來分割和推斷å€åŸŸå’Œå€åŸŸé‚Šç·£çš„幾何類別 ( 如天空總是在盡å¯èƒ½é 的深度,è‰åœ°å’Œé“è·¯å½¢æˆæ”¯æ’å…¶ä»–å°è±¡çš„地平é¢ç‰ ),并且通éŽå»ºç«‹ç›¸å°äºŽåœ°å¹³é¢çš„æ”¯æ’å’Œé™„è‘—é—œç³»ä¾†å®Œæˆæ·±åº¦æŽ¨æ–·ã€‚
  除了單純地使用數據集訓練網絡之外,與傳統算法相çµåˆçš„æ–¹æ³•也å¯ä»¥å¹«åŠ©ç¶²çµ¡æ›´å¿«åœ°æ”¶æ–‚ã€‚Haines ç‰åˆ©ç”¨æ·±åº¦å¸ç¿’é æ¸¬é 分割å€åŸŸçš„é€£çºŒä¸‰ç¶æ–¹å‘,并將å€åŸŸå¹³é¢æª¢æ¸¬ä½œç‚ºMRF 模型的優化å•題。Fouhey ç‰é¦–先檢測凸 / 凹邊ã€é®æ“‹é‚Šç•Œã€è¶…åƒç´ åŠå…¶æ–¹å‘,然åŽå°‡åˆ†çµ„å•題表述為二元二次è¦åŠƒå•題。Heitz ç‰å°‡ç›®æ¨™æª¢æ¸¬ã€å¤šé¡žåœ–åƒæ¨™è¨˜å’Œæ·±åº¦æ„ŸçŸ¥ç›¸çµåˆã€‚Liu ç‰åŸºäºŽ Hetiz 的方法,將 MRF 和機器å¸ç¿’相çµåˆã€‚該方
  
  圖 6 å®¤å¤–å ´æ™¯èªžç¾©åˆ†é¡žé›†
  法首先使用一個å¸ç¿’å¥½çš„å¤šé¡žåœ–åƒæ¨™ç°½é›†ä¾†æŽ¨æ–·åœ–åƒä¸æ¯å€‹åƒç´ 的語義類,該標簽集è¨ç½®ç‚ºï¼šå¤©ç©ºã€æ¨¹ã€è·¯ã€è‰ã€æ°´ã€å»ºç‘ã€å±±å’Œå‰æ™¯å°è±¡ ( å‰ 7 é¡žè¦†è“‹äº†å®¤å¤–å ´æ™¯ä¸çš„大部分背景å€åŸŸï¼Œ 而最åŽä¸€é¡žè² è²¬æ¨™è¨˜ä¸€çµ„å‰æ™¯å°è±¡ )。然åŽä½¿ç”¨åŸºäºŽåƒç´ 和超åƒç´ 的機器å¸ç¿’網絡,çµåˆå…¨å±€æ·±åº¦å„ªå…ˆã€å…¨å±€çµæ§‹ç‰¹å¾ç‰è¦å‰‡ç´„æŸï¼Œå¯¦ç¾äº†è¼ƒå¥½çš„é‡å»ºçµæžœï¼Œå¦‚圖 6 所示。Yang ç‰å°‡å¾©é›œçš„分割å•é¡Œè½‰åŒ–ç‚ºæ·±åº¦é æ¸¬å•題,ä¸å†é¡¯ç¤ºå€åˆ†å„個標簽, å¹¶æå‡ºäº†ä¸€ç¨®ä¸éœ€è¦å€åˆ†çœŸå¯¦åœ°é¢çš„æ·±åº¦å¸ç¿’網絡。然而,該方法å—網絡架構的影響,é™åˆ¶äº†é 測平é¢çš„總數é‡ï¼Œå°Žè‡´å…¶åœ¨å¾©é›œå ´æ™¯ä¸çš„æ€§èƒ½ä¸‹é™ã€‚Liu ç‰åœ¨ Yang 的方法基礎上,æå‡ºåŸºäºŽ Mask R-CNN 的實例分割框架,解決了這個å•題。
  4.3 無監ç£å¸ç¿’
  雖然基于有監ç£å¸ç¿’å’ŒåŠç›£ç£å¸ç¿’çš„æ–¹æ³•æ•ˆæžœé¡¯è‘—ï¼Œä½†æ§‹å»ºå¤§è¦æ¨¡å…¨è¦†è“‹çš„監ç£è¨“練數據集å分困難,而且é‡å»ºçµæžœç‰¹åˆ¥ä¾è³´æ•¸æ“šé›†çš„æ¨™ç°½è³ªé‡ã€‚本質上講,語義標簽還是æŸç¨®ç‰¹å®šçš„人工圖åƒç‰¹å¾ï¼Œå¯¦éš›éŽç¨‹é›¢ä¸é–‹æ±‚解從圖åƒç‰¹å¾åˆ°æ·±åº¦çš„æ˜ 射。盡管網絡å¯ä»¥éš±å¼æŽ¨ç†å‡ºä¸Šä¸‹æ–‡èªžç¾©ï¼Œä½†æ˜¯é‡å»ºçµæžœçš„優劣嚴é‡ä¾è³´èªžç¾©é›†çš„è¨å®šï¼Œå°Žè‡´ç¶²çµ¡çš„æ³›åŒ–性ä¸è¶³ï¼Œä½¿ç”¨å ´æ™¯æœ‰é™ã€‚éš¨è‘—ç ”ç©¶çš„ä¸æ–·æ·±å…¥ï¼Œä¸€äº›ç„¡ç›£ç£å¸ç¿’çš„æ–¹æ³•é€æ¼¸è¢«æå‡ºã€‚
  Rezende ç‰é¦–次æå‡ºä¸€ç¨®ç„¡ç›£ç£å¸ç¿’的三ç¶é‡å»ºç¶²çµ¡çµæ§‹ã€‚該網絡實ç¾äº†ç„¡éœ€ä¸‰ç¶æ¨¡åž‹å½¢è²Œæ¨™ç°½ï¼Œå°±å¯ä»¥ç›´æŽ¥é€šéŽäºŒ
  ç¶åœ–åƒé€²è¡Œç«¯åˆ°ç«¯çš„無監ç£å¸ç¿’訓練。雖然åªé©ç”¨äºŽç«‹æ–¹é«”和圓柱體ç‰ç°¡å–®å½¢ç‹€ï¼Œä½†å…¶è‰æ˜Žäº†ç„¡ç›£ç£å¸ç¿’三ç¶è¡¨å¾çš„å¯èƒ½ã€‚Choy ç‰æå‡ºä¸€ç¨®åŸºäºŽæ¨™æº–é•·çŸæœŸè¨˜æ†¶ç¶²çµ¡ (Long Short Term Memory,LSTM) çš„æ“´å±•ç¶²çµ¡çµæ§‹â€”—三ç¶å¾ªç’°é‡å»ºç¥žç¶“ ç¶² 絡 (3D Recurrent Reconstruction Neural Network, 3D-R2N2),并建立了大型 CAD 模型數據集 ModelNet。該網絡無需利用圖åƒåˆ†é¡žæ¨™ç°½é€²è¡Œè¨“ç·´ï¼Œå°±èƒ½å¾ˆå¥½åœ°é©æ‡‰ç¼ºä¹ç´‹ç†ç‰¹å¾å’Œå¯¬åŸºç·šç‰¹å¾çš„å•題。雖然該網絡在é‡å»ºç´°ç¯€æ–¹é¢å˜åœ¨ç¼ºå¤±ï¼Œä½†ç”±äºŽå¯¦ç¾äº†åœ¨å–®å€‹æž¶æ§‹ä¸åŒæ™‚支æŒå–®è¦–圖和多視圖é‡å»ºï¼Œä¸”å¯¦é©—çµæžœå‡å„ªäºŽå‚³çµ±æ–¹æ³•,使其具有å分é‡è¦çš„æ„ç¾©ã€‚Girdhar ç‰æå‡ºçš„ TL-Embedding Network 網絡首先在訓練自編碼器時利用åƒç´ ç¶²æ ¼å¸ç¿’ä¸‰ç¶æ¨¡åž‹åµŒå…¥ï¼Œç„¶åŽé€šéŽConvNets 輸入二ç¶åœ–åƒæ‰¾åˆ°å°æ‡‰çš„æ¨¡åž‹åµŒå…¥ï¼Œæœ€åŽç¶“éŽè§£ç¢¼å™¨å¾—åˆ°é«”ç´ è¡¨ç¤ºçš„ä¸‰ç¶é‡å»ºæ¨¡åž‹ã€‚Yan ç‰æå‡ºçš„é€è¦–變æ›ç¶²çµ¡(Perspective Tansformer Nets) 在傳統å·ç©ç¥žç¶“網絡ä¸åŠ å…¥é€è¦–變æ›ï¼ŒåŒæ™‚將在ä¸åŒç‰¹å®šè¦–角下的二ç¶ç‰©é«”è¼ªå»“å’Œå°æ‡‰é«”ç´ è¼ªå»“çš„è·é›¢ä½œç‚ºæ–°çš„æå¤±å‡½æ•¸ï¼Œå› æ¤åœ¨ç„¡ç›£ç£å¸ç¿’下å–得了較好的泛化能力。Li ç‰æå‡ºä¸€ç¨®é€šéŽäºŒç¶åœ–åƒå’Œè¼ªå»“的集åˆä¾†é 測目標å°è±¡çš„三ç¶ç¶²æ ¼å½¢ç‹€å’Œç´‹ç†çš„æ·±åº¦å¸ç¿’網絡,該網絡將建模å°è±¡è¡¨ç¤ºç‚ºå¯è®Šå½¢æ§‹ä»¶åœ–åƒçš„集åˆï¼Œé€šéŽå°å¤§é‡å¯è®Šæ€§æ§‹ä»¶åœ–åƒçš„åˆ†å‰²ï¼Œæœ‰æ•ˆåœ°åŠ å¼·äº†é‡å»ºç¶²æ ¼å’ŒåŽŸå§‹åœ–åƒä¹‹é–“的語義一致性。由于該網絡ä¸éœ€è¦ä¸‰ç¶ç›£ç£ã€æ‰‹å‹•注釋關éµé»žã€å°è±¡çš„å¤šè¦–åœ–åœ–åƒæˆ– 3D åƒæ•¸åŒ–模æ¿ï¼Œå› æ¤å¾ˆå®¹æ˜“推廣到沒有æ¤é¡žæ¨™ç°½çš„å„種å°è±¡é¡žåˆ¥ã€‚
  為了更好地利用二ç¶åœ–åƒå’Œä¸‰ç¶æ¨¡åž‹ä¹‹é–“的著色信æ¯ï¼ŒåŒæ™‚減少二ç¶åœ–åƒå’Œä¸‰ç¶æ¨¡åž‹ä¹‹é–“匹é…誤差導致的“塊狀é‡ç–Šâ€ å•題,Chang å’Œ Hao 都æå‡ºç›´æŽ¥å¾žå¸¶æœ‰ç´‹ç†çš„åˆæˆ CAD æ¨¡åž‹å‡ºç™¼ï¼Œä½¿ç”¨åˆæˆåœ–åƒè¨“練深度模型以估計相機ä½å§¿å’Œé‡å»ºä¸‰ç¶å½¢ç‹€ã€‚ç´‹ç† CAD æ¨¡åž‹èƒ½å¤ è¡¨ç¤ºä»»æ„æ–¹å‘和尺寸的曲é¢ï¼Œå¹¶ä¸”借助紋ç†è‘—è‰²èƒ½å¤ æ•æ‰åˆ°æ›´åŠ ç²¾ç´°çš„ç´°ç¯€ã€‚å…¶é—œéµåœ¨äºŽæ·±åº¦å¸ç¿’網絡首先è¦è¨“練無標簽的二ç¶åœ–片集,然åŽè¨“ç·´èˆ‡ä¹‹å°æ‡‰çš„ç„¡æ¨™ç°½çš„ä¸‰ç¶æ¨¡åž‹é›†ï¼Œæœ€åŽé€šéŽä¸€å®šçš„æ‡²ç½°å‡½æ•¸å°‡äºŒè€…è¯ç«‹ï¼Œå¹¶åœ¨è¼¸å…¥ä¸€å¹…æ–°åœ–åƒæ™‚匹é…判斷。這類方法有兩個優勢:
  (1) é¿å…了人工定義模型和人工標注å¯èƒ½å¸¶ä¾†çš„éŒ¯èª¤ï¼ŒåŒæ™‚ç´‹ç† CAD 模型之間å¯ä»¥ä»»æ„組åˆï¼Œç”Ÿæˆå¹¾ä¹Žç„¡é™é‡çš„å…·æœ‰ç²¾ç¢ºçœŸå¯¦å§¿æ…‹å’Œä¸‰ç¶æ¨¡åž‹çš„æ¸²æŸ“訓練圖åƒ;(2) 深度å¸ç¿’網絡å¯ä»¥æ‡‰å°å¤§é‡çš„外觀變化,å°å¾©é›œå»ºæ¨¡çš„æ•ˆæžœå°¤ç‚ºæ˜Žé¡¯ã€‚é›–ç„¶ç´‹ç†CAD æ¨¡åž‹åœ¨åˆæˆåœ–åƒ ( å³äººå·¥æ§‹é€ 的紋ç†åœ–åƒï¼Œæˆ–äººå·¥æ§‹é€ çš„ç´‹ç†æ¨¡åž‹å°æ‡‰æ˜ 射的二ç¶åœ–åƒ ) ä¸Šæœ‰æ˜Žé¡¯çš„æ•ˆæžœï¼Œä½†åœ¨æ‡‰ç”¨äºŽè‡ªç„¶åœ–åƒ ( å³éžåˆæˆåœ–åƒ ) 時,性能有明顯下é™ã€‚為了克æœé€™å€‹å•題,個別å¸è€…å˜—è©¦åœ¨è¨“ç·´é›†ä¸æ·»åŠ å°‘é‡äººå·¥æ¨™è¨˜çš„自然圖åƒä¾†å¾®èª¿ç¶²çµ¡åƒæ•¸ï¼Œä½†æ˜¯äººå·¥æ¨™ç°½åˆæœƒå¼•入由于標注錯誤帶來的誤差。
  æ¤å¤–,一些å¸è€…嘗試利用 GAN ç¶²çµ¡é€²è¡Œä¸‰ç¶æ¢å¾©ã€‚å…¶ä¸ï¼Œå…·æœ‰ä»£è¡¨æ€§çš„æ˜¯ Wu ç‰æå‡ºçš„ 3D-VAE-GAN 網絡。該網絡首先通éŽè®Šåˆ†è‡ªç·¨ç¢¼ç¶²çµ¡å¾—到輸入二ç¶åœ–åƒçš„æ½›åœ¨å‘é‡ï¼Œç„¶åŽé€šéŽ GAN 網絡的生æˆå™¨å¾—到é‡å»ºç‰©é«”。其優點是å¯ä»¥å¾žæ¦‚率表å¾ç©ºé–“ä¸é‡‡æ¨£æ–°çš„三ç¶å°è±¡ï¼Œå¹¶ä¸”判別器帶有三ç¶ç‰©é«”è˜åˆ¥çš„ä¿¡æ¯ç‰¹å¾ã€‚實驗表明,與 TL-Embedding Network çš„é‡å»ºç²¾åº¦ç›¸æ¯”,3D-VAE-GAN 網絡å–得了更好的效果。
  綜上所述,相較于傳統方法,深度å¸ç¿’具有無需人工æè¿°è¦å‰‡å’Œè¨å®šåƒæ•¸ã€æ•¸æ“šè™•ç†é‡å¤§ç‰è«¸å¤šå„ªå‹¢ï¼Œå¹¶å–å¾—äº†æ˜Žé¡¯æˆæžœã€‚但深度å¸ç¿’也å˜åœ¨ä»¥ä¸‹å•題:(1) 公共數據集較少。與目å‰åƒè¬ç´šçš„二ç¶åœ–åƒæ•¸æ“šé›†ç›¸æ¯”ï¼Œä¸‰ç¶æ¨¡åž‹å…¬å…±æ•¸æ“šé›†è¦æ¨¡å°ã€ç¨®é¡žå°‘,早期具有代表性的公開數據集如 PASCAL3D+[101] å’Œ ObjectNet3D 已無法滿足實際需è¦ã€‚(2) é‡å»ºåˆ†è¾¨çއåŠç²¾åº¦å•題。網絡支æŒçš„é‡å»ºç‰©é«”分辨率通常是 32×32×32,且é‡å»ºçµæžœèˆ‡çœŸå¯¦æ¨¡åž‹å°æ¯”,精度未é”到 95% 以上,å˜åœ¨ç´°ç¯€éƒ¨åˆ†ç¼ºå¤±åš´é‡çš„å•題。但是三ç¶ç›¸æ¯”于二ç¶å¤šäº†ä¸€å€‹ç¶åº¦ï¼Œè‹¥ç›²ç›®å¢žåŠ åˆ†è¾¨çŽ‡æœƒå°Žè‡´æ•¸æ“šé‡å‘ˆæŒ‡æ•¸ç´šå¢žé•·ï¼Œæ¥µå¤§é™ä½Žè¨ˆç®—效率。(3) 單幅圖åƒé‡å»ºçš„ä¸ç¢ºå®šå•題。與傳統方法一樣,基于深度å¸ç¿’的方法在利用單幅圖åƒé€²è¡Œä¸‰ç¶æ¢å¾©æ™‚,一幅圖åƒå¾€å¾€å°æ‡‰å¤šå€‹ä¸åŒçš„ä¸‰ç¶æ¨¡åž‹ã€‚這種ä¸ç¢ºå®šæ€§åæ˜ åœ¨è¨“ç·´é›†ä¸å°±æ˜¯å…©å¹…看起來相似的圖åƒå¯èƒ½å°Žè‡´å®Œå…¨ä¸åŒçš„é‡å»ºçµæžœã€‚ç›®å‰ï¼Œ åªèƒ½é€šéŽç›¡å¯èƒ½æº–確的定義æå¤±å‡½æ•¸å’Œå¤–åŠ ç´„æŸæ¢ä»¶ä¾†é™åˆ¶å…¶çµæžœçš„ä¸ç¢ºå®šæ€§ã€‚
  5 總çµèˆ‡å±•望
  基于å¯è¦‹å…‰å–®åœ–åƒçš„三ç¶çµæ§‹æ¢å¾©æœ¬èº«æ˜¯ä¸€å€‹ä¸ç¢ºå®šæ€§å•題。自 20 世紀 90 年代以來,國內外許多å¸è€…æå‡ºäº†å„種方法,
  如表 1 所示。基于光照模型的方法通éŽåœ–åƒçš„ç´‹ç†å’Œæ˜Žæš—關系, å‡è¨å’Œå»ºç«‹ç‰©é«”表é¢çš„å¾®è§€çµæ§‹æ¨¡åž‹ï¼Œæ§‹å»ºäºŒç¶åœ–åƒå’Œä¸‰ç¶æ·±åº¦ä¹‹é–“çš„å°æ‡‰é—œç³»ï¼Œå¯¦ç¾ä¸‰ç¶çµæ§‹æ¢å¾©ã€‚該方法在已知æè³ªå射率 ( 峿¶ˆé™¤äº†æè³ªå·®ç•°å› ç´ ) çš„å‰æä¸‹ï¼Œè©¦åœ–å¾žå¹¾ä½•çµæ§‹å·®ç•°ä½œç‚ºåˆ‡å…¥é»žé€²è¡Œæ±‚解,但該方法極易å—到實際環境的光線情æ³ã€ç›¸æ©Ÿè¦–點和光照模型類型的影響,且計算é‡è¼ƒå¤§ã€‚基于幾何圖元展布è¦å¾‹çš„æ–¹æ³•利用二ç¶åœ–åƒæˆ–ä¸‰ç¶æ¨¡åž‹å˜åœ¨çš„幾何è¦å¾‹ä»£æ›¿å…‰ç…§æ¨¡åž‹ï¼Œé€šéŽå¹³ç§»ã€æ—‹è½‰ã€ç¸®æ”¾ã€é‡å¾©ç‰æ“作實ç¾ä¸‰ç¶æ¢å¾©ï¼Œå¾žè€Œå›žé¿äº†æ±‚解物體表é¢å¹¾ä½•çµæ§‹å·®ç•°å¸¶ä¾†çš„誤差å•題,å°äºŽäººé€ ç´‹ç†å’Œæ¨¡åž‹æœ‰æ˜Žé¡¯çš„å„ªå‹¢ï¼Œä½†æ£æ˜¯é€™ç¨®å…ˆé©—è¦å¾‹é™åˆ¶äº†è©²æ–¹æ³•在其他ä¸è¦å‰‡ç‰©é«”上的應用,導致其é©ç”¨é¢è¼ƒçª„。基于深度å¸ç¿’的方法利用深度網絡é¿å…了傳統方法ä¸äººå·¥å®šç¾©é—œç³»å’Œäººå·¥è¨å®šåƒæ•¸çš„局陿€§ï¼Œé…åˆæœ‰ç›£ç£ã€åŠç›£ç£æˆ–無監ç£çš„æ–¹æ³•,實ç¾äº†åˆ©ç”¨ç‰¹å¾é»žã€ç‰¹å¾ç·šæ®µã€ç‰¹å¾é¢ã€ç‰¹å¾æ¨¡åž‹ç‰å¤šç¶åº¦çš„空間信æ¯ï¼Œæ ¹æ“šè¼¸å…¥åœ–åƒç›´æŽ¥å¾—åˆ°å°æ‡‰ä¸‰ç¶æ·±åº¦é»žçš„æ±‚è§£éŽç¨‹ã€‚并且基于幾何圖元展布è¦å¾‹çš„æ–¹æ³•ä¾è³´æµ·é‡æ•¸æ“šçš„æ”¯æ’,有效減å°äº†åœ–åƒé‡‡é›†éŽç¨‹ä¸å¯èƒ½å¸¶ä¾†çš„誤差。但其缺點也顯而易見:éžå¸¸ä¾è³´ç¶²çµ¡æž¶æ§‹è¨è¨ˆå’Œè¨“練數據集的質é‡ã€‚雖然基于深度å¸ç¿’的方法比傳統方法有了明顯進æ¥ï¼Œä½†æ˜¯å®Œå…¨ä¾è³´æ·±åº¦å¸ç¿’方法的效果ä»ä¸ç›¡å¦‚人æ„。å°äºŽç—…態性å•é¡Œï¼Œåªæœ‰å°‡å–®å¹…åœ–åƒæ“´å±•到多幅圖åƒï¼Œåˆ©ç”¨å¤šè¦–圖幾何ç†è«–æ‰èƒ½ç›¡å¯èƒ½åœ°æ¸›å°èª¤å·®ã€‚å…¶ä¸ï¼ŒSfM å’Œ SLAM 是多視圖幾何ç†è«–的兩種代表性方法,由于已經超出了單幅圖åƒçš„討論范åœï¼Œæ•¬è«‹è®€è€…自行查閱相關資料。
ã€€ã€€å¾žå½±éŸ¿å› ç´ çš„è§’åº¦ä¾†çœ‹ï¼Œç‰©é«”è‡ªèº«çš„æè³ªå·®ç•°å’Œå¹¾ä½•çµæ§‹å·®ç•°æ˜¯æ±ºå®šä¸‰ç¶æ¢å¾©çµæžœå„ªåŠ£çš„æ ¹æœ¬åŽŸå› ï¼Œè€Œåœ–åƒä¿¡æ¯é‡‡é›†æå¤±å¸¶ä¾†çš„ä¸ç¢ºå®šæ€§æ˜¯å…¶å¤–éƒ¨åŽŸå› ã€‚å¾žç¾æœ‰æ–¹æ³•ä¾†çœ‹ï¼Œç„¡æ³•é€šéŽæ•¸å¸è¨ˆç®—來精準求解三ç¶çµæ§‹ï¼Œåªèƒ½é€šéŽæ§‹é€ åˆç†çš„光照模型
  
  表 1 基于å¯è¦‹å…‰å–®åœ–åƒä¸‰ç¶çµæ§‹æ¢å¾©æ–¹æ³•å°æ¯”
  或尋找è¦å‰‡çš„幾何圖元紋ç†ä¾†è¿‘ä¼¼æè¿°ç‰©é«”表é¢çš„å¾®è§€çµæ§‹ï¼Œ 在誤差å…許的范åœå…§ç¸®å°æˆ–å¿½ç•¥å·®ç•°ï¼Œäº¦æˆ–é€šéŽæ·±åº¦å¸ç¿’的方å¼ï¼Œåœ¨ç¶²çµ¡è¨“練的時候,通éŽå¢žåР大é‡é«˜ç²¾åº¦ã€é«˜åˆ†è¾¨çŽ‡åœ–åƒï¼Œ ä»¥æ¸›å°‘ä¿¡æ¯æå¤±å’Œä¸ç¢ºå®šæ€§ï¼Œå¾žè€Œé€¼è¿‘真實物體的表é¢å½¢è²Œã€‚æ¤å¤–,采用多方法的èžåˆçµ±ä¸€æ¡†æž¶å°‡æ˜¯è§£æ±ºä¸Šè¿°å•題的一種新的趨勢。2020 年,Henderson ç‰æå‡ºä¸€ç¨®å‚³çµ±æ–¹æ³•å’Œæ·±åº¦å¸ç¿’相çµåˆçš„æ–°åž‹ç¶²çµ¡æ¡†æž¶ã€‚該框架解決了從單幅圖åƒä¸é€²è¡Œä¸‰ç¶æ¢å¾©ï¼Œä»¥åŠç”Ÿæˆæ–°çš„三ç¶å½¢ç‹€æ¨£æœ¬çš„å•題。框架算法ä¸ä¸åƒ…çµåˆäº†å‚³çµ±çš„光照模型ã€å…ˆé©—æ¨¡åž‹çš„æ–¹æ³•ï¼Œè€Œä¸”åŒæ™‚支æŒç„¡æ¨™æ³¨æ•¸æ“šé›†çš„å¸ç¿’和帶有語義標簽的有監ç£å¸ç¿’ã€‚çµæžœè¡¨æ˜Žï¼Œè©²ç®—æ³•èƒ½é©æ‡‰å–®è‰²å…‰ä»¥åŠç™½å…‰ç’°å¢ƒï¼Œå¯ä»¥è‡ªå‹•調整陰影和輪廓在網絡ä¸çš„æ¬Šé‡ï¼Œç”Ÿæˆçš„æ¨¡åž‹å…·æœ‰æ›´ç²¾ç´°çš„表é¢ç´°ç¯€å’Œè¼ƒå¼·çš„靿£’性。這種集æˆå„ªå‹¢æ˜¯å‰æ–‡æ‰€è¿°ä»»ä½•單一算法所無法實ç¾çš„。綜上所述,基于å¯è¦‹å…‰å–®åœ–åƒä¸‰ç¶çµæ§‹æ¢å¾©å•題未來å¯ä»¥å¾žä»¥ä¸‹å¹¾æ–¹é¢ç™¼å±•å’Œçªç ´ï¼š
  (1) 傳統方法與基于深度å¸ç¿’方法相çµåˆ ç¾æœ‰åŸºäºŽæ·±åº¦
  å¸ç¿’方法相較于傳統方法已經å–得了明顯的效果,但是深度å¸ç¿’網絡的訓練éžå¸¸ä¾è³´æ•¸æ“šé›† ( 數據集的好壞直接影響網絡效果 )。而基于å¯è¦‹å…‰å–®åœ–åƒä¸‰ç¶çµæ§‹æ¢å¾©å•é¡Œç¼ºå°‘ç›¸æ‡‰çš„æµ·é‡æ¨™æº–數據集,使得網絡缺少泛化能力。傳統方法雖然計算復雜度高,但由于其通用性強,目å‰ä»ç„¶ç™¼æ®ä¸å¯ç¼ºå°‘的作用。二者相çµåˆï¼Œå¯ä»¥æœ€å¤§ç™¼æ®å…¶æ–¹æ³•的優勢,é”到更好的é‡å»ºæ•ˆæžœã€‚
  (2) 基于 GAN ç¶²çµ¡æˆ–çµ„åˆ GAN 網絡實ç¾ä¸‰ç¶é‡å»º 盡管GAN 網絡本身的特性導致在訓練éŽç¨‹ä¸å¼•入噪è²ï¼Œä½¿å¾—è¨“ç·´çµæžœä¸ç©©å®šï¼Œä½†æ˜¯é€™ç¨®æ–¹æ³•å°äºŽç¼ºä¹å¤§åž‹æ¨™æº–數據集的情æ³ä»ç„¶é¡¯ç¤ºå‡ºè‰¯å¥½çš„æ½›åŠ›ã€‚æ¤å¤–,將 GAN ç¶²çµ¡è¦–ä½œå½¢ç‹€æˆ–è¼ªå»“å…ˆé©—çŸ¥è˜æ¨¡åž‹çš„一部分,å¯ä»¥å¾ˆå¥½åœ°å¹«åŠ©ç¶²çµ¡å¿«é€Ÿæ”¶æ–‚ï¼Œä½¿å…¶æ»¿è¶³ç‰¹å®šå•é¡Œå ´æ™¯çš„éœ€è¦ã€‚
  (3) å»ºç«‹çœŸå¯¦å ´æ™¯çš„å¤§åž‹æ¨™æº–è¨“ç·´æ•¸æ“šé›† å¤šæ•¸ç ”ç©¶è€…é¸ç”¨ç´”白背景或 CAD æ¨¡åž‹æ¸²æŸ“å‡ºçš„äººå·¥åˆæˆæ•¸æ“šé›†é€²è¡Œè¨“練。這些數據集環境復雜,標準ä¸ä¸€ï¼Œèˆ‡çœŸå¯¦å ´æ™¯å·®ç•°è¼ƒå¤§ï¼Œä¸”æ¯å€‹ç‰©é«”的外形復雜程度差異很大,ä¸åˆ©äºŽç¶²çµ¡çš„è¨“ç·´å’Œæœ€çµ‚å¯¦é©—æ•¸æ“šçš„å°æ¯”ï¼Œè‡´ä½¿å…¶ç¶²çµ¡åœ¨çœŸå¯¦ç’°å¢ƒä¸æ•ˆæžœè¼ƒå¼±ã€‚當下迫切需è¦åƒç…§äºŒç¶åœ–åƒé ˜åŸŸæ§‹å»ºä¸€äº›å¤§åž‹çš„æ¨™æº–æ•¸æ“šé›†ä¾›å¤§å®¶æ¸¬è©¦å’Œå°æ¯”使用。
  總體而言,æ¯ç¨®åŸºäºŽå¯è¦‹å…‰å–®åœ–åƒä¸‰ç¶çµæ§‹æ¢å¾©æ–¹æ³•在å„自特定å•é¡Œé ˜åŸŸéƒ½å–å¾—äº†æ˜Žé¡¯çš„æˆæžœï¼Œä½†æ˜¯æ¯ç¨®æ–¹æ³•çš„æ™®é©æ€§è¼ƒå¼±ï¼Œå°å•題的åˆå§‹æ¢ä»¶è¦æ±‚åš´æ ¼ã€‚å–®ç´”ä¾é æŸä¸€ç¨®æ–¹æ³•來解決æ¢å¾©å•題已經變得越發困難,未來基于多種方法以é©ç”¨äºŽæ›´åŠ å»£æ³›çš„é€šç”¨å ´æ™¯çš„èžåˆè§£æ±ºæ–¹æ¡ˆï¼Œç‰¹åˆ¥æ˜¯çµåˆæ·±åº¦å¸ç¿’çš„é€”å¾‘ï¼Œæ˜¯ä¸€å€‹äºŸå¾…ç ”ç©¶çš„é‡é»žæ–¹å‘。
上一篇:CC-Link IE Field Basic 液晶...
下一篇:詳解鋰離åé›»æ± é›†æˆä¿è·é›»è·¯
ä¸åœ‹å‚³å‹•網版權與å…è²¬è²æ˜Žï¼šå‡¡æœ¬ç¶²æ³¨æ˜Ž[來æºï¼šä¸åœ‹å‚³å‹•ç¶²]的所有文å—ã€åœ–片ã€éŸ³è¦–å’Œè¦–é »æ–‡ä»¶ï¼Œç‰ˆæ¬Šå‡ç‚ºä¸åœ‹å‚³å‹•ç¶²(www.hysjfh.com)ç¨å®¶æ‰€æœ‰ã€‚如需轉載請與0755-82949061è¯ç³»ã€‚任何媒體ã€ç¶²ç«™æˆ–å€‹äººè½‰è¼‰ä½¿ç”¨æ™‚é ˆæ³¨æ˜Žä¾†æºâ€œä¸åœ‹å‚³å‹•ç¶²â€ï¼Œé•å者本網將追究其法律責任。
本網轉載并注明其他來æºçš„稿件,å‡ä¾†è‡ªäº’è¯ç¶²æˆ–æ¥å…§æŠ•稿人士,版權屬于原版權人。轉載請ä¿ç•™ç¨¿ä»¶ä¾†æºåŠä½œè€…ï¼Œç¦æ¢æ“…自篡改,é•è€…è‡ªè² ç‰ˆæ¬Šæ³•å¾‹è²¬ä»»ã€‚
相關資訊