來源：automation New Developments in Vision Technology for Object Location and Inspection Several new techniques for directly training alignment tools synthetically using geometric descriptions are described. These techniques offer an alternative to training using acquired images, thereby addressing difficulties with image-based training such as limited accuracy and robustness due to variations in lighting and object shape. They include the ability to import CAD data for alignment, to directly edit high- level geometric descriptions for the purpose of optimizing alignment, and to generate and refine geometric descriptions in a semi-automatic fashion using specialized machine vision tools. An illustrative example of these techniques is provided in the context of a geometric description prototyping environment. 本文介紹了若干種綜合使用了幾何描述法并應用于直接式訓練對準工具的新型技術。這些技術為使用已有的圖像進行訓練提供了一種代替方案，并解決了類似于由于照明情況和物體外形的變化而引起的精確度和魯棒性受限的基于圖像的訓練所存在的問題。這些技術包括將CAD數據導入并用于對準的功能、直接編輯高級幾何描述并以此對對準效果進行優化和使用專業的機器視覺工具以半自動方式產生并更新幾何描述。文章在介紹一種幾何描述建模環境時，列舉了一個范例。 簡介 最近幾年，對準技術在工業應用領域有了質的飛躍。直至若干年前，規范化的灰度關聯法代表了當時的最高水準，并提供了繼早期的二進制搜索方法之后的重大的進步。特別地，規范化關聯法提供了更高的精確度，并可以處理一定范圍內的照明變化，而不用將圖像分離成前景和背景。最近，在Cognex 公司引入其PatMax®技術后，機器視覺產品市場已經出現了多種多樣具有極高精度的“幾何”對準工具，這些工具可以處理嚴重的照明變化、物體尺寸與方向的變化和主要的擋光。 對準工具典型的配置或者“訓練”方式是，提供一張包含有即將要定位的物體的外貌的圖像，并指定相當數量的運行參數（例如，位置的不確定范圍）。基于此種訓練方式的幾何對準工具在需要對物體位置進行精確測量的定位導向應用場合（例如，汽車裝配和半合導體制造）和需要進行姿態估計以形成檢測和測量的預設值的質量控制應用場合（例如打印質量檢測）已變得非常重要。 盡管這種功能強大的“顯示即可行”的方法已經在眾多應用領域取得了矚目的成功，但是它依然受限于一系列條件。這些限制條件（馬上會詳細講解）包括缺乏可供訓練的高質量圖像、物體外形的非線性變化、無法精確確定物體的坐標系與無法利用從CAD數據得到的幾何信息。由于受制于這些因素，人們希望能有一種可綜合使用由諸如圓弧、線段、圓、橢圓、樣條曲線甚至是“線-框”等高級幾何元素組成的幾何描述對象對對準工具進行直接訓練的代替方案。如此一個代替方案涉及多重級別的功能，包括能夠導入CAD數據進行對準、能夠直接編輯幾何描述對象完成優化對準目標、能夠通過使用專業的機器視覺工具以一種半自動的方式產生與精簡幾何描述對象。 基于圖像的訓練存在的不足之處 基于圖像的訓練的第一個問題是難以獲得用于訓練的對象的高質量圖像。其次，一件物體的所有圖像的幾何特征是連續的，但是單張圖像在與不穩定的人為照明因素（例如陰影）或者從訓練場所中其它物體和物品所凸現的特征進行對比時就會模糊不清。由于對準工具只能達到其所受訓練的模型的精度，帶有噪聲或者畫面凌亂的訓練圖像將極大地降低對準結果的準確性和魯棒性。 基于圖像的訓練的一個相關問題是其無法為由于照明效果或者生產容許范圍內的實際物理變化所引起的物體外表的某些非線性變化提供補償。打比方說，這通常是物體上的陡峭的拐角在成像時從不同的角度看都是圓的原因所在。理想的情況下，這些變化不應被具體的包含在模型中，否則對準的結果將變得不準確。 基于圖像的訓練的另一個主要的困難在于需要精確指定即將要對準的物體的初始點和方位，這樣做是為了達到很高精度的對準位置結果（有時低至一個象素的1/40。對準的結果不會比模型的坐標系統的定位更精確，但是其坐標系統通常都需要手動放置至物體的圖像內。 最后的問題是，對于使用圖像進行訓練的對準工具而言，充分利用來源于物體的并常從CAD數據庫得到的諸如尺寸和容許公差等幾何數據顯得有困難。同樣的，僅僅靠指定參數化的外形（例如圓、矩形和十字形等）對對準工具進行訓練也有困難。自然屬性的尺寸信息很自然的在空間效率上要比從真實的圖像抽取的特征高。此外，高級別的幾何元素不僅能提供一件物體該有的特征的具體相關信息，也能（內在的）提供該物體可能丟失的特征的相關信息。例如，一個特定的物體是矩形的這樣的信息可能可以被用于排除具有超出該矩形的四個角的需對準的備選特征。最后，充分利用物體的尺寸信息可使可能需要后續對準操作的深入檢測和測量操作更加容易進行。 利用幾何描述進行綜合訓練 利用幾何描述對對準工具進行綜合訓練有兩種基本方法：非直接方法和直接方法。非直接方法需要通過使用計算機圖像技術對物體的幾何描述進行渲染得到一副圖像，再對對準工具進行訓練。盡管這類方法在不用改用下面將要闡述的對準工具技術的情況下就已經解決了上述提到的基于圖像的訓練遇到的許多問題，但是，這類方法依然深受在實際的渲染過程中丟失有價值的幾何信息的問題的困擾。不僅僅物體的具體尺寸無法從渲染的圖像恢復，最終得到的對準工具的模型的精度也不可避免的受渲染圖像的量化結果所限。此外，對用于在CAD數據中常遇到的具有無法用封閉曲線描述的幾何特征的物體進行對準操作的對準工具進行訓練已變得異常困難。 另一方面，直接綜合訓練方法只需利用幾何描述本身對對準工具進行設置即可，此處的幾何描述要求對準技術可通過擴展從而可以理解高級別的幾何體，此處的高級別幾何體是相對于從訓練圖像中抽取出來的區域或者封閉曲線生成的低級別幾何體而言的。這種理解的結果催生了一種與通過物體的渲染圖像進行訓練產生的對準模型完全兩樣的對準模型，因為它在一定的程度上保留并應用了高級別的幾何約束條件。 生成幾何描述的方法 如前文所提到的，生成一件物體的幾何描述的其中一種方法是通過導入CAD數據庫（例如一個后綴名為.DXF的文件）的數據，或者（類似的）通過解釋由用戶輸入的形狀和尺寸信息（例如，基準標志的尺寸）。但是，需牢記在心的是，用于描述物體的物理尺寸的高級幾何元素并不總是適用于高精度對準。首先，有些建模的物體邊界在物體的圖像中可能由于照明效果而不可見。其次，某些尺寸由于生產的高度變化性而變得不可靠。 但幸虧幾何描述本身十分容易進行編輯。具備將CAD描述導入其中并對這些描述進行編輯以期優化對準的性能的能力是一種功能非常強大的方法，該方法最近已應用于若干個實際例子（例如印制電路板中表面貼面器件的放置）。使用編譯器，用戶剋刪除不可靠的幾何元素，補畫CAD描述中由于某種原因丟失的幾何元素，或者移動或者修改幾何元素以便更好的與物體的圖像中實際存在的特征匹配。所有的這些編輯操作可能在幾何描述本身的坐標系內就可完成，或者可以在物體的實際圖像的上方完成操作。后面這種情況下，物體的圖像為用戶提供了物體外形的一個粗略導向，這樣可以對幾何描述進行優化，也可以對用于在每次編輯后對瞄準工具進行交互式測試的數據進行優化。在某種意義上，該編輯器是一個真正的交互式建模環境。 該編輯器另一個非常有用的特色是其具備可以通過使用專業的機器視覺工具以一種半自動的方式進行幾何描述的創建與簡化的功能。這類專業工具粗略可分為兩類：自動從物體的圖像抽取可靠的高級別元素的工具與可簡化或者“快拍”高級別的幾何元素以與物體的圖像中明顯具有的特征保持一致。 幾何抽取工具對于CAD數據無法獲得的情況或者當來自于CAD數據的重要的幾何描述元素丟失的情況都有好處。這對于具有復雜幾何形狀的物體尤其有用，否則該物體需要由用戶反復進行畫圖或者輸入數據。理想狀態下，用戶只需選定他為了對準而所需要描述的圖像中的特定圖形區域即可，而這種做法使得該工具可以分析該區域，以達到產生能反映該區域的特征的高級別的幾何元素。 類似的，可簡化幾何描述的工具在CAD數據并不能準確描述圖像中的物體的典型外形的場合。這些工具在CAD數據無法獲得而幾何抽取工具由于某種原因失效了或者不合適的場合下也是有用的，而這需要在物體的圖像的輔助下手動對幾何元素進行描畫。在這些情況下，簡化工具極大的降低了數據需要準確地描畫或者指定的要求。 應該注意的是，這些專業工具是專門作為建模任務的一部分而不是整個生產過程的一部分的“離線”使用設計的。出于此目的，只要這些專業工具的執行時間不會緩慢（典型值為幾秒）到令人生厭，則執行時間不是很重要。出于同樣的理由，只要有人工方式（例如，圖像的）提供支持，則即使這些工具偶爾失效，那也是可以接收的。即使偶爾會失效，使用這類工具生成一個有效的幾何描述所需的平均時間也得到大大的減少。很自然的，放寬了這些條件會降低所得到的對準工具的性能。生成對準工具是整個生產過程中必須執行的一部分，而典型的執行時間為幾十毫秒，典型的成功率為99.99％。 使用幾何描述法的新式對準工具 過去一年里，Cognex公司引入了可直接從幾何描述對對準工具進行綜合訓練的技術，該技術是其PatMax對準技術的一個標準化部分。一種幾何描述法目前被指定為“線-框”元素（如圖1所示）的2維放置方法。每一個線-框都是由用于對物體的高對比度邊緣進行建模的圓弧和線段前后連接的一部分。線-框可以是封閉的或者是開放的。線-框包含用于形成相互連接部分之間的結點的每一個凸點的轉角平滑信息和與每一部分有關系的可供選擇的傾斜極性與尺寸許可公差信息。當使用線-框元素進行空間布置從而完成對一個PatMax工具進行訓練的任務時，每個線-框可能會被分配一個與其在決定整體對準效果時的相對的重要性成正比的權重。每個線-框的權重值甚至可以是負值的，這樣就使得用戶能夠指出不應出現在物體的圖像中的特征。 離現在更近的時候，Cognex公司還開發了可以“導入”DXF格式的CAD數據以便可以綜合訓練它的PatMax工具的功能以及一種用于創建物體的幾何描述并基于這些幾何描述配置并測試PatMax對準工具的交互式快速建模平臺。共同的，CAD導入功能與建模平臺使得用戶可以進行一系列的操作，包括： •使用點網格校準目標進行校準（允許以物理單元（例如宏）定義幾何描述） •獲得和/或導入物體的圖像 •導入物體的CAD數據 •在物體的幾何描述的“藍圖”內或者在物體的圖像之上描畫或者處理線-框的形狀。 •輸入線-框部分的精確尺寸和極性 •在物體的圖像的指定區域內自動抽取線-框元素 •在物體的一幅圖像內，自動將線-框元素簡化（快拍）為已存在的特征 •在幾何描述體的范圍內，自動以物體的坐標系為中心并對準此坐標系 •對由線-框元素的2維分布組成的幾何描述形成的PatMax對準工具進行設置和訓練 •通過圖像數據庫對受訓練過的PatMax工具進行測試，可產生準確度和執行時間并生成統計數據作為反饋信息 •導入與導出將在整個生產流程的后續環節用到的最終的幾何描述、獲得圖像、校準信息和對準參數 范例 對一個用于能很好的對Cognex采集系統的VME面板進行對準的對準工具進行設置的任務闡述了這個快速建模環境的作用。在本例子中，用于該VME面板的格式為DXF的CAD數據是作為機械設計過程（如圖2所示）的副產品而獲得的。這種情況往往發生在所制造的物體必須被對準的場合。在進行一步對準操作后，包含有幾何數據（相對于注釋而言）的層面被導入編輯器中。得到該面板的一副圖像后，基于這種分布對PatMax工具進行訓練的初始測試是成功的，但也暴露出對準的匹配度不高，因為這些幾何描述并不完全與圖像匹配。在很多情況下，如果CAD描述的某些部分由于較大的制造容許公差并不能精確的描述物體的外部尺寸，則匹配度將會比較低。而在其他情況下，這些部分可通過修改和/或刪除用于描述它們的線－框元素（或者，也可以通過給這些元素分配一個相對于該分布的其他元素來說相對低的一個權重）而從該幾何描述中得到有效的刪除。而這是在假設即使沒有這些部分仍然有大量的信息可用于精確對準。圖3所示是，該面板在經過刪除某些部分（例如，用于描述每一個孔的數據）的過程后的線－框元素分布情況。 請注意，即使無法得到面板的CAD數據，通過使用專業幾何抽取與簡化工具生成面板的幾何描述也是相對容易的。經過校準和圖像獲取后，用戶可以在包含了面板的主要特征（例如孔和外層邊界）的圖像中選擇一個矩形區域。幾何抽取工具可高效的完成用于對這些區域范圍內（如圖4所示）的面板輪廓進行精確建模的線－框的生成工作，因此在這種情況下基本不需要人為的介入（除了可能需要刪除不必要的、僅僅是為了生成孔附近的特性的線－框元素）。但是，同樣可以快速在孔的上方描畫簡單的線－框元素并利用幾何簡化工具對所畫元素進行快拍以形成圖像。不管是哪種情況，幾何描述的坐標系在參考用于描述面板邊緣的矩形線－框元素后都可自動設置成中心并對準。 經過這些修改步驟之后，對準工具成功的完成用于高精度對準的設置。這時，其性能可通過使用由一系列的有效照明場景得到的面板圖像的數據庫對該工具進行完整的測試和通過對幾何描述和PatMax參數作進一步的修改從而得到進一步的優化。放置于一副測試圖像上方的最終對準模型如圖5所示。創建一個優化的描述并對對準工具進行設置的整個過程僅僅需要幾分鐘。 結論 本文介紹了幾種使用幾何描述法對對準工具進行直接訓練的新技術。這些技術為基于圖像的訓練提供了一種可代替的方案。基于圖像的訓練由于照明與物體形狀的改變引起的變化有時會產生有限的性能。Cognex開發了一個具備了諸多這類技術的建模平臺。該平臺具備導入CAD數據、編輯用于優化對準目的的幾何描述和以一種半自動化的方式生成并簡化幾何描述的功能。 當然，綜合訓練法并不是用于所有的應用場合。打比方說，當擁有將要對準的物體的高質量圖像，CAD數據無法獲得而該物體的異常復雜時，這種方法就可能不適用了。而當對高度對準精度沒有要求時，這種方法可能就大材小用了。這些情況下，直接通過物體的幾何描述對對準工具進行訓練所獲得的好處可能不能抵消創建并簡化該幾何描述所需付出的額外努力。但是，綜合訓練的有效性已經在包括基準對準、印制板的表面貼片器件的放置、計算機外圍組件裝配與檢測和光纖維組件檢測等諸多應用場合得到證明。