基于大模型的零部件 在線智能檢測系統

文:文/浙江工商職業技術學院 吳彤2024年第五期

導語:  通過采用人工智能技術的視覺算法,采用基于Transformer大模型的8層隱含層D-RSN神經網絡算法來解決零 部件形狀缺陷、表面缺陷、包裝缺陷等問題。本項目以滿足所有質量要求的無可挑剔產品的圖像樣本為基礎, 構建了零部件缺陷特征與視覺圖像之間的物理映射機制,將產品可以簡單分類為有缺陷或無缺陷,還可以使用 監督學習訓練模型,以根據缺陷的嚴重性、類型或狀態對缺陷進行分類,這使得能夠創建更復雜的智能檢測反 應機制并收集詳細數據。

  1 壓縮機概述

  當零部件在制造企業生產后期發現質量問題時,就會 導致產品需要再次檢測,此時就會出現時間過長、浪費時 間和精力,這時候就會給企業帶來巨大的困擾。同時在采 用產品抽檢方式的部分企業中,由于小概率事件的質量追 溯問題也會帶來品牌危機。這時候,如果有一種用于產品 缺陷檢測的“零部件在線智能檢測系統”,它能實時捕獲和 解決產品、包裝或表面缺陷,就能解決用戶的“質量缺陷焦 慮問題”。

  用于產品缺陷檢測的智能視覺檢測裝置主要解決如下 問題:

  (1) 零部件形狀缺陷。損壞的零部件、缺失的零部 件、畸形的零部件、凹陷的零部件、錯誤的組件裝配、尺 寸不符的零部件等。

  (2)零部件表面缺陷。顏色檢測、紋理驗證、劃痕和 凹痕檢測、表面畸形檢測、不存在/存在驗證、表面光潔度 檢測、穿孔檢測、撕裂和孔洞檢測。

  (3)零部件包裝缺陷。褶皺檢測、標簽放置驗證、標 簽撕裂或撕裂、包裝損壞、包裝印刷錯誤、蓋子缺失、密 封破損或密封不良、包裝畸形、包裝缺失、瓶蓋缺陷、瓶 蓋傾斜、蓋子安裝檢查、包裝篡改、泄漏檢測。

  2 視覺大模型架構及其算法

  早期的視覺模型采用手工設計特征和機器學習方法解決圖像分類等視覺問題。然而,手工設計特征局限于像素 層面,損失了過多圖像信息,導致模型的精度較低。與基 于手工特征的方法不同,基于CNN的模型具有強大的特征 提取能力和相對較低的計算復雜度。2012年,有研究者提 出了基于CNN架構的Alex-Net,其在ImageNet圖像識別挑 戰賽中的識別精度首次超越手工特征方法。在此基礎上, VGGNet證明了更深的網絡結構能夠有效提升模型精度。 ResNet提出在每個模塊中添加殘差連接,以解決深層模型 的優化問題,同時引入了瓶頸塊來減少參數數量。簡單的 實現和良好的性能使ResNet仍然是當今最常用的架構。此 外,也有研究者探索了CNN模型的輕量化,MobileNets提 出了深度可分離卷積、反向殘差塊和神經架構搜索,以實 現更好的精度——復雜度權衡。

  在輕量化CNN模型應用在汽車鋁鑄件等產品的質量檢 測時,也存在以下兩個問題:原始模型復雜度較高,難以 直接部署到資源受限的邊緣設備上;模型在邊緣設備上進 行推理的耗時較長難以滿足實際任務的需求。

  為了解決上述問題,引入預訓練技術來學習通用的視 覺表示,以減少訓練資源的消耗和訓練數據的收集成本。 隨著大規模圖像數據集(如ImageNet)的出現,探索CV領 域的預訓練模型。預訓練視覺模型在海量圖像數據集上進 行預訓練,得到通用視覺特征表示,然后基于較小的下游 標注數據集對模型進行精細調整。在微調階段,模型只需 要消耗較少的訓練資源就能取得比從頭開始訓練更好的性能,這是因為圖像分割是CV 的一項核心任務,需要識別圖 像像素所屬對象。2023年,MetaAI提出了通用圖像分割模 型,即Transformer大模型,它是基于超過10億個掩模的多 樣化、高質量大型分割數據集(即SA-1B)進行預訓練,利 用Transformer或Prompt Engineering來處理下游分割任 務,這使其能夠泛化到從未見過的新對象和圖像類型,且 不需要對下游任務進行微調。

  如圖1所示,Transformer大模型以滿足所有質量要求 的無可挑剔零部件產品的圖像樣本為基礎,使用大型圖像 數據池訓練集進行訓練,深度學習模型可以解釋給定圖像 的內容,該機制在制造過程中用于缺陷和異常檢測。本項 目所構建的拓撲結構,可以學習識別不同類型的缺陷。設 備捕獲的圖像將基于其進行評估,如果不匹配,則會立即 標記缺陷,實現圖像缺陷特征全息感知。

@F2(UAVA(XTY(Y5M~6P4PRQ.png

  大模型架構由多個編碼器和解碼器疊加構成,每個編 碼器由2個基本模塊組成,即MSA模塊和前饋全連接(Feed Forward Network,FFN)模塊。MSA模塊利用自注意力 機制學習輸入序列內部的相關關系,FFN模塊包含激活函數 和2個線性層,MSA模塊和FFN模塊均使用殘差連接和層歸 一化(Layer Normialization,LN)結構。

  給定輸入序列x 0 ,第k個編碼器的輸出如下:

`VQ7I8TYWRWGLZ6B_D$FKK9.png

  式中:xpos表示位置嵌入, x k表示第k個編碼器的輸 出。解碼器與編碼器的結構稍有不同,由二個多頭自注意 力模塊和一個前饋全連接模塊組成,其中一個MSA模塊增加了單向注意力掩碼,使得輸入嵌入向量只能關注過去的 嵌入向量和它本身,確保預測結果只依賴于已生成的輸出 詞元,然后,掩碼多頭注意力模塊的輸出和編碼器的輸出 通過第二個MSA模塊進行處理。

  有了Transformer大模型后就可以創建生成異常檢測 算法,如采用包含8層隱含層的D-RSN(Deep Residual Shrinkage Networks,即深度殘差收縮網絡)神經網絡算法。

  這里先初始化D-RSN的深度、節點數、網絡學習速 率、網絡序列長度等參數,通過對時間正序數據池訓練集 分區進行訓練,利用內部有監督機制進行特征微調,持續 進行迭代循環,使先驗時序數據可以學習到未來時序數據 的特征,實現較長周期內的圖像缺陷特征全息自主感知。 為了加快D-RSN的收斂進程,避免梯度發散現象,利用 粒子群優化算法對D-RSN的初始值進行反復優化,定義 D-RSN預測的均方誤差MSE作為適應度函數,則D-RSN預 測局部最優解的均方誤差(MSEi)和D-RSN預測全局最優 解的均方誤差(MSEg)分別為:

53X@8CIE6VN_YV0KGUKP[GM.png

  式(1)、(2)中:P為數據池訓練集分區的數據數; N為D-RSN的節點數;N為PSO的粒子數disy和yisj分別為預 測數據集和真實數據集。

  機器視覺圖像缺陷自主檢測及輸出算法將D-RSN生成 的時間正序下的機器視覺圖像缺陷特征隱性知識數據集作 為學習數據集,實現機器視覺圖像缺陷自主檢測,引入神 經網絡對數據池后置測試集進行圖像缺陷自主檢測,利用 隱性知識數據集對圖像缺陷檢測結果進行邏輯修正,借助 圖像缺陷定位及分類函數輸出檢測結果。

  此時,定義數據池測試集分區圖像缺陷輸出函數為Y (j,k),定義修正過的數據池測試集分區圖像缺陷輸出函 數為X(j,k),神經網絡的激活函數采用sigmoid函數并定 義為f,則有:

WD[TNTT4SZUQ58H507QI5ND.png

  式(3)、(4)中: ξ為神經網絡的深度;ki,j 為網絡 核;yi為修正系數;*表示平面網絡操作;bj為偏置誤差; pj為輸入的圖像缺陷數據集;β為修正權重;down(·)為 池化采樣函數。

  上述公式構建了零部件缺陷特征與視覺圖像之間的物 理映射機制,將產品可以簡單分類為有缺陷或無缺陷,還 可以使用監督學習訓練模型,以根據缺陷的嚴重性、類型 或狀態對缺陷進行分類。這使得能夠創建更復雜的智能觸 發反應機制并收集詳細數據。

  3 零部件在線智能檢測系統的應用

  通過大模型部署到零部件在線檢測系統中,取得了預 期的穩定性、可靠性。

  以被測25mm的零部件產品尺寸為例(圖2、3),為 保證0.01mm以下檢測精度,視覺相機采用1200萬像素。 該部件為金屬材質,為避免零部件本身的環境光與金屬反 光對測量的干擾,將采用“黑白相機+背光光源”的模式進 行補光。測試DEMO如圖4所示。

  如圖5、6、7所示,該工作流程如下:

  ① 當CNC加工完成后通過桁架式機器人將成品件運輸 至檢測位置;

  ② 三爪氣動氣缸將部件球頭部分夾持,中心孔氣缸頂 出定位;

  ③ 桁架式機械手離開檢測位置,視覺傳感器進行識別 檢測;

  ④ 檢測完畢后縮回中心孔氣缸和松開三爪氣缸,零部 件落入工作臺的部件中轉盒中;

  ⑤檢測結果展示。

  檢測合格:屏幕中顯示“OK”,不報警;檢測不合 格:屏幕中顯示“NG”,系統觸發聲光報警;不良品處 理:系統觸發報警后,聯動上下料機械手停止運行,當工 人將不良品移除后系統恢復運行。

T_S6CANLOU3BA4S72TGH[RH.png

JSC]4%K)I(OCN6PJ(0AKS9K.png

  

A$(SSFMVQIB$B%X%5J0@YR7.png

       4 結束語

  創新點一:采用大模型基礎上的D-RSN算法

  借助大模型架構,可以更有效地評估其產品質量,而 無需考慮因為人工檢測帶來的一致性缺乏問題。機器學習采用大模型基礎上的D-RSN算法,具體如圖8所示。該方法 避免了對圖像的復雜前期預處理,可以直接將原始圖像輸 入,降低網絡模型的復雜度,減少權值的數量。采用局部 連接和共享權值的方式,使網絡易于優化,也降低了過擬 合的風險。

  創新點二:可以個性化機器學習模型

  雖然市場上有很多現成的視覺檢測系統,但本項目使 用基于大模型的個性化機器學習模型。原因很簡單,由于 缺陷檢測具有不同的特征,個性化學習模型可以使用自己 的訓練數據集來訓練系統,提取缺陷固定區域以提高準確 性,而現成的系統通常不提供這種可能性。圖9所示為用于 插接端子的個性化機器學習模型。

  基于大模型的零部件在線智能檢測系統能夠根據邊緣節 點的計算能力以及檢測頻率的要求,在單一節點上同時運行 多個不同的算法。此外,該系統還允許通過云平臺進行算法 的升級和替換等操作,以靈活地應對不同產線質量檢測場景 的需求。這種系統的特點在于其簡潔的結構、靈活的部署方 式以及可視化的運維管理,可以有效地支持傳統零部件產業 向數字化智能化轉型。

X57$`Q6CO]2`C80OLHBA0~0.png

UCF8YVJDU[P5AGHY5O6[P20.png

6L6B7U)X]9(E9WIHV~PBNZF.png



中傳動網版權與免責聲明:

凡本網注明[來源:中國傳動網]的所有文字、圖片、音視和視頻文件,版權均為中國傳動網(www.hysjfh.com)獨家所有。如需轉載請與0755-82949061聯系。任何媒體、網站或個人轉載使用時須注明來源“中國傳動網”,違反者本網將追究其法律責任。

本網轉載并注明其他來源的稿件,均來自互聯網或業內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。

伺服與運動控制

關注伺服與運動控制公眾號獲取更多資訊

直驅與傳動

關注直驅與傳動公眾號獲取更多資訊

中國傳動網

關注中國傳動網公眾號獲取更多資訊

熱搜詞
  • 運動控制
  • 伺服系統
  • 機器視覺
  • 機械傳動
  • 編碼器
  • 直驅系統
  • 工業電源
  • 電力電子
  • 工業互聯
  • 高壓變頻器
  • 中低壓變頻器
  • 傳感器
  • 人機界面
  • PLC
  • 電氣聯接
  • 工業機器人
  • 低壓電器
  • 機柜
回頂部
點贊 0
取消 0
往期雜志
  • 2025年第二期

    2025年第二期

    伺服與運動控制

    2025年第二期

  • 2025年第一期

    2025年第一期

    伺服與運動控制

    2025年第一期

  • 2024年第六期

    2024年第六期

    伺服與運動控制

    2024年第六期

  • 2024年第四期

    2024年第四期

    伺服與運動控制

    2024年第四期

  • 2024年第三期

    2024年第三期

    伺服與運動控制

    2024年第三期