機器人視覺系統經歷了三代的發展，第一代機器人視覺的功能一般是按規定流程對圖像進行處理并輸出結果。這種系統一般由普通數字電路搭成，主要用于平板材料的缺陷檢測。第二代機器人視覺系統一般由一臺計算機，一個圖像輸入設備和結果輸出硬件構成。視覺信息在機內以串行方式流動，有一定學習能力以適應各種新情況。第三代機器人視覺系統是目前國際上正在開發使用的系統。采用高速圖像處理芯片，并行算法，具有高度的智能和普通的適應性，能模擬人的高度視覺功能。

機器人視覺目前存在的主要問題

1、如何準確、高速(實時)地識別出目標。

2、如何有效地構造和組織出可靠的識別算法，并且順利地實現。這期待著高速的陣列處理單元，以及算法(如神經網絡法、小波變換等算法)的新突破，這樣就可以用極少的計算量高度地并行實現功能。

3、實時性是一個難以解決的重要問題。圖像采集速度較低以及圖像處理需要較長時間給系統帶來明顯的時滯，此外視覺信息的引入也明顯增大了系統的計算量，例如計算圖像雅可比矩陣、估計深度信息等等。圖像處理速度是影響視覺系統實時性的主要瓶頸之一。

4、穩定性是所有控制系統首先考慮的問題，對于視覺控制系統，無論是基于位置、基于圖像或者混合的視覺伺服方法都面臨著如下問題:當初始點遠離目標點時，如何保證系統的穩定性，即增大穩定區域和保證全局收斂;為了避免伺服失敗，如何保證特征點始終處在視場內。

機器人視覺應當進一步研究的問題

1、圖像特征的選擇問題。

視覺伺服的性能密切依賴于所用的圖像特征，特征的選擇不僅要考慮識別的指標，還要考慮控制指標。從控制的觀點看，用冗余特征可抑制噪聲的影響，提高視覺伺服的性能，但又會給圖像處理增加難度。因此如何選擇性能最優的特征，如何處理特征以及如何評價特征，都是需要進一步研究的問題。針對任務有時可能需要從一套特征切換到另一套，可以考慮把全局特征與局部特征結合起來。

2、結合計算機視覺及圖像處理的研究成果，建立機器人視覺系統的專用軟件庫。

3、加強系統的動態性能研究。目前的研究多集中于根據圖像信息確定期望的機器人運動這一環節上，而對整個視覺伺服系統的動態性能缺乏研究。

4、利用智能技術的成果。

5、利用主動視覺的成果。

主動視覺是當今計算機視覺和機器人視覺研究領域中的一個熱門課題。它強調的是視覺系統與其所處環境之間的交互作用能力。與傳統的通用視覺不同，主動視覺強調兩點，一是認為視覺系統應具有主動感知的能力，二是認為視覺系統應基于一定的任務(TaskDirected)或目的，主動視覺認為在視覺信息獲取過程中，應更主動地調整攝像機的參數，如方向、焦距、孔徑等并能使攝像機迅速對準感興趣的物體。

更一般地，它強調注視機制，強調對分布于不同空間范圍和時間段上的信號采用不同的分辨率有選擇性地感知，這種主動感知既可在硬件層上通過攝像機物理參數的調整實現，也可以在基于被動攝像機的前提下，在算法和表示層上通過對已獲得的數據有選擇性地處理實現。同時，主動視覺認為不基于任何目的的視覺過程是毫無意義的，必須將視覺系統與具有的目的(如導航、識別、操作等)相聯系，從而形成感知/作用環。

6、多傳感器融合問題。視覺傳感器具有一定的使用范圍，如能有效地結合其它傳感器，利用它們之間性能互補的優勢，便可以消除不確定性，取得更加可靠、準確的結果。