摘要：利用FPGA和USB控制芯片實現了實時視頻監視采集系統，根據視頻監視和傳輸特點，將采集得到的圖像數據先做背景重建，然后利用重建得到的背景進行視頻對象分割，最后將重建的背景、視頻對象以及視頻對象在視頻圖像中的位置保存，作為后續視頻檢測分析的依據。實驗結果表明本文給出的背景重建算法能夠較好地重建背景，得到較精確的運動目標，同時能夠大幅度的提高實時視頻對象分割速率。 關鍵字：視頻監視 背景重建 視頻對象 視頻對象分割 視頻對象運動檢測是從視頻序列中提取出有意義的運動對象，它是視頻檢索、多媒體內容描述以及基于內容的視頻編碼的基礎。連續幀間差分法 [1]、背景差分法[2]和光流法是視頻對象分割的常用方法。連續幀間差分法對于動態環境有很好的適應性，但不能完全提取出視頻對象的所有相關點；背景差分法能夠較完整地提取對象點，卻又對光照和外部條件造成的動態場景變化過于敏感；光流法雖然能夠直接用于攝像機運動下的視頻對象檢測，但是大多數光流方法的計算復雜，不適于實時處理。將時域和空域信息進行有效的融合就能夠得到更有效的結果[3]，但還存在著目標輪廓檢測的不完整性和目標相關點保留較少的問題。本文在應用FPGA采樣得到視頻圖像的基礎上，提出了一種對Pan方法[4]改進的背景重建方法，進一步的提高了視頻對象分割的效果。 1 硬件系統 1.1 系統原理圖 整個系統以FPGA和TUSB3210為核心，負責視頻數據的接收處理，啟動A/D轉換，控制FIFO的讀寫及采樣頻率的設定，與主機之間的通信及數據傳輸。 1.2 A/D、FIFO和USB控制芯片 視頻采集部分選用了Philips公司的視頻A/D轉換芯片SAA711A（EVIP），通過USB控制芯片提供的一對I2C引腳SDA和SCL進行控制；FIFO采用采用TI公司SN74V293芯片,它的容量為65536×18bit 或131072×9bit，最快讀寫周期為6ns，可以滿足100MHz采樣數據的存儲。 SN74V293有獨立的讀寫時鐘控制電路，允許讀寫操作同時進行。SN74V293內部有滿、空、半滿輸出信號以及可編程設定的幾乎滿和幾乎空輸出信號，通過這些信號控制器可以靈活控制FIFO的讀寫操作。 USB控制芯片采用TI公司的TUSB3210，它是TI公司推出的內嵌8052內核并帶有USB接口的微控制器芯片。TUSB3210有256字節的內部RAM，8K字節的程序RAM，512字節的USB數據緩沖和端點描述塊EDB（Endpoint Descriptor Blocks），4個通用的GPIO端口P0、P1、P2、P3，I2C接口電路，看門狗電路等。當主機與芯片進行USB通信時，會產生外部中斷0，通過中斷矢量寄存器判斷。通過定義Setup_packed_Int、Input_endpoint0_Int、Output_endpoint0_Int這三個中斷，用于與主機建立連接、進行控制傳輸或中斷傳輸；Input_endpoint1_Int、Output_endpoint1_Int這兩個中斷主要在批量傳輸時使用。而在固件中分別執行不同的中斷程序來實現USB的數據傳輸。 1.3 FPGA控制的實現 FPGA采用XINLINX公司的XC3142，PC終端通過USB口向視頻采集卡傳送start信號，通知視頻采集卡開始工作。視頻信號通過CCD攝像頭進入A/D轉換芯片SAA711A,SAA711A產生的數字視頻信號、控制信號和狀態信號送入控制處理芯片XC3142，以供XC3142獲得各種采樣信息，并對得到的數據與背景數據做差，然后將數字視頻信號寫入到FIFO里面，當FIFO里面的數據達到半滿（此處半滿狀態對應視頻一幀的數據），FIFO半滿標志為0（低電平），XC3142檢測到FIFO半滿標志為0時，向USB控制芯片發送中斷（Interrupt）信號，PC終端獲得中斷請求后開始從FIFO里面讀取數據。 2 USB接口的驅動程序與應用軟件開發 USB應用系統軟件開發分為兩部分：主機操作系統上的客戶驅動程序以及主機應用軟件。主機應用軟件通過客戶驅動程序與系統USBI（USB Device Interface）進行通信，由系統產生USB數據的傳送動作；固件則響應各種來自系統的USB標準請求，完成各種數據的交換工作和事件處理。 首先開發TUSB3210在主機中的驅動程序。利用WinDDK3.0開發了Win2000下的驅動程序，實現了控制傳輸、中斷傳輸和批傳輸的標準接口函數。在應用程序開發中，用VC++編制實現應用程序。在編成實現中把USB設備當成文件來操作，利用CreateFile得到USB句柄，用DeviceIoControl來進行控制傳輸，用ReadFile、WriteFile進行批量傳輸。 應用軟件的結構如圖2所示： 應用軟件程序的基本流程如下： 1）打開通信通道，即確定一個應用對象，并對每個應用對象創建一個系統對象。2）初始化硬件資源，即為每個系統對象分配數據緩存、數據采集器和數據顯示對象。3）啟動采集過程，即將圖像讀入數據緩存，并將緩存賦值給數組，通過對數組的處理實現對圖像的處理，圖像數據與數據顯示相關聯后就可以通過顯示控件或窗體顯示預處理后的結果。 3 視頻對象分割算法在FPGA中的實現 視頻監視系統的主要目的是跟蹤人們感興趣的視頻對象，一般情況下攝像機固定在室內或者建筑物的高處，為此可認為背景在一定時間內靜止不動。Pan 提出了一種基于背景信息的運動對象檢測方法[4]，使用高階統計量來重建背景，該方法能夠較好的檢測到運動對象，但是背景重建速度較慢，使得難以應用于實際視頻監視系統，為此本文提出了一種新的背景重建方法，并應用VHDL語言在FPGA中實現了該算法，提高了背景重建速度。 3.1 背景圖像重建 在背景重建中，引入背景置信度圖像為C（x1,x2），它的掩膜圖像為MC（x1,x2），重建背景圖像為B（x1,x2），背景標示圖像為BL（x1,x2）。如果C（x1,x2）大于預定的一個門限，則在視頻幀中像素（x1,x2）為背景的概率更大，如果小于該門限則像素（x1,x2）為運動對象的概率相對較大。BL（x1,x2）是一個二值圖像，用于標示對應像素的背景是否能重建，即：BL（x1,x2）＝1，表示（x1,x2） 像素背景成功重建，否則失敗。 考慮連續N幀圖像s（x1,x2,k），s（x1,x2,k-1），…，s（x1,x2,k-N），對應的N-1個相鄰幀差圖像分別為d（x1,x2,k,k-1），d（x1,x2,k-1,k-2），…，d（x1,x2,k+1-N,k-N），則C（x1,x2），MC（x1,x2），B（x1,x2）和BL（x1,x2）的生成過程如下： 1） 初始化： 對每一個（x1,x2），C（x1,x2）=0 ，MC（x1,x2）=0，B（x1,x2）=0，BL（x1,x2）=0，n=0； 2） 考慮（x1,x2），如果MC（x1,x2）=1，至2）考慮下一個像素；否則至3）； 3） 對于（x1,x2），如果d（x1,x2,k-n,k-n-1）Th1，則C（x1,x2）=0； 4） 如果C（x1,x2）>Th2，則MC（x1,x2）=1，到5）；否則至6）； 5） B（x1,x2）=[ s（x1,x2,k-n）+…+ s（x1,x2,k-n+Th2）]/Th2，BL（x1,x2）=1； 6） 如果n3.2 視頻對象分割 在視頻分割中本系統采用類間方差閾值分割[5]法，這種方法是由最小二乘法推導得到的，此方法具有簡單易于實現的優點。 假設有兩類K1和K2，則它們的方差是

（1）

其中：f為閾值；ω1，ω2，μ1，μ2分別是K1和K2 類的出現概率和均值；L為灰度級。 f的等價判決準為 分別為K1和K2類的類間和類內方差，則最佳閾值

（2）

在后處理過程中，為了去除孤立點和填充空洞，在對視頻圖像幀差圖像閾值分割完成后，進行數學形態學的開、閉和區域標示運算。視頻對象分割試驗結果如圖3所示。

圖3　視頻對象分割結果 圖3中a是一段視頻圖像列中的兩幀圖像；c是使用Pan方法的視頻對象實時分割結果；b是使用本文的方法的對象分割結果。比較圖3中 b、c可看出，本方法較Pan方法有更好的目標輪廓完整性和目標輪廓內目標相關點的連通性。本算法在普通PC機（Pentium3 800M CPU ，256M DDRAM）上運行，視頻圖像為標準的CIF（288＊384），256級灰度黑白圖像，利用本文算法其采集檢測速率為24幀/s，利用Pan方法的速率為10幀/s。 4 結論 利用FPGA和USB控制芯片實現了實時視頻監視采集系統，結合背景重建的方法可以實現視頻圖像的實時連續采集（每秒采集24幀視頻圖像）和視頻對象分割的要求；改進后的背景重建和視頻對象分割算法，較Pan方法有更好的檢測效果和更快的分割速度。