基于指尖觸控的互動(dòng)投影系統(tǒng)

文:何明,程俊 2017年第二期

    投影儀攝像機(jī)系統(tǒng)的研究在當(dāng)前的人機(jī)交互領(lǐng)域中備受關(guān)注,由于攝像機(jī)和投影儀系統(tǒng)硬件設(shè)備的便攜性,該技術(shù)給互動(dòng)投影在嵌入式移動(dòng)設(shè)備上的應(yīng)用帶來了很大的機(jī)遇。本文提出了基于單目攝像機(jī)與投影儀系統(tǒng)能夠在任意平面徒手觸摸的交互系統(tǒng),包括前景區(qū)域分割、指尖點(diǎn)的定位以及觸摸檢測(cè)三個(gè)部分。結(jié)合投影圖像與攝像機(jī)圖像反射率對(duì)比的顯著性檢測(cè)方法,并融合均值漂移實(shí)現(xiàn)了圖像前景手臂區(qū)域的分割;對(duì)前景輪廓的邊緣進(jìn)行檢測(cè),并對(duì)邊緣點(diǎn)序列進(jìn)行曲率計(jì)算,根據(jù)曲率極值與輪廓重心的距離約束條件來定位指尖點(diǎn)位置;基于空間結(jié)構(gòu)光編碼測(cè)量技術(shù)的思想提出了自適應(yīng)編碼的方法,通過嵌入在幀間投影圖像中的自適應(yīng)編碼,判斷指尖點(diǎn)與投影平面的空間距離,實(shí)現(xiàn)觸摸檢測(cè)。

系統(tǒng)框架與算法原理

    本文采用基于DLP(DigitalLightProcession)技術(shù)的便攜式投影儀與單個(gè)普通可見光攝像機(jī)固定在一起組成的互動(dòng)投影系統(tǒng),通過投影儀將背景畫面投射在任意的規(guī)則平面上,如白紙、墻壁、桌面等,由攝像機(jī)捕捉用戶在投影屏幕上的交互手勢(shì)圖像,經(jīng)數(shù)據(jù)接口傳輸給計(jì)算機(jī)進(jìn)行處理,對(duì)前景手臂區(qū)域分割提取并檢測(cè)指尖點(diǎn)的位置,最后采用自適應(yīng)結(jié)構(gòu)光編碼的方法檢測(cè)指尖觸摸投影平面的操作,并由計(jì)算機(jī)執(zhí)行相應(yīng)的操控,實(shí)現(xiàn)觸控的投影交互方式。

    基于指尖觸控的互動(dòng)投影系統(tǒng)算法原理框架流程如圖1所示。通過計(jì)算機(jī)視覺的方法對(duì)指尖觸摸進(jìn)行檢測(cè),主要可以分為前景手臂區(qū)域檢測(cè)、指尖點(diǎn)定位以及觸摸檢測(cè)三大部分。

圖1 系統(tǒng)算法流程圖

    為了檢測(cè)指尖點(diǎn)觸摸的位置,系統(tǒng)需要對(duì)投影背景上的前景手臂區(qū)域進(jìn)行提取分割。在互動(dòng)投影人機(jī)交互系統(tǒng)中,由于投影背景畫面的多樣性,傳統(tǒng)的圖像分割方法比較難以準(zhǔn)確實(shí)現(xiàn)前景的手臂區(qū)域提取。本文根據(jù)手臂皮膚對(duì)光照的反射率與投影屏幕物體表面的反射率差異性來檢測(cè)前景區(qū)域的顯著性特征。假設(shè)周圍環(huán)境光的影響為Q,投影平面物體的表面反射率為A,攝像機(jī)在像素級(jí)的顏色轉(zhuǎn)換函數(shù)為C,視覺回饋圖像的亮度值為E,則有:

    經(jīng)過mean-shift的圖像分割抽象后,攝像機(jī)采集圖像的前景與背景的細(xì)節(jié)紋理均已被消除,圖像的像素點(diǎn)分類成M個(gè)不同的圖像區(qū)域。系統(tǒng)算法通過融合顯著性特征圖以及mean-shift分割平滑細(xì)節(jié)后的圖像來實(shí)現(xiàn)前景手臂區(qū)域的提取。

(a)投影背景圖像;(b)攝像機(jī)采集圖像;(c)基于反射率對(duì)比的顯著性檢測(cè)結(jié)果;(d)均值漂移圖像分割結(jié)果;(e)顯著性圖與均值漂移分割的融合結(jié)果;(f)最終前景分割結(jié)果

圖2 基于顯著性檢測(cè)的前景提取

觸摸檢測(cè)

    基于指尖觸摸的互動(dòng)投影系統(tǒng)需要對(duì)用戶在投影儀平面上交互的指尖觸摸進(jìn)行檢測(cè),指尖點(diǎn)的定位是準(zhǔn)確判斷觸摸位置的基礎(chǔ)。如圖3所示,本文的指尖點(diǎn)定位檢測(cè)是基于曲率極值的方法來實(shí)現(xiàn)。首先,對(duì)手臂區(qū)域分割后的前景基于Canny算子檢測(cè)邊緣輪廓點(diǎn);其次,對(duì)所有的邊緣序列點(diǎn)計(jì)算對(duì)應(yīng)的曲率,通過尋找曲率的極大值可以獲取指尖位置的候選點(diǎn);再次,在對(duì)前景輪廓提取完曲率的極大值點(diǎn)后,我們發(fā)現(xiàn)手掌的輪廓曲率較大的不僅包含指尖點(diǎn)的位置,還有手指之間夾縫的峰谷點(diǎn),但可以根據(jù)候選點(diǎn)與手掌區(qū)域輪廓的重心距離來排除;最后,將每個(gè)候選點(diǎn)距離較近的點(diǎn)分類成一個(gè)組合,稱為同一個(gè)手指上的候選點(diǎn),而距離較大的分類在不同的組,一個(gè)手掌區(qū)域總共可以分成五個(gè)組,每個(gè)組的點(diǎn)取平均值作為最終的指尖點(diǎn)返回。

    觸摸檢測(cè)的實(shí)現(xiàn)是基于一種自適應(yīng)結(jié)構(gòu)光編碼,系統(tǒng)根據(jù)前面檢測(cè)到的用戶前景指尖點(diǎn)位置后,將結(jié)構(gòu)光的圖案編碼投射在指尖點(diǎn)附近的小領(lǐng)域范圍內(nèi),并且該結(jié)構(gòu)光圖案的顏色通道會(huì)隨著投影背景畫面中相應(yīng)位置的像素值而自適應(yīng)的改變。在投影儀前后兩幀投影圖像嵌入自適應(yīng)結(jié)構(gòu)光編碼,彩色編碼圖案通過對(duì)背景像素點(diǎn)的亮度值添加或減少一個(gè)固定編碼值,從而減少本身對(duì)背景畫面的視覺干擾。

    本文采用的自適應(yīng)結(jié)構(gòu)光編碼主要由三種不同形狀的幾何圖案組成,分別為條形、方形和方框。三種幾何圖案在紅、綠、藍(lán)、黑四種顏色通道隨機(jī)生成彩色結(jié)構(gòu)光編碼。如圖3所示,圖像上每個(gè)像素點(diǎn)的碼字是以該點(diǎn)為中心的鄰近3×3的子窗口幾何圖案構(gòu)成的特征向量。

圖3自適應(yīng)結(jié)構(gòu)光編碼圖案

    三種不同的幾何結(jié)構(gòu)圖案與四種顏色通道可以組成12個(gè)不同的特征基元。具體每個(gè)基元圖案的編碼如表1所示,系統(tǒng)定義圖像上任意點(diǎn)以其為中心的3×3鄰近的圖案構(gòu)成的子窗口作為該點(diǎn)的碼字,不同的子窗口碼字具有獨(dú)特性,而且與鄰域窗口的碼字差異很大。圖3為自適應(yīng)編碼的碼字定義方式,每個(gè)窗口的碼字編碼為子窗口中從左至右,從上至下的9個(gè)基元圖案組成的特征向量。一般來說,子窗口與鄰域之間的碼字的漢明距離差異越大,解碼恢復(fù)物體三維深度信息出錯(cuò)概率越小,抗噪性能越強(qiáng)。本文提出的自適應(yīng)編碼任意兩個(gè)子窗口之間碼字的平均漢明距離達(dá)到8.2551,均大于偽隨機(jī)編碼、M-陣列的空間編碼以及幾何圖形編碼等方案,相比于目前空間結(jié)構(gòu)編碼的方案,不容易受到圖像噪聲的干擾,穩(wěn)定性更高。

    在編碼過程,當(dāng)系統(tǒng)檢測(cè)到某一幀圖像上的指尖點(diǎn)位置后,在以指尖點(diǎn)為中心附近的鄰域窗口進(jìn)行自適應(yīng)結(jié)構(gòu)光編碼,采用如下的公式:

圖4 觸摸檢測(cè)原理

中傳動(dòng)網(wǎng)版權(quán)與免責(zé)聲明:

凡本網(wǎng)注明[來源:中國傳動(dòng)網(wǎng)]的所有文字、圖片、音視和視頻文件,版權(quán)均為中國傳動(dòng)網(wǎng)(www.hysjfh.com)獨(dú)家所有。如需轉(zhuǎn)載請(qǐng)與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個(gè)人轉(zhuǎn)載使用時(shí)須注明來源“中國傳動(dòng)網(wǎng)”,違反者本網(wǎng)將追究其法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明其他來源的稿件,均來自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請(qǐng)保留稿件來源及作者,禁止擅自篡改,違者自負(fù)版權(quán)法律責(zé)任。

如涉及作品內(nèi)容、版權(quán)等問題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。

伺服與運(yùn)動(dòng)控制

關(guān)注伺服與運(yùn)動(dòng)控制公眾號(hào)獲取更多資訊

直驅(qū)與傳動(dòng)

關(guān)注直驅(qū)與傳動(dòng)公眾號(hào)獲取更多資訊

中國傳動(dòng)網(wǎng)

關(guān)注中國傳動(dòng)網(wǎng)公眾號(hào)獲取更多資訊

熱搜詞
  • 運(yùn)動(dòng)控制
  • 伺服系統(tǒng)
  • 機(jī)器視覺
  • 機(jī)械傳動(dòng)
  • 編碼器
  • 直驅(qū)系統(tǒng)
  • 工業(yè)電源
  • 電力電子
  • 工業(yè)互聯(lián)
  • 高壓變頻器
  • 中低壓變頻器
  • 傳感器
  • 人機(jī)界面
  • PLC
  • 電氣聯(lián)接
  • 工業(yè)機(jī)器人
  • 低壓電器
  • 機(jī)柜
回頂部
點(diǎn)贊 0
取消 0
往期雜志
  • 2025年 第1期

    2025年 第1期

    伺服與運(yùn)動(dòng)控制

    2025年 第1期

  • 2024年第1期

    2024年第1期

    伺服與運(yùn)動(dòng)控制

    2024年第1期

  • 2023年第4期

    2023年第4期

    伺服與運(yùn)動(dòng)控制

    2023年第4期

  • 2023年第3期

    2023年第3期

    伺服與運(yùn)動(dòng)控制

    2023年第3期

  • 2023年第2期

    2023年第2期

    伺服與運(yùn)動(dòng)控制

    2023年第2期