蘋果iPhone6S的發布,通過siri、ForceTouch、Haptics技術打開了全新的人機交互時代。
從2011年開始,智能手機與平板電腦歷經爆發性成長,手勢觸控技術開始取代鍵盤鼠標,帶來了一場人機交互革命。2014年底,智能硬件迎來大爆發,預計2015年全球互聯設備將達到49億臺,到2020年更上看250億臺。隨著智能硬件的迅速放量,從最早的單一控制功能,到最后實現復雜的應用場景,原有的人機交互技術,如觸控、語音、體感、生物辨識正逐漸融合,而類似于觸覺反饋、虛擬現實(VR)等新興人機交互技術正逐漸顯現。
智能纖維:透過布料實現觸控交互
在智能手機上,觸控已經是必不可少的操控方式。但是到了可穿戴設備以及智能硬件上,由于產品尺寸以及待機時長的限制,觸控交互不如智能手機上那么方便了,可實現的功能也非常有限。因此,在最初一代產品中,類似于智能手表這樣的產品只能成為手機配件,大部份的交互方式還需要透過手機來實現。
如何在方寸之間實現更多的功能,而且還得確保產品的美觀?
AppleWatch的解決方式是重新定義用戶的操作手勢及用戶體驗--"橫向滑動"切換頁面、"點按"選擇內容,"長按"則是打開菜單。此外,AppleWatch還增加了表冠(crown)與實體按鍵。在操控方式上,表冠既可輕按又可以旋轉縮放屏幕大小。此外,AppleWatch還透過不同的震動方式來提示如何轉向。AppleWatch出現的意義并不是為了顛覆手表產業,而是真正讓可穿戴設備可以脫離手機的的地心引力而存在,使其能夠獨立展開形成完整的應用生態。
除了蘋果(Apple),Google也在積極探索智能可穿戴設備的人機交互方式。早在幾個月前最新的GoogleI/O大會上,專攻尖端技術的ATAP團隊展示了透過衣物進行交互的技術ProjectJacquard。
這個技術的思路是在紡織品中加入電路,與康寧(Corning)發布的概念宣傳片《Glass2塑造的一天》相較,未來人機交互的主角不再僅僅是各種玻璃,而是可以將衣服、褲子、汽車坐墊或窗簾都變成可交互的媒介。人們可以透過各種織物來控制手機、計算機、可穿戴設備甚至家電。
目前,ATAP團隊已經與日本一家布料廠合作,將導電的線路與棉線編織在一起,并保留柔軟的觸感,以及支持不同色彩、棉質/化纖/絲質的質料。另外,他們還與Levi's合作設計了一款搭載ProjectJacquard的棉質外套,外套的觸摸感應區可以辨識多點觸摸,并支持一定距離內的隔空操作。
這種新開發的紗線能以3D技術來紡織,并與微控制器聯機以制作低功耗觸摸板;Schwesig表示,這種線路本身就具備低功耗特性,預期嵌入在衣物時能連續運作一星期。雖然能量采集是搭配這種紡織品會很不錯,但ATAP團隊還沒著手開發相關技術。
Google還展示了新開發智能纖維的數種應用情境,包括用戶能用多種手勢來開燈或是在手機上操作音樂播放。Schwesig表示這種紗線也能運用于汽車內裝,但Jacquard項目是以一種通用技術來進行研發,未特別針對某個使用情境。
這種技術的應用想象空間非常大,例如早上穿外套準備上班的時候,手機就自動預定Uber;穿上慢跑鞋后自動追蹤運動數據;在衣服袖子上滑動一下,就可以解鎖手機并對它下達語音指令等。與其用手環監測運動參數,不如直接用鞋子來得更精確。
這種織物技術面臨的挑戰是如何確保電子電路和芯片不怕高溫熨燙以及洗衣機水泡,同時讓這種交互方式盡可能精準。此外,由于牽涉到紡織業以及服裝產業,涉及的供應鏈過于復雜,材料的測試流程也很多。
ForceTouch的前世今生,核心算法來自……
以觸控技術而言,手勢控制雖然無法實現更精準的控制,但是透過算法使得人機交互顯得更加"智能",可以透過不同的手勢和姿態判斷用戶的使用場景,這似乎更適于應用在可穿戴設備上。Google眼鏡盡管是一款過于前衛的產品,但是它的人機交互方式主要還是采用手勢或自然動作實現。例如用戶只要眨眨眼睛就能拍照。
Apple的手勢應用主要采用壓力觸控(ForceTouch)技術,這項技術的軟件算法來自于生物識別安全公司Privaris。目前,該公司已經把大部分專利轉移給蘋果。這種技術是一種可以區分輕觸和用力按壓的功能,可以支持大量的新手勢。它的原理是將壓力敏感融入多點觸控輸入機制中,用戶只要用力長按,就可以啟動二級動作。AppleWatch的壓力觸控常被視為類似Mac計算機右擊的功能,用以打開下一層的設備和菜單選項,如果沒有這種機制,很難將這些操作融合到一個非常小的接口。
這種技術已經從AppleWatch擴展到Apple的其它產品線,如新一代iPhone以及Macbook系列,未來可能將繼續使用到蘋果的其他產品線如ipad。此外,壓力觸控還將與實時的觸覺反饋配合使用,除了現有的多點觸控功能,還能讓開發者為高端用戶開發專有的功能。事實上,壓力觸控帶來的應用還不止是實現某些操控手勢,由于支持不同的壓力變化,使得用戶在觸控屏幕上實現精確的作畫及書寫成為可能。在蘋果最新發布會上,展示了利用ipadPro配合Applepencil制作出的精美畫作。
華為(Hwawei)在新一代iPhone上市之前搶先在手機上采用類似的技術。華為消費者終端董事長余承東在參展德國柏林IFA大會上發布了旗艦手機MateS,現場展示的'ThePoweroftouch'壓力觸控技術,能夠稱量橘子的重量。
實際上,美國Z-origin的Z-Tohch則是較早的觸控探索者;TI公司早前推出過基于高電壓的新一代振動馬達的驅動芯片;美國"IMMERSION"公司擁有基于"觸覺交互"的大量技術儲備與專利;中國的衡業新材也在研發"新一代觸摸反饋"的核心硬件。早在2009年黑莓(Blackberry)就在Storm系列手機上采用過類似的屏幕按壓技術SurePress了,不過用戶在使用時必須按壓很大的力量,因此用戶體驗非常糟糕。
谷歌逆天發明,精準的毫米波手勢控制
相較于AppleWatch的ForceTouch壓力觸控方式,Google的手勢控制方案ProjectSoli更具有顛覆性,用戶可以透過搓動手指實現控制音量大小、切換歌曲、隔空調節耳機音量等功能。
這項技術是一種60GHz的毫米波技術。也就是說,無論是控制手表、平板,還是手機等設備接口,將不再受制于屏幕。不必再透過接觸觸控屏幕來實現觸控,通過脈沖雷達波在任意空間擷取用戶的手勢,即可實現對設備的控制。這也就是我們平常所說的體感交互,而現在Google在這當中應用了更精準的新技術。
這是一種基于無線電波反射建立的交互系統,5mm波長的無線電波能夠探測到5m空間范圍內的精細動作,目前Soli可以感測/辨識手指的捏轉、搓動與傳動等動作,感應誤差精密到毫米級。這種技術的困難在于要在盡量最小的尺寸范圍整合無線電波發射天線與接收天線。此外,這種操控方式在實際應用中是否有實際意義,例如打個響指切歌是否真的比單擊按鍵切歌方便?這些都缺少更加真實應用案例和用戶體驗。
手機震動就是觸覺反饋Haptics的最初應用
蘋果在iphone6S上內置了一個振動器,將ForceTouch技術與觸覺反饋(Haptics)技術相結合。Haptics是一種透過馬達和觸摸板搭配實現不同觸覺體驗的技術。手機震動就是Haptics最初的應用,目前幾乎大部份的智能手表和手環都具有振動反饋功能。
這一技術最早從Sony開始嘗試,并推出了第一代Haptics技術的手機,三星(Samsung)甚至生產了一款型號帶觸覺字樣的手機--三星Haptic2。Apple在2007年提交了相關專利,在題為《光滑觸控表面實現按鍵觸感的若干方法》中描述了如何讓用戶感覺屏幕的凸起和凹陷。
比如,日本DOCOMO生產的一款"RAKURAKU"老人手機,其振動回饋可以讓在老人觸摸屏幕有觸感,如按壓鍵盤一樣的實物感,還曾風靡一時;日本松下也推出獨特振動回饋的平板;韓國PANTECH(潘泰)也推出過精敏振動的平板等等。
Haptics技術的建置目前有三種主要方式:偏轉質量(ERM)、線性共振(LRA)、壓電傳動。其中目前比較成熟的技術是ERM和LRA技術,主要透過轉自馬達和線性馬達實現振動反饋,其中線性馬達更能實現不同方向的振動。
在手機領域,線性馬達目前已經逐漸普及,而在汽車電子領域,主要仍采用轉子馬達。至于采用壓電傳動的稀土馬達,其原理主要是采用具有壓電效應的多晶體逆壓電效應,在該晶體產生形變時產生電流,而在為晶體施加電壓時,晶體產生形變。目前包括三星、AAC、村田(Murata)、TDK與TI都正積極開發Haptics相關產品。
在游戲與虛擬現實等應用中,Haptics技術可為用戶帶來身歷其境的觸覺體驗。微軟亞洲研究院正嘗試將Haptics技術應用在消費產品和可穿戴設備上。此外,透過對采用Haptics技術的鍵盤進行測試,結果顯示擁有觸摸反饋的鍵盤,其輸入速度和正確率比單純利用視覺或聲音反饋單鍵盤更高許多。
未來在網購體驗中,Haptics將可能在手機或平板電腦的觸控屏幕上仿真商品的真實紋理與質地。此外,在智能手表中采用Haptics技術,將可透過壓電效應實現各種控制。例如將壓電組件置于觸控表面下,透過電流實現類似于實體按鍵的觸控效果,或者透過壓力實現待機一鍵啟動等。
聰明如siri,語音交互只會更智能
蘋果最近正在大舉招募人工智能專家,旨在挑戰谷歌在人工智能領域的領先地位。在蘋果最新發布的iOS9系統中,智能機器人Siri可通過學習辨識聲音ID。
在智能硬件時代,人機交互的核心需求正朝向處理復雜任務的趨勢變遷。直接透過語言對話是處理復雜任務的理想人機交互方式。用戶希望能有一個真正智能的"隨身管家/秘書/數字助手",而不僅僅是一個語音轉文字的工具。從iPhone推出Siri開始,包括Nuance等語音技術供貨商正持續優化語音交互技術,以求實現最佳體驗,其主要發展方向集中于語音識別與語音合成。
智能手表廠商映趣科技(inWatch)CEO王小彬認為,智能手表的交互方式應該做到盡量減少設備接觸,透過語音技術解放雙手。這一點在車載設備上有更嚴格的要求,目前有不少智能硬件廠商正針對車載環境開發智能后視鏡及導航產品。智能后視鏡廠商威仕特CEO聞政表示,過去語音技術只能由機械辨識"去哪兒",而不能理解"我想去哪兒",而現在要做到"我不知道去哪兒,你推薦我一個地方去"。
首家采用認知交互模型設計語音交互系統的思必馳(AISpeech)在傳統語音識別和合成技術上導入交互人工智能,透過情境理解和多輪交互,針對最終任務完成度和用戶體驗進行系統設計和優化。什么是"交互人工智能"?所謂的"人工智能"包括運算智能、感知/表達智能、認知智能與抽象思維等四大智能模塊。思必馳認為認知型的對話是語音交互的未來,不僅僅是簡單的辨識語音,而是真正能夠讓機器像人一樣進行分析、推理與處理指令。
在具體使用中語音交互面臨環境噪聲、辨識率的問題。思必馳的解決方式是透過麥克風數組模塊+云端服務來實現自動回音消除以及遠程語音識別。
類似蘋果的語音助手Siri,國內華為榮耀7的智靈鍵采用獨立物理按鍵語音連接互聯網。能夠喚醒語音助手,并且深化語音助手功能,將語音功能和很多日常軟件打通。例如嘀嘀打車、微博、備忘錄、菜譜、地圖等軟件都能夠實現語音操控。
人工智能+大數據,人機交互的究極形態
日前,百度結合語音識別和圖像識別功能,推出全新的機器人助理度秘(duer)--個人數字助理。
整體而言,單一的人機交互方式無法滿足智能硬件多元應用場景的需要,從自然人機交互的未來趨勢來看,高度便利的多模態自然人機口語交互方式是最自然且想的人機交互方式。所謂多模態人機交互是指融合視覺、聽覺、觸覺、嗅覺甚至味覺的交互方式,其表達效率和信息都優于單一的視覺或聽覺模式。
簡單來說,未來的人機交互模式中,輸入信息的方式將變得越來越簡單、隨意與任性,例如隨口說句話、比個手勢、打個響指或甚至使個眼色就能告訴機器一項信息。但是機器能否理解你發出的信息就是人工智能的范疇了,如果你不想出現機器聽不懂你說"我想靜靜"到底是什么意思,就有必要讓機器反問你一句"你到底是想一個人靜靜?還是想念靜靜?"
甚至到了最后,用戶再也不用主動發出信息,透過眼球追蹤、觸覺反饋、各種傳感器,機器將自動監測分析用戶所在的環境、狀態甚至情感信息,協助用戶進行選擇或提供服務。例如當你睡著了,機器系統將主動關燈、關電視甚至幫你蓋被子。這可以說是人機交互的最高境界了,到了這個階段硬件才可以真正稱得上是"智能"。不過要實現如此高度智能化的前提是,設備必須透過許多的"大數據"來進行演算分析,讓智能設備記住你的行為習慣和偏好并越來越懂你,甚至有一天比你自己還要了解你。
更多資訊請關注人機界面頻道