“最初打算幫助殘疾人，是因?yàn)槲以诳突仿∽x博時(shí)，結(jié)識(shí)了一位從 IBM 到我們學(xué)校訪(fǎng)問(wèn)的盲人教授。和她一起去朋友家時(shí)，發(fā)現(xiàn)她的生活非常不方便，這也是我設(shè)計(jì)盲人屏幕閱讀器的起因。”對(duì)密歇根大學(xué)計(jì)算機(jī)科學(xué)與工程系 90 后華人教授郭安鴻來(lái)說(shuō)，“科技向善”是他身上抹不去的標(biāo)簽。

很多人都曾在課本上學(xué)習(xí)過(guò)海倫·凱勒的《假如給我三天光明》，由于失聰和失明，她只能通過(guò)觸覺(jué)來(lái)學(xué)習(xí)說(shuō)話(huà)，比如把手指放在老師的鼻子、嘴唇和咽喉上，去感受某個(gè)單詞的發(fā)音方式。

一個(gè)四肢健全的盲人固然有觸覺(jué)，但卻因?yàn)檠勖ぁ⒍鵁o(wú)法操作那些常人可以輕松操作的鍵盤(pán)，比如微波爐和電飯煲的物理操作界面。對(duì)他們來(lái)說(shuō)，這些操作界面的按鈕，不僅在觸覺(jué)上難以區(qū)分，并且屏幕上還有他們無(wú)法閱讀的視覺(jué)信息。

基于此，郭安鴻研發(fā)出一款人機(jī)交互系統(tǒng)，來(lái)幫助盲人讀取、以及使用物理操作界面上的內(nèi)容。

該系統(tǒng)包含三大塊：VizLens、Facade 和 StateLens。其中VizLens 幫助盲人通過(guò)音頻指示去使用物理操作界面，F(xiàn)acade 使用 3D 打印技術(shù)給其提供盲文標(biāo)簽，而 StateLens 則可以幫助他們識(shí)別動(dòng)態(tài)操作界面。

VizLens：可給盲人提供實(shí)時(shí)幫助

VizLens 是用于靜態(tài)物理操作界面的交互式屏幕閱讀器，它結(jié)合了按需眾包和實(shí)時(shí)計(jì)算機(jī)視覺(jué)技術(shù)。

當(dāng)盲人遇到某個(gè)無(wú)法閱讀的靜態(tài)界面如微波爐界面時(shí)，使用手機(jī)對(duì)操作界面進(jìn)行拍照，之后 VizLens 會(huì)把照片發(fā)送給網(wǎng)絡(luò)眾包人員。

視頻 |VizLens使用說(shuō)明

眾包是一種通過(guò)互聯(lián)網(wǎng)多人協(xié)作獲得數(shù)據(jù)資源的方式，比如 Amazon Mechanical Turk 眾包網(wǎng)站就是借助遍布在互聯(lián)網(wǎng)上的自由職業(yè)者，通過(guò)他們完成一些細(xì)小工作，最終匯集在一起解決大型問(wèn)題。

圖 | 用戶(hù)使用界面的操作過(guò)程（來(lái)源：受訪(fǎng)者）

眾包人員收到盲人的信號(hào)后，就會(huì)標(biāo)記界面布局、并注釋相關(guān)元素如按鈕或其他控件，隨后會(huì)描述每個(gè)元素，描繪出的圖片也會(huì)成為參考圖像，進(jìn)而幫助計(jì)算機(jī)視覺(jué)更好地工作。

之后，當(dāng)盲人要操作微波爐界面時(shí)，只需打開(kāi) VizLens 應(yīng)用程序，把手機(jī)攝像頭對(duì)準(zhǔn)界面，接著把手指懸停在界面上，這時(shí)VizLens 會(huì)使用基于 SURF（Speeded Up Robust Features，加速穩(wěn)健特征）的對(duì)象匹配技術(shù)，將眾包標(biāo)記的參考圖像、與實(shí)時(shí)捕獲的圖像進(jìn)行匹配，并跟蹤用戶(hù)的手指，進(jìn)而去做檢索、提供音頻反饋和指導(dǎo)用戶(hù)。

有了這種即時(shí)反饋，VizLens 就能實(shí)時(shí)地把界面內(nèi)容告訴給盲人。此外，VizLens 還權(quán)衡了眾包人類(lèi)智能和計(jì)算機(jī)視覺(jué)的優(yōu)勢(shì)，因此它對(duì)物理界面的解釋能力，幾乎和人工一樣準(zhǔn)確，并且它和計(jì)算機(jī)視覺(jué)系統(tǒng)一樣快捷且低成本。

Facade：方便盲人獨(dú)立讀取的 3D 打印觸覺(jué)覆蓋層

一般來(lái)說(shuō)，盲人經(jīng)常在家電上貼盲文標(biāo)簽。基于 VizLens，郭安鴻進(jìn)一步開(kāi)發(fā)出 Facade，這是一款可讓盲人獨(dú)立讀取的 3D 打印觸覺(jué)覆蓋層。

盲人拍攝操作界面照片時(shí)，照片中需要包含絕對(duì)尺寸的標(biāo)記（fiducial marker），比如錢(qián)幣或者信用卡。拍攝以后，F(xiàn)acade 可通過(guò)照片來(lái)恢復(fù)按鈕標(biāo)簽尺寸信息。

接著，F(xiàn)acade 會(huì)用類(lèi)似 VizLens 的眾包方法對(duì)圖像作出標(biāo)記。這時(shí)，盲人可以使用 Facade 應(yīng)用程序，來(lái)自定義觸覺(jué)覆蓋層，隨后 Facade 可據(jù)此生成 3D 模型，這時(shí)使用家用 3D 打印機(jī)，即可制造出觸覺(jué)覆蓋層。

研究中，郭安鴻經(jīng)歷幾次設(shè)計(jì)迭代，最終確定了最有效的覆層設(shè)計(jì)、材料配置和打印機(jī)設(shè)置，以使 3D 打印的覆層易于附著、讀取和按壓。

概括來(lái)說(shuō)，VizLens 和 Facade 使盲人用戶(hù)可以訪(fǎng)問(wèn)許多靜態(tài)界面。郭安鴻又在此基礎(chǔ)上，開(kāi)發(fā)了StateLens，這是一種用于公眾信息顯示屏和支付終端等動(dòng)態(tài)觸摸屏。

StateLens：解決誤觸難題

盲人一旦觸碰屏幕，就很容易帶來(lái)誤操作，為解決此類(lèi)觸摸難題，針對(duì)使用過(guò)程中的意外觸發(fā)因素，郭安鴻又設(shè)計(jì)出一套 3D 打印附件，即指帽和手寫(xiě)筆。

使用中，盲人通過(guò)手勢(shì)激活所需的觸摸位置，無(wú)需直接觸摸屏幕即可瀏覽。據(jù)悉，StateLens 可在不修改觸摸屏基礎(chǔ)硬件或軟件的情況下，為公共觸摸屏帶來(lái) “無(wú)風(fēng)險(xiǎn)使用”，這也是可訪(fǎng)問(wèn)觸摸屏交互的核心。

圖 | 觸摸交互設(shè)計(jì)（來(lái)源：受訪(fǎng)者）

在對(duì) StateLens 進(jìn)行評(píng)估的過(guò)程中，他們首先通過(guò) 12 個(gè)觸摸屏設(shè)備和 70K 多幀的實(shí)驗(yàn)視頻，證明出 StateLens 可從固定視頻、手持視頻和網(wǎng)絡(luò)視頻中準(zhǔn)確地重建界面。隨后，再對(duì) 14 位盲人參與者做用戶(hù)研究。這時(shí)，他們發(fā)現(xiàn)這款人機(jī)交互系統(tǒng)，可使盲人訪(fǎng)問(wèn)此前無(wú)法訪(fǎng)問(wèn)的動(dòng)態(tài)觸摸屏。

“你是我的眼”：盲人自己也可使用微波爐

談及研發(fā)過(guò)程，郭安鴻表示：“我剛到匹茲堡時(shí)，不太熟悉當(dāng)?shù)赜脩?hù)和組織，但我做的是和盲人有關(guān)的項(xiàng)目，想要接觸他們就更難。后來(lái)參加了一些當(dāng)?shù)氐?meet up 活動(dòng)，得知在一些圖書(shū)館里，有一些盲人在那里工作。通過(guò)這樣一個(gè)滾雪球的方式，我一點(diǎn)點(diǎn)地找到了一系列用戶(hù)。后面很多類(lèi)似項(xiàng)目，我都可以去聯(lián)系他們，看他們是否有時(shí)間給到一些反饋意見(jiàn)、試用一下我們做的產(chǎn)品等等。”

他說(shuō)：“除了和 IBM 盲人教授相處的經(jīng)歷之外，通過(guò)觀察圖書(shū)館盲人工作人員，也讓我更加關(guān)心盲人的生活，比如說(shuō)他們?cè)谑褂梦⒉t這種物理操作界面或觸屏設(shè)備的時(shí)候，有很多不方便的地方。然后我就想到可以通過(guò)計(jì)算機(jī)視覺(jué)、眾包以及可穿戴設(shè)備等技術(shù)，設(shè)計(jì)一個(gè)系統(tǒng)，來(lái)幫助盲人用這種物理操作界面。”

系統(tǒng)初步完成后，郭安鴻在用戶(hù)給產(chǎn)品做測(cè)試的過(guò)程中，非常有個(gè)人成就感。一方面系統(tǒng)可給盲人生活提供實(shí)質(zhì)性幫助，另一方面他自己對(duì)人機(jī)交互領(lǐng)域的興趣和熱愛(ài)，也帶來(lái)了一定的現(xiàn)實(shí)影響。

而在做每個(gè)項(xiàng)目之前，郭安鴻都會(huì)邀請(qǐng)盲人用戶(hù)到實(shí)驗(yàn)室里，或去他們家里進(jìn)行訪(fǎng)談，收集他們的痛點(diǎn)后、再和團(tuán)隊(duì)進(jìn)行頭腦風(fēng)暴。研究過(guò)程中，也會(huì)得到盲人用戶(hù)的持續(xù)反饋，獲得新數(shù)據(jù)后再進(jìn)行迭代，最終完成系統(tǒng)設(shè)計(jì)。

比如 Facade，其過(guò)程涉及到 3D 打印。那么，它到底該怎么打盲文？怎么讓盲人摸到后就能識(shí)別？需不需要考慮多種顏色？如何讓有一點(diǎn)點(diǎn)視力的盲人得到更好的幫助？針對(duì)這些問(wèn)題，郭安鴻在收集用戶(hù)反饋后，最終找到了最佳 3D 打印設(shè)置。

目前他正計(jì)劃把該成果放在網(wǎng)上，作為免費(fèi)應(yīng)用供盲人使用。另一方面，微軟、蘋(píng)果、谷歌也在做殘疾人相關(guān)的技術(shù)研究，郭安鴻之前曾和他們有過(guò)具體的合作，以后他想在這方面做更多拓展。

“畢業(yè)即教授”：28 歲拿到博士學(xué)位、并成為助理教授

郭安鴻是遼寧沈陽(yáng)人，1992 年生人，小學(xué)畢業(yè)后就讀于東北育才少兒班，16 歲高中畢業(yè)，隨后北上并來(lái)到北京郵電大學(xué)讀書(shū)，20 歲時(shí)本科畢業(yè)。

本科畢業(yè)后，他來(lái)到佐治亞理工學(xué)院讀碩士，畢業(yè)后到卡內(nèi)基梅隆大學(xué)讀博，28 歲時(shí)博士畢業(yè)，2020 年是他博士畢業(yè)的年份，也是他在密西根大學(xué)獲得助理教授教職的年份。來(lái)密西根大學(xué)教學(xué)之前，他還在微軟、谷歌等公司參與過(guò)項(xiàng)目。

談及過(guò)往，他表示：“我在這個(gè)過(guò)程中遇到了很多非常好的導(dǎo)師，參與到一些非常開(kāi)眼界的項(xiàng)目，然后才讓我一點(diǎn)點(diǎn)接觸到科研，并可以獨(dú)立開(kāi)展這些有意思的研究。”

由于他本科是電子信息工程專(zhuān)業(yè)，期間曾參與一個(gè)用計(jì)算機(jī)視覺(jué)、來(lái)進(jìn)行手勢(shì)識(shí)別和臉部識(shí)別的控制游戲項(xiàng)目。后來(lái)他逐漸了解到人機(jī)交互，并且對(duì)此十分感興趣，于是申請(qǐng)了一些相關(guān)項(xiàng)目，并一步步走上研究軌跡。

當(dāng)問(wèn)到是否初心不改、延續(xù)著一直以來(lái)的研究路線(xiàn)時(shí)，郭安鴻說(shuō)：“我覺(jué)得研究路線(xiàn)其實(shí)一直都在變，因?yàn)闀r(shí)間也都在變，并且這些研究的學(xué)科也都在發(fā)展。不變的是我想要讓世界變得更好，希望做的項(xiàng)目實(shí)際上可以幫助到殘疾人，讓他們的生活變得更便利。”

原文標(biāo)題：90后北郵畢業(yè)生開(kāi)發(fā)交互式屏幕閱讀器，盲人可獨(dú)立操作觸摸屏，甚至能在無(wú)人陪護(hù)下使用微波爐 | 專(zhuān)訪(fǎng)

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq