三菱電機(jī)宣布，該公司開發(fā)了它認(rèn)為是世界上第一項(xiàng)能夠與人類進(jìn)行高度自然和直觀的交互的技術(shù)，其基礎(chǔ)是將多模態(tài)傳感信息轉(zhuǎn)換為自然語言的場(chǎng)景感知能力。

這種新穎的技術(shù)，場(chǎng)景感知互動(dòng)，融合了三菱電機(jī)的專利 Maisart。緊湊的人工智能技術(shù)，通過自然語言的生成，分析多模態(tài)感知信息，以實(shí)現(xiàn)與人類高度自然和直觀的交互。

這次，作為適用于本技術(shù)的應(yīng)用程序之一，構(gòu)筑了人與車載機(jī)器用自然語言進(jìn)行對(duì)話的路徑向?qū)到y(tǒng)。

圖源：三菱電機(jī)

通過世界上第一個(gè)獨(dú)特的 End-to-End 深層學(xué)習(xí)，實(shí)現(xiàn)人與設(shè)備的順利溝通，端到端深度學(xué)習(xí)，只需輸入和輸出樣本即可學(xué)習(xí)，采用攝像機(jī)拍攝的圖像信息、麥克風(fēng)采集的音響信息、騎手或雷達(dá)取得的位置信息等多模態(tài)傳感信息，機(jī)器了解周圍發(fā)生的狀況。

在多模態(tài)傳感信息中自動(dòng)加權(quán)重要性高的信息，使用自己的多模態(tài)保持法，對(duì)機(jī)器理解的內(nèi)容使用自然的語言進(jìn)行詳細(xì)表現(xiàn)的學(xué)習(xí)模型建立起來。

通過從設(shè)備理解的情況和人的話語歷史中生成自然詞語，實(shí)現(xiàn)了人與設(shè)備之間的順利溝通。與傳統(tǒng)的僅有視覺信息的方法相比，CIDEr 評(píng)價(jià)改善 29%。

場(chǎng)景感知的汽車導(dǎo)航交互，一個(gè)目標(biāo)應(yīng)用程序，將為司機(jī)提供直觀的路線指導(dǎo) 。 例如，該系統(tǒng)不要求司機(jī)“在 50 米內(nèi)右轉(zhuǎn)”，而是提供場(chǎng)景感知指導(dǎo)，例如“在郵箱前右轉(zhuǎn)”或“跟隨灰色汽車向右轉(zhuǎn)”。此外，當(dāng)預(yù)測(cè)附近的物體與汽車的路徑相交時(shí)，該系統(tǒng)將產(chǎn)生語音警告，例如“行人正在過馬路”。為了實(shí)現(xiàn)這一功能，系統(tǒng)對(duì)場(chǎng)景進(jìn)行分析，識(shí)別場(chǎng)景的可分辨、直觀的地標(biāo)和動(dòng)態(tài)元素，然后利用這些識(shí)別的對(duì)象和事件生成直觀的句子作為指導(dǎo)。

圖源：三菱電機(jī)

該技術(shù)利用深層神經(jīng)網(wǎng)絡(luò)在物體識(shí)別、視頻描述、自然語言生成和口語對(duì)話技術(shù)等方面的最新進(jìn)展，使機(jī)器能夠更好地理解周圍環(huán)境，更自然、更直觀地與人類互動(dòng)。場(chǎng)景感知的交互技術(shù)有望具有廣泛的適用性，包括用于車載信息娛樂的人機(jī)接口、在建筑和工廠自動(dòng)化系統(tǒng)中與機(jī)器人的交互、監(jiān)視人的健康和福祉的系統(tǒng)、解釋人類復(fù)雜場(chǎng)景并鼓勵(lì)社會(huì)距離的監(jiān)視系統(tǒng)、支持公共場(chǎng)所設(shè)備的非接觸式操作等。