人工智能已經(jīng)發(fā)展到了今天了，創(chuàng)造出“賈維斯”還有點困難。但是，將素面直接變成拉面......嗯，也挺困難的。

那么，能不能將素面的外形看起來像拉面？吃不到那個味道，我看看總行了吧！

大家都知道，現(xiàn)在GAN（generative adversarial network 生成對抗網(wǎng)絡）合成的假圖片可以完美騙過人類了，經(jīng)過語音數(shù)據(jù)的訓練也能造一只柯南的變聲蝴蝶結(jié)了。

嗯，技術就是這么神奇，通過將GAN和AR技術結(jié)合，真的能把素面吃出拉面味！

在IEEEVR會議召開之際，日本奈良先端科學技術大學院大學和電氣通信大學的研究組發(fā)布了一個實時味覺操作系統(tǒng)，這個系統(tǒng)通過 GAN將食物的外觀進行圖像轉(zhuǎn)換，之后利用 AR 將這個圖片疊加到真實圖片上，從視覺上來引起味覺上的錯覺。

此論文被IEEEVR收錄，并作為Demo展出。

論文：Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation

作者：Kizashi Nakano, Daichi Horita, Nobuchika Sakata, Kiyoshi Kiyokawa, Keiji Yanai, Takuji Narumi

所屬：Nara Institute of Science and Technology; The University of Electro-Communications; The University of Tokyo

具體來說，是提出了一種通過 GAN 將真實食物實時轉(zhuǎn)換為其他食物圖像，從而操縱味覺的方法。這個方法主要是通過實時轉(zhuǎn)換食物的外觀（顏色和紋理），以從視覺層面控制味覺。

首先是從視頻透視型頭盔顯示器（HTC VIVE Pro）的前置攝像頭獲取 RGB 圖像，然后將其發(fā)送到服務器。服務器端將所獲圖像中心切割出來，再將其轉(zhuǎn)換為另一個食物圖像。圖像轉(zhuǎn)換后，最后將轉(zhuǎn)換的圖像疊加在真實圖像上去。

對于食物到食物的圖像轉(zhuǎn)換，這里用了基于 StarGAN 的網(wǎng)絡架構(gòu)，實時運行。因此，該系統(tǒng)可以根據(jù)原始食物的變化，動態(tài)并且可交互地進行操作。此外，因為是在一定程度上保持原始食物視覺特性的同時進行調(diào)整，從而在轉(zhuǎn)換后能產(chǎn)生更自然的錯覺 。還有，比如說吃面的時候，不僅可以把素面變成拉面，同時還能變成像炒面這樣各種各樣的面。

注：不同于Pix2Pix和CycleGAN針對解決一對一的問題，即一個領域到另一個領域的轉(zhuǎn)換。StarGAN可以解決多領域要轉(zhuǎn)換。具體來說，StarGAN就是將多領域轉(zhuǎn)換用統(tǒng)一框架實現(xiàn)的算法，在同一種模型下，可以做多個圖像翻譯任務，比如更換頭發(fā)顏色，更換表情，更換年齡等。

為了訓練網(wǎng)絡，研究人員從五種食物類別（拉面，炒面，白米飯，咖喱飯，炒飯）中創(chuàng)建了有 149,370 張食物圖像的數(shù)據(jù)集。在演示視頻中，我們可以看到系統(tǒng)將素面變成拉面或者炒面，將白米轉(zhuǎn)換成咖喱飯或炒飯，可以在吃一種食物的時候體驗到一種仿佛在吃另一種食物的味覺幻覺。

素面變拉面，一位拉面“狂魔”的技術之路

這篇技術論文的第一作者是Kizashi Nakano，一位對拉面有著狂熱般的熱愛。就連他的facebook主頁上的個人資料都標注著我想吃拉面......

根據(jù)Facebook上面的資料，Kizashi Nakano是日本奈良先端科學技術大學院大學的研究生，擅長的領域是VR、AR、MR。

其實，關于拉面味覺變換的研究，他已經(jīng)做了兩個了，而且，第一個項目已經(jīng)獲得了國家級別的獎勵。

將自己的興趣愛好玩的如此高端，也是非常令人佩服的。在一次采訪中，這位同學說出了他做這項研究的原因：“我非常喜歡吃拉面，但是自從生了一次病之后，就無法嘗到這個味道了，但我還是忘不了拉面！我想再次吃到拉面！并且，我一直都這么認為。后來我想，如果看一下拉面圖像并吃掉別的東西，那么就有可能再次擁有拉面的味道了吧！所以我決定“嘗試虛擬現(xiàn)實的研究”。

據(jù)介紹，他在高中的時候，就從事過機器人等相關研究。進入大學之后，他想一定要精通編程，并用它進行相關研究。因此，大一的時候，他參加了由文部科學省主辦的“科學學院”的研究，成為了學生志愿者組成的“FIT袖珍實驗室（FITポケットラボ）”的一員。兩年后，覺得沒有什么有趣的研究題材的時候，他的小伙伴也參與了進來。

注：FIT袖珍實驗室是福岡工業(yè)大學信息工程學院的跨學科工作之一，專注于低年級的獨特學術研究活動。參與者確定他們想要做的研究主題，接受前輩和教授的建議，并且可以進行一年的實驗和研究。

他的小伙伴名字為津田，也曾在在福岡工業(yè)大學就讀，兩人在大學相識，并合力做了味覺變換的研究，發(fā)布了“利用增強現(xiàn)實技術開發(fā)味覺操縱系統(tǒng)”，并獲得了國家級別的獎勵。所以被IEEEVR收錄的這項研究肯定也離不開津田的支持和幫助。

這種味覺轉(zhuǎn)換的研究在學界并不是很多，在剛接觸的時候，Kizashi Nakano表示，他和他的小伙伴經(jīng)歷了許多挫折，為了讓效果更逼真，圖像更清晰，兩位反復試錯，嘗試過各種各樣的食物。最后在測試的時候，80%的人稱食物的味道確實改變了。

其實，終極的虛擬現(xiàn)實體驗將包含所有的感官感覺，包括嗅覺和味覺，而行業(yè)和社區(qū)一直在不斷探索相關的實現(xiàn)方式。例如，東京大學的研究人員就曾經(jīng)提出過利用電顎刺激GJS技術，從而更好地改變味覺并控制味道。這種GAN&AR技術結(jié)合的研究項目，相信也能夠給予虛擬現(xiàn)實研究者新的方向吧。