虹膜追蹤(Iris tracking) 可廣泛應(yīng)用于多個領(lǐng)域，如輔助技術(shù)中的免觸摸界面，以及了解除點擊和手勢以外的用戶行為。虹膜追蹤同時也是一項具有挑戰(zhàn)性的計算機視覺問題。眼睛在環(huán)境光照條件不同時會經(jīng)常變化，且眼睛經(jīng)常會被遮擋住，而當(dāng)觀察對象轉(zhuǎn)動頭部或做不同的表情時，其眼睛形狀也可能隨之變化。現(xiàn)有的解決方法非常依賴專用硬件，通常需要使用昂貴的頭戴式設(shè)備或遠(yuǎn)程的眼動追蹤器系統(tǒng)。這些方法并不適合計算資源有限的移動設(shè)備。

實現(xiàn)眼球重新著色的示例

今年 3 月，我們宣布推出了一個可在瀏覽器中檢測面部特征點的新軟件包。今天，我們很高興可以通過 TensorFlow.js 面部特征點檢測模型將虹膜追蹤添加到此軟件包中。而這要歸功于 MediaPipe Iris 模型。我們已棄用原來的 Facemesh 模型，因此我們之后將為面部特征點檢測模型提供更新。

TensorFlow.js 面部特征點檢測模型
https://www.npmjs.com/package/@tensorflow-models/face-landmarks-detection

MediaPipe Iris 模型
https://google.github.io/mediapipe/solutions/iris

原來的 Facemesh 模型
https://www.npmjs.com/package/@tensorflow-models/facemesh

請注意，虹膜追蹤不會推斷人們正在注視的位置，也不會提供任何形式的身份識別。在我們模型的文檔和隨附的模型卡中，我們詳述了模型的預(yù)期用途、限制和公平性屬性（與 Google 的 AI 原則保持一致）。

Google 的 AI 原則
https://www.blog.google/technology/ai/ai-principles/

MediaPipe Iris 模型能夠使用單個 RGB 攝像頭實時追蹤涉及虹膜和瞳孔的特征點，而無需借助專用硬件。模型還能返回眼瞼和眉毛區(qū)域的特征點，實現(xiàn)對眨眼等輕微眼球運動的檢測（立即在瀏覽器中嘗鮮）。

嘗鮮

https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html

faceLandmarksDetection簡介

熟悉我們現(xiàn)有 Facemesh 模型的用戶，只需更改少量的代碼，就可以升級到新的 faceLandmarksDetection 模型，詳細(xì)的操作說明將在下方列出。faceLandmarksDetection 對 Facemesh 進(jìn)行了三項重大改進(jìn)：

虹膜關(guān)鍵點檢測

改進(jìn)了對眼瞼輪廓的檢測

改進(jìn)了對轉(zhuǎn)動的面部的檢測

我們在上方的 GIF 中突出顯示了這些改進(jìn)，該 GIF 展示了對于同一個圖像序列，faceLandmarksDetection 和 Facemesh 所返回的特征點有何不同。

安裝

faceLandmarksDetection 軟件包有兩種安裝方法：

1. 通過腳本標(biāo)記：

2. 通過 NPM（使用 yarn(https://yarnpkg.com/) 軟件包管理工具）：

$ yarn add @tensorflow-models/face-landmarks-detection@0.0.1 $ yarn add @tensorflow/tfjs@2.6.0

用法

安裝軟件包后，您只需加載模型權(quán)重，然后輸入圖像即可開始檢測面部特征點：

// 如果您使用 NPM，需請求加載模型。如果您使用腳本標(biāo)簽，您可以跳過此步驟，因為 faceLandmarksDetection 在全局范圍內(nèi)已經(jīng)可用 const faceLandmarksDetection = require('@tensorflow-models/face-landmarks-detection'); // 加載 faceLandmarksDetection 模型 const model = await faceLandmarksDetection.load( faceLandmarksDetection.SupportedPackages.mediapipeFacemesh); // 將視頻流輸入模型，并從 MediaPipe 計算圖中獲取真檢測到的面部數(shù)組。 // 對于 Node 用戶，estimateFaces API 還接受 tf.Tensor3D 或 ImageData 對象。 const video = document.querySelector("video"); const faces = await model.estimateFaces({ input: video });

對 estimateFaces 的輸入可以是視頻、靜態(tài)圖像、“tf.Tensor3D”函數(shù)，甚至是供 node.js 管道使用的 ImageData 對象。FaceLandmarksDetection 隨后會為輸入的面部返回一組預(yù)測對象，其中包括每個面部的相關(guān)信息（例如，置信度得分和面部 478 個特征點的位置）。

tf.Tensor3D
https://js.tensorflow.org/api/latest/#tensor3d

ImageData
https://developer.mozilla.org/en-US/docs/Web/API/ImageData

以下是預(yù)測對象示例：

{ faceInViewConfidence: 1, boundingBox: { topLeft: [232.28, 145.26], // [x, y] bottomRight: [449.75, 308.36], }, mesh: [ [92.07, 119.49, -17.54], // [x, y, z] [91.97, 102.52, -30.54], ... ], // 每個面部特征值在輸入空間中的 x,y,z 位置 scaledMesh: [ [322.32, 297.58, -17.54], [322.18, 263.95, -30.54] ], // x,y,z 位置的語意分組 annotations: { silhouette: [ [326.19, 124.72, -3.82], [351.06, 126.30, -3.00], ... ], ... } }

請參閱我們的 README，了解更多有關(guān)此 API 的詳情。

README
https://github.com/tensorflow/tfjs-models/tree/master/face-landmarks-detection

性能

FaceLandmarksDetection 是輕量級軟件包，其占用空間僅有 3MB 左右，因此非常適合用于在各種移動設(shè)備上執(zhí)行實時推理。在測試時，請注意 TensorFlow.js 還會提供幾種不同的后端供您選擇，包括 WebGL 和帶 XNNPACK 的 WebAssembly (WASM)，可在搭載低端 GPU 的設(shè)備上使用。下表顯示的是該軟件包在幾種不同的設(shè)備和 TensorFlow.js 后端中的表現(xiàn)：

桌面設(shè)備：

移動設(shè)備：

XNNPACK
https://github.com/google/XNNPACK

所有基準(zhǔn)測試結(jié)果均收集自 Chrome 瀏覽器。如需詳細(xì)了解如何為 TF.js WebAssembly 后端激活 SIMD，請參閱這篇文章。

展望

TensorFlow.js 和 MediaPipe 團隊都計劃利用經(jīng)過改進(jìn)的虹膜坐標(biāo)，為我們的面部特征點檢測解決方案添加深度預(yù)測功能。我們堅信分享代碼可以實現(xiàn)研究重現(xiàn)、快速實驗，并期待看到 MediaPipe Iris 模型在社區(qū)中得到更廣泛的使用。

快來嘗鮮！

通過此鏈接在您的網(wǎng)絡(luò)瀏覽器中試用我們的新軟件包。我們期待看到您在自己的應(yīng)用中使用此模型。

此鏈接
https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html

更多信息

點擊此處以詳細(xì)了解 MediaPipe Iris 模型：MediaPipe Iris

MediaPipe Iris
https://google.github.io/mediapipe/solutions/iris.html

了解模型的預(yù)期用途、限制和公平性屬性：模型卡

模型卡
https://mediapipe.page.link/iris-mc

閱讀我們宣布推出 MediaPipe Iris 的原始 Google AI 文章：推出 MediaPipe Iris: 不受限的虹膜跟蹤和深度估

閱讀我們在 arXiv 上發(fā)表的論文：《用于數(shù)字木偶的單目視頻實時瞳孔追蹤》Z(Real-time Pupil Tracking from Monocular Video for Digital Puppetry)

用于數(shù)字木偶的單目視頻實時瞳孔追蹤
https://arxiv.org/abs/2006.11341

責(zé)任編輯：xj

原文標(biāo)題：推出 MediaPipe Iris，升級瀏覽器中的虹膜追蹤模型！

文章出處：【微信公眾號：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。