描述

2020 年 6 月更新：DeepSpeech 0.7.* .Screenshots 的更新命令，除了 Raspberry Pi 4 保持不變。直到最近的問題是缺乏用于該任務的簡單、快速和準確的引擎。大約一年前，當我研究這個主題時，當你必須在樹莓派 3 上運行 ASR（不僅僅是熱詞檢測，還有大詞匯量轉錄）時，有幾個選擇是：

• CMUS獅身人面像
• 卡爾迪
• 碧玉

鏈接：

Python 3 人工智能：離線 STT 和 TTS

適用于樹莓派的最佳語音識別軟件

還有其他幾個。它們都不容易設置，也不特別適合在資源受限的環境中運行。因此，幾周前，我再次開始研究這個領域，并在一些搜索中偶然發現了 Mozilla 的 DeepSpeech 引擎。它已經存在了一段時間，但直到最近（2019 年 12 月）他們才發布了 0.6.0 版本的 ASR 引擎，其中包含 .tflite 模型以及其他重大改進。它已將英文模型的大小從 188 MB 減少到 47 MB??。“帶有 TensorFlow Lite 的 DeepSpeech v0.6 在 Raspberry Pi 4 的單核上運行速度比實時速度更快?！盡ozilla 的 Reuben Morais 在新聞公告中聲稱. 所以我決定親自驗證這一說法，在不同的硬件上運行一些基準測試，并制作我自己的帶有熱詞檢測的音頻轉錄應用程序。讓我們看看結果如何。

提示：我沒有失望。

其實我和這個火狐一樣開心！

?

。

?

curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.tflite
curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.pbmm
curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/deepspeech-0.7.1-models.scorer

下載示例音頻文件

curl -LO https://github.com/mozilla/STT/releases/download/v0.7.1/audio-0.7.1.tar.gz
tar xvf audio-0.7.1.tar.gz

樹莓派 4 運行：

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

如果成功，您應該看到以下輸出

?

不錯！1.975 秒的聲音文件為 1.529 秒。它比實時更快。

Nvidia Jetson Nano 運行：

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

嗯..比樹莓派慢一點。這是意料之中的，因為 Nvidia Jetson CPU 不如 Raspberry Pi 4 強大。到目前為止，還沒有用于 arm64 架構的預構建二進制文件支持 GPU，因此我們無法利用 Nvidia Jetson Nano 的 GPU 進行推理加速。我認為這個任務不在 DeepSpeech 團隊的路線圖上，所以在不久的將來我會在這里自己做一些研究，并嘗試編譯該二進制文件，看看使用 GPU 可以實現哪些速度提升。但幾秒鐘的速度仍然相當不錯，根據您的項目，您可能希望選擇在 CPU 上運行 DeepSpeech 并讓 GPU 用于其他深度學習任務。

視窗 10/Linux

deepspeech --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

?

或者如果使用啟用 GPU 的版本：

deepspeech --model deepspeech-0.7.*-models.pbmm --scorer deepspeech-0.7.*-models.scorer --audio audio/2830-3980-0043.wav

?

如您所見，.tflite 模型在現代 CPU 系統上實現了亞實時，這對于創建離線 ASR 應用程序的人們來說是個好消息。

以下是對比結果表：

?

好吧，我們對預先錄制的聲音樣本進行了基準測試，但我們真的想做一些實時轉錄。讓我們這樣做吧！

從https://github.com/mozilla/DeepSpeech-examples下載 DeepSpeech 示例

導航到 mic_vad_streaming 并安裝依賴項

pip3 install -r requirements.txt
sudo apt install portaudio19-dev

將麥克風連接到您的系統（我使用的是 Raspberry Pi 4 1 GB）。對于麥克風，盡管您可以使用任何麥克風，包括筆記本電腦的內置麥克風，但聲音的質量確實對結果有很大影響。對于這個演示，我使用的是 Seeed Studio 的ReSpeaker USB 麥克風陣列。它支持 5m 遠場拾音和 360° 拾音模式，并實現以下聲學算法：DOA（到達方向）、AEC（自動回聲消除）、AGC（自動增益控制）、NS （噪音抑制）。

?

python3 ../DeepSpeech-examples/mic_vad_streaming/mic_vad_streaming.py --model deepspeech-0.7.*-models.tflite --scorer deepspeech-0.7.*-models.scorer

從包含模型的文件夾中執行此命令。-v 參數允許您調整 VAD（語音活動檢測）的閾值。這是演示的結果。

好，太棒了！我們可以改進嗎？是的。我們真的不希望我們的設備一直在轉錄對話。談論隱私噩夢和浪費電力。

它/他/她？正在聽……或許沒有。如果它不是開源的，你永遠不會知道。

?

。