根據(jù)《孤獨(dú)癥教育康復(fù)行業(yè)發(fā)展?fàn)顩r報(bào)告》，在全世界范圍內(nèi)每 54 個(gè)兒童就有一個(gè)兒童患有自閉癥譜系障礙，目前中國(guó)的自閉癥譜系障礙患者已經(jīng)超過(guò)了 1300萬(wàn)，并且這個(gè)數(shù)量以每年近20萬(wàn)的速度增長(zhǎng)。

我們通過(guò)調(diào)研發(fā)現(xiàn)我國(guó)關(guān)于自閉癥譜系障礙方面的確診缺乏統(tǒng)一的診斷標(biāo)準(zhǔn)，各大醫(yī)院與醫(yī)療機(jī)構(gòu)的主流診斷方案還是依托于量表等工具，誤診率高。但目前在確診方面缺乏科學(xué)精準(zhǔn)的檢測(cè)儀器，導(dǎo)致被確診為自閉癥的患者平均年齡為4到5歲，遠(yuǎn)遠(yuǎn)滯后于18到24個(gè)月的最佳早期篩查診斷時(shí)機(jī)，使得患兒錯(cuò)過(guò)最佳康復(fù)治療期。

我們團(tuán)隊(duì)基于以上痛點(diǎn)，以?xún)和f(shuō)話(huà)聲音作為原始數(shù)據(jù)，利用深度學(xué)習(xí)訓(xùn)練出的高精度模型對(duì)比分析自閉癥譜系障礙兒童和正常兒童在聲學(xué)特征上的差異，使用音頻分析技術(shù)提取聲學(xué)特征參數(shù)進(jìn)行分析，基于潤(rùn)和大禹DAYU200從聲學(xué)角度指導(dǎo)醫(yī)生對(duì)待測(cè)兒童進(jìn)行早期篩查，可將自閉癥患者實(shí)際篩查確診年齡提前至1到2歲，讓自閉癥譜系障礙兒童能極早地得到確診，從而能夠盡早進(jìn)行干預(yù)治療，最大限度地減少天生發(fā)育障礙對(duì)患者及整個(gè)家庭的影響。

本項(xiàng)目通過(guò)神經(jīng)網(wǎng)絡(luò)和音頻分析技術(shù)提取自閉癥譜系障礙兒童的聲學(xué)特征參數(shù)進(jìn)行分析，篩選出最具有代表性的聲學(xué)特征和分類(lèi)識(shí)別性能最優(yōu)的模型，從聲學(xué)角度輔助醫(yī)生對(duì)自閉癥譜系障礙兒童進(jìn)行早期診斷，并設(shè)計(jì)機(jī)器學(xué)習(xí)模型進(jìn)行分類(lèi)。構(gòu)建模型，最終網(wǎng)絡(luò)的準(zhǔn)確性達(dá)到 93.8%。醫(yī)生可在DAYU200端、網(wǎng)頁(yè)Web端、桌面exe程序端、手機(jī)端鴻蒙APP查看結(jié)果，預(yù)測(cè)出自閉癥譜系障礙準(zhǔn)確率超過(guò) 70%，推薦可能患有自閉癥譜系障礙孩子接受干預(yù)訓(xùn)練，避免錯(cuò)過(guò)最佳干預(yù)期。

3.1 開(kāi)發(fā)技術(shù)設(shè)計(jì)框架

3.2音頻數(shù)據(jù)采集

項(xiàng)目的音頻數(shù)據(jù)采集模塊主要由三部分組成，分別是揚(yáng)聲器、三麥克風(fēng)陣列數(shù)字信號(hào)處理器和Esp32-Korvo音頻開(kāi)發(fā)板。并通過(guò)回聲消除算法、語(yǔ)音增強(qiáng)算法、降噪算法和音頻自動(dòng)增益算法收集音頻數(shù)據(jù)，以此來(lái)保證受測(cè)者的音頻數(shù)據(jù)質(zhì)量。并通過(guò)藍(lán)牙或WLAN傳輸音頻數(shù)據(jù)至云服務(wù)器進(jìn)行下一步處理。在內(nèi)部布局上，通過(guò)精確測(cè)量開(kāi)發(fā)板、揚(yáng)聲器、可充電電池的尺寸，合理規(guī)劃設(shè)計(jì)了內(nèi)部零件的位置，精準(zhǔn)建模預(yù)留內(nèi)部空間。效果圖如下：

3.3音頻數(shù)據(jù)預(yù)處理

我們將數(shù)據(jù)采集模塊得到的音頻數(shù)據(jù)上傳至我們的華為云服務(wù)器上，利用利用我們自主開(kāi)發(fā)的降噪算法對(duì)收集到的聲音進(jìn)行二次降噪，除去高斯噪聲、白噪聲等等的一 些噪音，然后利用 OpenSmile 提取聲學(xué)特征，得到的處理過(guò)后的數(shù)據(jù)會(huì)進(jìn)行 Librosa 庫(kù)繪制MFCC 圖像。

首先在音頻轉(zhuǎn)圖像之前，通過(guò) Berouti 譜減法對(duì)采樣的自閉癥患者語(yǔ)音中自帶的加性噪聲（背景噪聲）得到噪聲的頻譜信息，并將其從頻率空間中減去。同時(shí)為了避免提取困難，采用預(yù)加重技術(shù)將預(yù)加重濾波器加在原始音頻上，強(qiáng)化高頻部分，再通過(guò)分幀加窗使分析對(duì)象的信號(hào)變化不會(huì)突然消失。接著將連續(xù)的模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，通過(guò)快速傅里葉變化對(duì)分幀加窗后的各幀信號(hào)進(jìn)行快速傅里葉變換得到各幀的頻譜。并對(duì)語(yǔ)音信號(hào)的頻譜取模平方得到語(yǔ)音信號(hào)的功率譜。接著利用三角帶通濾波器對(duì)頻譜進(jìn)行平滑化，并消除諧波的作用，突顯原先語(yǔ)音的共振峰。因此一段語(yǔ)音的音調(diào)或音高，是不會(huì)呈現(xiàn)在梅爾倒譜系數(shù)內(nèi)。換言之，以梅爾倒譜系數(shù)為特征的聲學(xué)特征濾波識(shí)別診斷系統(tǒng)，并不會(huì)受到輸入語(yǔ)音的音調(diào)不同而有所影響。此外，還可以降低運(yùn)算量。

最后，經(jīng)離散余弦變換（DCT）得到 MFCC 系數(shù)。

音頻轉(zhuǎn)圖像具體流程展示圖如下：

提取聲學(xué)特征并繪制出的 MFCC 圖像如下：

3.4圖像數(shù)據(jù)分析

在深度學(xué)習(xí)模型預(yù)測(cè)程序中預(yù)測(cè)待測(cè)者自閉癥譜系障礙的患病概率，采用CNN卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行圖像識(shí)別，包含4個(gè)卷積層和3個(gè)全連接層，每個(gè)卷積層后面有一個(gè)LeakyRelu (激活函數(shù))增強(qiáng)非線性，每?jī)蓚€(gè)卷積層分別緊跟一個(gè)最大值池化層縮小特征圖組成一個(gè)卷積組模塊，卷積層的輸出通道數(shù)按順序分別是64, 32, 128, 64，卷積層的輸出特征圖進(jìn)入全連接層前平鋪成向量，然后進(jìn)入三個(gè)線性變換層逐層降低向量的維度，每個(gè)線性變換緊跟一個(gè)Dropout層防止過(guò)擬合，線性變換的輸出長(zhǎng)度分別是128, 64, 1，最后輸出的一維向量用于二分類(lèi)，輸出自閉癥譜系障礙兒童的概率和正常兒童的概率。基于深度神經(jīng)網(wǎng)絡(luò)的算法，通過(guò)計(jì)算機(jī)較強(qiáng)的學(xué)習(xí)能力來(lái)學(xué)習(xí)自閉癥患者與正常人的聲學(xué)特征，以此達(dá)到對(duì)自閉癥患者語(yǔ)音數(shù)據(jù)的有效識(shí)別。

• DevEco Studio for OpenHarmony3.0.0.900

• OpenHarmony版本：3.1_Release

• 開(kāi)發(fā)板：DAYU200