多線程技術在數據實時采集分析中的應用

數字接口設備是實現標準422串行總線到自定義串行總線轉換的專用通信設備。數字接口測試系統根據數字接口設備的工作原理，輸出422串行數據和自定義串行總線的控制信號（YCK,YZM）給數字接口設備，并對其輸出的串行數據（YDATA）進行采集、存儲、分析和處理，從而達到對被測設備進行檢測的目的。本數字接口測試系統共提供了八個測試通道，每個通道的422串行總線和自定義串行總線的相關參數都可由測試人員通過應用軟件進行設置。為方便對數據進行分析，同時在軟件上約定了發送的數據格式為：AA xx 01 23 45 67 89 AB CD EF 01 23… 10，其中幀頭為0xAA，幀尾為0x10，xx為發送計數器值，每發送一次依次加1。應用軟件通過相應的算法對自定義串行總線接收數據進行實時分析和處理，如：已經接收的字節數，共接收了多少幀數據，共出錯有多少字節……并將結果在測試界面上動態顯示，測試人員可以根據這些實時的測試結果來判斷被測設備是否正常工作，一旦發現測試數據誤碼率太高，即可馬上斷電停止測試，防止被測設備燒壞。

系統實現方案

　　數字接口測試系統原理框圖如圖1所示。測試設備通過USB2.0總線與操作控制計算機進行連接，每臺測試設備提供了八個通道的數據發送和接收單元，其中數據發送單元用于輸出422異步串行數據，其波特率最高可達614.4 kbps，幀長可根據測試要求進行調整，每幀數據最高循環發送幀周期為5ms；數據接收單元用于產生自定義串行總線的控制信號YZM和YCK，并從YDATA讀回數據，YCK和YZM最高分別可達1.6384MHz和25.6kHz。

　　由于測試過程中傳輸數據量大，且需要對采集回來的數據做實時分析，因此對數據的實時采集和分析采用多線程分別進行處理。應用軟件中主界面線程主要負責完成人機界面操作，同時分別打開數據采集和數據分析兩個線程來同步協調工作，為保證數據采集和分析過程的連續和數據完整，兩個線程之間通過開辟高速內存緩沖區和內存映射文件的方式來實現高速數據流的一、二級緩沖。其中一級緩沖區實現對USB總線上傳數據的緩存，用于實現接收的USB數據包按照各個通道進行數據分解；二級緩沖則按照通道號將分解輸出的數據分別進行暫存，用于數據分析線程實現數據分析處理。整個方案中，數據包的上傳、存儲、數據分解、數據分析等操作均是在內存中完成，速度快，正確率高，再加上采用新的線程同步方法，既保證了數據采集線程高速數據吞吐量、數據分析線程的快速響應和實時分析，又保證了整個方案較高的性能和最低的系統開銷。數據緩存處理如圖2。

數據采集

　　為了實現USB返回數據的保存，在內存中構建了一個12k的高速內存緩沖區，12k的空間以512字節（一個USB數據包的大小）為單位平均分成24等份。多線程同步中常用信號量來控制訪問某一共享資源的線程數，結合操作系統中生產者和消費者的思想可采用擴展信號量的方式來完成線程同步。數據采集線程操作時，12k高速緩沖區分別用讀寫兩個信號量作為狀態指示，對數據讀入和輸出進行控制。寫信號量個數初始化為24個（表示有24個數據區間可寫入），讀信號量個數初始化為0個（表示有0個空間有數據需要讀出），數據采集線程等效為生產者，數據分析線程等效為消費者。如圖3所示。USB接口每返回一包數據，首先判斷寫信號量個數，為零則線程阻塞等待，不為零則實現數據寫入操作，將USB數據包內容存入當前生產者指針(pWriteIndex)所指向地址的后512字節緩沖區中，完成后生產者指針加512，寫信號量減1，讀信號量加1，這是生產的過程。當線程切換到數據分析線程后開始消費（對采集回來的數據包分解處理），首先判斷讀信號量個數，為零（沒有可消費的）則線程阻塞等待，不為零則由消費者指針(pReadIndex)來控制讀取一包數據。一包數據讀取完畢后消費者指針加512，讀信號量減1，寫信號量加1。由以上分析可知，整個12k的緩沖區在讀寫兩個信號量的協調工作下不僅實現了數據采集和數據分析線程的同步，并且通過互鎖機制保證了生產者指針和消費者指針不會指向同一塊內存區域，使整個系統的可靠性得到顯著提高。

數據分析

　　由于數字接口測試設備八個通道可同時工作，為了區別USB總線上傳的數據包中的數據分別對應哪一個通道的數據，并滿足數據傳輸的實時性要求，每個通道以64字節為單位將測試數據送入USB接口的內部緩沖區，其第一個字節用于標識隨后63字節是哪一個通道的數據，分別用01，02……07,08進行標識。當USB接口的內部緩沖區填滿512字節后即通過USB總線上傳到計算機內存中的高速緩沖區。所以在數據分析時首先需要從USB數據包中提取每個通道回傳的測試數據，然后與標準格式數據進行對比分析。可見若在長時間測試時，數據分析線程數據處理量大，任務繁重。為保證整個系統的實時性和數據分析準確性，測試接收回來的數據按照通道號不同分別保存在不同的內存映射文件中。

　　數據分析線程在讀信號量和消費者指針的控制下成功讀取一包數據后，根據通道標示號提取此包中每個通道的數據，寫入對應的內存映射文件中，再調用數據處理函數對每個通道數據做誤碼分析。誤碼分析的結果可由主界面線程調用顯示。數據分解流程如圖4所示。

為了保證測試效率和數據處理的正確性，pWriteCounter既用于控制內存映射文件寫入數據指針的移動，也用于判斷已接收的數據字節數，作為數據處理時讀內存映射文件指針的參考和是否開始對數據進行分析的條件。數據處理時，并不是內存映射文件中寫入數據后就馬上開始分析，而是根據pWriteCounter確定已接收的數據字節數，直到接收回來大于一個標準幀長度的數據后才開始對此幀數據的誤碼率分析，這樣既避免了多次分析一幀數據，又保證了數據分析的正確性，而且減少了數據分析線程獨占CPU的時間。從最終實際運行結果來看，此方法有效解決了數據實時采集過程中掉數據的問題。

　　數據經分解寫入對應通道內存映射文件后，還需要實時地將每個通道接收回來的測試數據和標準數據進行對比分析，并以誤碼率形式進行顯示，測試人員根據實時變化的誤碼率即可監測數字接口設備是否工作正常。數據分析處理流程如圖5所示。在實際使用中，數字接口設備可能出現的故障現象較多，采集接收回來的數據量相當大且數據出錯情況各不相同，不能誤判或漏掉任何一種情況，通過反復測試得出以下對固定格式數據處理的方法：

　　①從每個通道的內存映射文件中逐個字節掃描幀頭0xAA，一旦檢測到幀頭0xAA，進入第②步。

　　②首先判斷此幀數據的幀尾位置是否為0x10，以及幀尾的前一個數據和對應的標準數據(標準數據幀尾的前一個數)是否相同，若同時滿足這兩個條件，說明此幀數據為標準幀(此幀數據長度和發送的標準幀幀長度相等)，若不滿足進行第④步操作。

　　③判斷此幀為標準幀后，從此幀數據和標準數據的第二位開始到幀尾一一進行對比判斷（跳過第0個幀頭數據和第1個計數器數據），不相等則記錄出錯，每發現一處錯誤字節，錯誤字節數加1。進入第⑥步。

　　④從幀頭到幀長度數據范圍內查找是否出現0xAA，出現0xAA，首先用第②步操作判斷此0xAA是否為下一幀數據的幀頭，若是下一幀數據幀頭，記錄幀頭前一個字節為此幀幀尾位置，說明此幀數據有掉數據現象，否則為錯誤數據，調用非標準幀處理。

　　⑤從此幀數據和標準數據的第二位開始到確定的該幀長度范圍內數據進行一一對比判斷 (跳過第0個幀頭數據和第1個計數器數據)，不相等則記錄出錯，并判斷為錯誤一個字節。

　　⑥檢查該幀中計數器數據與前后幀的計數器數據是否連續，如果連續則沒有幀出錯，否則有掉幀現象出現，需要根據前后計數器數據確定掉幀的長度，并轉化為對應錯誤字節數。

　　同時接上兩個被測設備驗證整個系統的性能，即使每個通道均選擇工作在最高波特率614.4 kbps和最高循環發送幀周期5ms下，仍能保證數據采集實時高速、數據質量穩定且誤碼率低。

結束語

　　實時測試與結果顯示如圖6所示。該技術已經成功應用于某數字接口設備的檢測與維修系統，取得了良好的效果。經大量測試驗證，此種多線程、內存映射文件和兩級緩沖的方法在高速實時數據采集和分析中效果很好。根據生產者和消費者的思想建立的讀寫信號量有效地實現了采集和分析線程間的同步，內存映射文件的大小在開始測試前申請為100M，當需要更長時間測試時還可以動態申請開辟新的內存空間，既保證了系統的實時性要求，又有效節約了系統內存資源。