歡迎關注虹科，為您提供最新資訊！

導讀

虹科CSS的CANedge數據記錄儀專為汽車和工業領域的工程師設計，旨在通過監控現場資產來支持研發、診斷和預測性維護。為了將這些數據轉化為直觀的可視化信息，工程師們通常依賴于Grafana儀表板。本文將深入探討實現這一目標所涉及的工作流程，并展示如何通過Grafana-Athena集成技術，巧妙應對用戶在數據可視化過程中遇到的一系列挑戰。

Grafana儀表板

01 亟待解決的五大難題

1. 如何解碼原始二進制日志文件？

虹科CANedge數據記錄儀以MDF（*.MF4）格式記錄原始CAN數據，包括帶有時間戳的“CAN ID”和“數據字節”。為了使這些數據對用戶可讀，需要通過軟件/API工具和CAN（DBC）數據庫文件進行解碼。

2. 如何實現跨TB數據的低成本可視化？

一臺虹科CANedge物聯網設備每月可能產生超過50GB的數據，甚至累積至TB級別，而將這些數據存儲在基于云的時間序列數據庫中的成本過高。同時，數據查詢的速度也應相當快，以便用戶能夠有效地處理數據。

3. 如何保留原始報文時間戳？

CAN網絡中的每個報文都有其獨特的時間光柵，集成方案必須保留這些原始時間戳，以便用戶能夠查看從秒到月的數據。

4. 如何讓用戶自主部署？

虹科CSS不提供服務器或服務托管，而是讓用戶自行設置。這要求部署過程簡單，以適應對數據敏感性有嚴格要求的用戶。

5. 如何保持不可知性？

虹科CANedge設備支持多種數據收集方式，例如，用戶可使用虹科CANedge1將數據記錄到SD卡中，以便離線使用，也可以使用虹科CANedge2/CANedge3通過 WiFi/LTE（4G）將數據收集到S3服務器中。因此，集成方案需要能夠適應這些不同的后端存儲選項。

02 虹科Grafana-Athena集成解決方案

為了應對上述集成挑戰，虹科CSS推出了“Grafana-Athena”儀表板集成方案，提供了一種高效且用戶友好的數據可視化方案。

集成方案的設置步驟

■ 數據上傳 ：虹科CANedge記錄儀將CAN/LIN數據上傳至AWS S3的“input bucket”。

■ 觸發Lambda函數 ：日志文件上傳后，自動觸發一個Lambda函數。

■ ** 數據解碼** ：Lambda函數使用DBC文件將原始數據解碼為Parquet格式。

■ 數據存儲 ：解碼后的Parquet文件被寫入AWS S3的“output bucket”。

■ 數據可視化 ：Grafana通過亞馬遜Athena插件，將“data lake”中的數據進行可視化。

■ 快速部署 ：整個設置可以在15分鐘內自動部署完成，無需任何編碼工作。

虹科Grafana-Athena的部署過程完全由用戶自主完成， 即使是沒有Grafana或AWS使用經驗的用戶也能輕松上手 。虹科CSS為此提供了即插即用的AWS CloudFormation堆棧，以及詳細的部署指導。

用戶只需將DBC文件和Lambda函數壓縮包上傳至S3 input bucket，然后使用CloudFormation堆棧模板部署Lambda函數、S3 input bucket、Athena和Glue。部署完成后，用戶將獲得必要的憑據，以便在Grafana云數據源設置中驗證Athena的憑證。無需擔心Parquet數據湖的構建細節，因為這一切都由虹科CSS Electronics預制的AWS Lambda函數自動完成，同時確保數據湖按日期進行最佳分區。

03 五大顯著優勢

高性能與低成本查詢

傳統的Grafana-InfluxDB集成在處理大規模數據時成本較高。相比之下，虹科Grafana-Athena集成通過AWS S3存儲和Athena的無服務器查詢， 顯著降低了成本 ，同時保持了高效的查詢性能。

無需編碼，15分鐘內完成部署

利用AWS CloudFormation模板和預配置的Lambda函數， 用戶可以在15分鐘內完成部署 ，無需任何編程知識，大大簡化了部署流程。

無縫跨時間尺度分析

用戶可以輕松地在Grafana中進行跨年或跨毫秒的數據查詢和分析，得益于data lake中保留的原始時間戳和Grafana的即時重新采樣功能。

多功能數據湖與SQL接口

基于S3的Parquet data lake不僅支持Grafana可視化，還可以直接用于Python/Matlab查詢和Excel報告，提供了一個全面的數據分析平臺。

靈活的部署選項

本文主要探討了Amazon Athena集成方案，這是由于虹科CSS的多數用戶已經采用AWS S3來存儲CANedge2/CANedge3設備生成的數據。

除了Athena，還可以考慮以下替代方案：

■ Grafana-ClickHouse： ClickHouse是一個開源的分析數據庫，能夠提供與Athena相似的性能。它支持在本地磁盤或自托管的S3兼容存儲（如MinIO）上進行數據可視化，并通過Grafana的ClickHouse數據源插件輕松集成。

■ Grafana-BigQuery： 對于使用谷歌云服務的用戶，BigQuery提供了一個與Amazon Athena功能相似的解決方案。通過BigQuery數據源插件，用戶可以便捷地將BigQuery與Grafana集成，實現數據的可視化分析。

04 應用案例：原型車隊數據可視化

一位汽車OEM的工程師負責監控50輛原型車的CAN數據，目的是進行深入的后期診斷分析。通過部署虹科CANedge3數據記錄儀，工程師能夠自動收集關鍵的車輛運行數據。

數據收集與處理

■ 自動化數據上傳： 利用3G/4G蜂窩網絡，虹科CANedge3設備將二進制日志文件自動上傳至公司專用的AWS S3服務器。

■ 數據處理： 存儲在S3 input bucket中的日志文件觸發一個Lambda函數，該函數使用相應的DBC文件自動解碼數據，并將解碼后的數據轉換為Parquet格式，存儲在另一個S3 output bucket中。

數據可視化與分析

■ 定制Grafana面板： 用戶現在可以利用定制的Grafana儀表板，通過Athena插件直接查詢Parquet data lake中的數據。

■ 多維度分析： 這種設置為工程師提供了強大的工具，不僅可以進行實時監控，還可以進行深入的診斷、基準測試和統計分析，從而優化車輛性能和設計。

通過這種集成方案，汽車OEM能夠實現數據的高效管理和分析，加速研發流程，提高原型車測試的質量和效率。

采用Grafana-Athena集成方案，虹科成功為用戶實現了顯著的成本節約，成本降低超過95%。這一集成不僅優化了數據管理和可視化流程，還為其他企業在處理大規模數據時提供了一種經濟高效的Grafana面板可視化策略。更多相關信息，歡迎咨詢虹科工作人員。

虹科是一家在通訊領域，尤其是汽車電子和智能自動化領域擁有超過15年經驗的高科技公司，致力于為客戶提供CAN/CAN FD、LIN、車載以太網、TSN等全方位的一站式智能互聯解決方案。

審核編輯 黃宇