演講嘉賓 | 吳圣垚

回顧整理 | 廖 濤

排版校對 | 宋夕明

嘉賓介紹

研究分論壇

吳圣垚，中國科學院軟件研究所技術專家。

正文內容

日志系統記錄了操作系統運行時發生的各種事件，包括信息變更、錯誤和異常等，對系統的狀態監控、錯誤檢測與診斷、恢復與備份、性能優化以及安全審計等起著關鍵性作用。OpenHarmony的Hilog日志系統是如何構建的，又有哪些關鍵的特性和功能？中國科學院軟件研究所工程師吳圣垚在第三屆OpenHarmony技術大會上進行了精彩介紹。

為了解決OpenHarmony開源項目運營初期尚未構建日志系統，且當今主流日志系統在技術架構層面難以滿足OpenHarmony發展需求的痛點，作者本人及其團隊設計并實現了高性能日志系統HiLog。HiLog為OpenHarmony提供了一種可追蹤、可審計和可操作的方法，以便了解系統的狀態、故障和性能。適用于OpenHarmony應用、硬件開發及測試人員，是每個開發人員的必備、入門工具。

Hilog在性能原則、資源分配原則、設備兼容性原則和數據安全原則等方面均提出了創新的解決方案，具體為：

一、高性能解決方案：從軟件層面提高日志吞吐量，降低丟包率。首先，針對讀、寫日志任務的特征，基于IO復用、異步Socket等模型，優化IPC過程。以此提高日志傳輸效率，降低日志傳輸過程中的損耗。

此外，基于雙向循環鏈表實現緩沖區；并實現單生產者多消費者的緩沖區管理機制。以此提高緩沖區處理能力，降低日志讀寫的損耗。

二、資源分配解決方案：對操作系統資源和日志系統資源進行合理分配，日志系統的運轉不能占用過多的操作系統資源；每個寫日志業務不能占用過多的日志系統資源。在進程流控上，限制每進程的日志寫入，降低IPC壓力；在業務流控上，進一步限制多進程業務的日志寫入，降低緩沖區管理壓力。

三、設備兼容性解決方案：能夠在資源較為豐富的移動端設備上體現高性能特性；能夠在資源受限的小型/輕量級設備上運行。首先，采用模塊化的體系結構，在移動設備上構建hilogd，實現高性能日志處理。在小型設備上不構建hilogd，降低CPU和內存資源消耗。

其次，對日志流進行壓縮。高流量使用場景，將日志流直接輸入壓縮算法，然后持久化。大幅降低存儲資源消耗；此外，采取輪轉文件壓縮方案，低流量實用場景，將日志寫入文件輪盤，壓縮文件，刪除源文件。在避免日志大量丟失的前提下，降低存儲資源消耗。

四、數據安全解決方案：保護流經日志系統的關鍵信息；盡可能減少額外的性能開銷。基于格式化占位符的變量匿名化：在格式化占位符中添加隱私標識。HiLog可以識別該隱私標識，并基于隱私開關，對變量進行匿名化或非匿名化處理。以此構建輕量級數據安全能力。

目前，Hilog日志系統的相關工作已經發表在軟件學報（文章鏈接：http://www.jos.org.cn/1000-9825/6900.html），且代碼已合入了OpenHarmony主線（項目地址：https://gitee.com/openharmony/hiviewdfx_hilog），在包括HarmonyOS NEXT在內的多個OpenHarmony發行版上進行了穩定的運行，為系統開發者、應用開發者和數據分析師提供了重要的日志數據。

在OpenHarmony迅速發展以及萬物智聯場景逐步演進的背景下，OpenHarmony的日志系統將面臨哪些挑戰和機遇？作者本人提出了以下2點展望：

一、目前業界對于日志系統的數據安全的研究較少，HiLog的輕量化數據安全能力是對于日志數據安全問題的初步探索,雖然可以一定程度上遮蔽敏感數據信息,但是仍需要開發者和審核人員投入精力對日志參數進行修改和驗證，具備一定的人工成本。后續希望能夠引入一些自動化的判斷機制，例如采用機器學習的手段對日志參數的上下文進行分析，進而自動化地判斷該參數是否屬于隱私信息，減少人工審核成本,提高數據安全能力的易用性。

二、OpenHarmony作為分布式操作系統,原生支持分布式能力。分布式能力涉及到多臺設備的協同運作，即日志信息會在多臺設備上產生，然而，目前HiLog尚不具備從多設備統一收集日志并進行管理的能力。這種缺陷對于分布式能力的開發和調試造成了一定的不便，具備優化的空間。構造分布式日志系統有兩個重要的問題需要解決，其一是設備間高速、高穩定的連接問題，其二是多設備的時鐘同步問題。對于第一個問題，可以等待OpenHarmony的軟總線(softbus)技術成熟后，利用softbus作為穩定高速的日志傳輸的通道；對于第二個問題，可以考慮基于精確時間協議（precision time protocol，PTP）實現無線局域網內的多設備時鐘同步。

審核編輯 黃宇