您如何建立對用于安全關鍵系統的自動代碼生成器的信任？例如，給定一個代碼生成器，它采用 Simulink 和 Stateflow 中表示的飛行控制系統的實時模型并將其轉換為 MISRA C 或 Ada 的 SPARK 子集，什么過程可以確保生成的代碼是真實的表示原來的實時模型？美國聯邦航空管理局 （FAA） 有一個定義明確的過程來創建合格的代碼生成器，這意味著代碼生成器的輸出可以被信任以與輸入模型的語義完全匹配，沒有遺漏，也沒有添加任何內容。此過程在 DO-178C（機載系統中的軟件考慮）中定義，

對于像代碼生成器這樣的工具，它可能會在機載系統中插入錯誤，如果該工具要用于其故障可能發生的子系統，則需要最高級別的工具認證（工具認證級別 1 （TQL-1））是災難性的（A 級子系統）。

毫不奇怪，這種級別的工具鑒定可能涉及大量的時間和精力，通常估計為工具的每 1，000 個源代碼行 （KSLOC） 需要數百小時。這類似于驗證 A 級安全關鍵嵌入式軟件組件所需的每條線路的工作量。但是工具可以是更多的代碼行。例如，如果該工具是 100 KSLOC，則在 A 級進行驗證的傳統方法可能花費大約 500 萬美元。因此，有強烈的動機去研究測試這種工具的替代方法，同時仍然實現 TQL-1 目標。

傳統的測試方法

驗證高完整性應用程序的傳統方法要求測試人員：

仔細定義和驗證應用程序的一組高級需求

從高級需求中導出模塊級需求，這些需求足夠具體以確定適當的實現

使用單元測試檢查實現的每個模塊是否符合其低級需求

對所有高級需求執行集成級測試

然后執行覆蓋率分析以確保所有代碼都被這些測試覆蓋，并確保應用程序中沒有剩余的代碼可能會提供額外的、不需要的功能。

對于嵌入式軟件組件，每個模塊的單元級測試和整個組件的集成級測試的組合可以很好地工作。特別是嵌入式軟件模塊的單元測試是實用的，因為在許多情況下，每個模塊的輸入的數量和復雜性是可控的，并且輸出相對容易識別和檢查。然而，對于像自動代碼生成器這樣的工具，它通常涉及多個階段，涉及將輸入模型逐步轉換為生成的代碼，單元測試可能是一個真正的挑戰。另一方面，對于這樣的工具，集成測試并不難，因為中間階段的數量不會影響工具的整體輸入和輸出。

圖 1 說明了單元測試的復雜性和代碼生成器等多階段工具的集成測試相對容易性之間的這種二分法。

【圖1 | 由于易于使用，集成測試優于單元測試。］

在圖 1 中，我們展示了優化自動代碼生成器的整體數據流，其中輸入模型稱為“用戶語言”，輸出稱為“源代碼”。多個階段流水線化，第一階段讀取以用戶語言 （M 0 ） 表示的原始模型，并以某種內部數據結構 （M 1 ） 表示模型。然后將其轉換為模型的較低級別表示（M 2 ， M 3等），直到最后階段以所需的編程語言生成實際的源代碼。要執行集成測試，只需使用普通模型創建工具準備一個以用戶語言表示的模型，將其輸入代碼生成器，然后檢查生成的源代碼，以確定它是否滿足高級需求。形式和功能，使用該編程語言的普通編譯器、靜態分析和測試工具。

相比之下，對多階段代碼生成器的每個階段執行單元測試要復雜得多。必須為給定階段的每個測試構造一個內部數據結構，該結構符合用于該階段輸入的表示，然后需要在該輸入上調用該階段，然后必須檢查輸出表示以查看它是否具有預期的形式和內容。準備此類輸入并檢查此類輸出需要費力的手動過程或創建特殊工具，這些工具本身可能需要資格認證。

集成單元測試

考慮到單元測試的復雜性，已經開發了一種替代方法，稱為集成單元測試。圖 2 說明了這種方法：

【圖2 | 集成單元測試方法是單元測試的一種更簡單的替代方法］

在圖 2 中，我們展示了一個將單元測試需求監視器和單元測試預言（一個“知道”所需輸出的檢查器）直接嵌入到工具結構中的過程。將這些監視器和檢查器嵌入工具中，然后我們按照用于正常集成測試的步驟，準備代表性模型（測試0到測試4） 并通過代碼生成器提供給它們。但是現在，不僅僅是等待工具生成最終輸出，每個嵌入式單元測試需求監視器都會跟蹤其相關階段的輸入是否與其關聯的單元測試匹配，如果匹配，它會記錄該事實，然后觸發相應的基于 oracle 的單元測試檢查器，該檢查器驗證階段的輸出是否對應于特定測試模式的輸入的預期轉換。

例如，假設我們已經定義了將模型級別的增益模塊特定轉換為代碼級別的表達式，該表達式將信號變量的值乘以常數。每次增益塊出現在其模型級輸入表示中時，我們都會有一個單元測試需求監視器記錄，當它出現時，觸發基于 oracle 的檢查器查看代碼級輸出表示以確保它涉及適當的信號變量乘以適當的常數。這是一個非常簡單的檢查，只要有足夠多的模型作為一個整體通過工具，就可以預期覆蓋這個特定的單元測試模式。

通過該工具運行多個模型后，我們可以得到一個類似于圖 2 的表格。在左側，我們有模型，從 Test 0到 Test 4。在頂部，我們有工具每個不同階段的測試需求和測試預言對。例如，tr 0，2表示階段 0 的測試要求 2，而2，1表示階段 2 的測試預言 1。每當一個階段的特定輸入滿足與某個測試需求關聯的測試模式時，我們將在輸入模型行的需求列中看到一個 SAT。每次調用測試 oracle 時，我們都會在輸入模型行的 oracle 列中看到 PASS 或 FAIL。如果我們最終得到一個空列，則永遠不會遇到測試模式（未涵蓋相應的低級需求）。如果我們最終在 test-oracle 列中出現 FAIL，這意味著我們有一個測試失敗（相應的低級需求沒有正確實現）。在圖 2 所示的表格中，我們看到 tr 0，1和 tr 2，0沒有被覆蓋，而 to 0，2和 to 2，1有失敗。這樣的表格記錄了完整的單元測試過程，同時避免了為每個測試模式準備特殊輸入的費用。

受信任的代碼生成器

如果我們要越來越依賴此類工具來幫助從更高級別的模型自動生成安全關鍵軟件，那么建立對代碼生成器的信任至關重要。但是，需要創新方法來管理以最高信任級別 TQL-1 實現現代優化代碼生成器的工具認證的潛在高昂費用。集成單元測試就是這樣一種方法。當與其他正式指定需求的系統方法相結合，并根據這些需求生成需求監控器和預言機等組件時，就有可能以一種不僅更具成本效益，而且支持增量認證的方式實現 TQL-1。工具進化。AdaCore 正在使用這些方法驗證其 QGen 代碼生成器。

審核編輯：郭婷