實(shí)時(shí)數(shù)據(jù)無(wú)處不在，由嵌入在各種技術(shù)（包括自動(dòng)駕駛汽車(chē)、制造設(shè)備和醫(yī)療設(shè)備）中的傳感器生成。但是，“實(shí)時(shí)”對(duì)工程決策的真正含義是什么，更重要的是，如何使用實(shí)時(shí)數(shù)據(jù)？

許多工程師可能認(rèn)為這些數(shù)據(jù)的主要用途是預(yù)測(cè)性維護(hù)，監(jiān)測(cè)產(chǎn)生所述數(shù)據(jù)的設(shè)備的長(zhǎng)期可行性。雖然這肯定是這種數(shù)據(jù)的一種潛在用途，但它不是主要用途。實(shí)時(shí)數(shù)據(jù)最好由機(jī)器學(xué)習(xí)模型處理，這些模型能夠在收到數(shù)據(jù)時(shí)盡快分析數(shù)據(jù)。然后，此數(shù)據(jù)用于生成見(jiàn)解，這些見(jiàn)解將快速或“實(shí)時(shí)”發(fā)送到數(shù)據(jù)庫(kù)、儀表板或設(shè)備。

然而，工程師面臨的一個(gè)共同挑戰(zhàn)是處理實(shí)時(shí)數(shù)據(jù)，因?yàn)樵夹问降臄?shù)據(jù)太混亂，無(wú)法進(jìn)行有效分析。使用機(jī)器學(xué)習(xí)模型來(lái)處理這些數(shù)據(jù)是有幫助的，但更重要的是，工程師必須在將實(shí)時(shí)數(shù)據(jù)放入這些模型之前有效地準(zhǔn)備這些數(shù)據(jù)。

考慮汽車(chē)發(fā)動(dòng)機(jī)的溫度計(jì)。從理論上講，從儀表收集的數(shù)據(jù)每秒捕獲一個(gè)溫度。但是，發(fā)動(dòng)機(jī)的溫度由多個(gè)傳感器測(cè)量，每個(gè)傳感器的測(cè)量速率略有不同 - 稱(chēng)為采樣率或時(shí)間步長(zhǎng) - 必須將其同步到單個(gè)數(shù)據(jù)集中，然后才能由模型進(jìn)行分析。那么，工程師應(yīng)該從哪里開(kāi)始使用實(shí)時(shí)數(shù)據(jù)呢？

嘗試同步數(shù)據(jù)

在宏觀(guān)層面上，同步數(shù)據(jù)的目標(biāo)與同步手表的目標(biāo)相同 - 將一個(gè)不同的時(shí)間與另一個(gè)不同的時(shí)間對(duì)齊，以便它們一起流動(dòng)。在微觀(guān)層面上，目標(biāo)是將多個(gè)不同的數(shù)據(jù)點(diǎn)（本質(zhì)上是幾個(gè)不同步的手表測(cè)量的秒數(shù)）實(shí)時(shí)合并到一個(gè)數(shù)據(jù)集中。然而，每個(gè)數(shù)據(jù)點(diǎn)都是如此的微不足道，它們之間的差距是如此細(xì)化，以至于將它們同步在一起需要仔細(xì)準(zhǔn)備。

同步實(shí)時(shí)數(shù)據(jù)的第一步是對(duì)齊。它可以幫助工程師從所需的目標(biāo)開(kāi)始 - 特定的時(shí)間步長(zhǎng)或采樣率，例如每小時(shí)或每10秒。但是，實(shí)時(shí)數(shù)據(jù)模型通常設(shè)計(jì)為一次僅處理 1 秒的數(shù)據(jù)。因此，同步原始設(shè)備數(shù)據(jù)需要?jiǎng)?chuàng)建一個(gè)運(yùn)行在 0 到 1 秒之間的時(shí)間向量，時(shí)間步長(zhǎng)為 0.001 秒，然后對(duì)數(shù)據(jù)進(jìn)行“重采樣”以匹配新時(shí)間。

考慮到這一點(diǎn)，下一步是數(shù)據(jù)同步的藝術(shù)所在，因?yàn)楣こ處煴仨殯Q定如何在時(shí)間不匹配的地方填寫(xiě)數(shù)據(jù)點(diǎn)。這通常是通過(guò)對(duì)原始數(shù)據(jù)重新采樣來(lái)完成的。幾種常見(jiàn)的重采樣方法包括最近鄰、聚合和插值，最佳選擇取決于初始時(shí)間矢量對(duì)齊和應(yīng)用要求。

當(dāng)工程師不確定數(shù)據(jù)集之間的時(shí)間對(duì)齊時(shí)，常見(jiàn)的解決方案是用恒定值或缺失數(shù)據(jù)填充空白。這在涉及許多傳感器時(shí)尤其有用，因?yàn)闉g覽和可視化結(jié)果數(shù)據(jù)可以幫助確定如何繼續(xù)分析其余數(shù)據(jù)。如果時(shí)間緊密對(duì)齊，則可以使用所記錄的任何重采樣方法。如果時(shí)間不緊密對(duì)齊，工程師應(yīng)聚合或插值數(shù)據(jù)。

想象一下，將每小時(shí)的數(shù)據(jù)轉(zhuǎn)換為每日數(shù)據(jù)。如何在單個(gè)數(shù)據(jù)點(diǎn)中表示 24 小時(shí)內(nèi)的所有數(shù)據(jù)？此方案中的一個(gè)適當(dāng)示例是數(shù)據(jù)聚合，例如每日平均值。對(duì)于非數(shù)值數(shù)據(jù)，模式、計(jì)數(shù)或最近鄰方法更為常見(jiàn)。

在處理實(shí)時(shí)傳感器數(shù)據(jù)時(shí)，特別是在時(shí)間僅略微錯(cuò)位的情況下，許多工程師使用插值，因?yàn)樗兄谔峁?shù)據(jù)趨勢(shì)的知識(shí)，因?yàn)樾枰畛涞臅r(shí)間空間更少。如果在處理實(shí)時(shí)傳感器數(shù)據(jù)時(shí)點(diǎn)較遠(yuǎn)，則多項(xiàng)式或樣條插值是更準(zhǔn)確的方法。

下面是使用溫度、壓力和電流傳感器預(yù)測(cè)設(shè)備故障的示例。

圖 1：流式處理工作流的圖示。? 1984–2020 數(shù)學(xué)工程公司

在此示例中，消息傳遞服務(wù)處理原始傳感器數(shù)據(jù)，然后將其應(yīng)用于模型，該模型用于實(shí)時(shí)生成預(yù)測(cè)。生成預(yù)測(cè)后，模型將更新并應(yīng)用于下一組實(shí)時(shí)傳感器數(shù)據(jù)。這些結(jié)果會(huì)持續(xù)且反復(fù)地實(shí)時(shí)發(fā)送到儀表板。

實(shí)時(shí)數(shù)據(jù)和通用數(shù)據(jù)的區(qū)別

概述的準(zhǔn)備實(shí)時(shí)數(shù)據(jù)的過(guò)程可能聽(tīng)起來(lái)很有挑戰(zhàn)性。但是，對(duì)于工程師來(lái)說(shuō)，它很常見(jiàn)，可以?xún)?nèi)置到大多數(shù)數(shù)據(jù)科學(xué)平臺(tái)的API和模塊中。由于與數(shù)據(jù)科學(xué)平臺(tái)的常見(jiàn)集成，在執(zhí)行此過(guò)程時(shí)，在使用實(shí)時(shí)傳感器數(shù)據(jù)構(gòu)建模型之前，通常需要解決最少的額外數(shù)據(jù)準(zhǔn)備注意事項(xiàng)。

其中一個(gè)考慮因素應(yīng)該是規(guī)劃一個(gè)系統(tǒng)，這意味著在構(gòu)建任何東西之前捕獲所有需求并建立參數(shù)。此外，在流程早期構(gòu)建完整的流式處理原型也會(huì)有所幫助，因?yàn)樗试S工程師在分析實(shí)時(shí)數(shù)據(jù)的同時(shí)返回調(diào)整算法。時(shí)間窗口可能是另一個(gè)需要考慮的好參數(shù)，因?yàn)檫@些參數(shù)通常控制進(jìn)入系統(tǒng)的數(shù)據(jù)量。

構(gòu)建模型時(shí)，工程師通常會(huì)對(duì)數(shù)據(jù)集進(jìn)行平滑和縮減采樣。使用實(shí)時(shí)數(shù)據(jù)，可以添加頻域，從而創(chuàng)建一個(gè)新參數(shù)，以便在模型分析數(shù)據(jù)之前考慮這些參數(shù)。一旦原始數(shù)據(jù)被組織到具有匹配時(shí)間的單個(gè)數(shù)據(jù)集中，就更容易執(zhí)行其他分析。

總體而言，隨著自動(dòng)駕駛汽車(chē)和醫(yī)療設(shè)備以及制造設(shè)備和其他設(shè)備繼續(xù)嵌入各種傳感器，實(shí)時(shí)數(shù)據(jù)將變得更加普遍。隨著工程師希望繼續(xù)為系統(tǒng)提供有價(jià)值的基于數(shù)據(jù)的見(jiàn)解，有效地導(dǎo)航傳感器數(shù)據(jù)的“實(shí)時(shí)”方面將非常重要。

審核編輯：郭婷