面向制造領域人機物三元數據融合的本體自動化構建方法

摘要

當前,智能制造面臨的許多問題都具有不確定性和復雜性,單純地利用專家經驗和機理模型難以有效解決.鑒于此,面向跨層跨域的復雜制造系統網絡化協同控制機制,提出一種基于本體的人機物三元數據融合方法,研究復雜制造環境下的人機物三元數據融合建模.在抽取三元組時,區別于傳統的流水線式抽取方式,提出一種基于實體-關系聯合抽取的模型ErBERT.該模型首先經過預訓練模型BERT進行詞序列化,經過最大池化、全連接和Softmax等操作后,完成實體識別和關系分類任務,得到抽取完畢的人機物三元組.將抽取好的三元組按照規則映射至OWL文件,最終存儲在圖數據庫中,實現本體模型的構建.經實驗驗證,經過ErBERT抽取出的三元組有較好的準確率,能夠達到通過本體融合人機物三元數據的目標,并為實現制造企業人機物三元協同決策與優化提供技術支撐。

引言

隨著互聯網、大數據、人工智能等技術的迅猛發展,傳統制造業正加速向新一代智能制造邁進[1]. 快速變化的市場環境及多元化的用戶需求使制造業環境日趨復雜,提升企業應對復雜環境中不確定性因素的控制與決策水平,是企業向智能工廠轉型中亟待解決的重要科學命題.

伴隨著制造系統復雜度日益增加、用戶個性化需求不斷增長,以往的制造體系和制造水平已經難以滿足個性化、智能化產品和服務增值升級的需求,制造系統將由以往的機物二元系統發展為人機物三元系統. 在復雜制造系統中,人(人力資源)具備不完全

第37卷

信息決策能力的優點和獲取深度知識能力差的缺點,機(虛擬信息系統)具備處理海量數據的優點和處理不完全信息能力差的缺點,物(生產物理系統)具備執行能力強的優點和缺乏數據強處理能力的缺點. 新一代人工智能將人的作用引入到系統中,可極大地提高制造系統處理復雜性、不確定性問題的能力,有效實現產品及其生產和服務過程的最優化,人機物三元深度融合將會使人的智慧與機器的智能相互啟發性地增長[2].

語義網是由Tim Berners-Lee最先提出的一個概念,可以使異構的數據信息相關聯,組成語義網絡,從而計算機可以理解和處理網絡中的語義信息[3]. 本體作為語義網的基礎,是一種能在語義及知識層次上描述數據的概念模型,用于確定領域內被共同認可的概念,并給出概念間的相互關系,從而實現海量多元異構數據的集成、共享與重用[4]. 傳統的本體構建方法主要依靠領域專家手工構建,一旦構建的領域本體較為龐大,則會耗費大量的時間和精力. 因此,如何使用自動化的方式從數據源中抽取信息并構建本體,減少領域專家的參與,是當前本體研究的熱點之一.異構數據會造成信息交互的問題,利用本體進行人機物三元數據的集成與融合,不僅可以解決操作障礙, 減少數據冗余, 還可以加強數據的推理和決策能力. 本文提出一種基于本體的人機物三元數據融合模型, 并在進行本體三元組的抽取時, 區別于傳統流水線式抽取方式, 基于預訓練模型 BERT(bidirectional encoder representation from transformers)提出一種實體-關系聯合抽取模型ErBERT (entity andrelationship extraction with BERT),從而更好地整合實體及其關系之間的信息. 最后以寶鋼熱軋生產環節為案例,使用ErBERT自動構建本體. 結果顯示,所提出的ErBERT模型是行之有效的.

一、相關工作

1.1 人機物三元數據融合

數據融合的目的是將多元異構數據進行融合,使得獲得的信息能有效地應用到決策中[5]. 傳統的數據融合技術,如模糊集理論、概率論理論以及可信度理論,對于各有其特點的人機物三元數據缺乏有效的融合方法. 目前國內外已有針對人機物三元系統數據融合的研究, Hussein等[6] 提出DSSoT智能服務,將人與物聯網的數據通過動態社會物聯網的模型進行融合; Misra等[7] 提出一種多變量數據融合學習模型,通過訓練樸素貝葉斯、k近鄰、決策樹和支持向量機4個分類器,可以改善數據異構,提高輔助決策預測精度; Bu[8] 提出了一種基于張量模型的高階K-means算法用于人機物三元數據的聚類,以獲得更準確的結果; Wang等[9] 提出一系列基于張量的數據融合方法,最后給出一個綜合的人機物數據融合框架; Chen等[10] 對基于強化學習算法的三元數據融合進行研究,但未涉及語義層面的自動化、智能化融合. 上述數據融合方法嘗試將人機物數據進行融合,但忽略了人機物數據之間存在的關聯與特征. 針對以上問題,本文采用語義融合的方法,將人機物三元數據抽象為語義信息,用本體形式表示語義,進行人機物三元數據的融合.

1.2 本體自動化構建

構建本體的方式可以分為3類:手動構建本體、半自動化構建本體和自動化構建本體,自動化構建本體方法由于其有效性,逐漸成為研究的熱點. Hazber等[11] 定義了基于關系型數據庫模式自動構造本體的映射規則; Zhao 等[12] 提出基于多標簽學習模型與關聯標簽傳播的原始結構單詞提取方法,以提高本體關系自動識別精度,優化本體構建; Kethavarapu等[13]采用基于關鍵字、基于值的抽取方法對日志文件數據進行集成,再將其轉換為OWL (web ontologylanguage)文件,從而實現了自動本體的生成.實體-關系抽取是信息抽取、知識圖譜以及自然語言處理領域的核心任務和重要環節,同時也是自動化構建本體中最重要的一步[14]. 在本體中,知識以?entity1, relationship, entity2? 的格式保存為結構化三元組,即實體entity1、entity2之間存在relationship關系. 有監督的實體-關系抽取方法可分為流水線式和聯 合學習 式兩種. 前者將命 名實體 識別(named entity recognition, NER)和關系分類(relationclassifification, RC)作為兩個獨立的子任務在完成實體識別之后再進行關系的抽取[15-16]. 前,國內外研究學者在進行三元組抽取從而實現本體自動化構建時,大多使用流水線式方法,這種方法忽略了兩個子任務之間的相關性,且會造成誤差累積. 最近的研究表明,使用聯合學習的方法可以更加緊密地交互實體與關系之間的信息,很好地解決了流水線式方式存在的問題. Zheng等[17] 使用混合BiLSTM-EDCNN的神經網絡模型,在實體與關系抽取任務上表現優異; Luo等[18] 提出了一種基于Att-BiLSTM-CRF的聯合學習方法,用于生物醫學實體和關系提取. 這些模型基于實體關系聯合訓練的方法進行三元組的抽取,但大多使用公開數據集進行訓練,不針對制造業領域.

本文基于BERT預訓練模型,提出一種實體-關系聯合抽取模型ErBERT,針對特定下游任務對模型進行微調,并針對鋼鐵制造行業建立數據集HRDT對模型進行訓練,完成制造業領域的人機物三元組抽取.

二、面向人機物數據融合的本體自動化構建方法

2.1 總體架構

本文研究面向制造領域人機物三元數據融合的本體自動構建方法,故立足于制造業,尋找人機物三元數據的各自特征和內在聯系是本文研究的必經之路. 在制造業領域,人的數據主要指專家經驗、供應商及用戶信息,同時人具有處理不確定性信息的能力;機可以處理海量數據,但無法處理不確定性知識,數據主要包括數據庫里的結構化表單以及企業信息系統內的信息;物的數據來源于客觀存在的實體對象,一般指檢測設備和生產設備的數據. 為了實現人機物三元本體的自動化構建,本文設計了如圖1所示的體系架構,包括數據采集、三元組抽取和本體存儲三部分. 其中,如何從文本數據中自動獲取三元組是本文研究的重點內容.

數據采集是指分別以人、機、物作為數據來源,尋找相關的領域特定概念. 人的數據包括專家經驗、班組日志以及供應商信息等;機的數據主要來自于企業信息系統,包括工藝制度、生產調度計劃以及規則數據等;物的數據由客觀存在的數據構成,包括設備數據、鋼種數據等. 將采集到的文本數據進行切分,以單句的形式輸入至三元組抽取模塊.

將切分后的單句作為三元組抽取模塊的輸入,三元組抽取的主要任務是進行命名實體識別和關系抽取. 本文提出了基于預訓練模型BERT的改進算法ErBERT,實現實體、關系的聯合抽取,下文進行具體介紹. 三元組抽取以形如?加熱爐,包括,點火器?的三元組形式輸出至下一部分.

在完成人機物三元組的抽取后,將抽取好的人機物三元組按照規則映射至OWL文件,并將其存儲至圖數據庫中,實現人機物三元本體的自動構建.

2.2基于ErBERT的三元組抽取

三元組抽取是本體的自動化構建任務中極為關鍵的一步,本文提出的ErBERT模型可以實現實體與關系的聯合抽取,其基本流程如圖2所示. 在詞向量化模塊中,使用預訓練模型BERT進行詞序列化. 將可能的實體向量經最大池化處理,在進行全連接和softmax之后得到實體的類別. 關系分類模塊在實體抽取的基礎上進行,根據上一步實體抽取的結果,將頭尾實體向量與頭尾實體之間的詞向量經過全連接層與softmax后得到關系分類的結果.

對于輸入的單句集合, 首先使用 BERT 預訓練模型對其進行分詞并向量化. BERT 是 Google AI語言研究人員最近提出的一個預處理模型,在一些自然語言處理任務上表現出超越過往經典模型的優異性能. 輸出的向量由詞向量 (token embedding)、句向量 (segment embedding) 和位置向量 (positionembedding)組成,相加之后送入雙向Transformer結構進行特征提取,最后得到含有豐富語義特征的序列向量. 深層雙向Tansformer的模型結構是BERT模型中的核心,使得模型在進行單詞的處理時,能夠表征單詞在上下文中的具體語義. Transformer編碼結構采用多頭注意力機制,放棄時間循環結構,可以同時處理整個輸入序列,多頭注意力機制的輸出為

（3）

其中: Q、K、V 矩陣為編碼器的輸入字向量矩陣;dk為Q、K、V 矩陣的列數,即向量維度.對于一個長度為n的輸入序列,t位置對應的向量和ωk定義如下:

通過BERT預訓練模型輸出的詞序列向量經過最大池化處理,進行平均和之后,與[CLS]向量進行拼接. [CLS]是一個能夠表示整個文本的語義特征向量, BERT在輸入文本前插入[CLS]符號,并將該符號對應的輸出向量作為整個文本的語義表示. 與輸入文本中已存在的其他字、詞相比較而言, [CLS]作為無明顯語義特征的符號,能夠更加公平地融合文本中各個字的含義. 經過拼接得到的實體表示xe為

其中: ei為經過最大池化處理過后的詞向量表示, c為整個文本的語義表征.最 后, 將 得 到 的 實 體 向 量 xe 送 入 全 連 接 加softmax層,全連接層將前面得到的特征做加權和得到每個類別的分數,再經過softmax映射為概率,計算最有可能的實體標記,公式如下:

完成實體的抽取后進入到關系分類任務. 給定一組預定義的關系類R= {r1, r2, . . . , rj},關系分類模塊對處理來自單句中的所有候選實體對,判斷其是否存在來自R的關系. 關系分類模塊輸入由兩部分組成,一是在實體識別部分得到的實體向量表示xe,包括詞序列向量以及能夠表示整個文本的語義特征向量[CLS];二是兩個實體之間文本的向量表示,即候選關系向量,在進行最大池化處理后與前后的實體向量進行拼接,送入關系分類器中.公式如下:

其中: cr 為經過最大池化處理后的詞序列向量, xe1、xe2為cr前后的實體向量表示.實體和關系分類問題均使用交叉熵作為損失函數計算loss,以衡量同一個隨機變量中兩個不同概率分布的差異程度,即真實概率分布與預測概率分布之間的差異. 交叉熵函數的值越小,模型預測效果越優異. 關系分類任務的損失函數為

其中: m為樣本個數,ri 為類別標簽映射而成的onehot向量實體-關系聯合抽取的損失函數應表示為實體識別損失函數Le與關系分類損失函數Lr之和,即

2.3基于圖數據庫的本體存儲

經過 ErBERT 進行三元組抽取得到形如? 加熱爐,包括,點火器??車間操作工,相關,班組工作日志?等實體關系三元組后,根據規則建立起人機物三元本體的層級結構,并將其映射至OWL文件,完成本體的構建. 構建完的本體以Web本體語言的形式保存在OWL文件中,為了實現快速查詢,用于支撐知識推理、知識計算等上層應用,需要進行有效的本體存儲.圖數據庫是一種以圖論為理論基礎的非關系型數據庫,用于存儲實體及實體間的關聯信息,其基本組成要素是節點、關系和屬性. Neo4j是常用的圖數據庫之一,本文采用Neo4j進行本體的存儲. 將映射的OWL文件通過開源工具包RDF2RDF轉成RDF格式,再通過Neo4j的功能插件Neosemantics將RDF導入至Neo4j圖數據庫中,完成本體的存儲.

三、案例驗證

3.1問題描述

隨著國家產能政策的優化調整,供給改革的持續深入,鋼鐵行業競爭愈加激烈,現代生產中多品種、多規格、個性化生產使得鋼鐵行業面臨日趨復雜的環境. 某鋼鐵企業連軋產線包括熱軋和冷軋兩種工藝,同時將多個軋機布置在一條生產線上,從而一次性完成制品的軋制過程,涉及到的流程復雜,設備種類與數量繁多,難以進行有效管理. 熱軋生產一般裝配步進式加熱爐,連鑄板坯先后經加熱爐加熱、除磷箱去除氧化鐵皮后,進入粗軋機組進行多道次往復軋制,再經過二次除磷后進行精軋,最后由卷取機卷成熱軋卷. 冷軋生產以熱軋鋼卷為原料,經軋制、退火、酸洗、鍍鋅及彩圖等工序,最終得到冷軋鋼板. 在熱軋和冷軋實際生產流程中,涉及到日生產計劃、車間操作人員、庫存以及設備信息等人機物數據,這些數據有的依靠紙張線下傳遞,有的通過信息系統存儲,數據之間缺乏關聯性,使得生產車間協同效率低下,信息同步困難,決策知識來源單一. 因此,本課題定位至該企業連軋產線,收集產線生產過程信息,研究基于本體的鋼鐵連軋產線人機物三元數據融合模型,以增強數據之間的關聯性,旨在促進企業內部信息集成,從而提高生產車間協同效率,實現有效的連軋生產管理,對實現連軋生產協同制造具有重要意義.

3.2HRDT數據集

目前, 在三元組的抽取訓練中, 最常使用的是ACE 和 CoNLL-04 數據集, 但這些數據集沒有針對特定工業領域的子集,且不包含構建本體所需要的層次實體關系. 為了實現人機物三元數據融合的自動化本體構建,針對鋼鐵制造行業建立了數據集HRDT. HRDT數據集共有778個單句,其中58句來自專家經驗,其他從網絡上爬取或根據企業提供資料整理而成. 此數據集定義了3種類型的實體, 11種類型的關系,具體如表1和表2所示.

HRDT數據集按照實體來源將實體類別劃分為人、機、物三類;關系包括層級關系和其他關系. 層級關系有2種,為Include和Belong_2,意為包括、屬于,有明顯的層次語義. 在進行本體構建時,需要定義規則,將層級關系和其他關系加以區分,以完成本體的層次結構建立。

3.3實驗結果

本文將HRDT數據集隨機分為訓練集(80 %),驗證集 (10 %) 和測試集 (10 %) 輸入至 ErBERT 模型中進行實驗,采用精確率、召回率和F1值評價算法的性能,評價指標定義如下:

其中: Ncorrect 為預測正確的實體或關系個數, Nall 為預測的實體或關系總個數, Nmarked 為標注的實體或關系總個數.實驗結果如表3和表4所示. 由表中數據可知,本文提出的ErBERT模型在實體識別和關系分類任務上有較好的準確率.

經ErBERT模型后得到的人機物實體關系三元組通過定義的規則建立起層級結構,映射至OWL文件后,再將其通過RDF2RDF和Neosemantics存儲至Neo4j中. 融合后人機物三元數據具體如圖3所示,節點的不同顏色代表不同的數據來源. 黃色節點為物的數據,包括設備數據、鋼種數據等; 藍色節點為機的數據,包括工藝制度、生產調度計劃以及規則數據等; 綠色節點為人數據,包括專家經驗、供應商數據和人員部門信息等. 人、機、物的節點相互關聯、相互交融,增強了人機物數據之間的關聯性,實現了人、機、物三元數據在語義層次上的深度融合.

融合后的本體模型可以解決傳統人機物獨立運作模式不能充分利用人機物優點、無法發揮協同機制優勢的問題. 經領域專家的評定,通過ErBERT構建的人機物三元本體起到了融合制造領域人機物三元數據的作用. 研究提出的基于本體的人機物三元數據融合模型能夠充分利用本體對多源異構大規模知識的組織和管理優勢,有效地進行企業信息集成,提升企業在人機物等更大范疇處理海量數據的綜合決策能力,為研究數據驅動的人機物三元協同決策與優化提供了堅實的技術支撐.

結 論

本文提出了基于本體的人機物三元數據融合模型,并在抽取三元組時區別于傳統的流水線式抽取方式,采用實體-關系聯合抽取的模型ErBERT. 該模型首先經過預訓練模型BERT進行詞序列化,經過最大池化、全連接和softmax等操作后得到實體與關系的類別,完成三元組的抽取;然后將抽取好的三元組按照規則映射至OWL文件中,完成本體的構建;最后將三元本體存儲在Neo4j中,實現有效的本體存儲.

所提出的實體-關系聯合抽取模型ErBERT的優勢在于使命名實體識別和關系分類任務共享底層神經網絡;且在兩個任務之間,信息擁有更加緊密的聯系. 實驗表明,經過ErBERT抽取出的三元組有較好的準確率,本文最終構建的本體得到了領域專家的一致認可,達到了通過本體融合人機物三元數據的目標,為實現企業人機物三元協同決策與優化提供了技術支撐.

面對復雜多變的制造環境,基于數據驅動,發揮人機物協同運行的優勢已成為探索自主智能工廠控制與決策科學命題的主導方向. 基于本體的人機物多維工業大數據融合將驅動后續知識發現、智能工廠自學習知識圖譜建模及其進化機制、基于自學習知識圖譜智能推理的決策與優化理論的建立,使得企業決策與優化轉變為人機物緊密協同合作模式. 在接下來的研究中,將探索智能工廠自學習知識圖譜建模及其進化機制,同時將進行數據驅動的人機物三元協同決策與優化理論方法研究,以解決復雜制造環境下企業決策與優化所面臨的巨大挑戰,有力地推動企業綜合決策與優化科學研究從以專家經驗為主向數據驅動的模式轉變.

審核編輯：符乾江