在CIKM 2021上提出的DT-GCN（Data Type-aware Graph Convolutional Network）模型，是一種創(chuàng)新的知識(shí)圖譜表示學(xué)習(xí)方法，其核心在于將實(shí)體與關(guān)系映射到雙曲空間（具體為龐加萊球模型）中，并顯式地建模和處理知識(shí)圖譜中不同數(shù)據(jù)類型（如數(shù)值型、分類型、文本型等）對關(guān)系表示的影響。數(shù)據(jù)處理作為模型訓(xùn)練與評估的先決條件，其質(zhì)量與流程設(shè)計(jì)直接關(guān)系到模型的最終性能。本文將詳細(xì)闡述DT-GCN模型所需的數(shù)據(jù)處理流程。\n\n### 1. 數(shù)據(jù)來源與原始結(jié)構(gòu)\n數(shù)據(jù)處理始于原始知識(shí)圖譜數(shù)據(jù)。通常，一個(gè)知識(shí)圖譜可以形式化為一個(gè)三元組集合 \\( \\mathcal{G} = \\{ (h, r, t) \\} \\)，其中 \\( h \\) 是頭實(shí)體，\\( r \\) 是關(guān)系，\\( t \\) 是尾實(shí)體。除了三元組結(jié)構(gòu)外，DT-GCN的關(guān)鍵輸入是附著在實(shí)體和/或關(guān)系上的屬性數(shù)據(jù)。這些屬性具有不同的數(shù)據(jù)類型（Data Type），例如：\n- 數(shù)值型：如人物的年齡、公司的市值（連續(xù)或離散數(shù)值）。\n- 分類型：如人物的國籍、公司的行業(yè)類別（離散標(biāo)簽）。\n- 文本型：如實(shí)體的描述文本、關(guān)系的中文釋義。\n原始數(shù)據(jù)可能來源于結(jié)構(gòu)化知識(shí)庫（如Wikidata、YAGO）、領(lǐng)域特定數(shù)據(jù)庫或通過信息抽取技術(shù)從非結(jié)構(gòu)化文本中構(gòu)建。\n\n### 2. 核心數(shù)據(jù)處理步驟\nDT-GCN的數(shù)據(jù)處理旨在為模型準(zhǔn)備兩類輸入：圖結(jié)構(gòu)數(shù)據(jù)和屬性特征數(shù)據(jù)。\n\n步驟一：圖結(jié)構(gòu)數(shù)據(jù)預(yù)處理\n1. 三元組劃分：將整個(gè)知識(shí)圖譜的三元組集合 \\( \\mathcal{G} \\) 劃分為訓(xùn)練集、驗(yàn)證集和測試集。通常采用隨機(jī)劃分或按時(shí)間劃分（適用于時(shí)序圖譜），并需確保實(shí)體和關(guān)系在分割后不會(huì)完全消失在訓(xùn)練集中（即考慮連通性）。\n2. 負(fù)采樣生成：為訓(xùn)練過程中的對比學(xué)習(xí)或負(fù)采樣損失函數(shù)準(zhǔn)備負(fù)例。對于每個(gè)訓(xùn)練正例 \\( (h, r, t) \\)，通過隨機(jī)替換頭實(shí)體或尾實(shí)體（有時(shí)也替換關(guān)系）來生成負(fù)例 \\( (h', r, t) \\) 或 \\( (h, r, t') \\)，確保生成的三元組不在已知的正例集合中。\n3. 圖構(gòu)建：基于訓(xùn)練集三元組，構(gòu)建實(shí)體之間的關(guān)系鄰接矩陣或鄰居列表，用于后續(xù)圖卷積操作。DT-GCN可能考慮多跳鄰居信息。\n\n步驟二：屬性特征提取與類型化編碼\n這是DT-GCN區(qū)別于傳統(tǒng)模型的關(guān)鍵步驟，旨在將不同數(shù)據(jù)類型的屬性轉(zhuǎn)化為統(tǒng)一的特征向量，同時(shí)保留其類型信息。\n1. 數(shù)據(jù)清洗與對齊：\n - 處理缺失值：對于缺失的屬性，可以采用特定值填充（如數(shù)值型用均值，分類型用特殊標(biāo)簽“UNK”），或直接將其特征設(shè)為零向量。\n - 實(shí)體/關(guān)系ID與屬性對齊：確保每個(gè)實(shí)體ID和關(guān)系ID都能關(guān)聯(lián)到其對應(yīng)的屬性字典或記錄。\n2. 分類型屬性編碼：\n - 使用獨(dú)熱編碼（One-hot Encoding）或可學(xué)習(xí)的嵌入層（Embedding Layer）將每個(gè)分類標(biāo)簽映射為一個(gè)稠密向量。\n - 對于具有層次結(jié)構(gòu)的分類屬性（如“地理位置：中國>北京>海淀區(qū)”），可以考慮編碼其層次信息。\n3. 數(shù)值型屬性編碼：\n - 標(biāo)準(zhǔn)化/歸一化：將連續(xù)值縮放到固定范圍（如[0, 1]）或進(jìn)行標(biāo)準(zhǔn)化（均值為0，方差為1），以加速模型收斂。\n - 離散化（可選）：有時(shí)將連續(xù)值分桶處理為離散類別，再按分類型屬性處理。\n - 直接映射：通過一個(gè)可學(xué)習(xí)的線性或非線性層（如MLP）將標(biāo)量數(shù)值映射為稠密向量。\n4. 文本型屬性編碼：\n - 使用預(yù)訓(xùn)練的語言模型（如BERT、RoBERTa的CLS token向量）或靜態(tài)詞向量模型（如Word2Vec、GloVe）獲取文本的句嵌入或詞嵌入池化后的向量表示。\n5. 特征融合與類型標(biāo)識(shí)：\n - 對于一個(gè)實(shí)體或關(guān)系，可能擁有多種類型、多個(gè)屬性的特征。需要將這些特征向量進(jìn)行融合，常見方法包括拼接（Concatenation）、加和（Summation）或注意力機(jī)制加權(quán)融合。\n - 關(guān)鍵步驟：為每個(gè)屬性特征向量附加一個(gè)數(shù)據(jù)類型標(biāo)識(shí)符。DT-GCN模型中設(shè)計(jì)了一個(gè)類型感知的轉(zhuǎn)換模塊，該標(biāo)識(shí)符用于指導(dǎo)模型對不同來源和類型的特征進(jìn)行差異化的變換和處理。這可以通過為不同類型分配不同的可學(xué)習(xí)變換矩陣來實(shí)現(xiàn)。\n\n步驟三：輸入數(shù)據(jù)組裝\n為模型組裝的每批訓(xùn)練數(shù)據(jù)包含：\n- 一批正例三元組：形狀為 \\( (batch\_size, 3) \\) 的張量，包含頭實(shí)體ID、關(guān)系ID、尾實(shí)體ID。\n- 對應(yīng)的屬性特征：根據(jù)實(shí)體ID和關(guān)系ID索引得到的，已經(jīng)過類型化編碼和融合后的特征矩陣。\n- 對應(yīng)的負(fù)例三元組（用于訓(xùn)練時(shí)計(jì)算損失）。\n\n### 3. 注意事項(xiàng)與挑戰(zhàn)\n- 異構(gòu)性處理：知識(shí)圖譜中不同實(shí)體類型的屬性 schema 差異巨大，需要靈活的數(shù)據(jù)管道支持。\n- 特征維度統(tǒng)一：不同類型屬性編碼后的向量維度可能不同，需要在融合前通過投影層統(tǒng)一維度，或在模型設(shè)計(jì)時(shí)處理。\n- 計(jì)算效率：文本編碼（特別是使用大型LM）可能成為計(jì)算瓶頸，可以考慮離線編碼或緩存策略。\n- 數(shù)據(jù)泄露：在劃分?jǐn)?shù)據(jù)集和進(jìn)行特征編碼（如標(biāo)準(zhǔn)化計(jì)算均值方差）時(shí)，必須嚴(yán)格使用訓(xùn)練集數(shù)據(jù)來計(jì)算統(tǒng)計(jì)量，避免信息從驗(yàn)證集/測試集泄露到訓(xùn)練過程。\n\n### 結(jié)論\nDT-GCN模型的數(shù)據(jù)處理流程是一個(gè)將異構(gòu)、多類型的知識(shí)圖譜原始數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化、類型標(biāo)識(shí)明確的數(shù)值化輸入的系統(tǒng)工程。它不僅僅是為模型準(zhǔn)備“燃料”，其本身也深刻體現(xiàn)了模型“數(shù)據(jù)類型感知”的核心思想。精心設(shè)計(jì)的數(shù)據(jù)處理流程，能夠最大限度地保留原始數(shù)據(jù)中的語義和類型信息，為后續(xù)在雙曲空間中進(jìn)行高效、準(zhǔn)確的表示學(xué)習(xí)奠定堅(jiān)實(shí)的基礎(chǔ)。