一、RAG是什么？

RAG（Retrieval-Augmented Generation，檢索增強生成）, 一種AI框架，將傳統的信息檢索系統(例如數據庫)的優勢與生成式大語言模型(LLM)的功能結合在一起。不再依賴LLM訓練時的固有知識，而是在回答問題前，先從外部資料庫中"翻書"找資料，基于這些資料生成更準確的答案。

?RAG技術核心緩解大模型落地應用的幾個關鍵問題：

?知識新鮮度：大模型突破模型訓練數據的時間限制

?幻覺問題：降低生成答案的虛構概率，提供參照來源

?信息安全：通過外掛知識庫而不是內部訓練數據，減少隱私泄露

?垂直領域知識：無需訓練直接整合垂直領域知識

二、RAG核心流程

2.1 知識準備階段

1、數據預處理

1、文檔解析

?輸入：原始文檔（如Markdown/PDF/HTML）

?操作：

?提取純文本（如解析Markdown標題、段落）

?處理特殊格式（如代碼塊、表格、圖片、視頻等）

例如:

[標題] 什么是 ROMA？
[段落] ROMA 是一個全自主研發的前端開發基于自定義DSL(Jue語言)，一份代碼，可在iOS、Android、Harmony、Web四端運行的跨平臺解決方案。
[段落] ROMA 框架的中文名為羅碼。
[標題] 今天天氣
[列表項] 今天的室外溫度為35°C，天氣晴朗。

文檔的解析過程需要考慮不同文檔內容例如文本、圖片、表格等場景，以及文檔的語言，布局情況，可以考慮使用一些優秀的三方工具或者一些視覺模型，布局分析模型，語義理解模型來輔助解析。

2、數據清洗與標準化處理

提升文本質量和一致性，使向量表示更準確，從而增強檢索相關性和LLM回答質量；同時消除噪聲和不規則格式，確保系統能正確理解和處理文檔內容。

包括:

?去除特殊字符、標簽、亂碼、重復內容。

?文本標準化，例如 時間、單位標準化（如“今天” → “2025-07-17”）。

?其他處理

數據的清洗和標準化過程可以使用一些工具或NLTK、spaCy等NLP工具進行處理。

例如:

ROMA框架
處理： 
"ROMA框架"

今天的室外溫度為35°C，天氣晴朗。
處理：
"2025-07-17 的室外溫度為35°C，天氣晴朗"

3、元數據提取

關于數據的數據，用于描述和提供有關數據的附加信息。

?文檔來源：文檔的出處，例如URL、文件名、數據庫記錄等。

?創建時間：文檔的創建或更新時間。

?作者信息：文檔的作者或編輯者。

?文檔類型：文檔的類型，如新聞文章、學術論文、博客等。

?...

?

元數據在RAG中也非常重要，不僅提供了額外的上下文信息，還能提升檢索質量:

1. 檢索增強

?精準過濾：按時間、作者、主題等縮小搜索范圍

?相關性提升：結合向量相似度和元數據特征提高檢索準確性

2. 上下文豐富

?來源標注：提供文檔來源、作者、發布日期等信息

?文檔關系：展示文檔間的層級或引用關系

?

常見的元數據提取方式:

?正則/HTML/... 等解析工具，提取標題、作者、日期等

?自然語言處理: 使用NLP技術（如命名實體識別、關鍵詞提取）從文檔內容中提取元數據，如人名、地名、組織名、關鍵詞等

?機器學習模型: 訓練機器學習模型來自動提取元數據

?通過調用外部API（如Google Scholar API、Wikipedia API）獲取文檔的元數據

?...

例如:

complete_metadata_chunk1 = {
    'file_path': '/mydocs/roma_intro.md',
    'file_name': 'roma_intro.md',
    'chunk_id': 0,
    'section_title': '# 什么是 ROMA？',
    'subsection_title': '',
    'section_type': 'section',
    'chunking_strategy': 3,
    'content_type': 'product_description',
    'main_entity': 'ROMA',
    'language': 'zh-CN',
    'creation_date': '2025-07-02',  # 從文件系統獲取
    'word_count': 42  # 計算得出,
    'topics': ['ROMA', '前端框架', '跨平臺開發'],
    'entities': {
        'products': ['ROMA', 'Jue語言'], # 實體識別
        'platforms': ['iOS', 'Android', 'Web']
    },
}

2、內容分塊(Chunking)

在RAG架構中，分塊既是核心，也是挑戰，它直接影響檢索精度、生成質量，需要在檢索精度、語境完整性和計算性能之間取得平衡。

內容分塊將長文檔切分成小塊，可以解決向量模型的token長度限制，使RAG更精確定位相關信息，提升檢索精度和計算效率。

autobots 功能分塊:

實際RAG框架中按照文檔的特性選擇合適的分塊策略進行分塊.

常見的分塊策略

1. 按大小分塊

按固定字符數進行分塊，實現簡單但可能切斷語義單元。

優點：實現簡單且計算開銷小，塊大小均勻便于管理。

缺點：可能切斷語義單元，如句子或段落被分到不同塊中。

例如：

第一段：# ROMA框架介紹ROMA是一個全自主研發的前端開發框架，基于自定義DSL(Jue語言)。
一份代碼，可在iOS、Android、Harmony

第二段：、Web三端運行的跨平臺解決方案。ROMA框架的中文名為羅碼。

句子被截斷，"一份代碼，可在iOS、Android、Harmony" 和 "、Web三端運行的跨平臺解決方案" 被分到不同塊，影響理解。

2. 按段落分塊

以段落為基本單位進行分塊，保持段落完整性，但段落長度可能差異很大。

優點：尊重文檔自然結構，保留完整語義單元。

缺點：段落長度差異大，可能導致塊大小不均衡。

例如：

第一段：# ROMA框架介紹ROMA是一個全自主研發的前端開發框架，基于自定義DSL(Jue語言)。
一份代碼，可在iOS、Android、Harmony、Web三端運行的跨平臺解決方案。ROMA框架的中文名為羅碼。

第二段：# 核心特性1. 跨平臺：一套代碼運行于多端2. 高性能：接近原生的性能表現3. 可擴展：豐富的插件系統

第一段包含標題和多行內容，而其他段落相對較短，可能導致檢索不均衡。

3. 按語義分塊

基于文本語義相似度進行動態分塊，保持語義連貫性，但計算開銷大。

說明：基于文本語義相似度動態調整分塊邊界。

優點：保持語義連貫性，能識別內容主題邊界。

示例：

第一段：# ROMA框架介紹ROMA是一個全自主研發的前端開發框架，基于自定義DSL(Jue語言)。
一份代碼，可在iOS、Android、Harmony、Web四端運行的跨平臺解決方案。

第二段：ROMA框架的中文名為羅碼。
## 核心特性1. 跨平臺：一套代碼運行于多端

使用依賴模型質量，相同文本在不同運行中可能產生不同分塊結果。

分塊策略總結：

優化方式

?混合分塊策略

結合多種分塊方法的優點，如先按段落分塊，再根據塊大小調整，做到既保持語義完整性，又能控制塊大小均勻

?優化重疊區域

根據內容特性動態調整塊之間的重疊區域大小，關鍵信息出現在多個塊中，提高檢索召回率

常用的分塊工具

?LangChain框架：提供多種分塊策略，包括RecursiveCharacterTextSplitter、MarkdownTextSplitter等

?NLTK：用于基于自然語言句子的分塊

?spaCy：提供語言學感知的文本分割

?

3、向量化（Embedding）

將高維文本數據壓縮到低維空間，便于處理和存儲。將文本轉換為計算機可以理解的數值，使得計算機能夠理解和處理語義信息，從而在海量數據文本中實現快速、高效的相似度計算和檢索。

簡單理解：通過一組數字來代表文本內容的“本質”。

例如，"ROMA是一個跨平臺解決方案..."這句話可能被轉換為一個384維的向量：

[塊1] 什么是ROMA？
ROMA是一個全自主研發的前端開發框架，基于自定義DSL(Jue語言)...

[
  {
    "chunk_id": "doc1_chunk1",
    "text": "# 什么是 ROMA？nROMA 是一個全自主研發的前端開發基于自定義DSL(Jue語言)，一份代碼，可在iOS、Android、Harmony、Web端運行的跨平臺解決方案。",
    "vector": [0.041, -0.018, 0.063, ..., 0.027],
    "metadata": {
      "source": "roma_introduction.md",
      "position": 0,
      "title": "ROMA框架介紹"
    }
  },
  // 更多文檔塊...
]

常用的Embedding模型

模型名稱	開發者	維度	特點
all-minilm-l6-v2	Hugging Face	384	高效推理，多任務支持，易于部署，適合資源受限環境
Text-embedding-ada-002	OpenAI	1536	性能優秀，但可能在國內使用不太方便。
BERT embedding	Google	768 (base) 1024 (large)	廣泛用于各種自然語言處理任務。
BGE (Baidu’s General Embedding)	百度	768	在HuggingFace的MTEB上排名前2，表現非常出色。

?

4、向量數據庫入庫

將生成的向量數據和元數據進行存儲，同時創建索引結構來支持快速相似性搜索。

常用的向量數據庫包括：

數據庫	復雜度	核心優勢	主要局限	適用場景
ChromaDB	低	輕量易用, Python集成	僅支持小規模數據	原型開發、小型項目
FAISS	中	十億級向量檢索, 高性能	需自行實現特殊化	學術研究、大規模檢索
Milvus	高	分布式擴展, 多數據類型支持	部署復雜, 資源消耗大	企業級生產環境
Pinecone	低	全托管, 自動擴縮容	成本高, 數據在第三方云	無運維團隊/SaaS應用
Elasticsearch	高	全文搜索強大，生態系統豐富	向量搜索為后加功能，性能較專用解決方案差	日志分析、全文搜索、通用數據存儲

2.2 問答階段

1、查詢預處理

` 意圖識別：使用分類模型區分問題類型（事實查詢、建議、閑聊等）。

問題預處理：問題內容清洗和標準化，過程與前面數據預處理類似。

查詢增強: 使用知識庫或LLM生成同義詞（如“動態化” → “Roma”），上下文補全可以結合歷史會話總結（例如用戶之前問過“Roma是什么”）。

?

2、數據檢索(召回)

1、向量化

使用與入庫前數據向量化相同的模型，將處理后的問題內容向量化。

例子:

問題: "ROMA是什么?"

處理后
{
    "vector": [0.052, -0.021, 0.075, ..., 0.033],
    "top_k": 3,
    "score_threshold": 0.8,
    "filter": {"doc_type": "技術文檔"}
}

2、檢索

相似度檢索：查詢向量與所存儲的向量最相似(通過余弦相似度匹配)的前 top_k 個文檔塊。

關鍵詞檢索：倒排索引的傳統方法,檢索包含"Roma"、"優勢"等精確關鍵詞的文檔。

混合檢索： 合并上面多種檢索結果，效果最優。

例如：檢索"ROMA是什么?"

3、重排序(Reranking)

初步檢索在精度和語義理解上的不足，通過更精細的上下文分析提升結果相關性。它能更好處理同義詞替換、一詞多義等語義細微差異，使最終結果準確。

原理：使用模型對每個檢索結果計算相關性分數。

歸一化：重排序模型原始輸出分數沒有固定的范圍，它可能是任意實數，將結果歸一化處理，將分數映射到 [0, 1] 范圍內，使其更容易與向量相似度分數進行比較。

例如：

常用的重排序模型:

?

3、信息整合

格式化檢索的結果，構建提示詞模板，同時將搜索的內容截斷或摘要長文本以適應LLM上下文窗口token。

提示詞優化:

1. 限定回答范圍

2. 要求標注來源

3. 設置拒絕回答規則

4. ...

例如：

prompt 模板：

你是一名ROMA框架專家，請基于以下上下文回答：

參考信息:
[文檔1] 什么是 ROMA？
ROMA 是一個全自主研發的前端開發基于自定義DSL(Jue語言)，一份代碼，可在iOS、Android、Harmony、Web四端運行的跨平臺解決方案。
ROMA 框架的中文名為羅碼。
[文檔2] Roma介紹？
[Roma介紹](docs/guide/guide/introduction.md)
文檔地址: https://roma-design.jd.com/docs/guide/guide/introduction.html

要求：
1. 分步驟說明，含代碼示例
2. 標注來源文檔版本
3. 如果參考信息中沒有相關內容，請直接說明無法回答，不要編造信息

請基于以下參考信息回答用戶的問題。如果參考信息中沒有相關內容，請直接說明無法回答，不要編造信息。


用戶問題: ROMA是什么？

回答: {answer}

4、LLM生成

向LLM（如GPT-4、Claude）發送提示，獲取生成結果。

autobots示例：

以上，實現了最簡單的RAG流程。實際的RAG過程會比上述麻煩更多，包括圖片、表格等多模態內容的處理，更復雜的文本解析和預處理過程，文檔格式的兼容，結構化與非結構化數據的兼容等等。

?

最后RAG各階段優化方式：