作者：飛槳開發(fā)者技術(shù)專家 劉力

| 僅需一張消費(fèi)級(jí)顯卡，教你利用多模態(tài)大模型打造專屬的日本漫畫翻譯神器。

一，引言：當(dāng)AI遇上二次元

如果你曾嘗試使用傳統(tǒng)的 OCR 工具直接翻譯一本未漢化的日本漫畫（Manga），你可能會(huì)遇到令人抓狂的體驗(yàn)：文字識(shí)別亂碼、氣泡順序錯(cuò)亂，尤其是那些 豎排（Vertical） 且字體夸張的擬聲詞，AI 往往視而不見。

通用的 OCR 模型大多是針對(duì)文檔、路牌或水平文本訓(xùn)練的。面對(duì)漫畫中復(fù)雜的背景、垂直的閱讀順序以及手寫體，標(biāo)準(zhǔn)模型往往顯得力不從心。今天，我們將解決這個(gè)問(wèn)題。我們不再使用傳統(tǒng)的檢測(cè)+識(shí)別架構(gòu)，而是使用更前沿的 Vision-Language (VL) 模型——PaddleOCR-VL。我們將展示如何在僅有 12GB 顯存的 NVIDIA RTX 3060 上，利用 BF16 精度和梯度累積技術(shù)，對(duì)這個(gè)強(qiáng)大的多模態(tài)模型進(jìn)行監(jiān)督微調(diào)（SFT）。

項(xiàng)目源碼參考：https://github.com/openvino-book/PaddleOCR-VL-SFT-for-Japanese-Manga-on-RTX-3060

二，為什么選擇 PaddleOCR-VL？

1，多模態(tài)理解能力：傳統(tǒng)的 OCR 將圖片切分為小塊進(jìn)行識(shí)別，容易丟失上下文。PaddleOCR-VL 是一種視覺(jué)-語(yǔ)言模型，它能“看”懂整張圖的語(yǔ)義，這對(duì)于理解漫畫中氣泡的閱讀順序（從右向左、從上向下）至關(guān)重要。

2，驚人的效果提升：根據(jù)我們的實(shí)測(cè)，在 RTX 3060 上微調(diào)后，精確匹配率 (Exact Match) 從基礎(chǔ)模型的 9.0% 飆升至 64.4%，字符錯(cuò)誤率 (CER) 降低了 80%。

三，核心挑戰(zhàn)：如何在 12GB 顯存上訓(xùn)練大模型？

微調(diào) VL 模型通常需要昂貴的 A100 顯卡，但本教程的目標(biāo)是讓每個(gè)擁有 RTX 3060 (12GB) 的開發(fā)者都能跑通。

我們采用了一下技術(shù)組合來(lái)降低顯存占用：

BF16 混合精度：使用 BF16Trainer 配合 torch.amp.autocast，在保持精度的同時(shí)大幅減少顯存占用。

梯度累積 (Gradient Accumulation)：將 Batch Size 設(shè)為 1，但設(shè)置梯度累積步數(shù)為 16，從而模擬 Batch Size = 16 的訓(xùn)練效果。

梯度檢查點(diǎn) (Gradient Checkpointing)：以計(jì)算換顯存，進(jìn)一步壓縮內(nèi)存需求。

四，實(shí)戰(zhàn)指南：從零開始微調(diào)

第一步：環(huán)境搭建

1，克隆項(xiàng)目

git clone https://github.com/openvino-book/PaddleOCR-VL-SFT-for-Japanese-Manga-on-RTX-3060.git

2，創(chuàng)建 conda 環(huán)境 (Python 3.11)

conda create -n manga-ocr python=3.11 -y
conda activate manga-ocr

3，安裝項(xiàng)目依賴

# 注意：我們需要安裝支持 CUDA 的 PyTorch 版本

pip install torch torchvision --index-url [https://download.pytorch.org/whl/cu118](https://download.pytorch.org/whl/cu118)
pip install -r requirements.txt

第二步：數(shù)據(jù)準(zhǔn)備 (Manga109s)

我們需要高質(zhì)量的漫畫數(shù)據(jù)集。Manga109s 是學(xué)術(shù)界公認(rèn)的日本漫畫數(shù)據(jù)集，包含精確的文本框標(biāo)注。

1，下載數(shù)據(jù)集：訪問(wèn)https://huggingface.co/datasets/hal-utokyo/Manga109-s 申請(qǐng)并下載 Manga109s_released_2023_12_07.zip。

2，解壓與配置：

# 解壓到項(xiàng)目根目錄
unzip Manga109s_released_2023_12_07.zip -d .
# 配置環(huán)境變量
cp .env.example .env
# 確保 .env 文件中的 MANGA109_ROOT 指向解壓后的文件夾

3，運(yùn)行數(shù)據(jù)處理腳本： 該腳本會(huì)自動(dòng)解析 XML 標(biāo)注，裁剪出文本區(qū)域，生成適合 VL 模型訓(xùn)練的格式。

python prepare_manga109_data.py

第三步：開啟訓(xùn)練 (SFT)

一切準(zhǔn)備就緒。我們提供了一個(gè)一鍵啟動(dòng)腳本 train.sh，其中已經(jīng)預(yù)設(shè)了適合 RTX 3060 的參數(shù)。

bash train.sh

第四步：模型評(píng)估

訓(xùn)練完成后，我們需要驗(yàn)證模型是否真的學(xué)會(huì)了讀漫畫。

# 評(píng)估微調(diào)后的模型 (SFT Output)
python evaluate_model.py --model_path ./sft_output --num_samples 500
# (可選) 對(duì)比原始模型
python evaluate_model.py --model_path PaddlePaddle/PaddleOCR-VL --num_samples 500

你將看到類似這樣的巨大提升：

Base Model：經(jīng)常輸出亂碼，無(wú)法理解豎排。

Fine-tuned Model：準(zhǔn)確識(shí)別 "あとは『メルニィ宇宙鉄道』とか..." 等復(fù)雜句式。

視頻鏈接：https://live.csdn.net/v/505182

五，結(jié)語(yǔ)

通過(guò)這個(gè)項(xiàng)目，我們證明了即使是在消費(fèi)級(jí)顯卡 RTX 3060 上，通過(guò)合理的技術(shù)優(yōu)化（BF16、梯度累積），我們也完全有能力微調(diào)先進(jìn)的 Vision-Language 模型。

PaddleOCR-VL 的微調(diào)版本不僅解決了豎排文本識(shí)別的難題，更為構(gòu)建自動(dòng)化的漫畫翻譯/漢化工具鋪平了道路。

如果你對(duì)這個(gè)項(xiàng)目感興趣，或者想獲取詳細(xì)的代碼，請(qǐng)?jiān)L問(wèn)我們的 GitHub 倉(cāng)庫(kù)：

審核編輯 黃宇