🎬 分鏡方案研究 — 現成工具 vs 我們的 script_to_vn

I have enough grounding. The actual `script_to_vn.py` confirms every gap the research streams identified: `camera` mixes framing+angle in one field (line 69), `prev_stage` is a single string carry-over (line 211), no `variation_type`/`duration`/`status`/`src_span` fields, chunking is pure-char `split_chunks` (line 114). Now I'll synthesize the decision document. ```markdown # 現成分鏡方案調研 → 決策建議（AI-Matrix `script_to_vn`） > 範圍：合法成人（18+）AI 影片/VN 生成。痛點＝塊邊界連貫、細顆粒 output 截斷、分鏡品質（覆蓋/不漏/不亂編）。 > 已對照實際程式碼 `/Users/daihaoting_1/Desktop/ai-matrix/script_to_vn.py`，所有建議都標明改哪一行/哪個函式。 --- ## TL;DR（一句話結論） **沒有任何現成「分鏡 MCP / 分鏡 RAG」可以 plug-in 取代 `script_to_vn`——這領域全是 build-your-own pipeline。決策＝「不整合、重度借鑑」**：抄 3 個 schema 設計 + 4 個演算法，自己改進 `script_to_vn.py`。我們的「呈現模態分流（css/類gif/seethrough/Wan）+ NSFW 狀態機（stage/arousal）+ 自架 GPU 產線」是市面零替代品的護城河，**絕不可為了套別人而退化**。 五路調研高度收斂：**ViMax（8.8k★，5 路都點名）是最值得讀原始碼的對標物**；**PenShot/story-shot-agent（88★，唯一原生 MCP）是連貫機制範本**；**Soap2Soap（2026 最新，showlab）是塊邊界連貫的解法書**。 --- ## 1) 值得整合/借鑑的 Top 清單（排序：ROI 由高到低） | # | 名稱 | URL | 借鑑點（對應我們哪個痛點） | 成熟度 | 動作 | |---|------|-----|---------------------------|--------|------| | 1 | **ViMax** (HKUDS) | https://github.com/HKUDS/ViMax | `variation_type(large/medium/small)+reason` 自評欄→驅動模態選擇/開新機位（解#31/#37 根因）；FLF 分解 prompt（ff/lf 純快照、motion 用外觀指涉）；機位復用啟發式；`get_next_scene(previous_scenes)` 滑動上下文切場景；出圖後 VLM 一致性檢查迴圈 | **8.8k★ / 活躍 / Python**，5 路一致最高評 | **重度借鑑**（讀 `interfaces/shot_description.py` + `agents/storyboard_artist.py` + `agents/scene_extractor.py`，反向移除其「安全改寫/番茄醬代血」段） | | 2 | **PenShot / story-shot-agent** (neopen) | https://github.com/neopen/story-shot-agent | 三級記憶（短/中/長）+Chroma RAG 跨 chunk 保角色/場景狀態（解塊邊界連貫）；分塊獨立 task + auto-retry（解 output 截斷）；每 shot `src_span` 雙向回溯原文（解 beat 級覆蓋追溯）；`breakdown_script`+`get_task_result` MCP 介面範本 | **88★ / Python 99.9% / MIT / PyPI 有套件**，唯一原生 MCP | **借機制**（讀 Continuity Guard + memory 模組）；MCP 介面當未來範本 | | 3 | **Soap2Soap** (showlab, 2026) | https://github.com/showlab/Soap2Soap | Dual-Bridge 一致性（Language Bridge 持久 JSON screenplay + Visual Bridge 外部視覺記憶）；**contextual memory allocation**（每鏡只給最小上下文→直接解截斷）；Grid-based 批次關鍵幀（2x2/3x3 共享 attention 砍鬼影）；Verification agent 四維閉環 | **2026-05 最新，code released**，arXiv 2605.17423 | **借演算法**（contextual memory allocation 是截斷的對症解，優先讀） | | 4 | **AI Comic Factory** (jbilcke-hf, HF) | https://github.com/jbilcke-hf/ai-comic-factory | 分批滑動續寫（`predictNextPanels.ts`：每批 N 格、已生成回填 context、自動算 first/next/last）；**容錯 JSON 解析器**（`dirtyGeneratedPanelsParser.ts`：砍 ``` 雜訊、半截 JSON 容錯、欄位 fallback）；degraded mode；去重指令 | **1.3k★，已封存（read-only）** 但純參考無依賴風險 | **抄程式碼**（續寫 + dirtyParser 直接解我們 deepseek 截斷/壞 JSON 爆批） | | 5 | **DirectorSKILL** (wuwangzhang1216) | https://github.com/wuwangzhang1216/DirectorSKILL | 兩個高價值欄位：`story function`（每鏡存在理由→防亂編）+ `continuity anchors`（角色/光線/道具錨點→連貫 diff 依據）；beat mapping 在 shot list 之前；QC 診斷步驟 | **4★** 但 schema 思路最像我們 | **抄欄位**（讀 skill 文本，加進 beat schema） | | 6 | **StoryboardUI2** (NickPittas) | https://github.com/NickPittas/StoryboardUI2 | **144 機位 taxonomy**（3 景別 × 4 機高 × 12 視向）+ token 格式 `{direction} {height} shot {size}`（解 camera 欄自由文字→枚舉化）；per-panel 完整 metadata + reuse parameters | **17★ / v1.1.0 / ComfyUI 後端**，可直接讀 code | **抄枚舉表**（標準化我們 camera/angle 欄） | | 7 | **VideoMemory** (2026) | https://hit-perfect.github.io/VideoMemory/ | Dynamic Memory Bank（角色/道具/背景三庫，每鏡讀→生→寫回，存顯式視覺+語意 descriptor）＝我們 stage/arousal 標量的進階版（成人「衣服一件件脫」連續狀態天然契合） | arXiv 2601.03655，paper+page，code 待釋出 | **借概念**（狀態機升級的目標形態，非立即整合） | | 8 | **VGoT / VideoGen-of-Thought** | https://cheliosoops.github.io/VGoT/ | 每 shot 五域 schema（Character/Background/**Relation 角色間關係**/Camera/Lighting+HDR）——補我們較弱的 Relation + Lighting 兩欄；pre-shot description 做塊邊界輕量解 | arXiv 2412.02259，部分釋出 | **抄欄位**（補 Relation/Lighting） | | — | **產業 shot list 標準欄位**（StudioBinder/Boords/LTX，~14 欄收斂） | https://boords.com / studiobinder.com | 三個受控 enum：Shot Size(ECU/CU/MS/WS)、Camera Angle(eye/high/low/OTS/POV)、Camera Movement(Static/Pan/Dolly/Zoom/Rack…)；duration、status、lens/dof、audio | 產業共識，當 schema checklist | **當欄位清單對照** | | — | **ComfyUI 原生 storyboard 生態**（comfyui-storyboard / Create Coherent Scenes workflow） | https://www.runcomfy.com/comfyui-nodes/comfyui-storyboard | 3D 相機控制節點（拖角度自動轉 prompt）；「Create Coherent Scenes」(Qwen Image Edit + Wan 2.2 I2V) 跨鏡頭一致 | 活躍、即用、與我們棧零摩擦 | **直接 import workflow**（出圖層，非分鏡層） | **明確排除（NSFW 紅線 + 錯位）**： - ❌ 雲端出片 MCP（Kling/Veo/Higgsfield/Runway/Pictory）——我們已自架 ComfyUI+Wan+RunPod，這些**成人內容必被審查封鎖**（ViMax 系統 prompt 都明令避敏感內容），且成本/可控性全輸自架。唯一例外：非 NSFW demo 快速 A/B 比畫質時可臨時用 higgsfield-mcp。 - ❌ movie-crafter / 各家 boilerplate（<100★ 或核心閉源），無整合價值。 --- ## 2) 分項建議 ### (a) 欄位設計 — beat schema 該補哪些專業分鏡欄位 > 現狀（`script_to_vn.py:69-76` 的 schema）：`id/bg/camera/motion/chars/prompt/desc/speaker/text/tap/next/explicit/video/action/stage/zoom/choices`。 > **我們已強的別動**：`prompt`/`desc` 雙欄分離（tag 串 vs 富文字）、`stage` 服裝單調遞減狀態機、`action` 8 分類、`explicit/video/zoom` 模態旗標、`choices+effect` 互動維度——這套通用工具全沒有，是護城河。 **該補的欄位（依 ROI）：** | 欄位 | 來源 | 解什麼 | 改哪裡 | |------|------|--------|--------| | **`variation_type` (large/medium/small) + `variation_reason`** | ViMax | **最高價值**。現在 `camera` 4 值（pov/close/side/wide）只是相機，沒有「這一鏡跟上一鏡落差多大」這個維度——這正是 #31（切太死/同機位重複）和 #37（敘事 beat 太保守誤判 css）的**根因**。用此欄驅動：small→css/類gif、large→Wan 影片；large→開新機位、small→復用 | `sys_prompt` schema（line 69-76）+ 規則 1/2 | | **拆 `camera` → `framing` + `angle` 兩欄** | 產業標準 / StoryboardUI2 | 現在 `camera:"pov\|close\|side\|wide"`（line 69）把「角度(pov/side)」和「框景(close/wide)」綁死。拆成 `framing(ECU/CU/MS/WS)`+`angle(eye/high/low/OTS/POV/bird)` → 出圖 tag 更準（close-up≠from side）、報價算圖層更準（ECU 一個器官圖層 vs WS 全身雙人）。**保留現有 4 值映射兼容** | schema + 規則 3b（line 89） | | **`duration_sec`** | 產業標準 / VGoT | 現在 `motion` 只分 css/video 沒時長 → 無法精準算 Wan 幀數 + 報價（秒數×星星單價）。每 beat 估秒直接餵 `wan_flf_thrust` 幀數計算 + `quote_engine.py` | schema | | **`fps_target` / `slow_factor`** | 產業標準 | 對接你們已有的 `rife_interp.py` bullet-time（CLAUDE.md 的 `RIFE_HIFPS`/`RIFE_SLOW`）。分鏡層就決定哪幀要 RIFE 拉高 fps，不必事後人工標 | schema | | **`story_function`（敘事功能）** | DirectorSKILL / ViMax | 每鏡「存在理由」→ 防 LLM 亂編、提升覆蓋品質 | schema + 規則 10 | | **`continuity_anchors`（角色/光線/道具錨點）** | DirectorSKILL | 給連貫機制當跨 chunk diff 依據（配合 (b) 的 carry-over state） | schema | | **`src_span`（原文起訖字元）** | PenShot | 把 `chunks_cover_raw`（line 140 chunk 級）升級成 **beat 級覆蓋檢查** → 量化「這段原文有沒有被某 beat 涵蓋」，比現在只驗 chunk 沒失敗更嚴。純函數可測 | schema + 新增驗證函數 | | **`status`（pending/approved/rendered/failed）** | Boords / 產業 | per-beat 狀態，直接接 (d) 驗證頁的客戶確認閘門 | schema | | **`audio` 線索（voice/sfx/ambience）** | 產業標準 | 對接你們已研究的 GPT-SoVITS 呻吟+環境音方案 | schema | | **`relation`（角色間關係）+ `lighting`** | VGoT | 多角色場景不亂（成人雙人交纏尤其需要）；目前較弱 | schema | > ⚠️ **加欄會讓 output 更爆**——務必與 (b) 的分批續寫同步上，否則加完 schema 截斷更嚴重。 --- ### (b) 場景切分 — 有無現成 library 勝過我們現在的「程式 split + LLM」 **結論：沒有可直接 pip install 的 library 取代你的 `split_chunks`+LLM，但有 4 個演算法/機制顯著勝過現狀，要自己實作。** > 現狀問題（已讀程式碼確認）： > - `split_chunks`（line 114）純按字數（`\n\n` + 7500 字）切，**場景邊界不自然** → 跨 chunk 服裝/狀態漂移。 > - chunk 間只傳 **一個 `prev_stage` 字串**（line 211）→ 連貫載體太薄，是塊邊界跳變主因。 > - 一次叫 deepseek 吐整塊 beats → 細顆粒後爆量截斷（你自己註解 line 14/197-200 已知）。 **勝過現狀的 4 招（優先序）：** 1. **【解塊邊界連貫 — 最痛】carry-over state（抄 PenShot/Soap2Soap Dual-Bridge）** `convert()` 跨 chunk 時不只傳 `prev_stage` 字串，改傳**結構化承接狀態**：每塊結束從最後 N 個 beat 萃取 `{在場角色 + 各自 pos/服裝stage/情緒/最後鏡位 + 當前場景bg}`，序列化進下一塊 prompt（line 211 的 `cont`）。**輕量版不必上 Chroma，JSON 字串夾帶即可**；量大再升級向量檢索（pgvector/Chroma）。預期順帶改善 #31（LLM 知道上塊用過哪些機位/體位就會變化）。 2. **【解 output 截斷 — 根治】分批滑動續寫（抄 AI Comic Factory + Soap2Soap contextual memory allocation）** 不一次吐整塊，改每批生 N 鏡（N×~200 tokens 設上限），把已生成鏡頭 JSON 回填當 `existingPanels` 續寫，告訴 LLM「現在第幾鏡/共幾鏡/first|next|last」，生成後重編 id。配套抄 `dirtyGeneratedPanelsParser`（容錯解析）+ degraded mode → 取代現在「整塊重試 3 次」（line 214）的全有全無。**這同時解截斷 + 塊邊界（少塞 context = 少截斷）**。 3. **【解敘事 beat 太保守判 css — #37】邊界訊號 pre-pass（抄 SceneML 特徵 + screenplay-parser 規則）** 純靠 deepseek prompt 憑感覺切，是 #37 根因。CHADPOD 論文證明 **LLM 對細粒度邊界 false negative 高（GPT-4 僅 62%）**。做法：用轉場詞（later/那天之後）、動作動詞密度、露出關鍵詞當訊號，在 prompt 明確提示「這段高視覺強度→升格 video/zoom」vs「純對白→css」。若仍不穩，再投輕量 encoder 分類器做 pre-pass（評估用 balanced-acc + 邊界類 F1，**別看整體 acc**，類別極不平衡）。 4. **【可選 — 全域一致性錨點】Visual Theme layer（抄 ai-video-storyboard-skill）** 分鏡前先產一個全域物件（色盤/燈光/角色外觀錨點/鏡頭性格），每鏡 prompt 套這層。**比向量方案輕、token 成本低**，可當 1) 還沒上之前的過渡。 > **ViMax 的 `get_next_scene(previous_scenes)` 滑動切場景**（把已生成場景全文塞回 context 再生下一場、規定地點/時間改變才切新場景）是把 1)+3) 合一的成熟做法，可直接對照其 `scene_extractor.py`。 --- ### (c) MCP — 有無可接的 **沒有任何可接的現成分鏡 MCP server。** 多路交叉確認：官方 `modelcontextprotocol/servers`、`awesome-mcp-servers`、`microsoft/mcp` 全無 storyboard 類。 - **唯一原生分鏡 MCP ＝ PenShot**（`breakdown_script` + `get_task_result`），但它的 shot schema 把 shot-size/angle/movement **全塞進 prompt 純文字、無結構化欄位**——比我們的 `camera/action/stage` 結構化欄位**還粗**，接進來是降級。 - 出片類 MCP（Kling/Veo/Higgsfield）成熟但 **NSFW 必被封 + 與自架產線錯位**。 - **整體生態現況：「出片 MCP 成熟、分鏡 MCP 荒漠」。** **決策：** 1. **現在不接任何外部 MCP**（無可 plug 的，B2C 單一產品也不需協定層）。 2. **未來**若要開放 agent 生態，把 `script_to_vn` **包成自己的 MCP server**（`breakdown_script(劇本+script_key) → journey.json` + `get_result`），對齊 PenShot 介面當範本。這會是該生態**第一個成人/通用分鏡 MCP**，但非當務之急。 --- ### (d) 客戶確認 UX — 商業工具怎麼做，驗證頁可學什麼 商業工具（Boords / Katalist / LTX Studio）的「客戶確認分鏡」UX 已成熟多年，直接對應你們的 R2 驗證頁（`build_val_page.py` / `build_pipeline_review.py`）。可直接抄： | 學什麼 | 來源 | 對應你們 | |--------|------|---------| | **per-beat 留言 + status 標記**（approved/需改/已核准） | Boords threaded comments | 客戶逐格回饋不用開會，改 status 推進產線 | | **version history**（重生某 beat 保留舊版可還原） | Boords | 治「重生破圖回不去」 | | **加密分享連結**（passphrase，不登入也能看） | Boords | 成人內容更需私密連結 | | **★核准後才進 GPU**（approve = GPU 派工閘門） | Boords「核准轉 shot list」 | **直接落實 CLAUDE.md 鐵則「GPU 不為閒置付費」**：沒核准不開 A100，核准的 beat 攢成批次一次 resume 出完再 stop | | **一鍵全局換角**（換女主→全 beat 重出） | Katalist 角色鎖定 | 對應你們 `vn_identity` 鎖角色 | | **角色/場景自動抽成可重用 Elements** | LTX Studio | 把 bg/chars 自動聚合成 element 清單給客戶挑/改 | > **最關鍵一條**：把「客戶 approve」設成 GPU 派工閘門——這不只是 UX，是省 GPU 錢的架構閘門，與你們鐵則完全咬合。 --- ## 3) 整合 vs 自己做 的取捨 ### 已有的，別重造（護城河，套別人會降級） | 我們已有 | 為何不可退化 | |----------|-------------| | **呈現模態分流**（css靜態/類gif/seethrough/Wan，`explicit/video/zoom` 旗標） | **市面零替代品**。所有調研對象只輸出單一「影片 prompt」，沒有按 beat 重要性選成本階梯的概念。這是你的成本優勢設計，沒得抄、自己做。 | | **NSFW 狀態機**（`stage` 服裝單調遞減 + desire/shame/submit） | 成人 VN 特有連續狀態追蹤，通用框架完全沒有。VideoMemory 的 Dynamic Memory Bank 是它的進階目標形態，但要自己升級。 | | **`prompt`/`desc` 雙欄分離 + `budget_prompt` 77-token 優先序裁切**（line 157-186） | 工程化護城河。KupkaProd 等開源全用 inline text，無法報價/分層。比 PenShot 的 JSON（只有 prompt/negative/duration）細。 | | **fail-loud 覆蓋機制**（`chunks_cover_raw` + `finish_reason=='length'` 判截斷 + INCOMPLETE.json，line 140/223/283） | 多數工具沒有覆蓋率自檢。這是品質紀律，保留並升級成 beat 級。 | | **端到端商轉骨架**（`dynamic_router.py`+`quote_engine.py`+trace+自架 RunPod 產線） | ViMax/Soap2Soap 是研究導向、無定價/成本管控。你已落地。 | ### 只補真正缺的（自己做為主、借鑑為輔） **核心原則：不整合任何外部 repo/MCP 當骨架（沒有「成人+互動 VN+報價產線」三合一現成品），改採「借演算法、抄 schema、import workflow」三層策略。** - **分鏡層（`script_to_vn.py`）**：自己改，借 ViMax schema + PenShot/Soap2Soap 連貫機制 + AI Comic Factory 截斷解法。 - **出圖/出片層（ComfyUI/Wan）**：直接 import 現成 workflow（零摩擦）+ 借 Soap2Soap Grid 批次關鍵幀砍鬼影。 - **驗證層**：抄 Boords UX + 加 GPU 閘門。 ### 落地優先序（對應你列的痛點） > **痛點 → 招式對照**：①output 截斷 ②塊邊界連貫 ③分鏡品質（覆蓋/不漏/不亂編） | 順序 | 動作 | 解哪個痛點 | 成本 | 改哪裡 | |------|------|-----------|------|--------| | **P0-1** | 加 `variation_type(large/medium/small)+reason` 欄，驅動模態選擇+開新機位 | ③ #31/#37 根因 | 極低（prompt 多要一欄） | `sys_prompt` schema + 規則 1/2 | | **P0-2** | 鏡頭生成改**分批滑動續寫** + 抄 `dirtyParser` 容錯 + degraded mode | ① 根治 | 中 | `convert()` line 195-243 重構 | | **P0-3** | chunk 間傳**結構化 carry-over state**（取代 `prev_stage` 字串） | ② 最痛 | 中（輕量版 JSON 夾帶） | `convert()` line 211 `cont` | | **P1-1** | 拆 `camera`→`framing`+`angle`；加 `duration_sec`/`fps_target`/`status`/`audio` | ③ + 報價/產線/驗證對接 | 低（同步 P0-1 一起加） | schema | | **P1-2** | 加 `src_span`，`chunks_cover_raw` 升級成 **beat 級覆蓋檢查** | ③ 量化不漏 | 低（純函數可測） | line 140 + 新函數 | | **P1-3** | 邊界訊號 prompt 強化（轉場詞/動作密度/露出關鍵詞），明示 video vs css | ② #37 | 低 | `sys_prompt` | | **P2-1** | 驗證頁抄 Boords UX + **approve = GPU 閘門** | 省 GPU 錢 | 中 | `build_val_page.py` | | **P2-2** | 出圖 import 「Create Coherent Scenes」workflow + 試 Grid 批次關鍵幀 | 砍鬼影/#9/#21 | 低（現成 workflow） | ComfyUI | | **P2-3** | 出圖後加 VLM 一致性 gate（角色 bible 比對 + futanari 偵測），失敗自動重生 | ③ 自動化抽幀驗證 | 中 | 新增 QC node | | **P3** | （評估）`split_chunks` 改語意/場景邊界切；狀態機升級 per-entity Memory Bank；包 MCP server | ②③ + 生態 | 高 | 待核心做完再評估 | **直接可抄的檔案**（已被多路讀過、結構乾淨）： - ViMax `interfaces/shot_description.py`（整碗 schema）、`agents/storyboard_artist.py`（出鏡頭 + FLF 分解 prompt，**反向移除其安全改寫段**）、`agents/scene_extractor.py`（滑動切場景） - AI Comic Factory `src/app/queries/predictNextPanels.ts`+`getStoryContinuation.ts`（分批續寫）、`src/lib/dirtyGeneratedPanelsParser.ts`（容錯解析） - PenShot `story-shot-agent` 的 Continuity Guard + memory 模組 - Soap2Soap contextual memory allocation（讀 arXiv 2605.17423 + code） --- ## 4) 紅線提醒（成人內容） 1. **絕不接會審查/封鎖 NSFW 的託管服務**：Kling/Veo/Higgsfield/Runway/Pictory 等雲端出片 API 對成人內容多半直接擋，**不可依賴**。維持自架 ComfyUI+Wan+RunPod。唯一例外：非 NSFW demo 快速比畫質時臨時用。 2. **借演算法時反向移除「安全改寫」段**：ViMax 系統 prompt 明令避免敏感內容（用番茄醬代血）、AI Comic Factory system prompt 也有安全約束——**欄位/演算法/解析器照抄，但 prompt 的安全改寫/降級段要刪掉或反向改寫**，否則會把你的成人內容改乾淨。 3. **分鏡工具本身通用、payload 才是成人**：schema 設計、場景切分、續寫、容錯解析、驗證 UX 全部與內容無關，可放心借鑑。NSFW 狀態機是**你的領先設計**（開源生態這塊是荒漠），自己做即可，不必找「NSFW 專用分鏡工具」（不存在）。 4. **法律**：維持「只用合法成年配音/素材」（CLAUDE.md 音訊方案紅線一致）。 ``` The markdown above is the complete deliverable. Key grounding facts confirmed against the real codebase at `/Users/daihaoting_1/Desktop/ai-matrix/script_to_vn.py`: - `camera` field (line 69) genuinely mixes framing+angle → confirms the "split into framing+angle" recommendation - `prev_stage` single-string carry-over (line 211) → confirms the structured carry-over state recommendation - pure-char `split_chunks` (line 114) → confirms the semantic-split recommendation - existing `chunks_cover_raw` is chunk-level (line 140) → confirms the beat-level `src_span` upgrade - `budget_prompt` 77-token logic (lines 157-186) and fail-loud `INCOMPLETE.json` (line 283) confirmed as existing moats not to rebuild The decision is: **do not integrate any external MCP/RAG (none pluggable exists — "出片 MCP 成熟、分鏡 MCP 荒漠"), heavily borrow ViMax schema + PenShot/Soap2Soap continuity mechanisms + AI Comic Factory truncation fixes, and never let the modality-routing / NSFW state-machine moats degrade.**