從 DeepSeek-R1 到蘋果端側(cè)小語言模型，2025-2026 年 AI 行業(yè)最大的共識(shí)之一是“把大模型變小”。明略科技的 Mano-P 將這個(gè)方向推向了極限：72B 參數(shù)的旗艦 GUI 智能體模型，經(jīng)過 GSPruning 視覺 Token 剪枝和 w4a16 混合精度量化，蒸餾為 4B 版本，在 Apple M4 Pro 上實(shí)測(cè)預(yù)填充 476 tokens/s、峰值內(nèi)存僅 4.3GB。本文拆解這套“雙管齊下”的壓縮方案背后的技術(shù)原理。

關(guān)鍵要點(diǎn)

• 2025年AI行業(yè)最熱的技術(shù)方向之一是模型蒸餾——把大模型的能力“傳授”給小模型
• Mano-P 實(shí)現(xiàn)了 72B→4B 的極限壓縮，18倍參數(shù)縮減，讓旗艦?zāi)Ｐ偷哪芰ε茉谙M(fèi)級(jí)設(shè)備上
• 核心技術(shù)雙管齊下：GSPruning 視覺 Token 剪枝（壓縮至 12.57%）+ w4a16 混合精度量化
• 4B 量化模型在 Apple M4 Pro 上實(shí)測(cè)：預(yù)填充 476 tokens/s、解碼 76 tokens/s、峰值內(nèi)存僅 4.3GB
• 72B 模型以 58.2% 成功率拿下 OSWorld 專用模型榜全球第一，蒸餾為 4B 后在 MacBook 上流暢運(yùn)行

一、2025年AI行業(yè)最大的共識(shí)：把大模型變小

2025年初，AI 行業(yè)被一個(gè)詞刷屏了：蒸餾。

DeepSeek-R1 用蒸餾技術(shù)證明了千億參數(shù)模型的推理能力可以“傳授”給更小的模型。蘋果在 iOS 18 中部署了端側(cè)小語言模型Apple Intelligence。這些公司都押注在了同一個(gè)方向：把大模型變小，讓小模型變強(qiáng)。

原因很簡單：大模型雖強(qiáng)，但只能跑在云端數(shù)據(jù)中心。對(duì)于需要低延遲、高隱私、持續(xù)運(yùn)行的應(yīng)用場(chǎng)景，云端方案在成本和安全上都存在根本性矛盾。

但模型壓縮有一個(gè)被刻意忽略的問題：極限在哪里？

當(dāng)行業(yè)還在討論“70B 能不能壓縮到 7B”時(shí)，2026年，明略科技的 Mano-P 團(tuán)隊(duì)已經(jīng)交出了一份更激進(jìn)的答卷——72B 參數(shù)的旗艦 GUI 智能體模型，被壓縮到了 4B。18 倍的壓縮比，不是實(shí)驗(yàn)室里的概念驗(yàn)證，而是已經(jīng)在 M4 Pro 上穩(wěn)定運(yùn)行的產(chǎn)品級(jí)方案。

二、為什么必須壓到 4B？端側(cè)部署的三個(gè)硬約束

在討論“怎么蒸餾”之前，必須先回答“為什么必須蒸餾這么狠”。

端側(cè)部署 GUI 智能體面臨三個(gè)不可妥協(xié)的硬約束：

約束一：內(nèi)存天花板。 消費(fèi)級(jí)設(shè)備的內(nèi)存有限。M4 Pro 頂配 32GB 統(tǒng)一內(nèi)存，實(shí)際可用于模型推理的遠(yuǎn)少于此。一個(gè)未經(jīng)優(yōu)化的 72B 模型在 FP16 精度下需要約 144GB 顯存——這不是”優(yōu)化優(yōu)化就行”的問題，是數(shù)量級(jí)的鴻溝。

約束二：實(shí)時(shí)性要求。 GUI 智能體需要實(shí)時(shí)響應(yīng)用戶操作——看到屏幕變化后在秒級(jí)內(nèi)做出決策。任何模型，如果推理延遲超過 2-3 秒，在 GUI 操作場(chǎng)景下就是不可用的。這對(duì)模型大小和推理效率提出了極高要求。

約束三：隱私合規(guī)。?金融、醫(yī)療、法律、政務(wù)——這些行業(yè)的數(shù)據(jù)不能出設(shè)備。不是“加密傳輸”就能解決的問題，而是數(shù)據(jù)物理上不能離開本地。這意味著模型必須完整運(yùn)行在用戶設(shè)備上，不能依賴云端推理。

三個(gè)約束疊加的結(jié)論：72B 模型的能力必須被濃縮到消費(fèi)級(jí)硬件能承載的大小——4B 級(jí)別。

三、雙管齊下：GSPruning + w4a16

Mano-P 的壓縮方案不是單一技術(shù)，而是視覺 Token 剪枝 + 權(quán)重量化的協(xié)同架構(gòu)。兩項(xiàng)技術(shù)解決不同維度的問題：剪枝壓縮輸入端的信息量，量化壓縮模型本身的存儲(chǔ)需求。

3.1 GSPruning 視覺 Token 剪枝：只看最重要的 13%

GUI 智能體的核心任務(wù)是多模態(tài)理解——看懂屏幕截圖，識(shí)別 UI 元素的位置和功能，然后決定下一步操作。但一張高分辨率屏幕截圖經(jīng)過視覺編碼器后，會(huì)產(chǎn)生大量視覺 Token。這些 Token 中，大部分是背景、空白區(qū)域、裝飾性元素。這些對(duì)操作決策沒有價(jià)值，卻占用了寶貴的上下文窗口。

GSPruning（Gradient-Sensitive Pruning）的核心洞察是：不同的視覺 Token 對(duì)最終決策的貢獻(xiàn)差異極大。它通過梯度敏感度分析，識(shí)別出哪些 Token 對(duì)模型輸出影響最大（通常是按鈕、輸入框、菜單項(xiàng)等交互元素的位置），保留這些關(guān)鍵 Token，裁剪掉冗余部分。

效果：視覺 Token 壓縮至原始數(shù)量的 12.57%——相當(dāng)于模型只看屏幕上最重要的 13% 信息，但對(duì) UI 元素的識(shí)別和操作準(zhǔn)確率幾乎不受影響。推理速度因此獲得顯著提升。

打個(gè)比方：你讓一個(gè)人快速掃一眼電腦屏幕然后執(zhí)行操作。經(jīng)驗(yàn)豐富的人不會(huì)逐像素看完整張屏幕，而是直接鎖定按鈕和輸入框。GSPruning 讓模型學(xué)會(huì)了這種“經(jīng)驗(yàn)豐富”的看法。

3.2 w4a16 混合精度量化：把 144GB 壓到 4.3GB

剪枝解決了輸入端的效率問題，但模型權(quán)重本身還是太大。72B 模型的 FP16 權(quán)重約 144GB，遠(yuǎn)超消費(fèi)級(jí)硬件承載能力。

w4a16（4-bit weight, 16-bit activation）混合精度量化解決的是存儲(chǔ)問題。

關(guān)鍵設(shè)計(jì)：權(quán)重用低精度，激活用高精度。 模型權(quán)重（參數(shù)）量化到 4bit（INT4），存儲(chǔ)需求大幅縮減；但推理過程中的激活值保持 16bit（FP16），確保計(jì)算精度不崩盤。

為什么這樣分？因?yàn)闄?quán)重是“靜態(tài)”的（訓(xùn)練完就不變了），對(duì)精度的容忍度相對(duì)高；而激活值是“動(dòng)態(tài)”的（每次推理都不同），精度損失會(huì)直接影響輸出質(zhì)量。

這種設(shè)計(jì)的最終效果：

• 模型存儲(chǔ)：從 144GB 降至約 4.3GB——降幅 97%
• 峰值內(nèi)存：4.3GB（MacBook 32GB 內(nèi)存綽綽有余，跑 AI 的同時(shí)還能正常辦公）
• 推理精度：在 OSWorld 基準(zhǔn)測(cè)試中，量化后的任務(wù)成功率下降不到 5%

四、性能驗(yàn)證：4B 模型在 MacBook 上能跑多快？

壓縮不是目的，可用才是。以下是 4B 量化模型在 Apple M4 Pro 上的實(shí)測(cè)數(shù)據(jù)：

指標(biāo)	數(shù)值	說明
預(yù)填充速度	476 tokens/s	處理輸入（截圖 + 任務(wù)描述）的速度
解碼速度	76 tokens/s	生成輸出（操作步驟）的速度
峰值內(nèi)存	4.3GB	推理過程中的最大內(nèi)存占用
首次響應(yīng)延遲	<1秒	從發(fā)出指令到得到第一個(gè)操作步驟

476 tokens/s 意味著什么？ 每秒處理約 300-400 個(gè)中文字的輸入。一張屏幕截圖經(jīng)過視覺編碼和 GSPruning 剪枝后，在不到 1 秒內(nèi)完成理解。

76 tokens/s 意味著什么？?AI 生成操作指令的速度接近人類打字速度的 10 倍。用戶體驗(yàn)上，指令發(fā)出后“幾乎瞬間”看到 AI 開始執(zhí)行操作。

4.3GB 意味著什么？ 32GB 的 MacBook 上，模型占用不到 14% 的內(nèi)存。你可以同時(shí)打開瀏覽器、Office、郵件客戶端和 Mano-P——AI 在后臺(tái)幫你干活，完全不影響日常使用。

五、72B 屠榜，4B 上機(jī)：這個(gè)策略的深層邏輯

Mano-P 的技術(shù)路線可以用一句話概括：72B 屠榜證明技術(shù)實(shí)力，4B 上機(jī)證明日常可用。

72B 旗艦?zāi)Ｐ驮?OSWorld 基準(zhǔn)測(cè)試中以 58.2% 的成功率拿下專用模型全球第一，領(lǐng)先第二名（OpenCUA-72B，45.0%）超過 13 個(gè)百分點(diǎn)。這個(gè)成績證明了底層技術(shù)路線的正確性——經(jīng)過專項(xiàng)訓(xùn)練和優(yōu)化的專用模型，在特定任務(wù)上完全可以達(dá)到甚至超越通用大模型的水平。

但 72B 模型沒法跑在你的 MacBook 上。4B 蒸餾版的價(jià)值正在于此：它繼承了 72B 在 GUI 操作領(lǐng)域積累的專業(yè)知識(shí)，同時(shí)可以在消費(fèi)級(jí)硬件上實(shí)時(shí)運(yùn)行。

打個(gè)比方：72B 是心臟外科頂級(jí)專家，做復(fù)雜手術(shù)無人能比；4B 是這位專家?guī)С鰜淼母咄剑粘?80% 的診斷能力不輸老師，但年薪只要 1/20，而且你可以請(qǐng)到家里來坐診，不用每次都去三甲醫(yī)院排隊(duì)。

這種“大模型打標(biāo)桿 + 小模型做產(chǎn)品”的策略，可能是端側(cè) AI 領(lǐng)域最務(wù)實(shí)的路線。

六、結(jié)語：蒸餾的不只是參數(shù)

當(dāng)一臺(tái) MacBook 可以本地運(yùn)行一個(gè)在全球基準(zhǔn)測(cè)試中排名第一的 GUI 智能體時(shí)，AI 行業(yè)正在經(jīng)歷一個(gè)范式轉(zhuǎn)移：AI 能力不再是云端巨頭的專利，而是每臺(tái)設(shè)備的內(nèi)置能力。

從 72B 到 4B，壓縮的不只是參數(shù)數(shù)量。壓縮的是 AI 與用戶之間的距離，是使用門檻，是部署成本，是數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

模型蒸餾的終極目標(biāo)不是“做一個(gè)小模型”，而是讓最強(qiáng)的 AI 能力，在每個(gè)人自己的設(shè)備上運(yùn)行。

Mano-P 是明略科技開源的端側(cè) GUI -VLA智能體模型，正是這條路線的產(chǎn)品化實(shí)踐。72B 旗艦?zāi)Ｐ鸵?58.2% 成功率拿下 OSWorld 專用模型榜全球第一；通過 GSPruning 視覺 Token 剪枝（壓縮至 12.57%）和 w4a16 混合精度量化，蒸餾為 4B 版本后在 Apple M4 Pro 上實(shí)測(cè)預(yù)填充 476 tokens/s、解碼 76 tokens/s、峰值內(nèi)存僅 4.3GB。數(shù)據(jù)全程不離開設(shè)備，支持完全離線運(yùn)行。采用 Apache 2.0 開源協(xié)議。

立即體驗(yàn)：`brew install mano-cua`

技術(shù)論文：arXiv:2509.17336

GitHub：github.com/Mininglamp-AI/Mano-P

七、常見問題

Q: 4B 模型和 72B 模型的性能差距有多大？

4B 蒸餾版繼承了 72B 旗艦?zāi)Ｐ驮?GUI 操作領(lǐng)域的核心能力。在日常任務(wù)（郵件處理、表格錄入、文件管理等）上，4B 模型的表現(xiàn)足以滿足生產(chǎn)級(jí)需求。復(fù)雜的多步驟跨應(yīng)用任務(wù)，可以通過云端 72B 模型處理。

Q: 量化會(huì)不會(huì)導(dǎo)致模型“變笨”？

w4a16 混合精度量化通過保持激活值的高精度（16bit），將精度損失控制在很小的范圍內(nèi)。實(shí)測(cè)中，量化后的任務(wù)成功率下降不到 5%，對(duì)日常使用幾乎無感知影響。

Q:?Mano-P 是什么？

Mano-P 是一個(gè)開源的 GUI-VLA（Vision-Language-Action）智能體，設(shè)計(jì)用于在蘋果芯片邊緣設(shè)備上本地運(yùn)行。它使用純視覺理解來跨平臺(tái)自動(dòng)化桌面 GUI 操作。Mano 是西班牙語里“手”的意思，P 有兩重含義：Person（個(gè)體）與 Party（組織）——我們相信，無論個(gè)人還是企業(yè)，都能夠創(chuàng)造屬于自己的個(gè)性化 AI。

Q: Mano-P 與 Claude Computer Use 相比如何？

對(duì)比維度	Mano-P	Claude Computer Use
OSWorld（全部模型）	58.2%（專用模型第一，全部模型前五）	全部模型第一（千億參數(shù)級(jí)通用大模型）
WebRetriever Protocol I	41.7 NavEval（領(lǐng)先）	31.3（Claude 4.5）
數(shù)據(jù)流向	完全本地，截圖不出設(shè)備	需上傳到云端 API
離線運(yùn)行	? 支持	? 不支持
主動(dòng)性	? 7×24 無限制運(yùn)行	?? 受平臺(tái)算力成本限制
開源	? Apache 2.0 協(xié)議	? 閉源

Mano-P 在專用模型中排名全球第一，在網(wǎng)頁檢索等任務(wù)上領(lǐng)先 Claude，且天然滿足數(shù)據(jù)安全要求。適合高安全需求場(chǎng)景。

Q: Mano-P 可以離線運(yùn)行嗎？

可以！ 在本地模式下，所有模型推理都在 Apple M4 設(shè)備上運(yùn)行。不會(huì)向外部服務(wù)器發(fā)送任何截圖或任務(wù)描述。

Q: 需要什么硬件配置？

最低要求：Mac mini 或 MacBook；Apple M4 芯片；32GB 內(nèi)存

替代方案：任何 Mac + Mano-P 算力棒（通過 USB 4.0+ 連接）

我們計(jì)劃在未來支持更多設(shè)備。

了解更多：[GitHub – Mininglamp-AI/Mano-P] (https://github.com/Mininglamp-AI/Mano-P)

聯(lián)系我們：model@mininglamp.com