1.《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》

概述：

該論文提出了一種通過純強化學習（RL）自主激發(fā)大語言模型（LLM）推理能力的方法，結(jié)合群體相對策略優(yōu)化（GRPO）算法和雙階段訓練策略（推理導向RL與通用對齊RL），顯著提升了模型在數(shù)學、編程等結(jié)構(gòu)化任務(wù)中的性能。實驗顯示，其Pass@1準確率在AIME 2024任務(wù)中達79.8%，推理成本僅為同類模型的1/30。

創(chuàng)新點：

· GRPO算法：替代傳統(tǒng)PPO，通過組內(nèi)獎勵對比優(yōu)化策略，無需獨立價值模型，降低計算開銷28。

· 冷啟動+多階段RL：結(jié)合少量高質(zhì)量推理鏈數(shù)據(jù)微調(diào)，規(guī)范輸出格式（如標簽），提升可讀性與任務(wù)適應(yīng)性2。

· 蒸餾技術(shù)：將80萬條推理數(shù)據(jù)用于小模型微調(diào)，7B模型在數(shù)學任務(wù)中超越32B基線模型，實現(xiàn)高效推理能力遷移210。

2.《DeepSeek-V3 Technical Report》

概述：

該技術(shù)報告介紹了DeepSeek-V3的混合專家（MoE）架構(gòu)，包含671B總參數(shù)（每個Token激活37B），采用多頭隱注意力（MLA）和無輔助損失的負載平衡策略，預(yù)訓練14.8萬億Token。其在MATH-500任務(wù)中準確率達97.3%，訓練成本僅為Llama 3系列的1/15，性能對標GPT-4o。

創(chuàng)新點：

· MLA與DeepSeekMoE：提升推理效率與經(jīng)濟性，支持128K長上下文處理69。

· 多Token預(yù)測（MTP）：擴展預(yù)測范圍至多個未來Token，增強數(shù)據(jù)效率和表征預(yù)規(guī)劃能力6。

· 低成本訓練優(yōu)化：通過FP8混合精度訓練和工程優(yōu)化，每萬億Token訓練僅需18萬H800 GPU小時，顯著降低資源消耗。

3.《DeepSeek-R1-Zero: Self-Evolving Reasoning via Pure Reinforcement Learning》

  MoE大模型架構(gòu)核心就是通過動態(tài)路由機制將輸入數(shù)據(jù)分配到不同的子網(wǎng)絡(luò)（或者說專家）進行處理每次應(yīng)用的時候只會激活部分的專家這樣就可以提高計算的效率降低訓練和推理的成本。DeepSeek MoE采用動態(tài)專家激活與參數(shù)高效利用，無輔助損失負載均衡，模塊化可擴展架構(gòu)，F(xiàn)P8低精度訓練與硬件協(xié)同優(yōu)化等創(chuàng)新技術(shù)，實現(xiàn)了“讓正確的專家完成正確的合作”。這進一步解釋了6700億參數(shù)中DeepSeek V3只需要激活370億參數(shù)的原因所在。

  MLA (Multi-Head Latent Attention) 多頭潛在注意力是DeepSeek在V3版本架構(gòu)上的創(chuàng)新，實現(xiàn)優(yōu)化顯存與計算效率，通過低秩鍵值聯(lián)合壓縮（Low-rank Key-Value Joint Compression）和潛在變量建模，減少推理時的KV緩存占用，同時保持或提升模型性能，解決了傳統(tǒng)MHA (Multi-Head Attention) 多頭注意力架構(gòu)，因并行多個注意力頭捕捉輸入序列的不同關(guān)聯(lián)造成的顯存占用高、長序列計算效率低的問題。以編輯雜志為例，形象化的描述MLA和MHA的核心原理以及MLA的創(chuàng)新所在。如圖2所描述，基于MHA的普通模型：每個欄目的寫作需要所有編輯同時參與，每個人都要記住整本書的情節(jié)（存儲所有KV緩存），導致效率低下。MLA模型：主編先提煉出每個欄目的領(lǐng)域（潛在向量），然后根據(jù)當前欄目的領(lǐng)域（如物理、航空航天）只調(diào)用相關(guān)領(lǐng)域的編輯（專家），其他人休息。這樣既節(jié)省時間，又保證內(nèi)容質(zhì)量。

DeepSeek R1 基于群體相對策略優(yōu)化（GRPO）的強化學習架構(gòu)，引領(lǐng)逆向創(chuàng)新風向

  DeepSeek技術(shù)突破的標志性成果當屬其推理模型雙星——DeepSeek-R1-Zero與DeepSeek-R1，這兩大模型的問世首次構(gòu)建起與OpenAI o1推理體系的技術(shù)抗衡能力。在R1系列面世前，OpenAI的o1長期占據(jù)推理模型賽道的壟斷地位。DeepSeek實現(xiàn)"破圈傳播"的核心創(chuàng)新體現(xiàn)在雙重維度：顯性交互層面，R1模型不僅輸出最終結(jié)果，更首創(chuàng)"思維過程可視化"機制，將隱式推理鏈條轉(zhuǎn)化為可解釋的逐步推導路徑；技術(shù)底層層面，其突破性在于構(gòu)建了完全脫離人類反饋的強化學習訓練范式。值得注意的是，R1的技術(shù)演進始自其前身R1-Zero，研發(fā)團隊在該原型階段實施了極具風險的技術(shù)驗證：采用純強化學習框架，摒棄監(jiān)督微調(diào)環(huán)節(jié)，直接探索大模型在零人工標注數(shù)據(jù)環(huán)境下自主演化推理能力的可能性。這項被稱為"無監(jiān)督認知覺醒"的實驗，最終驗證了語言模型通過自主探索-利用機制發(fā)展出復雜推理能力的可行性。如圖3所示，DeepSeek R1研究論文中展示的自進化強化學習架構(gòu)示意圖，其技術(shù)框架以"環(huán)境交互-策略內(nèi)生-獎勵自洽"三重機制為理論根基，重點論證了無需人類反饋的強化學習范式作為系統(tǒng)核心支柱的可行性。

  從技術(shù)演進脈絡(luò)分析，GRPO的創(chuàng)新性體現(xiàn)為基于PPO范式的架構(gòu)重構(gòu)而非理論顛覆，其技術(shù)路徑的連續(xù)性表現(xiàn)在兩個維度：其一，繼承策略梯度法的參數(shù)空間優(yōu)化內(nèi)核，保留策略模型與環(huán)境交互的馬爾可夫決策過程建?？蚣?；其二，將PPO的顯式優(yōu)勢估計-策略更新分離機制，轉(zhuǎn)化為基于群體采樣的隱式策略評估-改進循環(huán)，通過算法組件重組實現(xiàn)計算流重構(gòu)。盡管該方案因去除價值模型引發(fā)"策略退化風險"的技術(shù)爭議，但DeepSeek通過三階技術(shù)補償機制完成創(chuàng)新閉環(huán)：①采用動態(tài)過程監(jiān)督獎勵塑形，在生成長文本時實施多粒度即時反饋；②構(gòu)建隱式課程學習機制，通過組內(nèi)輸出質(zhì)量分布自動調(diào)節(jié)探索-利用平衡；③設(shè)計計算最優(yōu)性驅(qū)動的策略熵約束，在降低方差的同時維持策略多樣性。這種逆向工程創(chuàng)新思維本質(zhì)上是以大語言模型訓練的現(xiàn)實算力約束為先驗條件，通過結(jié)構(gòu)簡化→計算加速→數(shù)據(jù)通量提升→策略隱性增強的鏈式反應(yīng)，在數(shù)學定理證明等復雜推理任務(wù)中實現(xiàn)百倍級訓練速度提升，驗證了"參數(shù)效率優(yōu)先于架構(gòu)完備性"的技術(shù)假設(shè)。

總結(jié)：

  在生成式AI技術(shù)范式重構(gòu)期，DeepSeek提出的逆向漸進式創(chuàng)新架構(gòu)開創(chuàng)了系統(tǒng)級優(yōu)化的新范式：其核心在于以終端場景需求為錨點，逆向重構(gòu)技術(shù)路徑實現(xiàn)效率躍遷。典型技術(shù)突破包括——基于低秩緩存重構(gòu)的多頭潛在注意力（MLA）機制，將KV緩存顯存消耗降低76%的同時維持多粒度語義建模能力；采用動態(tài)子模型激活的混合專家架構(gòu)（MoE），使175B參數(shù)模型推理成本降至1/8。這種架構(gòu)革新不僅驅(qū)動DeepSeek V3/R1實現(xiàn)性能-能效雙突破，更引發(fā)三重產(chǎn)業(yè)變革：催化垂直領(lǐng)域AI原生應(yīng)用爆發(fā)，重構(gòu)大模型開源與閉源的價值平衡點，倒逼GPU算力市場形成彈性供給體系，最終推動生成式AI從實驗室創(chuàng)新向量產(chǎn)化部署的歷史性跨越。