Scratch

大語言模型（英文：Large Language Model，縮寫：LLM）是一類基於深度學習、特別是Transformer架構的人工智能系統，通過對海量文本數據進行訓練以理解、生成和交互自然語言。 其核心機制為預測給定文本序列後的最可能詞元（token），憑藉數十億至數萬億級別的參數量，模型能夠執行文本生成、翻譯、摘要、代碼編寫及複雜推理等任務。 2017年Google提出的Transformer架構為現代大語言模型奠定基礎， 2018年OpenAI的GPT與Google的BERT相繼發布，標誌着大語言模型時代的正式開啟。 此後，模型規模與能力持續擴展，以GPT-4、Claude、Gemini等為代表的系統已具備多模態理解與長上下文處理能力，廣泛應用於科研、商業及日常交互場景。

定義

核心特徵

大語言模型的"大"主要體現在兩方面：一是參數量（parameters）規模巨大，從數億到數萬億不等；二是訓練數據量龐大，可達數萬億詞元。 模型通過自監督學習在海量未標註文本上建立詞與詞之間的統計關係，再經監督微調（Supervised Fine-Tuning）與基於人類反饋的強化學習（RLHF）等階段優化輸出質量。 從功能角度，當前部署的系統多屬"狹義"大語言模型，專注於語言相關任務；而具備跨領域通用推理能力的通用人工智能（AGI）仍處於研究階段。

與早期語言模型的區別

區別於1960年代基於規則的ELIZA或1990年代的統計N-gram模型，現代大語言模型採用深度神經網絡，特別是Transformer架構，通過自注意力機制（self-attention）捕捉長距離語義依賴，實現並行計算與大規模擴展。

歷史

早期奠基

人工智能與自然語言處理的思想可追溯至1950年圖靈測試的提出。1966年，麻省理工學院的ELIZA程序基於規則匹配模擬對話，成為首個具有廣泛影響的聊天機械人。 1980年代後，統計語言模型逐漸取代規則系統；1997年長短期記憶網絡（LSTM）的提出解決了循環神經網絡（RNN）的長期依賴問題，為後續神經網絡語言模型奠定基礎。

Transformer革命

2017年6月，Google研究團隊在論文《Attention Is All You Need》中提出Transformer架構，引入自注意力機制與多頭注意力，徹底改變了自然語言處理的範式。 Transformer的並行計算能力使訓練更大規模模型成為可能，直接催生了大語言模型這一類別。

預訓練語言模型興起

2018年，OpenAI發布GPT（Generative Pre-trained Transformer），採用僅解碼器（decoder-only）架構與生成式預訓練策略；同年Google發布BERT（Bidirectional Encoder Representations from Transformers），採用雙向編碼器架構。 兩者確立了"預訓練+微調"的範式，證明大規模無監督預訓練可顯著提升下游任務表現。

規模擴展與湧現能力

2020年，OpenAI發布GPT-3，參數量達1750億，展現出上下文學習（In-Context Learning）、零樣本推理等"湧現能力"（Emergent Abilities），表明模型規模擴大可帶來質的能力躍遷。 同期，Google推出PaLM、Meta推出OPT等大規模模型，推動行業進入大模型擴展階段。

對齊與普及

2022年11月，OpenAI發布ChatGPT，基於GPT-3.5架構並引入RLHF技術，顯著提升了對話一致性與安全性，使大語言模型進入主流公眾視野。 此後，GPT-4、Claude 3、Gemini、Llama等模型在多模態理解、長上下文窗口（可達數百萬token）及推理能力上持續突破；開源模型生態亦蓬勃發展，降低了研究與應用門檻。

技術架構

Transformer基礎

幾乎所有現代大語言模型均基於Transformer架構。該架構由編碼器（Encoder）與解碼器（Decoder）組成，核心為自注意力機制，可動態計算序列中各詞元之間的關聯權重，擺脫了對循環結構的依賴，實現高效並行訓練。

主要架構變體

• 僅編碼器模型（Encoder-only）：如BERT，通過掩碼語言建模（Masked Language Modeling）學習雙向上下文表示，適用於文本理解任務。
• 僅解碼器模型（Decoder-only）：如GPT系列，通過自回歸方式逐詞元生成文本，適用於文本生成任務。
• 編碼器-解碼器模型（Encoder-Decoder）：如T5、BART，兼顧理解與生成，適用於翻譯、摘要等序列到序列任務。

訓練階段

典型大語言模型的訓練包括三階段：

1. 預訓練（Pre-training）：在大規模無標註文本上進行自監督學習，建立基礎語言能力與知識儲備。
2. 監督微調（Supervised Fine-Tuning, SFT）：在特定任務或高質量對話數據上微調，提升任務表現。
3. 基於人類反饋的強化學習（Reinforcement Learning from Human Feedback, RLHF）：通過人類偏好數據優化模型輸出，使其更符合人類價值觀與交互習慣。

應用

大語言模型已廣泛應用於多個領域：

• 文本生成與編輯：撰寫文章、詩歌、營銷文案及代碼。
• 機器翻譯：實現高質量跨語言轉換。
• 問答與信息檢索：作為搜尋引擎增強或獨立知識問答系統。
• 對話代理：客戶服務、教育輔導、個人助理等聊天機械人。
• 代碼輔助：代碼補全、漏洞檢測與程序生成。
• 科學研究：文獻綜述、假設生成與實驗設計輔助。

挑戰與爭議

幻覺與準確性

大語言模型可能生成看似合理但不符合事實的內容，此現象稱為"幻覺"（Hallucination）。由於模型本質是基於概率的文本預測器，其輸出並不保證事實準確性。

偏見與公平性

訓練數據中存在的社會偏見可能被模型學習並放大，導致在性別、種族、文化等維度上產生歧視性輸出。

資源消耗

訓練與運行大規模模型需要巨大的計算資源與能源，引發對環境可持續性的擔憂。

安全與濫用風險

模型可能被用於生成虛假信息、網絡釣魚內容或協助惡意代碼編寫。此外，通用人工智能（AGI）的長期風險亦引發學界與政策界的廣泛討論。