語言大模型由于在大規(guī)模通用領域數(shù)據(jù)預訓練通常缺乏對特定任務或領域的知識，因此需要適配微調(diào)。微調(diào)可以幫助模型更好地適應特定需求，如對敏感數(shù)據(jù)(如醫(yī)療記錄)的處理，同時不暴露原始數(shù)據(jù)。此外，微調(diào)可以提高部署效率、減少計算資源需求。指令微調(diào)和參數(shù)高效學習是適配微調(diào)的關鍵技術。

指令微調(diào)(Instruction Tuning)[21],是一種可以幫助語言大模型實現(xiàn)人類語言指令遵循的能力，在零樣本設置中泛化到未見任務上的學習方法。指令微調(diào)學習形式與多任務提示微調(diào)相似，但與提示微調(diào)讓提示適應語言大模型并且讓下游任務對齊預訓練任務不同，其是讓語言大模型對齊理解人類指令并按照指令要求完成任務，即在給定指令提示的情況下給出特定的回應，其中提示可以選擇性包含一條解釋任務的指令。指令微調(diào)研究涉及指令理解、指令數(shù)據(jù)獲取和指令對齊等內(nèi)容。

(1)指令理解，指語言大模型準確理解人類語言指令的能力，是語言大模型執(zhí)行指令完成任務的前提。為了增強對指令的理解，許多工作采用多任務提示方式對基于指令描述的大量任務集上對語言大模型進行微調(diào)，如FLAN[50]、InstructGPT[21]等，這些模型在未見的任務上顯示出優(yōu)越的零樣本性能。

(2)指令數(shù)據(jù)獲取，指如何構建包含多樣性的任務指令數(shù)據(jù)。指令數(shù)據(jù)構建常見有三種方式：i)基于公開人工標注數(shù)據(jù)構建，代表指令數(shù)據(jù)集包括1616種不同任務的Super-Natural Instruction[51]、2000種不同NLP任務的OPT-IML[52]。ii)借助語言大模型的自動生成構建，如Unnatural Instructions[53],通過種子指令作為提示讓語言大模型生成新的指令描述和問題，然后再輸入到模型讓其輸出回答。iii)基于人工標注方法，如ChatGPT在人工標注指令的基礎上通 過GPT-3、InstructGPT等在線平臺收集用戶真實指令數(shù)據(jù)。

附件：大模型專題一：中國人工智能系列白皮書——大模型技術-2023版