正文
【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使用方式 (1/3)
当前流行的两种语言模型：GPT 和 BERT。
GPT 使用文字接龙训练，BERT 使用文字填空训练。
使用大型语言模型，就好比站在巨人的肩膀上。
“A mouse riding on the head of an elephant, using reins to steer the giant creature.”(powered by Midjourney )
对于大型语言模型的两种不同期待：
期待一：成为专才，解决某一个特定任务，如翻译、摘要等。
期待二：成为通才，什么都会（ChatGPT）。
早在 ChatGPT 之前，就有类似的想法：
- [1806.08730] The Natural Language Decathlon: Multitask Learning as Question Answering (arxiv.org)
- [1506.07285] Ask Me Anything: Dynamic Memory Networks for Natural Language Processing (arxiv.org)
成为专才的好处：专才在单一任务上有机会赢过通才
- [2301.08745] Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine (arxiv.org) 这篇论文试图将 ChatGPT 当作一个翻译软件来使用，并与主流翻译引擎做对比
得出结论，DeepL 翻译最好，ChatGPT 最差。
- [2302.09210] How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation (arxiv.org) 做出了类似的统计
成为通才的好处：只要重新设计 prompt 就可以快速新功能，不用写程式。直接用人类语言问 ChatGPT 问题即可。
单纯的 BERT 只会文字填空，不会说一整句话。通过改造 BERT 模型，加外挂和微调参数，让它成为会翻译、摘要、编修的专才。
加外挂（Head）BERT 之后继续加东西：LeeMeng - 進擊的 BERT：NLP 界的巨人之力與遷移學習
Finetune：在现有的模型上继续训练，微调其中的参数，使其成为一个翻译专才。
Adapter：修改语言模型中少部分的组件，使其成为专才。
BERT 的各种 Adapter：
- AdapterHub - 572 adapters for 76 text tasks and 50 languages
- [2210.06175] Exploring Efficient-tuning Methods in Self-supervised Speech Models (arxiv.org)
Adapter 的好处：原先解决多个任务就要多个大模型，现在只要一个大模型和多个 Adapter 即可。
【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使用方式 (2/3)
成为通才：机器要学会读题目叙述（Instruction Learning）或题目范例（In-context Learning）。
GPT 不像 BERT 一样可以 finetune，作者认为：
- OpenAI 对于 AI 就有比较高的期待（成为通才）
- BERT 已经走过这个路线了，另辟蹊径
调查机器是否能学到题目范例？通过带有正负面标签的句子进行训练，学会进行情感分析。然后故意给一些错误的标注和无关的输入。
- [2202.12837] Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? (arxiv.org)
结论：语言模型本来就会做情感分析，只是需要被指出需要做情感分析的任务（唤醒它）
- [2303.03846] Larger language models do in-context learning differently (arxiv.org) 认为大模型对错误例子更敏感（更容易收到影响），大机器才能做到 In-context Learning，并且当错误的例子越多，机器会倾向于给出错误的答案（证明有学到）。
直接给语言模型一些特征向量的数值和分类类别，让语言模型做分类。
一些模型的准度接近于 SVM。
Learning In-context Learning：让机器在 train 时学会 任务 A 和 B，在测试时学会 任务 C。
T0 这个模型就是一个例子：[2110.08207] Multitask Prompted Training Enables Zero-Shot Task Generalization (arxiv.org)
另一个例子 FLAN：[2109.01652] Finetuned Language Models Are Zero-Shot Learners (arxiv.org)
FLAN 训练了 Reading Comprehension 和 Closed-Book QA，测试了 Natural language inference 的能力。
【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使用方式 (3/3)
机器在推理题方面做的不好，Chain of Thought Prompting：在给机器例子的答案中加入推理过程，期待它能因为写出过程而得出正确答案。实验证明有用。
Hard Prompt与soft Prompt（类似于加上Adapter）
生成多个 prompt，使用表现最好的一个。