使用大语言模型进行文本分类任务需要微调吗？

楼主是做经济学研究的，近期工作涉及到利用 LLM 进行文本分类。在查阅文献（主要是经济学交叉应用类）时，我观察到一个趋势：作者们倾向于获取特定任务的标注数据，然后在 BERT、ERNIE 等模型上进行微调，以完成分类。

由于我的技术背景有限，对于这种方法的选择及其替代方案有些疑问，想听听大家的专业意见：

1.微调的实际可行性： 用专门的分类数据去微调一个通用预训练模型，会不会损失模型基础性能，导致在遇到与微调数据不太一样的文本时，表现反而变差？
2.是否可以直接使用 GPT 等模型替代： 现在有许多能力非常强大的 LLM，似乎可以通过给出清晰的指令（Prompt）就能完成很多任务。对于文本分类来说，直接使用这类强模型+好 Prompt，相比于“训练”一个基础模型，是不是一种更高效（开发时间短、可能效果还好）的选择？在这种情况下，应该如何验证分类的准确性？
我主要想理解这两种技术路径的适用场景、优缺点以及实际操作中的考量。任何经验分享或建议都将对我非常有帮助！谢谢大家！ 254 天前