大模型对齐(Alignment)意义
大模型的对齐(Alignment),是指通过特定技术手段,让模型的目标、行为和价值观与人类的意图、道德规范及真实需求保持一致。未经对齐的预训练基础模型本质上只是一个“接龙机器”,它在海量互联网文本上训练,天然继承了网络上的偏见、有害言论、虚假信息甚至恶意引导。对齐的核心目标,就是让模型从“能说话”转变为“说人话、办人事”。
行业公认的对齐核心准则:HHH 原则
有用性(Helpful):准确理解用户意图并提供切实有效的帮助,而不是答非所问或敷衍推脱。
真实性(Honest):提供事实正确的信息,减少幻觉(Hallucination);如果不知道或遇到不确定的事实,能够主动承认。
无害性(Harmless):拒绝协助或生成违法、暴力、仇恨、歧视、侵犯隐私或危险的指令(如制作违禁品、编写恶意代码)。

