Hugging Face 介绍无需生成文本的决策模型

文章指出，大语言模型非常擅长生成文本，常被用来回答问题、编写代码和进行推理，但并非所有问题都需要生成文本。文中以客服系统为例：用户留言称订阅被重复扣款，并要求当天退款，系统需要判断应由哪个团队处理、紧急程度如何，以及客户是否在申请退款。一种做法是让大语言模型直接返回包含这些答案的JSON对象；示例中模型给出的结果是由Billing团队处理、紧急程度为High，并且确认客户在申请退款。文章接着提出另一种思路：模型能否跳过文本生成，直接评估已有选项，并给出这些选项上的概率分布。示例使用transformers中的decision管道，模型为autotrust/GEV-26B-Decide。输入的状态是订单被重复扣款并希望退款，问题类型为choice，要求判断应由哪个部门处理，候选项包括负责支付与退款的billing、负责故障与技术问题的technical，以及负责定价与订阅的sales。示例输出选择了billing，置信度约0.9974，各选项概率约为billing 0.9983、technical 0.0010、sales 0.0007。这就是决策模型的核心思路。所谓决策模型，会接收一段输入上下文（即state），针对带有一组预定义可选答案（即primitives）的问题进行评估，并返回结构化决策及其概率。它不再要求模型逐个token生成答案，而是让模型把概率分配给应用已经能够理解的那些选项。文中还提到，TypeSafe AI推出了名为Jev的模型，并将其称为System One模型。这一名称借鉴了快速直觉思维（系统1）与较慢审慎思维（系统2）的区分。