动察 Beating AI 快讯，AI 搜索公司 Parallel 用自身搜索业务中的真实案例，测试了 Jev、Perplexity、OpenAI Decisions 等 8 款决策模型。

测试包括 4 项任务：判断网页变化是否重要、过滤低质内容、选择搜索索引，以及给搜索结果排序。直接使用初始提示词时，Jev 在四项任务中的平均排名第一，Perplexity 第二，OpenAI 第五。

其中，最难的是判断网页变化是否值得重新处理。比如招聘信息只是调整了两条要求的顺序，可能不需要更新；排行榜名次发生变化，却值得重新抓取。测试采用综合衡量误报和漏报的指标，分数越高越好。Perplexity 最初得到 93.3 分，Jev 为 87.9 分，OpenAI 只有 79.0 分。

团队随后让 Claude 帮各个模型改进提示词。以网页变化识别为例，先准备 800 条人工标注的案例，让 Claude 检查模型的错误判断，再针对容易出错的情况补充规则。连续尝试 5 轮，每轮只保留成绩更好的版本。最终在独立测试集上，OpenAI 从 79.0 提高到 88.8，Rune 26B 从 74.1 升至 83.9，Nimble 9B 从 65.1 升至 75.3。三款模型都提高了约 10 分。

把网页变化识别、低质内容过滤和查询路由这三项任务合在一起计算平均分，Perplexity 从 97.3 升至 97.6，Jev 从 95.5 升至 96.5，OpenAI 则从 88.7 大幅提高到 95.1。8 款模型的平均分全部提高，但原本领先的模型进步有限，OpenAI 明显缩小了差距，优化后排在第三。

剩下的搜索排序任务单独计算。优化提示词后，Jev 排在前列的搜索结果与人工标注结果重合率达到 71.45%，Perplexity 为 70.68%。但 Parallel 自己微调的一款小型排序模型达到 75.21%，比 Jev 高约 3.8 个百分点，每 Token 推理成本也只有 Jev 的约四分之一。代价是必须自行收集标注数据、训练和部署。对于需要反复处理的大量固定任务，专门训练的小模型仍可能更划算。