Liquid AI发布超低延迟推理引擎,瞄准搜索、广告和支付风控
发布时间:2026-10-23
动察 Beating AI 快讯,Liquid AI 发布了实时推理引擎 RIPL,让自家的小型 AI 模型能在几十毫秒内完成生成,瞄准搜索排序、广告匹配、支付风控等对速度要求很高的业务。这些领域早就有成熟的 AI 模型,但通常需要针对具体任务进行训练。语言模型可以直接理解用户输入、生成关键词或给出判断,只是推理速度往往跟不上实时业务。RIPL 是一套专门加速 Liquid AI 现有模型的运行系统,优化从收到请求到返回完整结果的整个过程。官方使用单张 NVIDIA B200 测试。在每秒 1000 次请求、输入输出各 32 Token 的条件下,1.2B 参数的 LFM2.5 有 95% 的请求在 34.6 毫秒内完成。作为对比,Qwen3.5-0.8B 搭配 vLLM 需要约 498 毫秒,相差 14.4 倍。----------缘辉旺盾网量化工具温馨提示:数字货币投资有风险,入市需谨慎;本文章不作为投资依据,仅供参考----------交流群:https://t.me/dunwangyuanhuiwang

动察 Beating AI 快讯,Liquid AI 发布了实时推理引擎 RIPL,让自家的小型 AI 模型能在几十毫秒内完成生成,瞄准搜索排序、广告匹配、支付风控等对速度要求很高的业务。


这些领域早就有成熟的 AI 模型,但通常需要针对具体任务进行训练。语言模型可以直接理解用户输入、生成关键词或给出判断,只是推理速度往往跟不上实时业务。


RIPL 是一套专门加速 Liquid AI 现有模型的运行系统,优化从收到请求到返回完整结果的整个过程。


官方使用单张 NVIDIA B200 测试。在每秒 1000 次请求、输入输出各 32 Token 的条件下,1.2B 参数的 LFM2.5 有 95% 的请求在 34.6 毫秒内完成。作为对比,Qwen3.5-0.8B 搭配 vLLM 需要约 498 毫秒,相差 14.4 倍。

----------缘辉旺盾网量化工具温馨提示:数字货币投资有风险,入市需谨慎;本文章不作为投资依据,仅供参考 ----------交流群:https://t.me/dunwangyuanhuiwang