专为端侧智能体打造的轻量级推理模型

Liquid AI 正式发布 LFM2.5-24B-A2B，这是一款拥有 240 亿总参数但仅激活 20 亿参数的混合专家（MoE）推理模型。该模型旨在为端侧设备提供快速、私密的智能体支持，具备“先思考后回答”的思维链能力，并能在主流框架中处理多步骤任务及工具调用。由于每个推理令牌仅激活 20 亿参数，其推理成本极低，适合在自有硬件上持续运行。

  • 顶尖智能体性能：在与总参数量和激活参数量均多出约 50% 的 Qwen3.6-35B-A3B 对比中，LFM2.5-24B-A2B 在智能体和工具使用任务上表现相当，且在 LiveClaw 基准测试中以 48.09 分超越后者的 38.19 分。
  • 高效推理速度：模型在 Apple M5 Max 芯片上的解码速度达每秒 184 个令牌，在单张 NVIDIA B300 GPU 上的输出速度高达每秒 21,000 个令牌。
  • 低成本算力：得益于 MoE 架构，每个令牌的算力成本显著降低，同时保持高性能推理。

架构升级与训练细节

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，保留了 40 层深度、64 个专家的 MoE 块、Top-4 路由机制以及门控短卷积与 GQA（分组查询注意力）架构。主要升级包括：

  • 上下文与词表扩展：上下文窗口从 32K 令牌扩展至 131K 令牌；通过原地分词器扩展，词汇量从 65K 翻倍至 128K，提升了非拉丁语系的处理效果。
  • 纯推理模式：与前代不同，该模型为纯推理模型，在给出最终答案前会生成显式思维链。
  • 大规模预训练：预训练数据规模从约 17T 令牌扩大至约 33T 令牌。中期训练增加了 2T 偏向推理、数学、代码及多语言的短上下文数据，以及 300B 长上下文数据。

后训练阶段通过监督微调（SFT）、教师模型专业化、两阶段多域在线策略蒸馏（MOPD）以及智能体强化学习（Agentic RL），将基础模型转化为具备智能体能力的模型。

基准测试表现

在涵盖工具使用、智能体工作流、知识、指令遵循、数学和编程的 16 项基准测试中，LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 及 Nemotron-3.5-Lightning 进行了对比。尽管参数量最小，其性能仍可与参数量多出 50% 的 MoE 模型媲美。

在工具使用和指令遵循方面优势明显：LFM2.5-24B-A2B 在 AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking 五项测试中领先或持平，其中在 AutomationBench 上的得分（27.69）是次优模型（8.72）的三倍以上。在所有三项指令遵循基准测试中均处于领先地位。

然而，在 GPQA Diamond、HLE 等重知识型基准测试，以及 SWE-Bench Verified 和 SciCode 等编程基准测试中，较大规模的模型仍保持优势。因此，建议在处理重知识负载时，将 LFM2.5-24B-A2B 与检索增强生成（RAG）或网络搜索结合使用。

推理速度与生态支持

LFM2.5-24B-A2B 首日即支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX 等主流推理后端。

  • 边缘推理：作为同级别最快的 MoE 模型，其在 M5 Max 上的解码速度为每秒 184 个令牌，在 Ryzen AI Max+ 395 上为每秒 114 个令牌，比次优模型快多达 1.7 倍，且内存占用最低。
  • GPU 推理：在单张 B300 GPU 高并发运行时，每秒输出超过 21,000 个令牌，是其尺寸类别中最快的模型。

部署与使用指南

LFM2.5-24B-A2B 及其基础版 LFM2.5-24B-A2B-Base 均为开放权重模型，已在 Hugging Face 上线。用户可通过兼容 OpenAI 的后端本地部署，并接入 Hermes Agent、OpenClaw 等智能体框架。

安装依赖：

pip install -U transformers

Python 加载示例：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在智能体框架中配置时，需根据后端设置相应端口（llama.cpp/MLX 为 8080，vLLM 为 8000，SGLang 为 30000，LM Studio 为 1234），并启用工具调用强制选项。