行业痛点
大语言模型的参数规模持续扩张，前沿性能模型往往达到千亿甚至数千亿参数级别。MoE混合专家架构凭借激活稀疏性的特性，成为扩展模型参数的主流方向，但多数MoE模型的推理仍然依赖数据中心级多卡集群，普通用户的消费级硬件无法运行前沿规模的模型。
本地运行大模型的需求持续增长，用户对数据隐私、离线使用的要求不断提高，但现有推理引擎大多针对云端部署优化，对消费级硬件的异构资源利用率极低。GPU显存不足时，只能通过静态分页将权重卸载到CPU内存，无法根据实际带宽动态调整执行策略，最终推理速度慢到无法支持交互式使用。
智能体应用场景下，上下文编辑、工具调用、思维块修改都需要重新计算整段上下文的KV缓存，带来大量冗余计算，直接拉长了响应时间，也浪费了硬件资源。FreeToken针对这些问题给出了一套完整的边缘原生解决方案。
项目概述
FreeToken是由FlashML团队开发的开源推理引擎，核心定位是边缘原生MoE推理服务引擎，将消费级设备的异构资源整合成统一弹性推理平台，支持在普通游戏PC上运行数百亿参数的前沿MoE模型，达到可交互的推理速度。
该项目采用Apache 2.0许可证开放全部源代码，社区开发活跃，已经建立了包含Discord、Slack和微信在内的多渠道社区交流通道，当前主分支已经支持绝大多数主流开源MoE模型，文档完善度满足生产使用要求。
技术架构深度分析
FreeToken采用边缘原生的架构设计思路，从底层开始适配消费级硬件的资源特性，而非直接将云端推理架构向下裁剪。传统MoE推理大多将所有激活权重放在GPU显存，超出容量就直接静态卸载到CPU，这种设计没有考虑消费级设备PCIe带宽的动态变化，也没有利用CPU本身的计算能力。
FreeToken的核心架构围绕带宽自适应CPU-GPU协同执行设计，通过q*策略动态分配专家计算任务，根据当前PCIe带宽、GPU显存占用和CPU负载调整任务分配比例，最大化利用所有可用硬件资源。对于超出单卡显存的模型权重，不会直接将全部额外权重卸载到CPU，而是通过全局LRU专家缓存策略，将高频访问的专家保留在GPU显存，低频专家存放在CPU内存，动态换入换出，平衡显存占用和访问延迟。
全层双缓冲预fill流设计解决了大上下文预fill阶段的硬件 idle 问题。传统预fill需要加载完所有层权重才开始计算，GPU会等待权重加载完成，浪费大量时间。双缓冲设计将权重加载和层计算重叠执行，加载下一层权重的同时计算当前层，将IO等待时间完全隐藏，提升整体吞吐量。
语义感知缓存架构针对智能体场景优化，和传统全上下文重新计算的方案不同，引入语义锚点检查点保存 recurrent 状态和KV缓存，当上下文局部修改时，只需要重新计算修改点之后的部分，锚点之前的缓存可以直接复用，大幅减少冗余计算量。
整个架构支持图兼容执行，能够对静态计算图进行优化，减少CPU和GPU之间的通讯开销，进一步提升执行效率。自定义的FTW快速权重格式针对边缘设备的内存访问做了优化，相比通用格式减少了加载时间和内存碎片，提升了权重访问的带宽利用率。
核心功能详解
带宽自适应CPU-GPU协同执行
该功能基于q*动态调度策略实现，能够实时检测当前系统PCIe带宽和硬件负载，动态分配MoE专家的计算任务到GPU或者CPU。对于带宽较高的PCIe 4.0平台，会分配更多专家到CPU计算，利用CPU内存存放更多权重，减少GPU显存压力；对于带宽较低的平台，则调整分配策略，减少跨设备数据传输。实际使用中，相比静态卸载方案能够提升30%到80%的推理速度，让大参数模型在消费级硬件上达到可交互的速度。
全局LRU专家缓存
MoE模型每次推理只激活部分专家，不同输入激活的专家存在重复。FreeToken基于LRU策略将高频访问的专家常驻GPU显存，低频专家存放在CPU内存，动态完成换入换出。这种设计充分利用了MoE激活稀疏性的特点，在有限GPU显存内容纳更大规模的模型，同时减少不必要的跨设备数据传输。实际运行中，能够大幅降低平均推理延迟，避免突发的显存溢出导致程序崩溃。
全层双缓冲预fill流
处理长上下文输入时，预fill阶段往往需要逐层加载权重，传统推理架构中GPU会等待权重加载完成再开始计算，产生大量IO空闲时间。双缓冲设计将当前层计算和下一层权重加载并行处理，把IO等待时间完全隐藏在计算过程中。长上下文输入下，预fill吞吐量能够提升40%以上，用户输入长文档后的等待时间明显缩短，支持更长的上下文窗口在本地运行。
语义感知缓存与锚点检查点
针对智能体场景中频繁的上下文局部编辑，该功能引入语义锚点记录检查点，保存对应位置的recurrent状态和KV缓存。当用户修改工具调用结果、调整思维块内容或者插入新的上下文时，不需要重新计算锚点之前的整段上下文，只需要计算修改部分之后的内容。对于需要反复修改上下文的智能体应用，能够减少70%以上的冗余计算，响应速度提升非常明显。
弹性运行时VRAM重分配
支持在推理运行时动态调整GPU显存分配，根据当前模型规模和输入上下文长度调整权重缓存和KV缓存的占比。处理短上下文时，会留出更多显存给专家缓存，提升缓存命中率；处理长上下文时，自动扩容KV缓存的显存占用，减少缓存淘汰。这种动态调整机制最大化利用了有限的GPU显存，避免了静态划分带来的显存浪费，能够适配不同的使用场景。
FTW快速权重格式
FreeToken自定义了针对边缘推理优化的FTW权重格式，对MoE专家参数做了布局优化，减少内存碎片和随机访问开销。转换后的权重加载速度比原始格式快30%以上，运行时的权重访问带宽也更高。用户可以将开源模型的原始权重一键转换为FTW格式，不需要复杂的手动操作，转换过程保留了原始精度，不会带来模型效果损失。
图兼容执行优化
支持将静态计算图编译优化，减少CPU端的调度开销和GPU端的内核启动开销。对于固定结构的MoE模型，编译后的执行流减少了跨设备的通讯次数，降低了延迟。图优化过程不依赖特定的GPU架构，支持NVIDIA和AMD的消费级显卡，兼容主流的CUDA和ROCm环境，普通用户不需要额外配置即可享受优化带来的速度提升。
项目地址：https://github.com/FlashML-org/FreeToken
⭐ Stars：3766
🔍 来源：GitHub
等优化，让游戏显卡也能流畅推理 DeepSeek-V4-Flash、Qwen3.6-35B-A3B 等热门模型。它爆火正中"本地大模型"风口，加上 UC Berkeley 顶级学术班底（I ia 等）加持，可信度拉满。对开发者而言，本地部署前沿模型的成本被大幅拉低，私有化、离线化的 AI 应用想象空间就此打开。 https://
微信扫一扫，打赏作者吧～
