赋创 FR50D 支持哪些大模型？本地模型适配说明

赋创FR50D 的模型适配重点，是让 35B 及以下主流模型能够在边缘端或桌面端完成本地推理部署。对于实际项目而言，判断一款设备“能不能跑模型”不能只看参数量，还需要同时考虑模型结构、量化方式、上下文长度、运行框架以及业务调用方式。

FR50D 当前模型支持范围

FR50D 支持 Qwen3.6-35B、Qwen3.6-27B 及 35B 以下系列模型，并支持 Qwen3.8-27B 的本地推理运行。围绕 35B 与 27B 模型，FR50D 已完成模型加载、持续生成和 Chat API 等工程测试。

35B / 27B 模型的本地运行表现

在 FR50D 的 Qwen 35B 与 27B 工程测试中，测试内容覆盖模型装载、Prefill、首 Token 等待、Decode 持续生成、显存占用和 Chat API 调用。

其中，Qwen3.6-35B 量化模型在当前测试环境下的单请求 Decode 约为 25 tok/s。这一结果说明 FR50D 可以在本地完成 35B 级模型的持续生成任务，并可进一步接入知识库、业务接口和应用层服务。

Qwen3.8-27B 与部分 Qwen3.6-27B 量化模型也完成了本地运行验证，可以作为 FR50D 上更具部署灵活性的模型选择。

除了 LLM，FR50D 也支持 VLM 多模态模型

FR50D 不仅用于文本大模型，也面向视觉语言模型（VLM）部署。通过 VLM，可以将图像与文本输入结合，用于图文理解、视觉问答、现场识别、设备辅助和多模态交互等任务。

在实际部署中，VLM 的模型规模、视觉编码部分和输入分辨率都会影响资源占用。FR50D 更适合结合目标模型和业务任务进行适配，使图像理解、文本推理和业务接口能够在本地环境中形成完整链路。

为什么量化方式会影响 FR50D 的模型部署？

对于 27B、35B 级别模型，本地部署通常需要结合量化方式降低模型权重占用。不同量化精度会直接影响显存需求、模型加载空间和推理速度，也可能对模型效果产生一定影响。

FR50D 上如何选择 27B 还是 35B？

27B 模型通常更适合对响应速度、资源余量和部署灵活性要求较高的本地应用，例如企业知识库、智能助手、文本生成和固定业务 Agent。

35B 模型适合更重视模型能力、希望在本地获得更高推理能力上限的应用。FR50D 已完成 35B 量化模型运行验证，可以用于需要更强语言理解与生成能力的本地 AI 场景。

最终选择不建议只按“参数越大越好”，而应结合业务效果、响应速度、上下文长度和应用并发共同确定。

从模型运行到业务部署

FR50D 的使用不止是“把模型跑起来”。在实际项目中，可以继续向上连接本地知识库、Chat API、业务应用、Agent、语音系统或视觉应用，形成完整的本地 AI 应用链路。

对于需要固定模型长期运行的业务，FR50D 可以作为独立推理节点，通过网络接口向内部系统提供模型能力；对于桌面端应用，也可以将 FR50D 作为专用 AI 算力设备，与现有终端协同使用。