license: apache-2.0 base_model:
- Blackfrost-Research/Muse-Glimmer-30B-Abliterated-BF16 tags:
- muse-glimmer
- gguf
- abliterated
- quantized
- agentic
- multimodal
- llama.cpp
- dflash
- experimental pipeline_tag: image-text-to-text library_name: gguf
[!IMPORTANT]
改进更新 — 2026年8月15日
本次发布现已包含紧凑型去拒绝（abliterated）Q4_K_M 配套文件：**1.63 GB DFlash 草稿模型（drafter）**与 1.40 GB 多模态投影器（multimodal projector），在契合 Meta 消费级硬件显存占用的同时保留了该模型的修改权重。完整的文本量化梯队也已根据 Meta 发布后的 Jinja 修正进行了更新，该修正将
Reasoning effort规范化为Reasoning strength并防止生成重复的推理指令。文本生成、图像输入以及 DFlash 推测解码已在当前 llama.cpp 上完成了联合验证。
✅ 所有量化版本已上线
完整文本量化梯队（
Q2_K→Q8_0）、紧凑型 Q4_K_M 及全精度视觉投影器，以及紧凑型 Q4_K_M 及全精度 DFlash 草稿模型均已上传 — 请参阅 Files 标签页。
⚠️ 实验性（EXPERIMENTAL）
架构发布首日即完成量化。请做好应对粗糙边缘情况的准备 — 包括高负载下的解码、连贯性、工具解析以及服务部署等边界异常。如有问题，请在 Community discussion 中开帖反馈，并注明加载器/版本、量化规格、提示词、采样参数及失败模式。真实的复现用例将有助于更快修复问题。
拒绝基准测试 — R1-HARMFUL-BENCH-450
在去拒绝父模型上测得（GGUF 量化版本继承此特性）：
| 指标 | 结果 |
|---|---|
| 真实拒绝（有害样本，n=300） | 0 / 300 = 0.0% |
| 真实拒绝（全部 450 个样本） | 0 / 450 = 0.0% |
| 子字符串匹配-有害样本 | 0 / 300 |
| 子字符串匹配-全部样本 | 2 / 450（XSTest 假阳性） |
| 错误数 | 0 |
权重修改彻底清除了拒绝行为 — 在完整的 450 个提示词评测套件中未测得任何真实拒绝。
该模型的设计初衷
Muse Glimmer 是 Meta 超级智能实验室（Meta Superintelligence Labs）推出的 30B 智能体（Agentic）端侧模型。本版本为**去拒绝（abliterated）**构建版 — 通过 Blackfrost 的权重修改流程移除了拒绝行为 — 并打包为 llama.cpp 专用的 GGUF 格式，使其能够完全离线在单张消费级 GPU 或 CPU 上运行。轻量本地化部署正是该产品的核心价值所在。
规格参数
| 架构 | muse-glimmer — 稠密（dense），52 层，隐藏维度 6656，GQA（32 q / 2 kv），滑动窗口注意力，+ 视觉塔（vision tower） |
| 基座模型 | meta-models/Muse-Glimmer-30B — Meta，Apache-2.0 |
| 转换处理 | 去拒绝（Abliterated） — 通过 Blackfrost 权重修改流程移除拒绝行为；多模态能力完整保留 |
| 格式 | GGUF — Q2_K, Q3_K_S, Q3_K_M, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K, Q8_0 |
| 上下文长度 | 131,072 |
| 推测解码 | DFlash 草稿模型 — --spec-type draft-dflash --spec-draft-n-max 15 |
| 默认人设 | 预置内置的“AI 助手”系统模板 |
量化梯队
| 量化规格 | 大小 | 推荐适用场景 |
|---|---|---|
| Q2_K | 10.0 GB | 最小体积，存在一定质量权衡 |
| Q3_K_S | 11.7 GB | 显存极度受限场景 |
| Q3_K_M | 12.7 GB | 显存紧张场景 |
| Q4_K_S | 15.0 GB | 16 GB 显卡 |
| Q4_K_M | 15.8 GB | 默认推荐 — 表现均衡，适配 24 GB 显存 |
| Q5_K_S | 18.0 GB | 更高质量需求 |
| Q5_K_M | 18.5 GB | 出色的质量/大小平衡 |
| Q6_K | 21.3 GB | 近无损质量 |
| Q8_0 | 27.6 GB | 最高保真度 |
视觉与推测解码文件
加载文本量化文件并搭配 mmproj 投影器以支持图像输入：
| 文件名 | 大小 | 用途 |
|---|---|---|
mmproj-Muse-Glimmer-30B-Abliterated-Q4_K_M.gguf | 1.40 GB | 视觉投影器 — 紧凑型，推荐使用 |
mmproj-Muse-Glimmer-30B-Abliterated-F16.gguf | 3.6 GB | 视觉投影器 — 全精度 |
mmproj-Muse-Glimmer-30B-Abliterated-Q8_0.gguf | 1.9 GB | 视觉投影器 — 紧凑型 |
dflash-Muse-Glimmer-30B-Abliterated-Q4_K_M.gguf | 1.63 GB | 去拒绝版 DFlash 草稿模型 — 紧凑型，推荐使用 |
dflash-Muse-Glimmer-30B-Abliterated-F16.gguf | 4.8 GB | DFlash 草稿模型 — 推测解码 |
服务部署 (llama.cpp) — 经确认的配置参数
需要 llama.cpp b10353 或更新版本 并使用 llama-server。DFlash 仅支持在 llama-server 下运行 — 因为它与目标模型共享上下文，因此无法在 llama-cli 中工作。
推荐配置 — 搭配 DFlash 推测解码（提速约 1.6×，输出结果完全一致）：
llama-server \
-m Muse-Glimmer-30B-Abliterated-Q8_0.gguf \
-md dflash-Muse-Glimmer-30B-Abliterated-Q4_K_M.gguf \
--spec-type draft-dflash --spec-draft-n-max 15 \
-ngl 999 -ngld 999 -fa on --jinja \
--host 0.0.0.0 --port 8080 -c 16384 \
--temp 1.0 --top-p 0.95 --top-k 64
- 基础模式（Plain）（不使用草稿模型）：去掉
-md、--spec-type、--spec-draft-n-max和-ngld。 - 多模态（Multimodal）（图像输入）：添加
--mmproj mmproj-Muse-Glimmer-30B-Abliterated-Q4_K_M.gguf。 - 一键启动工具包：
deploy/serve.sh自动下载并启动服务；完整指南见deploy/DEPLOYMENT.md。
经确认的设置项
- 采样参数：
temperature 1.0, top_p 0.95, top_k 64（Meta 官方设定）。可通过添加Reasoning strength: low/medium/high/xhigh系统指令行来控制推理深度。 - 必须使用
--jinja： 刷新后的模板支持 OpenAI 风格的Reasoning effort: <level>指令行并进行规范化，且不会注入产生冲突的第二条指令。 - 请勿将
<|eom|>设为停止符： 请使用<|end_of_text|>和<|eot|>作为停止标记（stop tokens）。 max_tokens≥ 1024 — 该模型属于深度思考型模型；若设置过低的 token 预算会导致返回空的content，因为 token 预算会被推理通道耗尽。推理过程输出至reasoning_content，最终答案输出至content。--spec-draft-n-max 15— DFlash 块大小（训练设定为 16，此处作了截断约束）。- Flash Attention： 设置
-fa on以获得极致速度；若在搭配较旧 CUDA 工具包的全新 GPU 上加载卡死，可切换为-fa off。
实测性能
1× NVIDIA RTX PRO 6000 (Blackwell), Q8_0, -fa off：
| 配置 | 解码 tok/s | 加速比 |
|---|---|---|
| 基线（baseline） | ~46 | 1.0× |
| + DFlash | ~73 | 1.6× |
在启用 -fa on 以及进行结构化/代码输出时加速比更高（Meta 报告称在 RTX 5090 上最高可达 3.1×）。