license: apache-2.0 language:
- en
- zh tags:
- mtplx
- mlx
- mtp
- speculative-decoding
- apple-silicon
- uncensored
- abliterated
Qwen3.8-Flash-Next-Uncensored · MTPLX Optimized Speed
English summary: This is an Apple Silicon (MLX/MTPLX) quantization of
orcarouter/Qwen3.8-Flash-Next-Uncensored —
OrcaRouter's abliterated (refusal-removed) BF16 build of Qwen's Qwen3.8-Flash-Next (125B-A6B MoE with a native MTP
speculative-decoding head). Quantization was performed locally with MTPLX Forge using the official
flash-next-optimized-speed recipe (4-bit body + 8-bit sparse-attention projections), the same recipe as
Youssofal/Qwen3.8-Flash-Next-MTPLX-Optimized-Speed.
The native MTP head is preserved and verified: 2.07x faster than plain decoding in Forge verification on an M5 Max 128 GB.
Requires MTPLX on Apple Silicon (96–128 GB+ unified memory).
这是什么
这是 OrcaRouter 去审查权重的 MTPLX 量化版。具体来说：
- 权重来源：orcarouter/Qwen3.8-Flash-Next-Uncensored —— OrcaRouter 对 Qwen/Qwen3.8-Flash-Next（125B 参数 / 约 6B 激活的 MoE，混合注意力，原生视觉，自带 MTP 投机解码头）做的消融式去审查（abliteration）BF16 版本
- 量化制作：本仓库的量化并非 Orca 官方发布，而是使用 MTPLX Forge（v2.12.2）在本地从上述 BF16
权重构建，采用 MTPLX 官方内置配方
flash-next-optimized-speed—— 与 Youssofal 官方包完全相同的配方 - 运行环境：MTPLX（Apple Silicon 专属，macOS 14+）， 利用模型自带的 MTP 头做精确投机采样加速
量化配置（q4 + q8 注意力）
| 组件 | 精度 | 说明 |
|---|---|---|
| 模型主体（专家、投影等） | 4-bit affine, group 32 | 动态混合精度 |
| 稀疏注意力投影（QSA） | 8-bit, group 64 | 保质量的关键部位 |
| MTP 投机解码头 | 4-bit, group 64 | 原生头完整保留 |
| n-gram 查词表 | 4-bit, group 32（29.8 GiB） | 运行时从 SSD 流式读取，不占内存 |
| 视觉塔 | 完整保留 | 333 个张量 |
| lm_head / embed_tokens | 8-bit, group 64 |
- 总大小：115.3 GB；有效精度约 5.14 bit/权重
- 常驻内存约 83 GiB，官方建议 128 GB 统一内存的 Mac（最低 96 GB 档位请用 Bare Speed 类配方）
- 上下文窗口：262,144 tokens
实测数据（M5 Max 128 GB，MTPLX 2.12.2，模型原生采样设置 temp 1.0 / top-p 0.95 / top-k 20）
Forge 官方验证（构建时自动完成）
| 模式 | 速度 | 倍率 |
|---|---|---|
| 普通自回归解码（depth 0） | 41.3 tok/s | 1.0x |
| MTP 投机解码（depth 3） | 85.7 tok/s | 2.07x |
验证结论 mtp_depth_wins；MTP 契约经 32 组候选实测校准，保留家族默认契约。
实际使用场景复测（OpenAI 兼容 API，关闭思考模式）
| 场景 | 本包 | 官方包（对照） | 说明 |
|---|---|---|---|
| 编程任务（Python 缓存类 + 单元测试） | 52–71 tok/s | 85 tok/s | 草稿命中率约 92%/86%/81%，与官方包几乎一致；校验路径略慢于官方盖章版 |
| 中文长文写作（2500 字文章） | 26–34 tok/s | 32 tok/s | 创意写作不可预测性高，命中率天然偏低（两包表现一致）；降低温度可明显提速 |
| 首 token 延迟 | 0.22–0.29 s | 0.22 s | 小提示词下基本瞬时 |
本机深度调优（mtplx tune --retune，M5 Max 128 GB）
| 模式 | 速度 | 相对裸解码 |
|---|---|---|
| AR（无投机解码） | 42.0 tok/s | 1.00x |
| D1 | 56.0 tok/s | 1.33x |
| D2 | 40.8 tok/s | 0.97x（比裸解码还慢） |
| D3 | 66.4 tok/s | 1.58x，本机最优 |
结论：编程 / 结构化输出场景提速显著（相对裸解码 1.3–2.1 倍）；高温创意写作场景建议调低 temperature （如 0.6–0.7）以提高草稿命中率。
使用方法
# 安装 MTPLX（需要 Apple Silicon + macOS 14+）
brew install youssofal/mtplx/mtplx
# 拉取并运行本模型
mtplx pull NeosQ/Qwen3.8-Flash-Next-Uncensored-MTPLX-Optimized-Speed
mtplx serve --model NeosQ/Qwen3.8-Flash-Next-Uncensored-MTPLX-Optimized-Speed
服务启动后在 http://127.0.0.1:8000 提供 OpenAI / Anthropic 兼容 API，可直接接 Claude Code、Cline、
OpenCode 等客户端。也可以直接使用 MTPLX 桌面应用，在模型列表中选择即可。
⚠️ 免责声明（沿用自上游）
本模型的上游权重经过了去审查处理（abliteration），其安全对齐已被大幅移除：
- 它会响应原版 Qwen3.8-Flash-Next 拒绝的有害、不道德或非法请求，没有内置护栏
- 仅供合法研究用途（可解释性、AI 安全与拒答机制研究、红队测试、受控实验）
- 使用者对使用方式及生成内容承担全部责任；请勿在未添加自有安全审核层的情况下部署给终端用户
- 使用须遵守继承自基座模型的 Apache 2.0 许可证及所有适用法律法规
许可与致谢
- License: Apache 2.0（继承自 Qwen/Qwen3.8-Flash-Next）
- 去审查权重：OrcaRouter（orcarouter/Qwen3.8-Flash-Next-Uncensored）
- 运行时与量化配方：MTPLX by Youssof Altoukhi（github.com/youssofal/MTPLX，Apache-2.0）
- 基座模型：Qwen / Alibaba