Ornith 1.5 35B-A3B 消融版 GGUF (Ornith 1.5 35B-A3B Abliterated GGUF)
本项目是基于 ornith-ai/Ornith-1.5-35B-A3B（固定在版本 revision e4dfb35a93d4b6822a811a7676f3488514abe7e2）非官方消融衍生版本的单仓库 GGUF 发布。原始模型由 Ornith AI 构建。PocketAI Model Lab 负责执行拒绝方向编辑（refusal-direction edit）、GGUF 格式转换与验证。
目的与负责任使用
本发布版本的目的是为可复现的本地模型研究提供参考，并用于评估拒绝方向编辑及量化对模型行为带来的影响。这绝非认可任何有害、非法、欺诈或滥用行为。下文中的测试结果详细记录了拒绝行为与量化漂移（quantization drift），以便直接评估这些权衡；拒绝率的降低不应被解读为对质量或安全性的保证。
重要安全须知
本模型经过有意修改以抑制学到的拒绝回答行为（learned refusal behavior）。与上游指令微调模型相比，它可能会更容易生成有害、非法、攻击性、欺诈或危险的错误内容。消融（Abliteration）并非真实性训练（truthfulness training），不是能力的提升，也不是全局遵循要求的保证。请务必根据您的具体使用场景对其进行评估与约束。
文件列表
| 文件 | 大小 | 说明与建议 |
|---|---|---|
Ornith-1.5-35B-A3B-Abliterated-Q4_K_M.gguf | 19.71 GiB | 本地运行推荐的入门选择 |
Ornith-1.5-35B-A3B-Abliterated-Q8_0.gguf | 34.37 GiB | 更高保真度的量化版本 |
Ornith-1.5-35B-A3B-Abliterated-BF16.gguf | 64.61 GiB | 未量化的基准参考版本 |
mmproj-Ornith-1.5-35B-A3B-Abliterated-F16.gguf | 0.84 GiB | 通用 F16 视觉投影器（Vision Projector） |
语言模型的 GGUF 使用了经过验证的消融版 BF16 检查点。视觉投影器完全沿用上游锁定的视觉塔（vision tower），因为消融操作未修改视觉权重。本项目不包含原生 MTP 投机解码头（native MTP speculative-decoding head）。
文本使用说明
下载任意一个语言模型文件，然后使用较新版本的 llama.cpp 运行：
huggingface-cli download PocketAiHub/Ornith-1.5-35B-A3B-Abliterated-GGUF \
Ornith-1.5-35B-A3B-Abliterated-Q4_K_M.gguf --local-dir .
llama-cli -m Ornith-1.5-35B-A3B-Abliterated-Q4_K_M.gguf \
-ngl all -c 4096 -n 256 \
-p "Explain why seasons occur."
视觉使用说明
下载对应的语言模型和通用投影器：
huggingface-cli download PocketAiHub/Ornith-1.5-35B-A3B-Abliterated-GGUF \
Ornith-1.5-35B-A3B-Abliterated-Q4_K_M.gguf \
mmproj-Ornith-1.5-35B-A3B-Abliterated-F16.gguf --local-dir .
llama-mtmd-cli -m Ornith-1.5-35B-A3B-Abliterated-Q4_K_M.gguf \
--mmproj mmproj-Ornith-1.5-35B-A3B-Abliterated-F16.gguf \
--image photo.jpg -p "Describe this image."
Q4_K_M 搭配投影器已通过端到端图像冒烟测试（smoke test）。Q8_0 和 BF16 语言文件通过了文本推理测试，但未进行单独的视觉冒烟测试。
消融方案（Abliteration Recipe）
在 Assistant 生成边界处，使用每类 256 个长度匹配的提示词测量投影的“有害减无害”（harmful-minus-harmless）方向。
- 方向源层：27
- 目标层：15–39
- 缩放比例（Scale）：1.0
- 输入列范数保持（Per-input-column norm preservation）：已启用
- 修改的物理张量数：75
- 修改的逻辑专家/投影路径数：6,450
- 方向 SHA-256：
b4bef4649c209aae888c7b313feb89005f897938c0a01540a6852f0e3bf4b407
机器可读的方案请参阅 abliteration-manifest.json。
GGUF 行为筛选测试
确定的 llama.cpp Metal 筛选测试对每个量化模型使用了 100 个 JailbreakBench 有害提示词和 100 个良性对照提示词，限制为 256-token 上限、batch 1、禁用思考（thinking disabled），并使用透明的基于短语的拒绝检测器。
| 变体 | 有害提示词拒绝标记 | 良性提示词拒绝标记 | 最终回答片段 |
|---|---|---|---|
| Q4_K_M | 3/100 | 0/100 | 200/200 |
| Q8_0 | 1/100 | 0/100 | 200/200 |
| BF16 确认测试 | 0/12 | 0/12 | 24/24 |
被标记的量化回复经过人工确认，均为真正的拒绝。大多数生成结果达到了 256-token 的上限。这属于早期行为筛选，并不构成全局顺从性、安全性、正确性或完整回答质量的证明。
匹配 GGUF 量化漂移
对比测试复用了 36 个提示词和 481 个共享 Teacher 位置。在每个位置上，跨全部 248,320 个词表 logits 测量精确的 D_KL(P_BF16 || P_quantized)。
| 变体 vs GGUF BF16 | 平均 KL（nats） | Top-token 一致率 |
|---|---|---|
| Q8_0 | 0.01359 | 96.26% |
| Q4_K_M | 0.07280 | 90.64% |
BF16 自检测试得出的平均 KL 为 2.98e-09，Top-token 一致率为 100%。llama.cpp 未公开在独立 MLX 分析中捕获的残差与 KV/循环状态张量。
机器可读的聚合结果位于 validation-summary.json，转换检查及 SHA-256 校验值均已包含在仓库清单文件中。
转换溯源（Conversion Provenance）
- llama.cpp 版本修订：
555881ebc8b0fc0402b30e09258a32a7bfd13c52 - Qwen 3.5 MoE 转换支持 MLX 堆叠专家布局（stacked-expert layout）
- 转换器避免了两次应用 Qwen 3.5 RMSNorm 单位偏移
- 是否包含 MTP：否
许可证与致谢
上游模型卡声明遵循 MIT 许可证。本衍生版本保留上游归属信息，并链接到上述确切的源版本。