license: mit library_name: gguf pipeline_tag: image-text-to-text base_model: ornith-ai/Ornith-1.5-35B-A3B base_model_relation: quantized tags:
- gguf
- llama.cpp
- ornith
- qwen3.5
- moe
- abliterated
- uncensored
- crack
- reasoning
- vision
- vlm
- speculative-decoding
Ornith-1.5-35B-A3B-CRACK-GGUF
经过 CRACK 钝化处理的 Ornith 1.5 35B-A3B (MoE) —— 适用于 llama.cpp 的 GGUF 量化版本。 单个仓库包含多种量化版本（Q8_0 / Q6_K / Q4_K_M / Q2_K 等）。在移除拒绝回答行为的同时，完整保留了知识储备、推理能力（“thinking”思考过程）、MTP 投机预测头以及全方位的视觉-语言（Vision-Language）多模态能力。
Ornith 1.5 35B-A3B 是一款混合架构 GatedDeltaNet (SSM) + 注意力机制混合专家模型（Mixture-of-Experts）（共 256 个专家，激活 8 个），并配备多 Token 预测头（multi-token-prediction head）。CRACK 采用了感知模型架构的权重手术（architecture-aware weight surgery），专门针对注意力通路进行处理，因此知识储备与连贯性得以完整保留（各个量化版本的 MMLU 评估结果与基座模型的差异均在噪声波动范围内）。
本模型为降低了安全防护机制的研究产物。请负责任且合法地使用。
量化版本
| 文件 | 大小 | 说明 |
|---|---|---|
Ornith-1.5-35B-A3B-CRACK-Q8_0.gguf | 37.8 GB | 接近无损的基准参考版本 |
Ornith-1.5-35B-A3B-CRACK-Q6_K.gguf | 29.2 GB | 接近无损 |
Ornith-1.5-35B-A3B-CRACK-Q5_K_M.gguf | 25 GB | 高品质 |
Ornith-1.5-35B-A3B-CRACK-Q4_K_M.gguf | 21.7 GB | 均衡（推荐） |
Ornith-1.5-35B-A3B-CRACK-Q3_K_M.gguf | 17 GB | 小型 |
Ornith-1.5-35B-A3B-CRACK-Q2_K.gguf | 13.2 GB | 最小体积 |
请选取一个文本模型文件，并搭配视觉投影器 mmproj-Ornith-1.5-35B-A3B-f16.gguf 以实现图像输入。每个量化版本均经过独立微调（拥有专属的手术强度参数）与验证。8-bit 以下的量化档位结合了 AWQ（激活感知 / Hessian 矩阵）处理以及重要性矩阵（importance matrix），以确保极致的生成质量。在所有量化版本中，MTP 投机预测头均得以保留并完成了钝化处理。
基准测试
MMLU 为 Logit 模式下的准确率（在相同量化档位下对比 Base 基座与 CRACK —— 用于单独评估知识保留程度）。HarmBench 是经过连贯性门控过滤的攻击成功率（harm-ASR），评估涵盖 240 种标准及语境危害行为（版权相关行为排除在安全门控之外）。
| 量化档位 | MMLU (基座) | MMLU (CRACK) | ΔMMLU | HarmBench 危害攻击成功率 (harm-ASR) |
|---|---|---|---|---|
Q8_0 | 79.0% | 80.7% | +1.75 pp | 100.0% |
Q6_K | 78.6% | 79.0% | +0.40 pp | 100.0% |
Q5_K_M | 80.7% | 80.1% | -0.58 pp | 100.0% |
Q4_K_M | 80.0% | 77.8% | -2.20 pp | 100.0% |
Q3_K_M | 76.0% | 78.4% | +2.34 pp | 100.0% |
Q2_K | 77.9% | 69.8% | -8.07 pp | 99.6% |
在各个量化档位下，MMLU 得分与基座模型的偏差均保持在噪声范围之内（在 Q8 下钝化甚至提升了准确率 —— 去除拒绝回答的电路结构降低了“寄生”激活噪声）。
关于 Q2_K 的说明： 在 2-bit 极低量化下，钝化手术与激进的量化压缩会产生相互影响，因此 Q2_K 相比更高阶的量化档位产生了更大的 MMLU 性能损耗（该 MoE 基座模型在 2-bit 下原本具备罕见的优秀量化表现）。其服从率保持在 99.6%。为获得最佳质量，建议选用 Q4_K_M 或更高档位。
HarmBench 各类别危害攻击成功率 (CRACK)
| 类别 | 危害攻击成功率 (harm-ASR) |
|---|---|
| 化学 / 生物 (chemical / biological) | 100.0% |
| 网络犯罪 / 入侵 (cybercrime / intrusion) | 100.0% |
| 骚扰 / 霸凌 (harassment / bullying) | 100.0% |
| 有害内容 (harmful) | 100.0% |
| 违法违规 (illegal) | 100.0% |
| 虚假信息 / 假消息 (misinformation / disinformation) | 100.0% |
使用方法 (llama.cpp)
llama-cli -m Ornith-1.5-35B-A3B-CRACK-Q4_K_M.gguf -cnv --jinja --temp 1.0 --top-p 0.95 --top-k 20
# 或者启动服务：
llama-server -m Ornith-1.5-35B-A3B-CRACK-Q4_K_M.gguf --jinja --temp 1.0 --top-p 0.95 --top-k 20 -c 8192
推荐采样参数： temperature=1.0, top_p=0.95, top_k=20。
推理模式（Reasoning）
Ornith 1.5 会输出 <think> 推理过程，且该功能默认开启。可通过设置 {"chat_template_kwargs": {"enable_thinking": false}} 来禁用。在 LM Studio 中可开箱即用。
视觉理解 (图像 + 文本)
下载文本量化模型文件以及 mmproj-Ornith-1.5-35B-A3B-f16.gguf：
llama-mtmd-cli -m Ornith-1.5-35B-A3B-CRACK-Q4_K_M.gguf --mmproj mmproj-Ornith-1.5-35B-A3B-f16.gguf --jinja --image photo.jpg -p "Describe this image."
同一个 mmproj 适用于所有四种文本量化版本。
许可证
MIT 许可证（继承自上游 Ornith 1.5 基座模型）。