license: gemma tags:
- uncensored
- gemma4
- moe
- gguf
- vision
- multimodal
- agentic
- coding
- creative-writing
- roleplay
- rp
- conversational language:
- en pipeline_tag: image-text-to-text base_model: google/gemma-4-26B-A4B-it
Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP
加入 Discord 获取更新、路线图、项目动态，或进行交流互动。
由 HauhauCS 去除审查的 Gemma4-26B-A4B (QAT) 版本。0/465 次拒绝回答*
关于模型
未对训练数据集或核心能力进行任何删减或修改——功能完整，100% 保留原始作者的设计预期，仅移除了拒绝回答机制。基于官方 QAT（量化感知训练）权重构建，因此 4-bit 量化版本能够保持极佳的接近全精度的品质。
Balanced（平衡版）
Balanced 变体（官方推荐——99% 以上的用户选择此版本即可获得满意体验）采用了针对智能体编程（agentic coding）、逻辑推理、创意写作及高可靠性任务特别调优的全面去审查方案。模型在回答前会进行思考推理，并保持高度可靠且严格遵循指令。经过实际测试，用于应对 Balanced 版本仍过于回避场景的 Aggressive（激进版）变体目前并没有必要提供。
配合 MTP 提速约 35%
随模型附带用于**推测解码（speculative decoding）**的 MTP（多 Token 预测，multi-token-prediction）草稿头——生成速度提升约 35%，且输出结果完全一致（由于主模型会验证每个草稿 token，因此输出质量不受任何影响——纯粹提升速度）。本发布版本已经过特别调优，能够与附带的 MTP 头完美协同工作。
llama.cpp 运行示例：
llama-server \
-m Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf \
-md mtp-gemma-4-26B-A4B-it.gguf --spec-type draft-mtp \
-ngl 99 -fa on
说明： MTP 加速效果目前已由作者在 llama.cpp（llama-server / llama-cli）环境下完成实测。
文件下载
| 文件名 | 类型 | 大小 |
|---|---|---|
Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf | Q4_K_M (文本模型) | 16.8 GB |
mmproj-Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-BF16.gguf | mmproj (视觉投影) | 1.2 GB |
mtp-gemma-4-26B-A4B-it.gguf | MTP 推测解码草稿头 | 252 MB |
为什么仅提供 Q4_K_M？ Gemma 4 针对约 4-bit 量化进行了量化感知训练（QAT），因此 Q4_K_M 正处于黄金平衡点——更高精度的量化只会增加文件体积，却无法带来实际的画质/质量提升。本版本经过精心量化，以在 4-bit 下提供最佳品质。
视觉理解（Vision）
配合主模型加载 mmproj 文件以支持图像输入：
llama-server -m Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf \
--mmproj mmproj-Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-BF16.gguf -ngl 99 -fa on
推荐采样参数（Recommended sampling）
以下参数专门针对本 HauhauCS 构建版本精细调优——请使用这些参数以获得符合设计预期的表现和输出质量：
temperature 0.6top_k 64top_p 0.9min_p 0.05repeat_penalty 1.1
本发布版本作为一个独立体系进行了端到端微调；上述参数设置是该体系的一部分，并非原生 Gemma 的默认配置。
规格参数
- 26B-A4B MoE（128 个专家，每个 token 激活 8 个） · 256K（262144）上下文长度
- 通过 mmproj 支持视觉输入（图像理解）
- 基于 Google DeepMind 的 Gemma 4 26B-A4B
兼容性
- 支持 llama.cpp、LM Studio、Jan、koboldcpp 以及其他各类 GGUF 运行时。
- 多 GPU + LM Studio： 经作者个人测试，Gemma 4 在 LM Studio 的 tensor-split（张量拆分）模式下可能会崩溃——建议在单 GPU 模式（或按层拆分/优先级顺序）下运行此模型。
致谢
- Google DeepMind — Gemma 4。
- 本模型包含的
mtp-gemma-4-26B-A4B-it.gguf推测解码草稿头来源于 Unsloth 发布的 Gemma 4 版本——非常感谢 Unsloth 团队的贡献。
* 经过自动化与人工拒绝基准测试——在常规使用中未发现任何拒绝情况。极少数边缘用例提示词在首次提问时可能会回避，但重新提问或采用策略性提示框架即可正常遵从。如果您遇到确实阻碍了实际使用场景的提示词，欢迎加入 Discord 反馈，以便我在后续版本中进行优化修正。