license: gemma tags:
- uncensored
- gemma4
- gguf
- vision
- multimodal
- agentic
- coding
- creative-writing
- roleplay
- rp
- conversational language:
- en
- zh pipeline_tag: image-text-to-text base_model: google/gemma-4-31B-it
Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP
加入 Discord 获取更新动态、路线规划、项目进展，或参与日常交流。
由 HauhauCS 进行无审查（uncensored）微调的 Gemma4-31B (QAT)。0/465 次拒绝（Refusals）*
关于本模型
未修改任何训练数据集或原始能力——功能完整，100% 保留原作者的既定设计，仅移除了拒绝响应机制。基于官方 QAT（量化感知训练）权重构建，因此 4-bit 量化版本能够保持极贴近全精度（Full-Precision）的表现水准。
Balanced（均衡版）
Balanced 变体（推荐使用——99% 以上的用户选择此版本即可满足需求）采用了经过优化的完整无审查调优，特别针对智能体编码（Agentic Coding）、复杂推理、创意写作以及强可靠性任务进行了细致优化。它会在生成回答前进行深入推理，始终保持可靠并严格遵循指令。目前测试表明，专门针对 Balanced 仍偶有回避偏转情况的 Aggressive（激进版）变体暂无必要推出。
借助 MTP 带来约 53% 的推理提速
内置用于**推测解码（Speculative Decoding）**的 MTP（Multi-Token-Prediction，多 Token 预测）草稿头（Draft Head）——生成速度提升约 53%，且输出内容完全一致（主模型会验证每个草稿 token，因此输出质量不受任何影响——纯粹的速度飞跃）。本版本专门针对附带的 MTP 头进行了联合调优适配。
llama.cpp 启动示例：
llama-server \
-m Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf \
-md mtp-gemma-4-31B-it.gguf --spec-type draft-mtp \
-ngl 99 -fa on
说明： MTP 加速目前由作者在 llama.cpp（llama-server / llama-cli）环境下实测验证。
文件下载
| 文件名 | 类型 | 大小 |
|---|---|---|
Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf | Q4_K_M (文本模型) | 18.7 GB |
mmproj-Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-BF16.gguf | mmproj (视觉投影) | 1.2 GB |
mtp-gemma-4-31B-it.gguf | MTP 推测解码草稿头 | 280 MB |
为什么仅提供 Q4_K_M？ Gemma 4 针对约 4-bit 进行了量化感知训练（QAT），因此 Q4_K_M 是最佳平衡点——更高精度的量化版本体积显著增加，却无法带来实际的质量提升。该版本经过精心量化，以在 4-bit 下实现最佳质量表现。
视觉能力（Vision）
将 mmproj 视觉投影模型与主模型一同加载以支持图像输入：
llama-server -m Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf \
--mmproj mmproj-Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-BF16.gguf -ngl 99 -fa on
推荐采样参数（Recommended Sampling）
以下参数专门针对该 HauhauCS 构建版本进行了微调——建议严格使用以获得预期的行为与质量表现：
temperature 0.6top_k 64top_p 0.9min_p 0.05repeat_penalty 1.1
本发布版本进行了独立的端到端针对性调优；上述参数属于调优设计的一部分，并非原生 Gemma 的默认设置。
模型规格
- 31B Dense 稠密架构 · 256K (262,144) 上下文长度
- 通过 mmproj 支持视觉输入（图像理解）
- 基于 Google DeepMind 的 Gemma 4 31B
兼容性说明
- 支持 llama.cpp、LM Studio、Jan、koboldcpp 等各大 GGUF 推理运行时。
- 多 GPU + LM Studio： 经实测，Gemma 4 在 LM Studio 的 tensor-split（张量切分）模式下可能会崩溃——运行此模型时建议使用单卡 GPU（或采用 layer-split 层切分/优先级加载模式）。
致谢
- Google DeepMind — Gemma 4。
- 随附的
mtp-gemma-4-31B-it.gguf推测草稿头源自 Unsloth 团队的 Gemma 4 发布版本——特此向 Unsloth 团队表达诚挚感谢。
* 经自动化与人工拒绝基准测试验证——在常规使用中未发现任何拒绝情况。极少数边缘极端提示词可能在首次提问时产生偏转，但重新提问或采用策略性表述即可正常遵从执行。如果遇到确实对您的使用场景构成阻碍的情况，欢迎加入 Discord并反馈，以便我在后续版本中进行针对性修复。