license: gemma tags:
- uncensored
- gemma4
- gguf
- vision
- multimodal
- agentic
- coding
- creative-writing
- roleplay
- rp
- conversational language:
- en
- zh pipeline_tag: image-text-to-text base_model: google/gemma-4-12B-it
Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced
加入 Discord 获取更新、路线图、项目动态，或进行交流互动。
由 HauhauCS 打造的无审查版 Gemma4-12B (QAT)。0/465 拒绝率*
关于模型
数据集或模型能力未作任何削减——功能完整，100% 还原原作者预期，仅仅移除了安全拒绝机制。基于官方 QAT（量化感知训练）权重构建，因此 4-bit 量化版本的质量非常接近全精度水准。
Balanced 平衡版
Balanced 变体（推荐——99% 以上的用户使用该版本即可获得满意体验）采用了优化的全面无审查微调，特别针对智能体编码（agentic coding）、逻辑推理、创意写作以及对可靠性要求极高的任务进行了调优。该模型在作答前会先进行思考推理，表现稳定可靠且严格遵循指令。至于用于 Balanced 仍存在过多回避倾向场景的 Aggressive（激进）变体，根据当前测试来看并无必要。
配合 MTP 提速约 60%
附带用于**推测解码（speculative decoding）**的 MTP（multi-token-prediction，多标记预测）草稿头（draft head）——在保持输出完全一致的前提下，生成速度提升约 60%（模型会验证每一个预测的草稿 token，因此输出质量不受任何影响——带来纯粹的速度提升）。本版本经过专门调优，能够与附带的 MTP 头完美协同工作。
llama.cpp 启动示例：
llama-server \
-m Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf \
-md mtp-gemma-4-12B-it.gguf --spec-type draft-mtp \
-ngl 99 -fa on
注意： MTP 加速效果目前由本人在 llama.cpp（llama-server / llama-cli）环境下测试验证。
文件下载
| 文件名 | 类型 | 大小 |
|---|---|---|
Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf | Q4_K_M（文本） | 6.9 GB |
mmproj-Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced-BF16.gguf | mmproj（视觉） | 168 MB |
mtp-gemma-4-12B-it.gguf | MTP 推测草稿模型 | 242 MB |
为什么只提供 Q4_K_M？ Gemma 4 针对 ~4-bit 进行了量化感知训练（QAT），因此 Q4_K_M 是最佳平衡点——更高精度的量化只会增加文件体积，却无法带来实际的质量提升。精心量化，专为 4-bit 下的最佳质量打造。
视觉多模态能力
加载模型时同时挂载 mmproj 即可支持图像输入：
llama-server -m Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf \
--mmproj mmproj-Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced-BF16.gguf -ngl 99 -fa on
推荐采样参数
这些参数是专为本 HauhauCS 构建版本调优的——建议使用这些参数以获得预期的表现和输出质量：
temperature 0.6top_k 64top_p 0.9min_p 0.05repeat_penalty 1.1
本发布版进行了端到端的独立调优；上述设置是该调优的一部分，并非 Gemma 原生默认参数。
规格参数
- 12B Dense（稠密模型）· 256K (262144) 上下文长度
- 通过 mmproj 支持视觉能力（图像输入）
- 基于 Google DeepMind 的 Gemma 4 12B
兼容性
- 支持 llama.cpp、LM Studio、Jan、koboldcpp 及其他 GGUF 运行时环境。
- 多 GPU + LM Studio： 我个人注意到 Gemma 4 在 LM Studio 的 tensor-split（张量切分）模式下可能会崩溃——对于该模型，建议使用单 GPU（或采用 layer-split 层切分 / 优先级分配方式）。
致谢
- Google DeepMind — Gemma 4。
- 包含的
mtp-gemma-4-12B-it.gguf推测解码草稿头来自 Unsloth 团队的 Gemma 4 发布版本——非常感谢 Unsloth 团队的贡献。
* 经过自动化基准测试和人工拒绝基准测试——在常规使用中未发现拒绝情况。极少数边缘情况提示词在首次提问时可能会发生偏转回避，但重新提问或采用策略性提示框架后即可正常作答。如果您遇到确实阻碍实际使用场景的案例，请加入 Discord 反馈，以便我在未来版本中进行改进优化。