license: apache-2.0 base_model: huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF tags:

• qwen35
• abliterated
• uncensored
• rocmfp4
• llama.cpp-rocm
• gguf
• mtp library_name: gguf

Qwen3.8-27B-abliterated-Q4_ROCmFPX_FAST

ROCmFPX quantized version of huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF (locally requantized).

• Base model: Qwen3.8-27B (dense) abliterated (refusal behavior removed, uncensored)
• Quantization: BF16 → ROCmFPX (Q4_0_ROCMFP4_FAST, 4.25 bpw), --allow-requantize
• MTP: GGUF carries an MTP head — load with llama-server --mtp to enable MTP speculative decoding
• Vision: multimodal — pair with the bundled mmproj: llama-server -m <gguf> -mmproj mmproj-model-bf16.gguf (see Usage)

⚠ Important: Format Notice

ROCmFPX is a proprietary quantization format (GGML types 100-107, a llama.cpp-rocm extension) — upstream llama.cpp cannot load this file. Load it with llama.cpp-rocm, a llama.cpp fork that supports all upstream GGUF formats plus ROCmFPX natively.

Run it directly with llama-server (OpenAI-compatible API) — see Usage below.

Files

Quantization Benchmarks

Measured on AMD Strix Halo (gfx1151), llama-bench, -p 256 -n 256 -t 16 -fa on -ngl 99, same prompt per row. (Dense 27B — all parameters active, so tg is inherently lower than MoE models.)

Benchmark environment: AMD Ryzen AI MAX+ 395 (Strix Halo, gfx1151, Radeon 8060S, 120 GB unified memory), ROCm/Vulkan backend, Mesa RADV.

Why only Q4_ROCmFPX_FAST is published (other variants not uploaded):

• Qwen3.8-27B-abliterated-Q4_0_ROCMFP4_STRIX_LEAN: measured identical to FAST (13.79 vs 13.81 t/s) — no advantage, not published
• Qwen3.8-27B-abliterated-Q4_0_ROCMFP4 (base, dual-scale): 15% slower than FAST with marginal precision gain — rejected
• Qwen3.8-27B-abliterated-Q8_0_ROCMFPX: 45% slower and 2× size on this dense model — to be published later as the quality tier

Usage

# llama.cpp-rocm: llama-server, OpenAI-compatible API (no registry)

# Text only:
llama-server \
  -m Qwen3.8-27B-abliterated-Q4_ROCmFPX_FAST.gguf \
  -ngl 99 -fa on --port 8080

# Vision (multimodal; -mmproj enables image input):
llama-server \
  -m Qwen3.8-27B-abliterated-Q4_ROCmFPX_FAST.gguf \
  -mmproj mmproj-model-bf16.gguf \
  -ngl 99 -fa on --port 8080

• OpenAI-compatible API served at http://127.0.0.1:8080/v1
• MTP head: load with llama-server --mtp for speculative MTP acceleration

License & Attribution

• Base model: Qwen3.8-27B (Alibaba) — Apache-2.0
• Abliterated version: huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF — Apache-2.0
• This quantized version: Apache-2.0 (ArtomYuan)

Disclaimer

This is an abliterated (uncensored) version and may produce outputs that do not conform to safety policies. Use at your own risk. No warranty is provided.

Qwen3.8-27B-abliterated-Q4_ROCmFPX_FAST（ROCmFPX）

基于 huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF 的 ROCmFPX 量化版（本地 requantize 产物）。

• 原模型：Qwen3.8-27B（密集架构）的 abliterated 消融版（去拒绝行为，无审查）
• 量化：BF16 → ROCmFPX（Q4_0_ROCMFP4_FAST，4.25 bpw），--allow-requantize
• MTP：GGUF 含 MTP head——用 llama-server --mtp 启用 MTP 投机解码
• 视觉：多模态支持——搭配本仓库的 mmproj-model-bf16.gguf 以 -mmproj 加载（见「使用」）

⚠ 重要：格式说明

ROCmFPX 是专有量化格式（GGML 类型 100-107，为 llama.cpp-rocm 扩展）——上游 llama.cpp 无法加载此文件。请使用 llama.cpp-rocm 引擎加载（llama.cpp fork，全量兼容上游 GGUF 格式并原生支持 ROCmFPX）。

直接用 llama-server（OpenAI 兼容 API）加载即可——用法见下文「使用」。

文件

量化基准测试

测试环境：AMD Strix Halo（gfx1151），llama-bench，-p 256 -n 256 -t 16 -fa on -ngl 99，每行同一 prompt。（密集 27B——全部参数激活，tg 天然低于 MoE 模型。）

测试环境： AMD Ryzen AI MAX+ 395（Strix Halo 架构，gfx1151，Radeon 8060S，120GB 统一内存），ROCm/Vulkan 后端，Mesa RADV。

仅发布 Q4_ROCmFPX_FAST 的原因（其他量化不上传）：

• Qwen3.8-27B-abliterated-Q4_0_ROCMFP4_STRIX_LEAN：实测与 FAST 持平（13.79 vs 13.81 t/s）——无优势，不发布
• Qwen3.8-27B-abliterated-Q4_0_ROCMFP4（基础版，双 scale）：比 FAST 慢 15%，精度提升有限——弃用
• Qwen3.8-27B-abliterated-Q8_0_ROCMFPX：慢 45% 且体积 2 倍——待后续上传（高质量档）

使用

# llama.cpp-rocm：llama-server，OpenAI 兼容 API（无需 registry）

# 纯文本：
llama-server \
  -m Qwen3.8-27B-abliterated-Q4_ROCmFPX_FAST.gguf \
  -ngl 99 -fa on --port 8080

# 视觉（多模态；-mmproj 启用图像输入）：
llama-server \
  -m Qwen3.8-27B-abliterated-Q4_ROCmFPX_FAST.gguf \
  -mmproj mmproj-model-bf16.gguf \
  -ngl 99 -fa on --port 8080

• OpenAI 兼容 API（http://127.0.0.1:8080/v1）
• MTP head：用 llama-server --mtp 启用投机 MTP 加速

许可证与归属

• 原模型：Qwen3.8-27B（阿里巴巴）— Apache-2.0
• 无审查版：huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF — Apache-2.0
• 本量化版：Apache-2.0（ArtomYuan）

免责声明

本模型为 abliterated（消融去审查）版本，可能生成不符合安全政策的输出。使用者自行承担全部责任。本仓库不提供任何保证。