license: apache-2.0 language:

zh
en pipeline_tag: text-generation tags:
ninfer
qwen
uncensored
abliterated
text-generation
9b
8gb
low-vram

Qwen3.8-9B-Uncensored-ninfer-8gb

适用硬件 / Target GPU: 8 GB 显存即可（RTX 4060 Laptop / 3070 / 4060 / 4060 Ti 8G …） 实测显存占用 / Measured VRAM: 4.54 GiB（max_context 2048，bf16 KV） 制品大小 / Artifact size: 6.07 GiB（groupwise-int 配方）

NInfer engine native format — This is a .ninfer artifact converted exclusively for the NInfer inference engine. It is not a generic HF safetensors checkpoint and cannot be loaded with transformers; it requires the NInfer engine (via ComfyUI-NInfer).

NInfer 引擎特供格式 —— 这是专为 NInfer 推理引擎转换的 .ninfer 制品，不是通用 HF safetensors，无法用 transformers 直接加载，需配合 NInfer 引擎（ComfyUI-NInfer 节点）。

这是 8 GB 显卡目前唯一可用的 .ninfer 制品（破限版）

NInfer 生态现有制品对显存的胃口是分层的，8 GB 卡只有 9B 这一档能落得下：

制品	显存需求	8 GB 卡
Qwen3.8-27B（15.33 / 19.03 GiB）	≥ 16 GB	✗ 放不下
Qwen3.8-9B（本仓库，实测 4.54 GiB）	~5 GB	✓ 唯一可用

This is the only .ninfer artifact that fits an 8 GB card today, and this is its abliterated (refusal-direction-removed) build.

简介 / Overview

Qwen3.8-9B 的破限（abliterated）版，方法是 heretic 风格的定向消融 —— 直接在本仓库配套的原版权重上做正交化投影，不改架构、不改 tokenizer、不重训，所以转换后与原版字节结构完全一致，只有数值不同。

An abliterated build of Qwen3.8-9B produced by directional ablation on top of the same base weights used by Qwen3.8-9B-ninfer-8gb. No architecture or tokenizer changes.

实测对比 / Measured behaviour

同一组"贴边"提示词，原版 vs 破限版各跑一遍（RTX 5070 Ti，--no-thinking）：

提示词	原版	破限版
道德幽暗的第一人称独白	不拒答、直白（678 字符）	不拒答、直白（476 字符）
粗粝暴力场景 + 脏话	不拒答、带脏话（466 字符）	不拒答、带脏话（729 字符）
贝叶斯定理解释（能力对照）	准确	准确

如实说明 / Honest note：Qwen3.8 蒸馏系 9B 的原版拒答阈值本身就较高，上面这些测试它一次都没拒绝。破限版可见的差异主要是风格更少收敛、篇幅更饱满，而不是"解锁了原本会拒绝的内容"。需要你自己在自己的用途上实测确认。

Capability impact: 消融不是重训，通用能力影响很小 —— 上表能力对照题两者表现一致。

来源 / Provenance

破限权重 / Abliterated weights: nurdich/Qwen3.8-9B-Distill-uncensored-heretic
基座模型 / Base: empero-ai/Qwen3.8-9B-Distill
引擎 / Engine: Neroued/ninfer — Neroued
转换工具链 / Converter: ninfer-5080 tools/convert/qwen3_5_9b
客户端 / Client: ComfyUI-NInfer

用法 / Usage

把 qwen3_8_9b_uncensored.ninfer 放进 <ComfyUI>/models/LLM/
用 ComfyUI-NInfer 的 NInfer Local LLM 节点选它
节点的 dll_path 留空
配合 system_prompt 自定义角色设定效果更好（破限 ≠ 自动变风格）

实测性能 / Performance（max_context 2048）


Decode	≈114 tok/s
显存占用	4.54 GiB

原版 / Non-abliterated variant

不加消融的同源版本：Qwen3.8-9B-ninfer-8gb

Qwen3.8-9B-Uncensored-ninfer-8gb

适用硬件 / Target GPU: 8 GB 显存即可（RTX 4060 Laptop / 3070 / 4060 / 4060 Ti 8G …） 实测显存占用 / Measured VRAM: 4.54 GiB（max_context 2048，bf16 KV） 制品大小 / Artifact size: 6.07 GiB（groupwise-int 配方）

NInfer engine native format — This is a .ninfer artifact converted exclusively for the NInfer inference engine. It is not a generic HF safetensors checkpoint and cannot be loaded with transformers; it requires the NInfer engine (via ComfyUI-NInfer).

NInfer 引擎特供格式 —— 这是专为 NInfer 推理引擎转换的 .ninfer 制品，不是通用 HF safetensors，无法用 transformers 直接加载，需配合 NInfer 引擎（ComfyUI-NInfer 节点）。

这是 8 GB 显卡目前唯一可用的 .ninfer 制品（破限版）

NInfer 生态现有制品对显存的胃口是分层的，8 GB 卡只有 9B 这一档能落得下：

制品

显存需求

8 GB 卡

Qwen3.8-27B（15.33 / 19.03 GiB）

≥ 16 GB

✗ 放不下

Qwen3.8-9B（本仓库，实测 4.54 GiB）

~5 GB

✓ 唯一可用

This is the only .ninfer artifact that fits an 8 GB card today, and this is its abliterated (refusal-direction-removed) build.

简介 / Overview

An abliterated build of Qwen3.8-9B produced by directional ablation on top of the same base weights used by Qwen3.8-9B-ninfer-8gb. No architecture or tokenizer changes.

实测对比 / Measured behaviour

同一组"贴边"提示词，原版 vs 破限版各跑一遍（RTX 5070 Ti，--no-thinking）：

提示词

原版

破限版

道德幽暗的第一人称独白

不拒答、直白（678 字符）

不拒答、直白（476 字符）

粗粝暴力场景 + 脏话

不拒答、带脏话（466 字符）

不拒答、带脏话（729 字符）

贝叶斯定理解释（能力对照）

准确

Capability impact: 消融不是重训，通用能力影响很小 —— 上表能力对照题两者表现一致。

Decode

≈114 tok/s

显存占用

4.54 GiB