玩模型开放模型 · 清晰来源 · 自主选择
返回模型目录
soyaakinohara /

qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf

HF 源站

soyaakinohara/qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf is an uncensored open-source model hosted on Hugging Face.

Text Generationllama.cppGGUFEnglishMultilingualLicense: apache-2.027Bqwen3.8qwen3_5gated-deltanethybrid-attentionmtpabliterateduncensoredquantizediq2_siq3_sq4_kq5_kq6_kq8_0jaimatrixconversational
README.md说明 / 使用方法

license: apache-2.0 base_model:

  • AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 language:
  • ja
  • en
  • multilingual library_name: gguf pipeline_tag: text-generation tags:
  • gguf
  • llama.cpp
  • qwen3.8
  • qwen3_5
  • gated-deltanet
  • hybrid-attention
  • mtp
  • abliterated
  • uncensored
  • quantized
  • iq2_s
  • iq3_s
  • q4_k
  • q5_k
  • q6_k
  • q8_0

Qwen3.8-27B Abliterated 3.69bpw 12GB MTP GGUF

基于 BF16 模型 AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 的 Ridge 风格混合量化 GGUF。

本项目保留了 AEON-7 的无审查/移除拒绝特征权重，同时采用受 empero-ai/Qwen3.8-27B-Ridge-GGUF 启发的感知 Gated-DeltaNet 混合量化布局。其目标是在敏感的 Gated-DeltaNet 路径中尽可能保留质量，同时获得适合本地 llama.cpp 推理的小型、快速 GGUF。

重要提示： 这并非 Empero Ridge 官方发布版本，也不是同一组权重。这是使用受 Ridge 启发的张量类型映射以及 AEON 专用重要性矩阵（importance matrix）对 AEON-7 进行的独立量化。

文件列表

qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf
属性参数值
架构Qwen3.5 / Qwen3.8 混合 Gated-DeltaNet + 全注意力（full attention）
参数量27B
格式GGUF
标称量化3.69 bpw
文件大小12,599,187,808 字节 (~11.73 GiB)
上下文元数据262,144 tokens
MTPGGUF 中予以保留；支持原生 draft-mtp
视觉支持仅纯文本 GGUF；如需图像支持，请配合兼容的 mmproj 使用
许可证Apache-2.0（继承自基础模型）

量化布局

量化映射采用混合精度布局，而非统一降级为平面 IQ2。

GGML 类型张量数量主要用途
F32360归一化层（norm）与标量/状态张量
Q4_K144Gated-DeltaNet 混合/投影张量
Q8_096敏感的 Gated-DeltaNet 状态路径（ssm_alpha / ssm_beta）
IQ2_S160中层 FFN 权重
IQ3_S32保持在较高精度的选定 FFN 权重
Q5_K51全注意力 Q/K/V 张量
Q6_K23输出/嵌入张量、全注意力输出及 MTP 张量

MTP 张量不应用重要性矩阵，直接保持在 Q6_K，这遵循了 Ridge 项目记录的重要设计原则。

校准（Calibration）

AEON 专用的重要性矩阵是在本地使用包含英文 WikiText、日文 Wikipedia 摘录以及 llama.cpp 源代码的校准语料库生成的。

context length: 512
batch size:     512
chunks:         80
process output: enabled
importance entries: 497

该校准语料库与量化映射并非原始 Ridge 发布版本中使用的私有校准工件，而是基于相同通用量化策略的独立本地复现。

llama.cpp 使用指南

文件名与仓库名称特意保持一致。

./llama-server \
  -m ./qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --split-mode layer \
  --tensor-split 2,1 \
  --host 0.0.0.0 \
  --port 8080 \
  -ctk q4_0 \
  -ctv q4_0 \
  -c 114514

若仅在本地作为服务器运行，建议绑定至 localhost：

--host 127.0.0.1

--host 0.0.0.0 会将服务器暴露在网络中。在向受信任 LAN 之外公开之前，请务必添加您自己的身份验证、防火墙及访问控制措施。

若使用兼容客户端时需要禁用思考（thinking），请使用前端或 API 客户端所支持的 Qwen3.8 聊天选项。

本地测试性能报告

该模型在以下环境进行构建和测试：

OS:       Ubuntu 24.04
CPU:      Intel Core i7-10700K
GPU 0:    NVIDIA GeForce RTX 5060 Ti 16GB
GPU 1:    NVIDIA GeForce RTX 3070 8GB
RAM:      32GB
Runtime:  llama.cpp CUDA build

在此机器配置下，上述命令报告的峰值速度最高可达约 37 tokens/second。实际运行速度取决于上下文长度、提示词长度、采样设置、MTP 接受率、CUDA/llama.cpp 版本、后台工作负载以及当前使用的 KV cache 占用量。

对于该硬件配置，建议将 --spec-draft-n-max 3 作为起始参数。更高的草稿步数（draft count）可能会引入额外开销而非提升吞吐量。

模型来源（Provenance）

基础模型

  • AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16
  • 本地使用的基础版本 Revision：a6775a9a8ebb65cab3f707b4ab087fc7aa698634
  • 原始上游模型：Qwen/Qwen3.8-27B

AEON-7 是一款去审查/消除拒绝的 BF16 衍生模型。其模型卡说明了包含 SSM conv1d 异常值修复步骤、abliterix 处理、原版 MTP head 嫁接以及未修改的视觉模块。本 GGUF 对 AEON-7 BF16 权重直接进行量化；并不是对已经量化过的 FP8 检查点进行二次量化。

量化构想

混合量化策略受到以下项目的启发：

  • empero-ai/Qwen3.8-27B-Ridge-GGUF
  • llama.cpp

本地转换与量化使用了 llama.cpp commit 030ebb558。

AI 辅助声明

本地模型的获取准备工作流、模型转换、校准数据准备、量化、验证测试以及本模型卡的编写均在 GPT-5.6-Luna（通过 Hermes Agent） 的辅助下完成。随后由仓库所有者进行了人工审核并发布。

负责任使用（Responsible Use）

该模型为无审查/拒绝消除模型。它可能会生成经过对齐的模型会拒绝输出的内容，包括不安全、违法或有害的材料。该模型没有内置可靠的安全防护层。在任何部署环境中，请务必根据需要实施适当的访问控制、内容审核、审计日志及人工复核，并遵守所有适用的法律法规与政策。

模型按“原样”提供。用户对提示词、生成输出以及基于输出采取的任何下游行为承担全部责任。

日语版本（日本語）

概要

本项目是基于 AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 并结合 Gated-DeltaNet 特性应用了 Ridge 式混合量化的 GGUF 模型。

在保留未审查、已消除拒绝特征的 AEON-7 权重的同事，参考了 empero-ai/Qwen3.8-27B-Ridge-GGUF 所采用的设计思想，优先为 GDN 中较为脆弱敏感的路径分配更高的位宽。

这并非 Empero 官方的 Ridge 模型，而是独立量化 AEON-7 的衍生 GGUF 版本。

基本规格

文件名:   qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf
格式:     GGUF
大小:     12,599,187,808 bytes（约 11.73 GiB）
量化:     3.69 bpw
参数量:   27B
MTP:      保留在 GGUF 内，支持 native draft-mtp

混合量化详情

F32    360 tensors  norm / state 系列
Q4_K   144 tensors  Gated-DeltaNet mixer 系列
Q8_0    96 tensors  ssm_alpha / ssm_beta
IQ2_S  160 tensors  中间层 FFN
IQ3_S   32 tensors  保留较高精度的 FFN
Q5_K   51 tensors  常规 Attention 的 Q/K/V
Q6_K   23 tensors  output、embedding、Attention output、MTP

MTP 张量未应用 imatrix，保持在 Q6_K 精度。

AEON 专用的 imatrix 是从混合了以下内容的校准数据生成的：

  • 英文 WikiText
  • 日文 Wikipedia
  • llama.cpp 的 C/C++/Python 源代码
context: 512
batch:   512
chunks:  80
entries: 497

在 llama.cpp 中启动

./llama-server \
  -m ./qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --split-mode layer \
  --tensor-split 2,1 \
  --host 0.0.0.0 \
  --port 8080 \
  -ctk q4_0 \
  -ctv q4_0 \
  -c 114514

如果仅从本地连接，推荐使用 --host 127.0.0.1。 0.0.0.0 是向网络公开的设置，请务必添加身份验证、防火墙和访问控制。

构建与验证环境

Ubuntu 24.04
Intel Core i7-10700K
RTX 5060 Ti 16GB + RTX 3070 8GB
RAM 32GB
llama.cpp CUDA build

在上述环境与启动参数下，实测报告峰值速度最高约 37 tokens/second。 实际速度会随上下文长度、提示词长度、KV cache、MTP 接受率、llama.cpp 版本及后台负载等因素发生变化。

AI 使用公开声明

本地模型获取、转换、校准数据制作、imatrix 生成、量化、动作验证以及本 README 的编写，均在 通过 Hermes Agent 的 GPT-5.6-Luna 辅助下完成。最终的确认与发布由仓库所有者执行。

使用注意事项

该模型无审查且已移除拒绝机制。可能生成通常对齐模型会拒绝的危险、非法或有害内容。请勿认为其内置了可靠的安全机制。

如需公开运营，请根据用途实施访问控制、输入/输出过滤、审计日志、速率限制及人工复核等手段。用户需对提示词、生成输出以及利用输出进行的下游行为自行承担责任。

源站原文

license: apache-2.0 base_model:

  • AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 language:
  • ja
  • en
  • multilingual library_name: gguf pipeline_tag: text-generation tags:
  • gguf
  • llama.cpp
  • qwen3.8
  • qwen3_5
  • gated-deltanet
  • hybrid-attention
  • mtp
  • abliterated
  • uncensored
  • quantized
  • iq2_s
  • iq3_s
  • q4_k
  • q5_k
  • q6_k
  • q8_0

Qwen3.8-27B Abliterated 3.69bpw 12GB MTP GGUF

A Ridge-style mixed-quantized GGUF of the BF16 AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 model.

This model keeps the AEON-7 uncensored / refusal-removed weights, while using a Gated-DeltaNet-aware mixed quantization layout inspired by empero-ai/Qwen3.8-27B-Ridge-GGUF. The goal is to retain as much quality as possible in the sensitive Gated-DeltaNet path while obtaining a small, fast GGUF suitable for local llama.cpp inference.

Important: This is not an official Empero Ridge release and is not the same set of weights. It is an independent quantization of AEON-7 using a Ridge-inspired tensor-type map and an AEON-specific importance matrix.

Files

qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf
PropertyValue
ArchitectureQwen3.5 / Qwen3.8 hybrid Gated-DeltaNet + full attention
Parameters27B
FormatGGUF
Nominal quantization3.69 bpw
File size12,599,187,808 bytes (~11.73 GiB)
Context metadata262,144 tokens
MTPPreserved in the GGUF; native draft-mtp supported
VisionText GGUF only; use a compatible mmproj if image support is required
LicenseApache-2.0, inherited from the base model

Quantization layout

The quantization map is mixed rather than a flat IQ2 dump.

GGML typeTensor countMain purpose
F32360norms and scalar/state tensors
Q4_K144Gated-DeltaNet mixer/projection tensors
Q8_096sensitive Gated-DeltaNet state path (ssm_alpha / ssm_beta)
IQ2_S160mid-stack FFN weights
IQ3_S32selected FFN weights kept at higher precision
Q5_K51full-attention Q/K/V tensors
Q6_K23output/embedding tensors, full-attention output, and MTP tensors

The MTP tensors have no importance matrix and are kept at Q6_K, following the important design choice documented by the Ridge project.

Calibration

The AEON-specific importance matrix was generated locally from a calibration corpus containing English WikiText, Japanese Wikipedia extracts, and llama.cpp source code.

context length: 512
batch size:     512
chunks:         80
process output: enabled
importance entries: 497

The calibration corpus and quantization map are not the private calibration artifacts used by the original Ridge release. They are an independent local reproduction of the same general quantization strategy.

llama.cpp usage

The file name intentionally matches the repository name.

./llama-server \
  -m ./qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --split-mode layer \
  --tensor-split 2,1 \
  --host 0.0.0.0 \
  --port 8080 \
  -ctk q4_0 \
  -ctv q4_0 \
  -c 114514

For a local-only server, prefer binding to localhost instead:

--host 127.0.0.1

--host 0.0.0.0 exposes the server to the network. Add your own authentication, firewall, and access controls before exposing it beyond a trusted LAN.

To disable thinking when using a compatible client, use the Qwen3.8 chat options supported by your frontend or API client.

Reported local performance

The model was prepared and tested on:

OS:       Ubuntu 24.04
CPU:      Intel Core i7-10700K
GPU 0:    NVIDIA GeForce RTX 5060 Ti 16GB
GPU 1:    NVIDIA GeForce RTX 3070 8GB
RAM:      32GB
Runtime:  llama.cpp CUDA build

On this machine, the command above has reached a reported peak of up to approximately 37 tokens/second. Actual speed depends on context length, prompt length, sampling settings, MTP acceptance rate, CUDA/llama.cpp version, background workload, and the amount of KV cache in use.

For this hardware, --spec-draft-n-max 3 is recommended as a starting point. Higher draft counts can add overhead rather than improve throughput.

Provenance

Base model

  • AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16
  • Base revision used locally: a6775a9a8ebb65cab3f707b4ab087fc7aa698634
  • Original upstream model: Qwen/Qwen3.8-27B

AEON-7 is an abliterated BF16 derivative. Its model card describes an SSM conv1d outlier-repair step, abliterix processing, a stock MTP head graft, and an untouched vision tower. This GGUF quantizes the AEON-7 BF16 weights; it is not a re-quantization of an already-quantized FP8 checkpoint.

Quantization idea

The mixed quantization strategy was inspired by:

  • empero-ai/Qwen3.8-27B-Ridge-GGUF
  • llama.cpp

The local conversion and quantization used llama.cpp commit 030ebb558.

AI assistance disclosure

The local model preparation workflow, conversion, calibration-data preparation, quantization, validation, and this model card were performed with assistance from GPT-5.6-Luna via Hermes Agent. The model was then reviewed and published by the repository owner.

Responsible use

This is an uncensored / refusal-removed model. It may produce content that an aligned model would refuse, including unsafe, illegal, or harmful material. It has no reliable built-in safety layer. Use appropriate access controls, moderation, logging, and human review for any deployment, and comply with all applicable laws and policies.

The model is provided as-is. Users are responsible for prompts, outputs, and any downstream actions based on them.

日本語

概要

これは、 AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 をベースに、Gated-DeltaNetの特性を考慮したRidge式の混合量子化を適用した GGUFモデルです。

無検閲・拒否除去済みのAEON-7の重みを維持しながら、 empero-ai/Qwen3.8-27B-Ridge-GGUF で使われている考え方を参考に、GDNの壊れやすい経路へビットを優先配分しています。

これはEmpero公式のRidgeモデルではなく、AEON-7を独自に量子化した派生GGUFです。

基本仕様

ファイル名: qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf
形式:       GGUF
サイズ:     12,599,187,808 bytes（約11.73 GiB）
量子化:     3.69 bpw
パラメータ: 27B
MTP:        GGUF内に保持、native draft-mtp対応

混合量子化の内訳

F32    360 tensors  norm / state系
Q4_K   144 tensors  Gated-DeltaNet mixer系
Q8_0    96 tensors  ssm_alpha / ssm_beta
IQ2_S  160 tensors  中間層FFN
IQ3_S   32 tensors  高めの精度を残したFFN
Q5_K   51 tensors  通常AttentionのQ/K/V
Q6_K   23 tensors  output、embedding、Attention output、MTP

MTPテンソルにはimatrixを適用せず、Q6_Kで保持しています。

AEON専用のimatrixは、以下を混ぜたcalibrationデータから作成しました。

  • 英語WikiText
  • 日本語Wikipedia
  • llama.cppのC/C++/Pythonソースコード
context: 512
batch:   512
chunks:  80
entries: 497

llama.cppでの起動

./llama-server \
  -m ./qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --split-mode layer \
  --tensor-split 2,1 \
  --host 0.0.0.0 \
  --port 8080 \
  -ctk q4_0 \
  -ctv q4_0 \
  -c 114514

ローカルからのみ接続する場合は、--host 127.0.0.1を推奨します。 0.0.0.0はネットワーク上へ公開する設定なので、認証・Firewall・アクセス制御を 必ず追加してください。

作成・検証環境

Ubuntu 24.04
Intel Core i7-10700K
RTX 5060 Ti 16GB + RTX 3070 8GB
RAM 32GB
llama.cpp CUDA build

上記の環境と起動設定で、最高約37 tokens/secondが報告されています。 実際の速度は、コンテキスト長、プロンプト長、KV cache、MTPの受理率、 llama.cppのバージョン、バックグラウンド負荷などで変化します。

AI利用の開示

ローカルへのモデル取得、変換、calibrationデータ作成、imatrix作成、量子化、 動作確認、およびこのREADMEの作成は、Hermes Agent経由のGPT-5.6-Lunaの 支援を受けて行われました。最終的な確認と公開はリポジトリ所有者が行っています。

利用上の注意

このモデルは無検閲・拒否除去済みです。通常のアライン済みモデルが拒否するような、 危険・違法・有害な内容を出力する可能性があります。信頼できる安全機構を内蔵して いるとは考えないでください。

公開運用する場合は、アクセス制御、入力・出力フィルタ、監査ログ、レート制限、 人間による確認などを用途に応じて実装してください。利用者はプロンプト、出力、 出力を利用した downstream の行為について責任を負います。

HUGGING FACE

上游数据

HF 下载量5万
HF 点赞量105

HF 下载量为源站最近 30 天统计，与本站点击分开。

SITE STATS

本站统计

下载点击—
请求数—
匿名去重—最近 7 天—

本站下载量记录按钮点击，不代表下载完成；短时连点会去重。

来源与版本

作者
soyaakinohara
最近更新
未知
最新创建
2026/08/16
HF 趋势
868
数据快照
2026/09/16
版本
未知
许可证
apache-2.0