license: apache-2.0 language:

• en
• ru
• da tags:
• qwen
• qwen3.8
• mllm
• compressed-tensors
• w4a16
• auto-round
• 4-bit
• int8
• abliterated
• speculative-decoding
• mtp base_model: huihui-ai/Huihui-Qwen3.8-27B-abliterated inference: false

Huihui-Qwen3.8-27B-Abliterated-W4A16-AutoRound

Quantized from scratch (FP16 → W4A16) version of huihui-ai/Huihui-Qwen3.8-27B-abliterated in compressed-tensors pack-quantized format, following the recipe of dbirk/Qwen3.8-27B-W4A16-AutoRound.

Update 2026-08-25: re-quantized from the refreshed upstream base (updated 2026-08-24, commit 739e3c5b8984). Previous weights remain in the repo git history.

Fully loadable by vLLM 0.27+ out of the box (quant_method: compressed-tensors), with the MTP (multi-token-prediction) speculative-decoding pipeline applied: lm_head / embed_tokens / MTP module quantized to int8 and a 40k-token draft-vocabulary draft head for fast speculation.

Средняя скорость генерации на RTX 3090 (24 GB): ≈80 tok/s декод с MTP k=3 (live-мониторинг: средняя во время активной генерации ~81, медиана 84, пики до 121 tok/s при acceptance MTP ~65–90%; на длинных контекстах acceptance падает до 5–30% → ~40–55 tok/s; префилл 1.8–7.6k tok/s). Без MTP — примерно втрое медленнее.

Полный цикл конвертации FP16 → vLLM-ready на RTX 3090 занимает ≈2 ч 45 мин (квантование 64 слоёв ≈2 ч 37 мин при ~137–155 с/слой + пост-пайплайн ≈6 мин; пики: VRAM 15.5 GB / RAM 23 GB).

Квантование (auto-round 0.14.2)

Остались в BF16 через layer_config: linear_attn.in_proj_a/b (все 48 слоёв), вся vision-башня visual.*, модуль mtp и lm_head.

Пост-квантование (пайплайн, в том же каталоге)

config_groups (порядок важен для матчинга compressed-tensors):

group_0  targets=["Linear"]             int4 g128 sym   — основной корпус
group_1  targets=["re:.*lm_head$"]      int8 g128       — lm_head + mtp.draft_lm_head
group_2  targets=["re:.*embed_tokens$"] int8 g128       — embed_tokens
group_3  targets=["re:^mtp\\..*"]       int8 g128       — модуль MTP

Веса: weight_packed int32 + weight_scale fp16 (bf16 для embedding) + weight_shape. MTP и draft head лежат в model_extra_tensors.safetensors, рядом mtp_draft_vocab_ids.pt (карта id для урезанного словаря драфтера).

Карточка базы (кратко)

• Архитектура: Qwen3.5 (qwen3_5), 27B, 64 слоя (48 linear-attention DeltaNet + 16 full attention), словарь 248k, модуль MTP, vision-башня.
• Abliterated от huihui-ai: refusal-поведение удалено, способности сохранены; ответственность за использование — на пользователе.
• Untied embeddings: lm_head и embed_tokens — отдельные матрицы.

Требования

• vLLM 0.27+ (формат compressed-tensors грузится из коробки, квантование указывать не нужно)
• torch 2.13+cu130 (CUDA 13-совместимый драйвер)
• RTX 3090 24 GB: полный 150k-контекст влезает (KV-пул ~178k токенов, fp8)

Запуск

python -m vllm.entrypoints.openai.api_server \
  --model ababaka/Huihui-Qwen3.8-27B-Abliterated-W4A16-AutoRound \
  --served-model-name qwen3.8-27b \
  --host 0.0.0.0 --port 18020 \
  --gpu-memory-utilization 0.93 \
  --max-model-len 150000 \
  --max-num-seqs 8 \
  --kv-cache-dtype fp8 \
  --mamba-ssm-cache-dtype float16 \
  --max-num-batched-tokens 2048 \
  --language-model-only \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3,"draft_sample_method":"probabilistic"}'

Ключевые флаги:

Проверка

curl http://localhost:18020/v1/chat/completions \
  -H "Authorization: Bearer <ключ>" -H "Content-Type: application/json" \
  -d '{"model":"qwen3.8-27b","messages":[{"role":"user","content":"Hi!"}],"max_tokens":64}'

Ожидаемый старт: загрузка весов ~0.2 с, torch.compile ~26 с (первый раз), KV-пул 151–178k токенов, декод ~80 tok/s в среднем с MTP (пики 121, на длинных контекстах 40–55).

Кредиты

• База: huihui-ai/Huihui-Qwen3.8-27B-abliterated
• Рецепт: dbirk/Qwen3.8-27B-W4A16-AutoRound
• Инструменты: Intel auto-round, vLLM compressed-tensors