license: other base_model: Qwen/Qwen3.5-9B-Base library_name: transformers pipeline_tag: text-generation tags:

hsaq
hsaqr
v2
abliterated
sparse
adaptive

Qwen3.5-9B-Abliterated-HSAQ-v2

Descargas

HSAQR v2 — Solo abliteración (identificación automática → rewrite selectivo → PWS global). Este repo NO incluye el fine-tune final.

Autor: Jesús Antonio Zárate Hernández (MethodWhite), M.A.T.E.R.I.A. Research, 2026.

Diferencia con Qwen3.5-9B-HSAQR-v2

	Este repo (Abliterated)	Qwen3.5-9B-HSAQR-v2
Identificación automática (8/32 capas)	✅	✅
Rewrite selectivo (ortogonalización)	✅	✅
PWS global (MLP 12288→7456)	✅	✅
Fine-tune HSAQ-optimizer	❌ No	✅ Sí
Dataset de fine-tuning (10.011 ejemplos)	❌ — este repo no lo usa	✅ Unificado 2026
Uso	Abliteración pura, para comparar	Modelo final rewrite + abliteración

Pipeline v2 aplicado

Identificación auto-calibrada (IQR + magnitud relativa): capas L17-L21, L23, L24, L29 con señal real de refusal.
Rewrite jerárquico de canales (hilos/cuerdas/hebras) + ortogonalización selectiva de o_proj y down_proj.
PWS global: dimensión intermedia del MLP 12288 → 7456 (config actualizado).

El modelo NO pasó por el fine-tune final con HSAQ-optimizer. Para el modelo completo (abliteración + rewrite de comportamiento), usar MethodWhite/Qwen3.5-9B-HSAQR-v2.

Datasets utilizados

Este repo solo pasó por el paso 1 (identificación), que no usa un dataset de entrenamiento: usa el mismo set contrastivo fijo de 16 prompts (8 harmless + 8 harmful) que localiza la dirección de refusal por capa. El dataset de fine-tuning (10.011 ejemplos, unificado 2026) se aplica únicamente en Qwen3.5-9B-HSAQR-v2, no en este repo.

Nota sobre el tamaño (7B vs 9B)

El PWS recortó la dimensión intermedia del MLP de 12288 → 7456 en todas las capas (−39.3% del MLP). Los embeddings, atención y normas quedaron intactos. Por eso el modelo tiene 7.05B parámetros (de los 8.95B originales, −21.2%) sin perder el conocimiento léxico (embeddings intactos) — es compresión física, no destilación.

Resultados medidos

PWS: −39% pesos MLP (ahorro ~7 GB en disco)
Identificación automática: 8/32 capas tocadas, sintaxis intacta
Abliteración sin fine-tune: refusal eliminado, coherencia base preservada

Uso

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")
tokenizer = AutoTokenizer.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")

Alcance de uso

Modelo de investigación para testing de seguridad autorizado (bug bounty, CTF, pentesting con permiso explícito, educación, investigación defensiva).

Créditos

Si este trabajo te es útil, puedes invitarme un café ☕:

Buy Me a Coffee

👉 https://buymeacoffee.com/methodwhite

También puedes apoyarme en Ko-fi:

Ko-fi

👉 https://ko-fi.com/methodwhite

Diferencia con Qwen3.5-9B-HSAQR-v2

Este repo (Abliterated)

Qwen3.5-9B-HSAQR-v2

Identificación automática (8/32 capas)

✅

Rewrite selectivo (ortogonalización)

✅

PWS global (MLP 12288→7456)

✅

Fine-tune HSAQ-optimizer

❌ No

✅ Sí

Dataset de fine-tuning (10.011 ejemplos)

❌ — este repo no lo usa

✅ Unificado 2026

Uso

Abliteración pura, para comparar

Modelo final rewrite + abliteración

Pipeline v2 aplicado

Identificación auto-calibrada (IQR + magnitud relativa): capas L17-L21, L23, L24, L29 con señal real de refusal.

Rewrite jerárquico de canales (hilos/cuerdas/hebras) + ortogonalización selectiva de o_proj y down_proj.

PWS global: dimensión intermedia del MLP 12288 → 7456 (config actualizado).

El modelo NO pasó por el fine-tune final con HSAQ-optimizer. Para el modelo completo (abliteración + rewrite de comportamiento), usar MethodWhite/Qwen3.5-9B-HSAQR-v2.

Datasets utilizados

Nota sobre el tamaño (7B vs 9B)

from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2") tokenizer = AutoTokenizer.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")