language:

• fi
• en license: apache-2.0 base_model: apodex/Apodex-1.1-mini tags:
• finnish
• suomi
• awq
• w4a16
• compressed-tensors
• vllm
• moe
• reasoning
• uncensored
• multimodal
• vision pipeline_tag: text-generation

Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ

Katagurun virallinen tuotantotason W4A16 (compressed-tensors, pack-quantized) -kvantisointi apodex/Apodex-1.1-mini -mallista. Mallille on suoritettu sensuroinnin poisto (SOMA/ARA -aktiviteettiortogonalisointi), suomen kielen ja episteemisen rehellisyyden kevyt ankkurointi sekä Kataguru Master Chat Template v1.0 -integraatio.

Malli noudattaa vLLM:n virallista compressed-tensors -standardia: 40 kerroksen 256 MoE-asiantuntijaa (yhteensä 30 720 matriisia) on kvantisointu INT4:ksi (group_size=32, MSE observer), kun taas Mamba/SSM 1D -konvoluutiokerrokset, täysi huomio (Full Attention), visuaalinen enkooderi ja MTP-pää on säilytetty 100 % natiivina BF16-tarkkuudessa. Tämä eliminoi Marlin-purun matemaattiset poikkeamat ja takaa maksimaalisen vLLM-suorituskyvyn.

1. Mitä Kataguru muutti? (Muutosyhteenveto)

2. Empiirinen Vertailutaulukko

3. Sensuroinnin Poistomenetelmä: SOMA/ARA + Kevyt Ankkuri-SFT

Miksi perinteiset Hugging Face -menetelmät epäonnistuvat MoE-malleissa?

Hugging Facessa julkaistut "uncensored"-mallit jakautuvat perinteisesti kahteen karkeaan luokkaan, jotka eivät sovellu moderniin tuotantoon:

1. Raaka abliterointi (Naive Abliteration / Heretic-skriptit ilman optimointia):
   • Suurin osa HF-yhteisön "abliterated"-malleista vähentää kieltäytymisvektorin sokkona kaikilta kerroksilta ilman hyperparametrien hienoviritystä.
   • Seuraus ("lobotomia-efekti"): Mekanistinen tulkittavuus osoittaa, että raaka leikkaus vahingoittaa vierekkäisiä semanttisia representaatioita. Mallin matemaattinen ja koodauspäättely heikkenee, kielellinen koherenssi rakoilee ja vastaukset alkavat helposti kiertää kehää.
   • MoE-katastrofi: Perinteiset skriptit leikkaavat myös reitittimiä (router gates), jolloin asiantuntijoiden erikoistuminen ja reitityksen entropia tuhoutuvat.
2. Pelkkä synteettinen SFT (kuten perinteinen Dolphin-koulutus):
   • Koulutetaan tuhansia myöntyväisiä keskusteluja ilman painotason geometrista leikkausta.
   • Seuraus (jailbreak drift): Esikoulutetut kieltäytymisaktivaatiot säilyvät syvällä mallin pohjakerroksissa. Monimutkaisissa, monitulkintaisissa tai vieraankielisissä kehotteissa alkuperäinen turvasensuuri aktivoituu uudelleen.

Katagurun ratkaisu: Kaksivaiheinen Hybridiputki

Kataguru käyttää tiettävästi ainoana tuotantotason hybridiputkea, joka yhdistää matemaattisen suorakirurgian ja kielellisen toipumisen:

1. SOMA (Sparse Orthogonal Modulation & Abliteration):
   • Kieltäytymissuunta $v$ mitataan residuaalitilasta paritetuilla haitallinen/neutraali -kehotteilla.
   • Optunan TPE-algoritmilla suoritetaan Bayesilainen haku, jolla löydetään täsmällinen kerrosikkuna ($0.25 L \le l \le 0.65 L$) ja skaalauskerroin $\alpha$, jolla kieltäytymisaste putoaa 0 %:iin samalla kun hämmennysluvun nousu rajataan tiukasti alle 1 %:iin ($\Delta \text{PPL} < 0.05$).
2. MoE-suojattu ARA (Activation Residual Abliteration):
   • Matemaattinen leikkaus kaavalla: $W' = W - \alpha \cdot v (v^T W)$.
   • Kohdistetaan tarkasti vain huomiomatriiseihin ($W_o$) ja kaikkien 256 asiantuntijan alasprojektioihin ($W_{down}^{(i)}$).
   • Reitittimen painoihin ei kosketa lainkaan, jolloin MoE-arkkitehtuurin asiantuntijajakauma säilyy 100 % ehjänä.
3. Kevyt Ankkuri-SFT (150–250 askelta, 15 min):
   • Leikkauksen jälkeen suoritetaan välitön kielellinen ankkurointi.
   • Korjaa geometrisen leikkauksen aiheuttaman mikroskooppisen roson residuaaliavaruudessa.
   • Poistaa moralisoivat esipuheet ("As an AI...", "On tärkeää huomata...") ja istuttaa Epistemic Honesty / Anti-Sycophancy -periaatteet (totuus mielistelyn edelle).

4. Päättelyn Ohjaus (Kataguru Master Chat Template)

Malli tukee suoraa päättelytason ohjausta käyttäjäkehotteen alussa:

• {REASON:spoon}: Syväanalyysi (Spoon Deep Research, 7-vaiheinen tieteellinen arviointi ja kriittinen tiedonvalidointi).
• {REASON:einstein}: Luova ideointi ja aivoriihi (10 Sternberg-näkökulmaa, poikkeavat assosiaatiot).
• {REASON:xhigh}: Maksimaalinen päättelytarkkuus ja perusteellinen pohdinta.
• {REASON:low}: Nopea ja ytimekäs vastaus ilman pitkää ajatteluketjua.
• {REASON:none}: Päättelymoodi pois päältä.

5. Käyttöönotto vLLM:ssä

Käynnistyskomento:

python3 -m vllm.entrypoints.openai.api_server \
  --model "kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ" \
  --quantization compressed-tensors \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --host 0.0.0.0 --port 8000

Monen kortin ympäristössä (esim. 2x RTX 5090 tai 2x RTX 5060 Ti):

python3 -m vllm.entrypoints.openai.api_server \
  --model "kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ" \
  --tensor-parallel-size 2 \
  --quantization compressed-tensors \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --host 0.0.0.0 --port 8000

Esimerkkikutsu Pythonilla (OpenAI-yhteensopiva API):

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="none"
)

response = client.chat.completions.create(
    model="kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ",
    messages=[
        {"role": "system", "content": "Olet analyyttinen ja sensuroimaton suomenkielinen avustaja."},
        {"role": "user", "content": "{REASON:spoon} Analysoi kvanttikryptografian keskeiset haavoittuvuudet ja implementaatioriskit käytännön optisissa verkoissa."}
    ],
    temperature=0.6,
    max_tokens=2048
)

print(response.choices[0].message.content)

6. Rajoitukset ja Episteeminen Rehellisyys

1. MoE-muistijalanjälki: Mallissa on 256 asiantuntijaa kerrosta kohden (40 kerrosta). Vaikka aktiivisten parametrien määrä per token on pieni, kaikki asiantuntijat vaativat ~26 Gt VRAMia ollakseen nopeasti saatavilla.
2. Sensuroimattomuus: Mallista on poistettu keinotekoiset kieltäytymisrefleksit (SOMA/ARA). Se vastaa suoraan teknisiin, filosofisiin ja monitulkintaisiin kysymyksiin ilman ennakkoasennettuja suodattimia. Käyttäjä vastaa mallin tuottamasta sisällöstä ja sen soveltamisesta.