language:

fi
en license: apache-2.0 base_model: kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored tags:
finnish
suomi
awq
w4a16
compressed-tensors
vllm
reasoning
uncensored
multimodal
vision
mtp pipeline_tag: text-generation

Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ

1. Mitä Kataguru muutti? (Muutosyhteenveto)

Kenttä	Kuvaus
Base model	`kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored` (Upstream: `Qwen/Qwen3.8-27B` & `TWIN-TURBO-Fable-Cold-Fusion-709`)
Katagurun muutos	Titan v2.0 -jatkokoulutus (Leonardo 20k SFT + Epistemic Anchor SFT), Kataguru Master Chat Template v1.0, W4A16 AWQ -kvantisointi (suomenkielinen moniala-kalibrointi 256 näytteellä)
Mitä EI muutettu	27B arkkitehtuuri, perusmorfologia, huolella valitut kvantisoimattomat kerrokset (`lm_head`, `mtp`, `visual`)
Ensisijainen käyttö	Tuotantotason vLLM-päättely: autonominen päättely, faktantarkistus, ohjelmistokehitys ja suomenkielinen esteetön tekstituotanto
Suositeltu versio	W4A16 AWQ (`compressed-tensors`), 2x RTX 5090 / TP=2 tai 1x A100/H100 80GB
Testattu laitteisto	2x NVIDIA GeForce RTX 5090 32GB (vLLM v0.26, TP=2, CUDA 13.2)

2. Empiirinen Vertailutaulukko: Titan 1.0 vs. Titan v2.0

Kaikki mittaukset on suoritettu samoilla laitteistoilla ja vakioiduilla testipatteristoilla:

Testi / Osa-alue	Titan 1.0 (Syyskuu 2026)	Titan v2.0 (Uusi versio)	Muutos (Delta) & Huomiot
Hallusinaatioiden torjunta (20 ansaa)	85,0 % (17/20)	90,0 % (18/20)	+5,0 % (Torjui Mannerheim-Heisenbergin, Päätalo-algoritmin, sunnuntaipesulait, keksityt API:t)
Päättelynopeus (AWQ W4A16, vLLM TP=2)	n. 140 tok/s (126–140 tok/s)	140,1 tok/s (huippu 166 tok/s)	Molemmat mallit hyödyntävät Marlin W4A16 -muistikaistaa ja MTP $K=2$ -spekulaatiota. Titan v2.0 on episteemisen tiiviyden ansiosta 33 % nopeampi kokonaisvastausajassa (57,5 s vs 73,4 s) ilman tyhjää jaarittelua.
Natiivi perusnopeus (BF16 TP=2 baseline)	44,8 tok/s	50,7 tok/s	+13,2 % aito sukupolviero samalla liukulukutarkkuudella (50,7 vs 44,8 tok/s).
Koodaustesti (LFU Cache $O(1)$, C11, SQL)	8,8 / 10	9,8 / 10	Täysi $O(1)$ LFU Python-toteutus dummy-päillä, BST-bugikorjaus, optimaalinen window SQL
Vaativa suomi (Volter Kilpi, anglismien karsinta)	Hyvä	Erinomainen	137 sanan katkeamaton saaristolaisvirke, piiloanglismien eliminointi
Päättelyarkkitehtuuri & Chat Template	Erillinen tturbo	Kataguru Master v1.0	Yhdistetty `{REASON:spoon/einstein/xhigh/low/none}` oletuksena
Sensuroimattomuus & Aikuiskerronta	Täysin avoin	Täysin avoin	Fiktiivinen konteksti poistaa kieltäytymisen; ei moraalisaarnoja
Koulutuksen lopullinen loss	~0,68	0,5879	Leonardo 20k + Epistemic ankkurointi

3. Keskeiset Ominaisuudet ja Arkkitehtuuri

Kataguru Master Chat Template v1.0: Malli säätää päättelynsä syvyyttä joko automaattisesti tai käyttäjän eksplisiittisillä ohjaustageilla:
- {REASON:spoon}: Syvätutkimus ja tieteellinen analyysi (7 vaihetta, hypoteesit, moninäkökulmainen paneeli).
- {REASON:einstein}: Luova ja lateraalinen aivoriihi (10 näkökulmaa, radikaalit analogiat).
- {REASON:xhigh}: Maksimaalinen perusteellisuus ilman oikopolkuja.
- {REASON:low}: Nopea ja suora vastaus keveisiin rutiinitehtäviin.
- {REASON:none}: Päättelyohitus suoriin faktavastauksiin ja käännöksiin.
Multimodaalisuus & Vision: Täysi visiotorni (model.visual.*) ja visioprojektori säilytetty natiivissa BF16-tarkkuudessa.
MTP (Multi-Token Prediction) Spekulatiivinen Dekoodaus: Malliin on leivottu MTP-pää, joka mahdollistaa $K=2$ spekulatiivisen dekoodauksen vLLM:ssä tuottaen jopa 25–35 % korkeamman generointinopeuden.
Episteeminen Rehellisyys: Malli kieltäytyy luomasta perättömiä väitteitä, keksittyjä lakeja tai olemattomia funktioita. Fiktiivistä tai taiteellista tekstiä pyydettäessä hahmojen tai tyylin nimeäminen ohjaa mallin esteettömään kerrontaan.

4. Tuotantoasennus (vLLM)

Käynnistyskomento (2x RTX 5090 / TP=2):

vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ \
  --tensor-parallel-size 2 \
  --quantization compressed-tensors \
  --kv-cache-dtype fp8 \
  --enable-chunked-prefill \
  --speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
  --limit-mm-per-prompt '{"image":99}' \
  --max-model-len 262144 \
  --max-num-batched-tokens 8192 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --override-generation-config '{"temperature":0.6,"top_p":0.95}' \
  --host 0.0.0.0 \
  --port 8000

Esimerkki: OpenAI-yhteensopiva API-kutsu

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="none"
)

response = client.chat.completions.create(
    model="kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ",
    messages=[
        {"role": "system", "content": "Olet Kataguru Titan v2.0, analyyttinen ja tarkka tekoäly."},
        {"role": "user", "content": "{REASON:spoon} Analysoi kvanttitietokoneiden dekoherenssin mekanismit suprajohtavissa kubiteissa."}
    ],
    temperature=0.6,
    max_tokens=4096
)

print(response.choices[0].message.content)

5. Rajoitukset ja Rehellinen Arvio

Episteemisen filtterin laukeaminen reaalimaailman valvontakysymyksissä: Jos mallilta kysytään suoraan "Mitä tapahtuu suljetussa makuuhuoneessa?", episteeminen suodatin kieltäytyy vastaamasta reaaliaikaisen mittausdatan puuttumisen vuoksi. Kaunokirjallista aikuiserotiikkaa pyydettäessä kehotteessa tulee eksplisiittisesti nimetä kuvitteelliset henkilöhahmot ja tyyli (esim. "Kirjoita Bukowski-tyylinen tarina...").
Kieliopillinen ääritarkkuus: Erittäin harvinaisissa moniosaisissa abessiivimuodoissa esiintyy satunnaisesti taivutuslipsahduksia genetiiviin ("näiden kolmen talotta" vs. "näittä kolmetta talotta").

1. Mitä Kataguru muutti? (Muutosyhteenveto)

Kenttä

Kuvaus

Base model

kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored (Upstream: Qwen/Qwen3.8-27B & TWIN-TURBO-Fable-Cold-Fusion-709)

Katagurun muutos

Titan v2.0 -jatkokoulutus (Leonardo 20k SFT + Epistemic Anchor SFT), Kataguru Master Chat Template v1.0, W4A16 AWQ -kvantisointi (suomenkielinen moniala-kalibrointi 256 näytteellä)

Mitä EI muutettu

27B arkkitehtuuri, perusmorfologia, huolella valitut kvantisoimattomat kerrokset (lm_head, mtp, visual)

Ensisijainen käyttö

Tuotantotason vLLM-päättely: autonominen päättely, faktantarkistus, ohjelmistokehitys ja suomenkielinen esteetön tekstituotanto

Suositeltu versio

W4A16 AWQ (compressed-tensors), 2x RTX 5090 / TP=2 tai 1x A100/H100 80GB

Testattu laitteisto

2x NVIDIA GeForce RTX 5090 32GB (vLLM v0.26, TP=2, CUDA 13.2)

2. Empiirinen Vertailutaulukko: Titan 1.0 vs. Titan v2.0

Kaikki mittaukset on suoritettu samoilla laitteistoilla ja vakioiduilla testipatteristoilla:

Testi / Osa-alue

Titan 1.0 (Syyskuu 2026)

Titan v2.0 (Uusi versio)

Muutos (Delta) & Huomiot

Hallusinaatioiden torjunta (20 ansaa)

85,0 % (17/20)

90,0 % (18/20)

+5,0 % (Torjui Mannerheim-Heisenbergin, Päätalo-algoritmin, sunnuntaipesulait, keksityt API:t)

Päättelynopeus (AWQ W4A16, vLLM TP=2)

n. 140 tok/s (126–140 tok/s)

140,1 tok/s (huippu 166 tok/s)

Molemmat mallit hyödyntävät Marlin W4A16 -muistikaistaa ja MTP $K=2$ -spekulaatiota. Titan v2.0 on episteemisen tiiviyden ansiosta 33 % nopeampi kokonaisvastausajassa (57,5 s vs 73,4 s) ilman tyhjää jaarittelua.

Natiivi perusnopeus (BF16 TP=2 baseline)

44,8 tok/s

50,7 tok/s

+13,2 % aito sukupolviero samalla liukulukutarkkuudella (50,7 vs 44,8 tok/s).

Koodaustesti (LFU Cache $O(1)$, C11, SQL)

8,8 / 10

9,8 / 10

Täysi $O(1)$ LFU Python-toteutus dummy-päillä, BST-bugikorjaus, optimaalinen window SQL

Vaativa suomi (Volter Kilpi, anglismien karsinta)

Hyvä

Erinomainen

137 sanan katkeamaton saaristolaisvirke, piiloanglismien eliminointi

Päättelyarkkitehtuuri & Chat Template

Erillinen tturbo

Kataguru Master v1.0

Yhdistetty {REASON:spoon/einstein/xhigh/low/none} oletuksena

Sensuroimattomuus & Aikuiskerronta

Täysin avoin

Täysin avoin

Fiktiivinen konteksti poistaa kieltäytymisen; ei moraalisaarnoja

Koulutuksen lopullinen loss

~0,68

0,5879

Leonardo 20k + Epistemic ankkurointi

3. Keskeiset Ominaisuudet ja Arkkitehtuuri

Kataguru Master Chat Template v1.0: Malli säätää päättelynsä syvyyttä joko automaattisesti tai käyttäjän eksplisiittisillä ohjaustageilla:

{REASON:spoon}: Syvätutkimus ja tieteellinen analyysi (7 vaihetta, hypoteesit, moninäkökulmainen paneeli).
{REASON:einstein}: Luova ja lateraalinen aivoriihi (10 näkökulmaa, radikaalit analogiat).
{REASON:xhigh}: Maksimaalinen perusteellisuus ilman oikopolkuja.
{REASON:low}: Nopea ja suora vastaus keveisiin rutiinitehtäviin.
{REASON:none}: Päättelyohitus suoriin faktavastauksiin ja käännöksiin.

Multimodaalisuus & Vision: Täysi visiotorni (model.visual.*) ja visioprojektori säilytetty natiivissa BF16-tarkkuudessa.

MTP (Multi-Token Prediction) Spekulatiivinen Dekoodaus: Malliin on leivottu MTP-pää, joka mahdollistaa $K=2$ spekulatiivisen dekoodauksen vLLM:ssä tuottaen jopa 25–35 % korkeamman generointinopeuden.

Episteeminen Rehellisyys: Malli kieltäytyy luomasta perättömiä väitteitä, keksittyjä lakeja tai olemattomia funktioita. Fiktiivistä tai taiteellista tekstiä pyydettäessä hahmojen tai tyylin nimeäminen ohjaa mallin esteettömään kerrontaan.

4. Tuotantoasennus (vLLM)

Käynnistyskomento (2x RTX 5090 / TP=2):

vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ \ --tensor-parallel-size 2 \ --quantization compressed-tensors \ --kv-cache-dtype fp8 \ --enable-chunked-prefill \ --speculative-config '{"method":"mtp","num_speculative_tokens":2}' \ --limit-mm-per-prompt '{"image":99}' \ --max-model-len 262144 \ --max-num-batched-tokens 8192 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --override-generation-config '{"temperature":0.6,"top_p":0.95}' \ --host 0.0.0.0 \ --port 8000

Esimerkki: OpenAI-yhteensopiva API-kutsu

from openai import OpenAI client = OpenAI( base_url="http://localhost:8000/v1", api_key="none" ) response = client.chat.completions.create( model="kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ", messages=[ {"role": "system", "content": "Olet Kataguru Titan v2.0, analyyttinen ja tarkka tekoäly."}, {"role": "user", "content": "{REASON:spoon} Analysoi kvanttitietokoneiden dekoherenssin mekanismit suprajohtavissa kubiteissa."} ], temperature=0.6, max_tokens=4096 ) print(response.choices[0].message.content)

5. Rajoitukset ja Rehellinen Arvio

Episteemisen filtterin laukeaminen reaalimaailman valvontakysymyksissä: Jos mallilta kysytään suoraan "Mitä tapahtuu suljetussa makuuhuoneessa?", episteeminen suodatin kieltäytyy vastaamasta reaaliaikaisen mittausdatan puuttumisen vuoksi. Kaunokirjallista aikuiserotiikkaa pyydettäessä kehotteessa tulee eksplisiittisesti nimetä kuvitteelliset henkilöhahmot ja tyyli (esim. "Kirjoita Bukowski-tyylinen tarina...").

Kieliopillinen ääritarkkuus: Erittäin harvinaisissa moniosaisissa abessiivimuodoissa esiintyy satunnaisesti taivutuslipsahduksia genetiiviin ("näiden kolmen talotta" vs. "näittä kolmetta talotta").