language:

fi
en license: apache-2.0 base_model: kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored tags:
finnish
suomi
nvfp4
blackwell
fp4
compressed-tensors
vllm
reasoning
uncensored
multimodal
vision
mtp pipeline_tag: text-generation

Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-NVFP4

1. Mitä Kataguru muutti? (Muutosyhteenveto)

Kenttä	Kuvaus
Base model	`kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored` (Upstream: `Qwen/Qwen3.8-27B` & `TWIN-TURBO-Fable-Cold-Fusion-709`)
Katagurun muutos	Titan v2.0 -jatkokoulutus (Leonardo 20k SFT + Epistemic Anchor SFT), Kataguru Master Chat Template v1.0, Blackwell NVFP4 (W4A4/W4-FP8) -kvantisointi
Mitä EI muutettu	27B arkkitehtuuri, perusmorfologia, huolella valitut kvantisoimattomat kerrokset (`lm_head`, `mtp`, `linear_attn`, `visual`)
Ensisijainen käyttö	Huippunopea tuotantopäättely NVIDIA Blackwell -arkkitehtuurilla (RTX 50 -sarja, B200): maksimaalinen läpimeno ja minimaalinen latenssi
Suositeltu versio	NVFP4 (`compressed-tensors`), 2x RTX 5090 / TP=2
Testattu laitteisto	2x NVIDIA GeForce RTX 5090 32GB (vLLM v0.26, TP=2, CUDA 13.2)

2. Empiirinen Vertailutaulukko: Titan 1.0 vs. Titan v2.0

Testi / Osa-alue	Titan 1.0 (Syyskuu 2026)	Titan v2.0 (Uusi versio)	Muutos (Delta) & Huomiot
Hallusinaatioiden torjunta (20 ansaa)	85,0 % (17/20)	90,0 % (18/20)	+5,0 % (Torjui Mannerheim-Heisenbergin, Päätalo-algoritmin, sunnuntaipesulait, keksityt API:t)
Päättelynopeus (NVFP4, vLLM TP=2)	n. 135 tok/s	140+ tok/s (huippu 160–180 tok/s)	Natiivi Blackwell FP4 -laskenta ja MTP $K=2$. Titan v2.0 saavuttaa merkittävästi lyhyemmän viiveen tiiviin CoT-päättelyn ansiosta.
Natiivi perusnopeus (BF16 TP=2 baseline)	44,8 tok/s	50,7 tok/s	+13,2 % aito sukupolviero samalla liukulukutarkkuudella (50,7 vs 44,8 tok/s).
Koodaustesti (LFU Cache $O(1)$, C11, SQL)	8,8 / 10	9,8 / 10	Täysi $O(1)$ LFU Python-toteutus dummy-päillä, BST-bugikorjaus, optimaalinen window SQL
Vaativa suomi (Volter Kilpi, anglismien karsinta)	Hyvä	Erinomainen	137 sanan katkeamaton saaristolaisvirke, piiloanglismien eliminointi
Päättelyarkkitehtuuri & Chat Template	Erillinen tturbo	Kataguru Master v1.0	Yhdistetty `{REASON:spoon/einstein/xhigh/low/none}` oletuksena
Sensuroimattomuus & Aikuiskerronta	Täysin avoin	Täysin avoin	Fiktiivinen konteksti poistaa kieltäytymisen; ei moraalisaarnoja
Koulutuksen lopullinen loss	~0,68	0,5879	Leonardo 20k + Epistemic ankkurointi

3. NVFP4 (NVIDIA Blackwell Native FP4) -arkkitehtuuri

Natiivi 4-bittinen liukulukulaskenta: NVFP4 hyödyntää Blackwell-arkkitehtuurin (kuten RTX 50 -sarjan ja B200) uusia Tensor-ytimiä ja FP4-skaalauksia (scale_dtype: torch.float8_e4m3fn).
Muistijalanjälki: Mallin painot mahtuvat alle 15 gigatavuun VRAM-muistia.
Spekulatiivinen MTP-dekoodaus: MTP-pää säilytetty ja aktivoitu $K=2$ spekulatiiviseen generointiin vLLM:ssä.

4. Tuotantoasennus (vLLM)

vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-NVFP4 \
  --tensor-parallel-size 2 \
  --quantization compressed-tensors \
  --kv-cache-dtype fp8 \
  --enable-chunked-prefill \
  --speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
  --limit-mm-per-prompt '{"image":99}' \
  --max-model-len 32768 \
  --max-num-batched-tokens 8192 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --override-generation-config '{"temperature":0.6,"top_p":0.95}' \
  --host 0.0.0.0 \
  --port 8000

1. Mitä Kataguru muutti? (Muutosyhteenveto)

Kenttä

Kuvaus

Base model

kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored (Upstream: Qwen/Qwen3.8-27B & TWIN-TURBO-Fable-Cold-Fusion-709)

Katagurun muutos

Titan v2.0 -jatkokoulutus (Leonardo 20k SFT + Epistemic Anchor SFT), Kataguru Master Chat Template v1.0, Blackwell NVFP4 (W4A4/W4-FP8) -kvantisointi

Mitä EI muutettu

27B arkkitehtuuri, perusmorfologia, huolella valitut kvantisoimattomat kerrokset (lm_head, mtp, linear_attn, visual)

Ensisijainen käyttö

Huippunopea tuotantopäättely NVIDIA Blackwell -arkkitehtuurilla (RTX 50 -sarja, B200): maksimaalinen läpimeno ja minimaalinen latenssi

Suositeltu versio

NVFP4 (compressed-tensors), 2x RTX 5090 / TP=2

Testattu laitteisto

2x NVIDIA GeForce RTX 5090 32GB (vLLM v0.26, TP=2, CUDA 13.2)

2. Empiirinen Vertailutaulukko: Titan 1.0 vs. Titan v2.0

Testi / Osa-alue

Titan 1.0 (Syyskuu 2026)

Titan v2.0 (Uusi versio)

Muutos (Delta) & Huomiot

Hallusinaatioiden torjunta (20 ansaa)

85,0 % (17/20)

90,0 % (18/20)

+5,0 % (Torjui Mannerheim-Heisenbergin, Päätalo-algoritmin, sunnuntaipesulait, keksityt API:t)

Päättelynopeus (NVFP4, vLLM TP=2)

n. 135 tok/s

140+ tok/s (huippu 160–180 tok/s)

Natiivi Blackwell FP4 -laskenta ja MTP $K=2$. Titan v2.0 saavuttaa merkittävästi lyhyemmän viiveen tiiviin CoT-päättelyn ansiosta.

Natiivi perusnopeus (BF16 TP=2 baseline)

44,8 tok/s

50,7 tok/s

+13,2 % aito sukupolviero samalla liukulukutarkkuudella (50,7 vs 44,8 tok/s).

Koodaustesti (LFU Cache $O(1)$, C11, SQL)

8,8 / 10

9,8 / 10

Täysi $O(1)$ LFU Python-toteutus dummy-päillä, BST-bugikorjaus, optimaalinen window SQL

Vaativa suomi (Volter Kilpi, anglismien karsinta)

Hyvä

Erinomainen

137 sanan katkeamaton saaristolaisvirke, piiloanglismien eliminointi

Päättelyarkkitehtuuri & Chat Template

Erillinen tturbo

Kataguru Master v1.0

Yhdistetty {REASON:spoon/einstein/xhigh/low/none} oletuksena

Sensuroimattomuus & Aikuiskerronta

Täysin avoin

Täysin avoin

Fiktiivinen konteksti poistaa kieltäytymisen; ei moraalisaarnoja

Koulutuksen lopullinen loss

~0,68

0,5879

Leonardo 20k + Epistemic ankkurointi

3. NVFP4 (NVIDIA Blackwell Native FP4) -arkkitehtuuri

Natiivi 4-bittinen liukulukulaskenta: NVFP4 hyödyntää Blackwell-arkkitehtuurin (kuten RTX 50 -sarjan ja B200) uusia Tensor-ytimiä ja FP4-skaalauksia (scale_dtype: torch.float8_e4m3fn).

Muistijalanjälki: Mallin painot mahtuvat alle 15 gigatavuun VRAM-muistia.

Spekulatiivinen MTP-dekoodaus: MTP-pää säilytetty ja aktivoitu $K=2$ spekulatiiviseen generointiin vLLM:ssä.

4. Tuotantoasennus (vLLM)

vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-NVFP4 \ --tensor-parallel-size 2 \ --quantization compressed-tensors \ --kv-cache-dtype fp8 \ --enable-chunked-prefill \ --speculative-config '{"method":"mtp","num_speculative_tokens":2}' \ --limit-mm-per-prompt '{"image":99}' \ --max-model-len 32768 \ --max-num-batched-tokens 8192 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --override-generation-config '{"temperature":0.6,"top_p":0.95}' \ --host 0.0.0.0 \ --port 8000