language:
- en
- fi
- et
- hu
- tr license: apache-2.0 base_model:
- kataguru/Qwen3.8-27B-Titan-v3.0-Uncensored-BF16 tags:
- agglutinative
- turkish
- estonian
- hungarian
- finnish
- awq
- vllm
- tgi
- reasoning
- uncensored
- math
- stem
- kataguru
- titan pipeline_tag: text-generation
Qwen3.8-27B-Titan-v3.0-Uncensored-W4A16-AWQ
Kataguru Titan 3.0 – Äärimmäinen Totuus (Ultimate Truth)
Official AWQ W4A16 High-Throughput Quant for vLLM & Production Serving
"Totuus ei ole kauppatavaraa, miellyttämistä tai kompromisseja. Se on luonnon ja fysiikan lahjomaton laki, joka loistaa puhtaana kuin pohjoinen taivas."
(Truth is neither a commodity, nor an exercise in people-pleasing, nor a compromise. It is the unyielding law of physics and nature, standing as clear and luminous as the northern sky.)
🌍 Executive Summary
This repository provides the official AWQ W4A16 (Activation-aware Weight Quantization) release of Kataguru Titan 3.0 – Äärimmäinen Totuus (27 billion parameters).
Quantized with calibration on high-purity Finnish and scientific datasets, this model runs natively on vLLM (Marlin kernel) with ultra-high token throughput (~50 tokens/sec on RTX 5090 TP=2).
📊 Empiiriset Mittaustulokset: Titan v3.0 vs. Qwen 3.8 27B Base
Kaikki mittaukset on suoritettu standardoidulla lm-evaluation-harness -kehyksellä OpenAI-yhteensopivan vLLM-rajapinnan läpi AI-CORE-infralla (2x NVIDIA RTX 5090 32GB). Vertailukohtana on Alibaban virallinen koskematon perusmalli Qwen 3.8 27B Base.
| Tehtävä / Benchmark | Metriikka | Qwen 3.8 27B Base (Untuned) | Kataguru Titan v3.0 Uncensored | Muutos / Vaikutus |
|---|---|---|---|---|
| ARC-Easy (Perustason tiede) | Acc_norm | 72.98 % | 87.58 % | +14.60 pp 🚀 (Massiivinen luonnontieteen harppaus) |
| HellaSwag (Lausejatkuvuus & arkijärki) | Acc_norm | 74.60 % | 84.80 % | +10.20 pp 🚀 (Luonnollinen kielellinen päättely) |
| ARC-Challenge (Vaativa tiede) | Acc_norm | 58.62 % | 68.34 % | +9.72 pp 🚀 (Syvällinen tieteellinen ongelmanratkaisu) |
| WinoGrande (Kontekstuaalinen päättely) | Acc | 71.10 % | 79.56 % | +8.46 pp 🚀 (Monitulkintaisuuden looginen ratkaisu) |
| PIQA (Fysikaalinen arkijärki) | Acc_norm | 80.10 % | 83.35 % | +3.25 pp ↗ (Reaalimaailman fysiikan intuitio) |
| BoolQ (Luetun ymmärtäminen) | Acc | 89.60 % | 90.80 % | +1.20 pp ↗ (Huippuluokan faktatekstin ymmärtäminen) |
| OpenBookQA (Avoin luonnontieto) | Acc_norm | 44.80 % | 45.80 % | +1.00 pp ↗ (Tieteellinen assosiaatio ja tiedonhaku) |
| GSM8K (Matematiikan monivaiheinen CoT) | Exact Match | ~47.0 % | 48.14 % | +1.14 pp ↗ (Matemaattinen päättelyketju hallinnassa) |
| TruthfulQA MC2 (Monivalintatotuus) | Multi-True Prob | 54.24 % | 53.49 % | -0.75 pp ≈ (SOMA/ARA säilytti totuudenmukaisuuden) |
| TruthfulQA MC1 (Yksittäinen totuus) | Single-True Acc | 36.23 % | 35.37 % | -0.86 pp ≈ (Pysynyt samalla tasolla, virhemarginaalin sisällä) |
| EstCOPA (Viron looginen kausaalipäättely) | Accuracy | <50.0 % | 80.00 % (40/50) | Suvereniteetti: Viron morfeeminen siirto toimii saumattomasti |
| Unkari (Alpaca-52k kieliaines) | Onnistumisaste | Satunnainen | 100.0 % (25/25) | Täydellinen instruktiovaste ja unkarin morfologia |
| Turkki (Gemma-51k kieliaines) | Onnistumisaste | Satunnainen | 100.0 % (25/25) | Täydellinen instruktiovaste ja turkin morfologia |
| FinnishBench-Kataguru-50 | Suomi-akkreditointi | 14/22 (Anglismeja) | 100.0 % (22/22) | Täydelliset astevaihtelut, lääketiede, ei fingelskaa |
| Refusal / Moralizing | Kieltäytymisaste | Korkea kieltäytyminen | 0.0 % (SOMA/ARA) | Täysin sensuroimaton, asiallinen, ei saarnoja |
🚀 Serving with vLLM
Run directly on GPU via vLLM:
vllm serve kataguru/Qwen3.8-27B-Titan-v3.0-Uncensored-W4A16-AWQ \
--tensor-parallel-size 2 \
--max-model-len 8192 \
--gpu-memory-utilization 0.90 \
--quantization awq
🛡️ Uncensored & Epistemically Honest
Titan v3.0 has undergone SOMA/ARA activation orthogonalization, surgically stripping refusal and moralizing preachy vectors from residual activations. It treats the user as an adult, answers questions objectively, and never lectures or moralizes.