license: apache-2.0 base_model: petruhonk/Qwen3.8-9B-Distill-uncensored-heretic language:
- fi
- en pipeline_tag: image-text-to-text tags:
- calibrated
- quantization
- qwen
- qwen3.5
- finnish
- gguf
- llama.cpp
- lm-studio
- uncensored
- vision
- multimodal
Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF
Mitä Kataguru muutti?
| Kenttä | Kuvaus |
|---|---|
| Base model | petruhonk/Qwen3.8-9B-Distill-uncensored-heretic |
| Katagurun muutos | Suomalainen kalibrointi / chat-template / kvantisointi |
| Mitä EI muutettu | Mallin perusarkkitehtuuri ja esikoulutetut painot |
| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja inferenssi |
| Testattu laitteisto | NVIDIA RTX 5090 32GB / vLLM & llama.cpp |
Tämä repositorio sisältää GGUF-kvantisoinnit monimodaalisesta mallista petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, optimoituna ja testattuna suomen kielelle sekä paikalliseen päättelyyn (LM Studio, llama.cpp, Ollama).
Malli on saatavilla myös vLLM-optimoituna AWQ-versiona: kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ.
Saatavilla olevat tiedostot & Kvantisointivaihtoehdot
| Tiedosto | Koko | BPW | Suositeltu laitteisto / VRAM | Kuvaus & Käyttökohde |
|---|---|---|---|---|
| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q5_K_M.gguf | ~6.2 GB | ~5.5 | >= 10 GB VRAM | Korkein laatu ja tarkkuus, suositus vaativaan päättelyyn |
| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q4_K_M.gguf | ~5.4 GB | ~4.5 | >= 8 GB VRAM | Paras yleistasapaino laadun ja nopeuden välillä |
| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-IQ4_XS.gguf | ~5.0 GB | ~4.25 | >= 8 GB VRAM | Optimoitu i-matrix-kvantti minimaalisella laadunmenetyksellä |
| Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q3_K_M.gguf | ~4.5 GB | ~3.5 | >= 6 GB VRAM | Erittäin kevyt vaihtoehto vähämuistisille GPU-korteille ja läppäreille |
Keskeiset ominaisuudet
- Rikastettu suomen kieli:
- Hyvä suomen morfologinen laatu testeissä ja luonteva vastaustapa ilman käännöskankeutta.
- Oletuksena nopea suora vastaus, päättelytasot ohjattavissa syötteellä (
{REASON:spoon},{REASON:einstein},{REASON:low},{REASON:medium}).
- Sensuroimaton dialogi ja luova kerronta:
- Ei turhia kieltäytymisiä tai moraalisaarnoja.
- Valmis LM Studio -tuki:
- Yhteensopiva suoraan LM Studion ja llama.cpp:n b3500+ buildien kanssa.
Käyttöesimerkki llama.cpp:llä
./llama-cli \
-m Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q4_K_M.gguf \
-p "<|im_start|>user\nKerro lyhyesti fotosynteesin vaiheet suomeksi.<|im_end|>\n<|im_start|>assistant\n" \
-ngl 99 -c 8192 --temp 0.6 --top-p 0.95
LM Studio -asennus
- Lataa haluamasi
.gguf-tiedosto tästä repositoriosta. - Siirrä tiedosto LM Studion mallihakemistoon:
~/.lmstudio/models/kataguru/Qwen3.8-9B-Distill-uncensored-heretic-GGUF/ - Valitse malli käyttöliittymästä ja aseta
GPU Offload: Max.