license: mit language:
- en tags:
- ornith
- abliterated
- fable
- sft
- lora
- reasoning
- tool-call
- chatml
- transformers
- text-generation
- qwen3.5
- mtp base_model:
- YuYu1015/YuYu1015-Ornith-1.0-9B-abliterated datasets:
- hotdogs/uka-fable-reasoning library_name: transformers pipeline_tag: text-generation
Fine-tuned from YuYu1015/YuYu1015-Ornith-1.0-9B-abliterated (which itself derives from ornith-ai/Ornith-1.0-9B) on high-quality Fable-5 reasoning traces with
<think>blocks and Hermes tool format. Includes MTP (Multi-Token Prediction) support for faster speculative decoding.
✨ Key Features
| Capability | Description |
|---|---|
| 🧠 Fable Reasoning | Step-by-step CoT with <think> blocks |
| 🔓 Abliterated | Uncensored base — no refusal patterns |
| 🔧 Tool Calling | Hermes tool format (<Tool: Name>{json}) |
| ⚡ MTP Enabled | 15 MTP tensors — speculative decoding (--mtp 1) |
| 💻 Code & Agent Tasks | Python, bash, system tasks |
| 🏋️ 9B Dense | Hybrid linear/full attention (Qwen3.5) |
🚀 Usage
Python (Transformers)
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"hotdogs/Ornith-1.0-9B-abliterated-fable",
torch_dtype="auto",
device_map="auto",
trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained("hotdogs/Ornith-1.0-9B-abliterated-fable")
messages = [{"role": "user", "content": "Explain SQL injection and how to prevent it."}]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7)
print(tokenizer.decode(outputs[0]))
🧬 Architecture
| Parameter | Value |
|---|---|
| Base | YuYu1015/YuYu1015-Ornith-1.0-9B-abliterated |
| Origin | ornith-ai/Ornith-1.0-9B |
| Parameters | ~9.57B |
| Hidden Size | 4,096 |
| Attention | Hybrid — 24 Gated-DeltaNet linear + 8 full-attention layers |
| Context | 4,096 tokens (trained) / 262,144 (max) |
| Precision | BF16 / GGUF quantized |
| Format | ChatML (Jinja2 template) |
| Vocab | 248,320 tokens |
| MTP | 15 tensors (from Qwen3.5-9B) |
🏋️ Training Details
Base Model
YuYu1015/YuYu1015-Ornith-1.0-9B-abliterated — abliterated version of ornith-ai/Ornith-1.0-9B (an agentic coding model post-trained on top of Qwen 3.5). We applied LoRA SFT to the full text stack (linear-attention GDN layers + full-attention + MLP), froze the vision tower (text-only data).
Dataset
hotdogs/uka-fable-reasoning/perfect-v2 — 3,346 high-quality multi-turn agent reasoning traces (cleaned from perfect-v1's 3,500):
- 100% Fable-5
<think>blocks - Hermes tool format (
<Tool: Name>{json}) - No refusal patterns
- Quality-controlled (QC passed)
- v2 cleaning — ลบ 154 rows ที่ assistant message จบด้วย
:ออก (train 3,500 → 3,346)
ทำไม perfect-v2 ดีกว่า v1: ใน perfect-v1 มี assistant messages ที่จบประโยคด้วย : (เช่น Let me check: / Docs audit. Add SFT entries:) ซึ่งเป็น turn ที่ค้างจากการเก็บ agent trace — model เลยเรียนรู้ bias ว่าเจอ : แล้วควรหยุด generate (emit EOS) ทำให้ตอนใช้งานจริง model ค้าง/หยุดกลางประโยคทุกครั้งที่เจอ : perfect-v2 ลบ rows พวกนี้ออกทั้งหมด → model ไม่หยุดค้างที่ : อีกต่อไป และยังคงคุณภาพ reasoning เดิมครบถ้วน
Training Pipeline
┌─────────────────────────────────────────────────────────────┐
│ Training Pipeline │
├─────────────────────────────────────────────────────────────┤
│ Base Model LoRA Adapter │
│ (YuYu1015 abliterated) (r=64, α=128) │
│ │ │ │
│ └───────────┬───────────────────┘ │
│ │ │
│ Unsloth FastLanguageModel │
│ BF16 (NOT 4-bit — GDN layers) │
│ device_map="auto" · 4× RTX 3060 12GB │
│ │ │
│ ▼ │
│ ┌──────────────────────────┐ │
│ │ Custom SFTDataset │ │
│ │ • tokenize (4096 max) │ │
│ │ • Mask prompt tokens │ │
│ └──────────┬───────────────┘ │
│ │ │
│ ▼ │
│ ┌──────────────────────────┐ │
│ │ HF Trainer │ │
│ │ • BF16 · LR=1e-4 │ │
│ │ • 1 epoch · 643 steps │ │
│ │ • train_loss 0.165 │ │
│ └──────────┬───────────────┘ │
│ │ │
│ ▼ │
│ Merge (scale=0.2, lora_B linear) │
│ │ │
│ ▼ │
│ + MTP 15 tensors (Qwen3.5-9B) │
│ │
└─────────────────────────────────────────────────────────────┘
Hyperparameters
| Parameter | Value |
|---|---|
| LoRA r / α | 64 / 128 |
| Target modules | q,k,v,o,gate,up,down + in_proj_qkv,out_proj,in_proj_z |
| Epochs / Steps | 1 / 643 |
| Learning rate | 1e-4 (cosine, warmup 0.03) |
| Batch / Grad accum | 1 / 4 |
| Precision | BF16 (บังคับ — GDN layers NaN ใน FP16) |
| Optimizer | adamw_8bit |
| Train loss | 0.165 |
Hardware
| Component | Spec |
|---|---|
| GPUs | 4× NVIDIA RTX 3060 12GB |
| Total VRAM | 48 GB |
| Training Time | ~3h 50m (643 steps, resume หลัง CUDA crash) |
| Framework | Unsloth + HuggingFace Trainer |
📜 License
MIT — ใช้ได้อิสระ รวมถึงเชิงพาณิชย์
💖 Support / โปรดสนับสนุน
If you find this model useful, please consider supporting my work!
หากคุณคิดว่าโมเดลนี้มีประโยชน์ กรุณาสนับสนุนผลงานของฉันด้วยนะคะ! 🙏
₿ Bitcoin — BTC:
bc1qf27cyk3vmugcdyv9xdtuv5jwz37863crpj5c9v
Thank you for your support! 🙏✨
ขอบคุณมากๆ สำหรับการสนับสนุนค่า! 💖🤗
🙏 Acknowledgements
โมเดลนี้สร้างขึ้นจากงานของหลายโปรเจกต์ ขอบคุณทุกท่าน:
- ornith-ai/Ornith-1.0-9B — ต้นทางโมเดล (MIT licensed) ตัว agentic coding รุ่น 9B
- YuYu1015/YuYu1015-Ornith-1.0-9B-abliterated — base abliterated ที่ใช้เทรน
- Qwen/Qwen3.5-9B — MTP tensors (15) + สถาปัตยกรรม Qwen3.5
- hotdogs/uka-fable-reasoning — dataset perfect-v1 (3,500 reasoning traces)
- Unsloth — โหลดโมเดล + LoRA training ที่รวดเร็ว
- HuggingFace Transformers / PEFT / Datasets — โมเดล, LoRA adapter, data loading
- HF Trainer — training loop
- bitsandbytes — 8-bit optimizer
- llama.cpp — GGUF conversion & inference
- Train Studio — Web UI ที่ใช้เทรน/merge
ขอบคุณทุกโปรเจกต์ที่ทำให้โมเดลนี้เกิดขึ้นได้ 🙏