base_model: junafinity/Ornith-1.5-9B-uncensored language:
- en library_name: transformers license: apache-2.0 mradermacher: readme_rev: 1 quantized_by: mradermacher tags:
- ornith
- qwen3_5
- abliterated
- uncensored
- zerofuse
- multimodal
- vision
关于模型 (About)
本模型为 https://huggingface.co/junafinity/Ornith-1.5-9B-uncensored 的静态量化版本。
如需便捷查看总览与下载列表,请访问我们的 该模型专属主页。
加权/重要性矩阵(imatrix)量化版本可在 https://huggingface.co/mradermacher/Ornith-1.5-9B-uncensored-i1-GGUF 获取。
使用方法 (Usage)
如果您不确定如何使用 GGUF 文件,请参阅 TheBloke 的 README 说明文档 获取更多详细信息,包括如何拼接分卷多文件。
提供的量化版本 (Provided Quants)
(按文件体积排序,并不完全等同于质量高低。对于相似体积的量化版本,IQ 量化通常优于非 IQ 量化)
| 链接 | 类型 | 大小/GB | 说明 |
|---|---|---|---|
| GGUF | mmproj-Q8_0 | 0.7 | 多模态补充组件 |
| GGUF | mmproj-f16 | 1.0 | 多模态补充组件 |
| GGUF | Q2_K | 3.9 | |
| GGUF | Q3_K_S | 4.4 | |
| GGUF | Q3_K_M | 4.7 | 质量较低 |
| GGUF | Q3_K_L | 5.0 | |
| GGUF | IQ4_XS | 5.3 | |
| GGUF | Q4_K_S | 5.5 | 快速,推荐 |
| GGUF | Q4_K_M | 5.7 | 快速,推荐 |
| GGUF | Q5_K_S | 6.4 | |
| GGUF | Q5_K_M | 6.6 | |
| GGUF | Q6_K | 7.5 | 非常好质量 |
| GGUF | Q8_0 | 9.6 | 快速,最佳质量 |
| GGUF | f16 | 18.0 | 16 bpw,对大多数场景冗余 |
这里有一张由 ikawrakow 制作的对比部分较低质量量化类型的实用图表(数值越低越好):
image.png
此外还有 Artefact2 对该问题的深入探讨: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9
常见问题 / 模型需求 (FAQ / Model Request)
如果您有任何疑问,或者希望量化其他模型,请参阅 https://huggingface.co/mradermacher/model_requests 获取解答或提交请求。
致谢 (Thanks)
感谢我的公司 nethype GmbH 允许我在业余时间使用其服务器并升级我的工作站,使这项工作得以开展。