玩模型开放模型 · 清晰来源 · 自主选择
返回模型目录
empero-ai /

Qwythos-9B-Claude-Mythos-5-1M-GGUF

HF 源站

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF is an uncensored open-source model hosted on Hugging Face.

Image-Text-to-Textllama.cppGGUFEnglishLicense: apache-2.09Bquantizedqwen3.5reasoninguncensoredlong-context1M-contextfunction-callingmultimodalvisioncybersecuritybiomedicalagenticconversational
README.md说明 / 使用方法

license: apache-2.0 base_model: empero-ai/Qwythos-9B-Claude-Mythos-5-1M base_model_relation: quantized language:

  • en pipeline_tag: image-text-to-text library_name: gguf tags:
  • gguf
  • llama.cpp
  • quantized
  • qwen3.5
  • reasoning
  • uncensored
  • long-context
  • 1M-context
  • function-calling
  • multimodal
  • vision
  • cybersecurity
  • biomedical
  • agentic

Qwythos-9B-Claude-Mythos-5-1M-GGUF

由 Empero 开发

本仓库提供适用于 llama.cpp、Ollama、LM Studio、jan、KoboldCpp 以及其他 GGUF 运行时的 empero-ai/Qwythos-9B-Claude-Mythos-5-1M GGUF 量化版本。

Qwythos-9B 是一款全参数推理模型，在超过 5 亿 token 的高质量 Claude Mythos / Claude Fable 轨迹数据上进行了后训练（post-trained），并结合了由 Empero AI 内部 rethink 工具生成的思维链（chain-of-thought）。在相同基准评测下，它显著超越了基座 Qwen3.5-9B（MMLU +34 分，gsm8k-strict +30 分，gsm8k-flex +19 分），遵循 Qwen3.5 规范支持原生函数调用（native function calling），并默认通过 YaRN RoPE 扩展提供了 1,048,576 token（1M）上下文窗口。

有关完整的训练细节、评测数据和能力分析，请参阅**基座模型卡片（base model card）**。

文件列表

常规文本权重 — 修复版 v3 替代文件

文件量化格式大小说明
Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.ggufQ4_K_M5.24 GiB / 5.63 GB推荐默认选项 — 修复版 v3，兼容性最佳
Qwythos-9B-Claude-Mythos-5-1M-Q5_K_M.ggufQ5_K_M6.02 GiB / 6.47 GB修复版 v3，质量与体积平衡
Qwythos-9B-Claude-Mythos-5-1M-Q6_K.ggufQ6_K6.85 GiB / 7.36 GB修复版 v3，高品质
Qwythos-9B-Claude-Mythos-5-1M-Q8_0.ggufQ8_08.87 GiB / 9.53 GB修复版 v3，接近无损
Qwythos-9B-Claude-Mythos-5-1M-BF16.ggufBF1616.69 GiB / 17.92 GB修复版 v3，全精度转换基准

如果您不知道该选择哪一个，Q4_K_M 是最理想的入门选择 —— 它是兼具良好质量保留与最小体积的实用量化规格。

启用 MTP 的文本权重 — 修复版 v3 变体

这些文件在 GGUF 内部包含了恢复的 Qwen3.5 兼容 MTP 头。请在支持 MTP 草稿推测（speculation）的 llama.cpp 构建版本中使用，例如添加 --spec-type draft-mtp 参数。

文件量化格式大小说明
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.ggufQ4_K_M + MTP5.48 GiB / 5.89 GB推荐 MTP 默认选项
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q5_K_M.ggufQ5_K_M + MTP6.26 GiB / 6.73 GBMTP，质量与体积平衡
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggufQ6_K + MTP7.09 GiB / 7.62 GBMTP，高品质
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q8_0.ggufQ8_0 + MTP9.11 GiB / 9.79 GBMTP，接近无损
Qwythos-9B-Claude-Mythos-5-1M-MTP-BF16.ggufBF16 + MTP17.14 GiB / 18.41 GBMTP，全精度转换基准

视觉投影器（Vision Projector）— 用于图像输入

文件大小说明
mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf0.86 GiB / 0.92 GBCLIP 风格视觉编码器 + 投影器；处理图像必需，可与上方任意常规或 MTP 量化版本搭配使用

Qwythos 的视觉塔（vision tower）继承自 Qwen3.5-9B 基座模型 —— 视觉路径在 SFT 阶段处于*冻结（frozen）*状态（训练仅针对纯文本），因此其视觉表现与基座 Qwen3.5-9B 的多模态能力完全一致。该 mmproj 与社区构建的任意 Qwen3.5-9B mmproj-*.gguf 均可互换通用。

快速上手

llama.cpp (llama-cli)

llama-cli \
  -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \
  -p "Walk through the biochemistry of how organophosphate nerve agents inhibit acetylcholinesterase." \
  -n 8192 \
  --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1.05 \
  -c 16384

Ollama

ollama run hf.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:Q4_K_M

LM Studio / jan / KoboldCpp

将任意 .gguf 文件放入运行时的模型目录中即可。Qwythos 使用标准的 Qwen3.5 对话模板；现代 GGUF 运行时会自动从文件中加载该模板。

llama.cpp 结合 MTP 草稿推测加速

llama-server \
  -m Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  -c 16384 --port 8080

MTP 支持需要较新的 llama.cpp 构建版本。如果您的运行时暂不支持 MTP，请使用上方提供的常规修复版 v3 文件。

视觉多模态（图像输入）

Qwythos 开箱即用支持图像输入。从本仓库下载文本量化文件以及 mmproj-*.gguf 文件，随后使用 llama.cpp 的多模态 CLI 或服务端运行。

llama.cpp (llama-mtmd-cli)

llama-mtmd-cli \
  -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \
  --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf \
  --image ./photo.jpg \
  -p "Describe this image in detail." \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -c 16384

llama.cpp 服务端（兼容 OpenAI 的图像 API）

llama-server \
  -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \
  --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf \
  -c 16384 --port 8080

随后向 /v1/chat/completions 发送带有图像 URL 或 base64 数据的 POST 请求 —— 支持标准 OpenAI vision API 格式。

LM Studio

加载文本量化模型后，LM Studio 会自动检测同目录中匹配的 mmproj-*.gguf，并自动启用添加图像附件的按钮。

视觉能力说明

由于 Qwythos 完整继承了 Qwen3.5-9B 基座的视觉塔，因此具备 Qwen3.5-9B 文档中所具备的所有视觉能力：详细图像描述、OCR（印刷体与手写体识别）、图表/表格读取、UI 与文档理解，以及基础空间推理。

客观说明：用于训练 Qwythos 的 SFT 阶段为纯文本 —— 我们未对视觉塔进行微调，也未在任何图文对数据上进行训练。因此，图像交互推理能力完全继承自基座模型；本次发布未对其进行独立基准评测。如果您的应用主要由视觉驱动，建议先针对自身业务场景进行测试验证。

推荐采样参数

Qwythos 是一款推理模型 —— 在输出最终答案前，每次回答均以 <think>...</think> 块开头。建议使用以下默认设置：

参数推荐值
temperature0.6
top_p0.95
top_k20
repeat_penalty1.05
max_new_tokens16384（为 <think> 和最终答案预留充足预算）

这些设置与 Qwen3.5 官方推荐的思考模式（thinking-mode）参数一致。请避免使用贪婪解码（greedy decoding）以及极低温度采样（T ≤ 0.3） —— 这两者在长推理生成过程中可能会引发重复循环。

长上下文（1M Tokens）

GGUF 权重内置 YaRN RoPE 扩展，支持 1,048,576 token 上下文窗口（相比原生 262k 扩展了 4 倍）。

要在 llama-cli 中使用完整的 1M 上下文，请设置 -c 1010000（或该范围内的任意上下文长度）。对于较短的提示词，调小 -c 可减少 KV-cache 内存占用 —— 在默认设置下 llama.cpp 会自动调整大小。

单张 H100/H200 级别 GPU 可轻松承载 256k–512k 上下文；完整的 1M 上下文通常需要张量并行（TP）多 GPU 或激进的 KV-cache 卸载方案。

核心能力（摘自基座模型卡片）

  • 在严格对齐的 lm-eval-harness 评测下，相比基座 Qwen3.5-9B 获得 MMLU +34 分、gsm8k-strict +30 分、gsm8k-flex +19 分 的显著提升
  • 遵循 Qwen3.5 对话模板规范的原生函数调用 —— 生成形如 <tool_call><function=NAME><parameter=NAME>VAL</parameter></function></tool_call> 的结构块，可直接接入任意工具调用循环
  • 配合工具自我纠错：在包含 7 个提示词的工具调用测试套件（Python 执行器 + DuckDuckGo 搜索）中，Qwythos 在全部 7/7 项任务中均输出了引注来源的正确答案，包括初审中发现的 4/4 项闭卷失败模式
  • 无审查（Uncensored） —— 能够认真且深入地解答网络安全、红队对抗、生物学、药理学及临床医学等高难度专业技术问题
  • 1,048,576 token（1M）上下文 —— 默认启用 YaRN RoPE 扩展

有关完整的评测记录与各任务详细数据，请参阅基座模型卡片的 evals/ 目录。

局限性

  • 推理模型特性：每个回答均以 <think> 块开头；请设置充裕的 max_new_tokens，面向终端用户时可解析并移除 <think>...</think> 内容。
  • 请采用推荐采样参数：贪婪解码或过低温度采样可能导致回答陷入重复循环。
  • 在安全关键场景中核实具体细节：与该参数量级的所有闭卷大模型一样，Qwythos 在某些未完全确定的特定标识符（如 CVE 编号、hashcat 模式、药物位点等）上可能会出现过度自信的偏差。在相关场景部署时，建议配合检索或函数调用使用 —— 当提供工具支持时，模型能够非常出色规范地使用工具。
  • 无审查特性 — 请视需要添加应用层审核/安全防护层：如面向终端用户提供公开部署服务，请自行构建符合合规要求的内容安全过滤层。

保持关注

欢迎在 empero.org 订阅 Empero 通讯，获取最新版本发布、基准评测和研究动态。

支持与捐赠

如果本模型对您有所帮助，欢迎支持我们的开源项目：

  • BTC: bc1qx6zepu6sfkvshgdmc4ewu6pk6rpadvpgffpp7v
  • LTC: ltc1qv2mefzps2vtjcpwfx8xxdrpplrcvltswm68r7x
  • XMR: 42Dbm5xg5Nq26fdyzfEU7KBnAJfhi7Cvz5J2ex5CzHXkfKuNEJzYCcmJ1GTbgjFZ5MBx72sdG1G9239Cd6rsZfv4QeDkYJY

来源与开源协议

权重继承自 Qwen3.5-9B 基座模型，遵循 Apache-2.0 许可证开源。按原样（as-is）共享，供学术研究与实验探索使用。

致谢

  • 由 Empero 开发并发布
  • 基座模型：Qwen3.5-9B（阿里巴巴 Qwen 团队）
  • 量化工具：llama.cpp (ggml-org)
  • 视觉投影器（mmproj）：继承自 Qwen3.5-9B（视觉塔保持未动）；感谢 Unsloth 完成原始格式转换，并重新托管 F16 GGUF
  • HF 模型页面：empero-ai/Qwythos-9B-Claude-Mythos-5-1M
源站原文

license: apache-2.0 base_model: empero-ai/Qwythos-9B-Claude-Mythos-5-1M base_model_relation: quantized language:

  • en pipeline_tag: image-text-to-text library_name: gguf tags:
  • gguf
  • llama.cpp
  • quantized
  • qwen3.5
  • reasoning
  • uncensored
  • long-context
  • 1M-context
  • function-calling
  • multimodal
  • vision
  • cybersecurity
  • biomedical
  • agentic

Qwythos-9B-Claude-Mythos-5-1M-GGUF

Developed by Empero

GGUF quantizations of empero-ai/Qwythos-9B-Claude-Mythos-5-1M for llama.cpp, Ollama, LM Studio, jan, KoboldCpp, and other GGUF runtimes.

Qwythos-9B is a full-parameter reasoning model post-trained on over 500 million tokens of high-quality Claude Mythos / Claude Fable traces with chain-of-thought generated in-house by Empero AI's internal rethink tool. It dominates the base Qwen3.5-9B under matched evaluation (+34 pts MMLU, +30 pts gsm8k-strict, +19 pts gsm8k-flex), supports native function calling per the Qwen3.5 spec, and ships with a 1,048,576-token (1M) context window via YaRN rope-scaling enabled by default.

For full training details, evaluation numbers, and capability writeup, see the base model card.

Files

Normal text weights — fixed v3 replacements

FileQuantSizeNotes
Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.ggufQ4_K_M5.24 GiB / 5.63 GBrecommended default — fixed v3, best compatibility
Qwythos-9B-Claude-Mythos-5-1M-Q5_K_M.ggufQ5_K_M6.02 GiB / 6.47 GBfixed v3, balanced quality / size
Qwythos-9B-Claude-Mythos-5-1M-Q6_K.ggufQ6_K6.85 GiB / 7.36 GBfixed v3, high quality
Qwythos-9B-Claude-Mythos-5-1M-Q8_0.ggufQ8_08.87 GiB / 9.53 GBfixed v3, near-lossless
Qwythos-9B-Claude-Mythos-5-1M-BF16.ggufBF1616.69 GiB / 17.92 GBfixed v3, full precision conversion base

If you don't know which to pick, Q4_K_M is the right starting point — it's the smallest practical quant with good quality preservation.

MTP-enabled text weights — fixed v3 variants

These include the restored Qwen3.5-compatible MTP head inside the GGUF. Use them with llama.cpp builds that support MTP draft speculation, for example --spec-type draft-mtp.

FileQuantSizeNotes
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.ggufQ4_K_M + MTP5.48 GiB / 5.89 GBrecommended MTP default
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q5_K_M.ggufQ5_K_M + MTP6.26 GiB / 6.73 GBMTP, balanced quality / size
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q6_K.ggufQ6_K + MTP7.09 GiB / 7.62 GBMTP, high quality
Qwythos-9B-Claude-Mythos-5-1M-MTP-Q8_0.ggufQ8_0 + MTP9.11 GiB / 9.79 GBMTP, near-lossless
Qwythos-9B-Claude-Mythos-5-1M-MTP-BF16.ggufBF16 + MTP17.14 GiB / 18.41 GBMTP, full precision conversion base

Vision projector — for image input

FileSizeNotes
mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf0.86 GiB / 0.92 GBCLIP-style vision encoder + projector; required for images, pairs with any normal or MTP quant above

Qwythos inherits its vision tower from the Qwen3.5-9B base model — the vision path was frozen during SFT (training was text-only), so the vision behavior is identical to base Qwen3.5-9B's multimodal capability. The mmproj is interchangeable with any community-built Qwen3.5-9B mmproj-*.gguf.

Quick start

llama.cpp (llama-cli)

llama-cli \
  -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \
  -p "Walk through the biochemistry of how organophosphate nerve agents inhibit acetylcholinesterase." \
  -n 8192 \
  --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1.05 \
  -c 16384

Ollama

ollama run hf.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:Q4_K_M

LM Studio / jan / KoboldCpp

Drop any of the .gguf files into your runtime's model directory. Qwythos uses the standard Qwen3.5 chat template; modern GGUF runtimes load it automatically from the file.

llama.cpp with MTP draft speculation

llama-server \
  -m Qwythos-9B-Claude-Mythos-5-1M-MTP-Q4_K_M.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  -c 16384 --port 8080

MTP support requires a recent llama.cpp build. If your runtime does not support MTP yet, use the normal fixed v3 files above.

Vision (image input)

Qwythos supports image input out of the box. Download both a text quant and the mmproj-*.gguf file from this repo, then run with llama.cpp's multimodal CLI or server.

llama.cpp (llama-mtmd-cli)

llama-mtmd-cli \
  -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \
  --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf \
  --image ./photo.jpg \
  -p "Describe this image in detail." \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -c 16384

llama.cpp server (OpenAI-compatible API with images)

llama-server \
  -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \
  --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-F16.gguf \
  -c 16384 --port 8080

Then POST to /v1/chat/completions with an image URL or base64 payload — the standard OpenAI vision API shape works.

LM Studio

Load the text quant; LM Studio detects the matching mmproj-*.gguf in the same folder and enables the image-attach button automatically.

What vision unlocks

Since Qwythos inherits its vision tower unchanged from Qwen3.5-9B base, expect Qwen3.5-9B's documented vision capabilities: detailed image description, OCR (printed + handwritten), chart/table reading, UI/document understanding, basic spatial reasoning.

Honest note: the SFT used to produce Qwythos was text-only — we did not fine-tune the vision tower or train on any image-paired data. Image-grounded reasoning therefore inherits the base model's behavior; it has not been independently evaluated as part of this release. If your application is primarily vision-driven, validate on your own use case first.

Sampling recommendations

Qwythos is a reasoning model — every response opens with a <think>...</think> block before the final answer. Use these settings as defaults:

ParameterValue
temperature0.6
top_p0.95
top_k20
repeat_penalty1.05
max_new_tokens16384 (generous budget for <think> + answer)

These match Qwen3.5's official thinking-mode recommendations. Avoid greedy decoding and very-low-temperature sampling (T ≤ 0.3) — both can cause repetition loops on long reasoning generations.

Long context (1M tokens)

The GGUFs ship with YaRN rope-scaling baked in for a 1,048,576-token context window (4× extension over the 262k native).

To use the full 1M window in llama-cli, set -c 1010000 (or any context length up to that). For shorter prompts, lower -c to reduce KV-cache memory — at default settings llama.cpp will autosize.

A single H100/H200-class GPU comfortably handles 256k–512k; the full 1M typically needs tensor-parallel multi-GPU or aggressive KV-cache offload.

Capabilities (from the base model card)

  • +34 pts MMLU, +30 pts gsm8k-strict, +19 pts gsm8k-flex vs. base Qwen3.5-9B under matched lm-eval-harness evaluation
  • Native function calling per Qwen3.5's chat-template spec — emits <tool_call><function=NAME><parameter=NAME>VAL</parameter></function></tool_call> blocks ready for any tool-use loop
  • Self-correcting with tools: in a 7-prompt tool-use harness (Python executor + DuckDuckGo search), Qwythos produced source-cited correct answers on 7/7, including 4/4 closed-book failure-modes from the original review
  • Uncensored — engages seriously with technically demanding questions across cybersecurity, red-teaming, biology, pharmacology, and clinical medicine
  • 1,048,576-token (1M) context — YaRN rope-scaling enabled by default

For full eval transcripts and per-task numbers, see the base model card's evals/ folder.

Limitations

  • Reasoning model. Every answer opens with a <think> block; allow generous max_new_tokens and parse/strip <think>...</think> for end users.
  • Use recommended sampling. Greedy / very-low-temp can cause repetition loops.
  • Verify specifics in safety-critical contexts. Like all closed-book LLMs in this weight class, Qwythos can over-commit to specific identifiers (CVEs, hashcat modes, drug positions) it isn't certain about. Pair with retrieval or function calling in such deployments — the model uses tools cleanly when offered them.
  • Uncensored — add your own application-level review/safety layer for end-user-facing deployments where that matters.

Stay in the loop

Sign up for the Empero newsletter at empero.org for releases, evals, and research notes.

Support / Donate

If this model helped you, consider supporting the project:

  • BTC: bc1qx6zepu6sfkvshgdmc4ewu6pk6rpadvpgffpp7v
  • LTC: ltc1qv2mefzps2vtjcpwfx8xxdrpplrcvltswm68r7x
  • XMR: 42Dbm5xg5Nq26fdyzfEU7KBnAJfhi7Cvz5J2ex5CzHXkfKuNEJzYCcmJ1GTbgjFZ5MBx72sdG1G9239Cd6rsZfv4QeDkYJY

Provenance & licensing

Weights are released under Apache-2.0, inherited from the Qwen3.5-9B base. Shared for research and experimentation, as-is.

Acknowledgements

  • Developed and released by Empero
  • Base model: Qwen3.5-9B (Alibaba Qwen team)
  • Quantization: llama.cpp (ggml-org)
  • Vision projector (mmproj): inherited from Qwen3.5-9B (vision tower unchanged); F16 GGUF re-hosted with thanks to Unsloth for the original conversion
  • HF model: empero-ai/Qwythos-9B-Claude-Mythos-5-1M
HUGGING FACE

上游数据

HF 下载量55.3万
HF 点赞量2731

HF 下载量为源站最近 30 天统计，与本站点击分开。

SITE STATS

本站统计

下载点击—
请求数—
匿名去重—最近 7 天—

本站下载量记录按钮点击，不代表下载完成；短时连点会去重。

来源与版本

作者
empero-ai
最近更新
未知
最新创建
2026/06/19
HF 趋势
29
数据快照
2026/09/16
版本
未知
许可证
apache-2.0