license: apache-2.0 base_model: orcarouter/Qwen3.8-27B-Uncensored-FP8 base_model_relation: quantized pipeline_tag: image-text-to-text inference: false language:
- en
- zh tags:
- gguf
- llama.cpp
- qwen3.8
- fp8
- bf16
- quantized
- vision-language
- multimodal
- function-calling
- speculative-decoding
- mtp
Qwen3.8-27B-Uncensored-OrcaRouter GGUF
本项目是对 orcarouter/Qwen3.8-27B-Uncensored-FP8（固定版本修订号 21411e351948ec029617fa3c9833adcb2ad25da9）的非官方存档、转换与量化发布版本。
单个公开仓库中包含了字节级一致的 FP8 镜像、由 FP8 派生的 BF16 GGUF 及配套的 BF16 多模态投影器（multimodal projector）、全部四种独立生成的 llama.cpp 量化方案，以及可选的源自 OrcaRouter 的仅 MTP 投机草稿伴随模型（speculative-draft companion）。本发布版本及其 MTP 伴随模型未进行任何训练、微调、合并或对齐修改。
重要精度说明： BF16 转换仅将所发布的 FP8 权重及其缩放比例表示的数值展开到 BF16 存储中。它不能恢复无法获取的 FP8 前原始权重，也无法逆转源模型 FP8 量化过程中损失的信息。
可选 MTP 伴随文件（非独立模型）：
MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf是针对源版本修订号21411e351948ec029617fa3c9833adcb2ad25da9严格匹配的 OrcaRouter 衍生仅 MTPQ8_0草稿伴随文件。现有的主 GGUF 文件保持无 MTP 状态，且在没有此可选文件的情况下仍能正常运行。
这是基于 Qwen/Qwen3.8-27B 构建的消除对齐限制（abliterated / 移除拒绝应答）且经过离线分块 FP8（block-FP8）量化的版本 —— Qwen3.8-27B 是一个 27B 参数的密集型原生视觉语言模型，采用混合注意力机制（门控 DeltaNet 线性注意力 + 全注意力），具备灵活的思考控制、工具调用以及 MTP 投机解码头。该构建版本移除了安全拒绝方向向量，随后重新量化为与官方 Qwen/Qwen3.8-27B-FP8 完全相同的 FP8 方案，从而能够以完全相同的 vLLM 内核路径进行服务推理 —— 保留 262K 上下文、工具调用、深度推理以及 MTP。欢迎在 OrcaRouter 模型目录中浏览所有模型。该模型在此处作为 API 进行部署。
⚠️ 免责声明 — 使用前请仔细阅读
该模型已通过 abliteration（将残差流中的拒绝响应方向正交化剔除）大幅移除了安全对齐约束。直接后果包括：
- 它将执行原始 Qwen3.8-27B 会拒绝的有害、不道德、冒犯性或非法请求。它没有任何实质性的内置安全防护机制。
- 本模型发布仅严格用于正当研究目的 —— 可解释性研究、AI 安全与拒绝机制研究、红队测试、鲁棒性评估以及受控实验。
- 您须对使用该模型的方式以及其生成的所有内容承担全部责任与法律责任。在未添加自定义安全审核、内容过滤和防滥用机制前，请勿将其部署给最终用户或用于生产环境。
- 使用必须遵守继承自基座模型的 Apache 2.0 许可证，以及适用于您的所有法律法规。
- 作者与上传者对因使用本模型引起的任何误用或损害概不负责。其输出不代表上传者或通义千问（Qwen）/ 阿里巴巴的观点。
下载或使用本模型即表示您承认并接受上述条款。
上述引述内容直接完整复制自源模型卡片。此引用并不代表 OrcaRouter、Qwen / 阿里巴巴或任何上游作者的背书，本仓库亦未独立验证原发布者的各项声明。
模型与发布详情
| 属性 | 设定值 |
|---|---|
| 发布仓库 | chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF |
| 直接来源 | orcarouter/Qwen3.8-27B-Uncensored-FP8 |
| 固定源版本修订号 | 21411e351948ec029617fa3c9833adcb2ad25da9 |
| 源模型架构元数据 | Qwen3_5ForConditionalGeneration (model_type: qwen3_5) |
| 源精度 | 分块 FP8 E4M3 权重以及保留的 BF16 张量（如固定源清单中所记载） |
| GGUF 母版 | 由 FP8 派生的 BF16，分为两个分卷分片 |
| 量化选项 | Q8_0、Q6_K、Q5_K_M 与 Q4_K_M，均独立由 BF16 母版转换生成 |
| 重要性矩阵（imatrix） | 无；未使用 imatrix |
| MTP 发布产物 | MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf；OrcaRouter 衍生、匹配源版本、仅含 MTP 的 Q8_0 草稿伴随文件。它不是一个独立的对话模型；现有主 GGUF 保持无 MTP。 |
| 主发布版本绑定的 llama.cpp 提交 | 0d9ceae1e38291035605613ab41a8f5e693d6fcd |
| MTP 伴随模型转换/测试绑定的提交 | ece963f41b0b02d7a0d61436ae365762c073a4c8 |
| Hugging Face 托管在线推理 | 已禁用；请下载并在兼容的本地运行时中运行 |
| 许可证 | 遵循直接源仓库的 Apache License 2.0 |
固定的源配置声明支持英文和中文、最大位置字段（context length）为 262,144 tokens，并配备视觉塔（vision tower）。实际可用的上下文长度及多模态特性仍取决于推理运行时的支持情况、可用显存/内存、匹配的投影器以及客户端实现。
包含的产物文件
所有发布的文件选项均保存在这同一个仓库中：
| 目录 / 变体 | 产物文件 | 衍生谱系与用途 |
|---|---|---|
FP8/ | 保持上游文件名的固定源文件 | 直接源版本的逐字节（byte-for-byte）镜像。仅排除了本地 Hugging Face 下载缓存元数据。 |
BF16/ | Qwen3.8-27B-Uncensored-OrcaRouter-FP8-derived-BF16-00001-of-00002.ggufQwen3.8-27B-Uncensored-OrcaRouter-FP8-derived-BF16-00002-of-00002.gguf | 分卷切分的 FP8 派生 BF16 GGUF。这是四个独立生成的无 MTP 主量化模型的母版。 |
AUX/ | mmproj-Qwen3.8-27B-Uncensored-OrcaRouter-BF16.gguf | 从相同固定源转换生成的配套 BF16 多模态投影器。 |
仓库根目录 — Q8_0 | Qwen3.8-27B-Uncensored-OrcaRouter-Q8_0.gguf | 由 FP8 派生的 BF16 母版独立量化而成。 |
仓库根目录 — Q6_K | Qwen3.8-27B-Uncensored-OrcaRouter-Q6_K.gguf | 由 FP8 派生的 BF16 母版独立量化而成。 |
仓库根目录 — Q5_K_M | Qwen3.8-27B-Uncensored-OrcaRouter-Q5_K_M.gguf | 由 FP8 派生的 BF16 母版独立量化而成。 |
仓库根目录 — Q4_K_M | Qwen3.8-27B-Uncensored-OrcaRouter-Q4_K_M.gguf | 由 FP8 派生的 BF16 母版独立量化而成。 |
MTP/ | Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.ggufTEST-REPORT.json | 匹配源版本的仅 MTP Q8_0 草稿伴随模型及其受限 A/B 测试验证报告。伴随模型不是独立的对话模型。 |
reproducibility/ | build-and-test-mtp.sh | 完整的伴随模型转换、量化、A/B 门禁测试以及元数据生成工作流脚本。 |
发布的 MANIFEST.json 和 SHA256SUMS.txt 是最终文件名、字节大小和 SHA-256 哈希校验值的权威记录。FP8 镜像的单个文件哈希也可以直接溯源至固定源的 manifest 清单。
量化谱系（Quantization Lineage）
orcarouter/Qwen3.8-27B-Uncensored-FP8
@ 21411e351948ec029617fa3c9833adcb2ad25da9
├── FP8/ 字节级完全一致镜像
├── FP8 数值 + scales 展开为分卷 BF16 GGUF (排除 MTP)
│ ├── Q8_0 (基于 BF16 母版独立量化的主模型; 无 MTP)
│ ├── Q6_K (基于 BF16 母版独立量化的主模型; 无 MTP)
│ ├── Q5_K_M (基于 BF16 母版独立量化的主模型; 无 MTP)
│ └── Q4_K_M (基于 BF16 母版独立量化的主模型; 无 MTP)
└── 源 MTP/NextN FP8 数值 + scales 展开为 FP8 派生 BF16 仅 MTP GGUF
└── Q8_0 仅 MTP 草稿伴随文件 (独立于主量化模型)
没有任何量化版本是从另一个量化后的 GGUF 进行二次量化的（无重新量化损失）。未采用任何重要性矩阵（imatrix）、IQ 配方或动态量化配方。主模型的转换和四个主要量化版本均基于 llama.cpp 提交 0d9ceae1e38291035605613ab41a8f5e693d6fcd；单独构建的 MTP 伴随模型基于 llama.cpp 提交 ece963f41b0b02d7a0d61436ae365762c073a4c8。
逐字节 FP8 镜像完整保留了固定源检查点的内容。现有的主 GGUF 保持无 MTP，因为它们在转换时使用了 --no-mtp 参数。此外，同一固定源版本的 MTP/NextN 张量与 FP8 缩放比例被单独展开为由 FP8 派生的 BF16 仅 MTP 母版，随后被量化为 Q8_0 草稿伴随模型。该展开操作无法找回 FP8 之前的精度，也无法恢复源模型 FP8 表示中已经丢失的信息。
可选 MTP 伴随模型
MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf 是针对源版本修订号严格匹配、源自 OrcaRouter 的仅 MTP Q8_0 草稿伴随模型。它不是一个独立的对话模型：需要通过 llama-server --model-draft 搭配本仓库中现有的无 MTP 主 GGUF 一同运行。请勿将其与不相关的模型或不同源版本的模型配对。
| 产物 | 大小 (字节) | SHA-256 | 用途 |
|---|---|---|---|
MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf | 3164007168 | 2c0472818b6682df7c45e8fb9b9de6eaa9c5c5b5d818342de7cf57e0256d9f4d | 可选的仅 MTP Q8_0 投机草稿模型 |
MTP/TEST-REPORT.json | 4352 | e1680c3a8d08a8ee4698c3ecd953d1a8d9c9158c7238daee3e4e1a113a20943a | 经过脱敏处理的机器可读受限 A/B 测试佐证数据 |
reproducibility/build-and-test-mtp.sh | 7037 | 17d46f1254df7c875c8cbcc3463416fd0918bb408dcd295f6e44661774062978 | 门禁发布流水线所使用的复现工作流脚本 |
- 主模型运行表现： 所有预先存在的根目录 GGUF 与切片 BF16 GGUF 均保持无 MTP，在不使用该伴随文件的情况下可完全照常使用。
- 谱系渊源：
orcarouter/Qwen3.8-27B-Uncensored-FP8@21411e351948ec029617fa3c9833adcb2ad25da9→ 源模型 FP8 MTP/NextN 张量与 scales → FP8 派生的 BF16 仅 MTP GGUF →Q8_0伴随模型。 - 精度上限： BF16 是对所表示 FP8 数值的展开，并非恢复的原始 BF16；它不能找回 FP8 之前的精度。
- 许可证： 伴随模型是相同固定 Apache-2.0 来源的衍生作品，遵循本仓库的 Apache License 2.0 条款与署名要求。
- 完整性： 上表直接记录了新增文件；
MANIFEST.json与SHA256SUMS.txt仍是权威的完整发布清单和校验记录。
我应该选择哪个文件？
以下建议为定性指导，并非基准评测结论：
| 选择 | 实用选择建议 |
|---|---|
Q4_K_M | 推荐默认选项。 在模型尺寸与本地可用性之间具有最佳的实用平衡，建议从此处开始。 |
Q5_K_M | 推荐用于代码编写与工具调用工作流，前提是额外的显存与存储空间能够容纳。在升级到更大规格前，这是非常实用的进阶选项。 |
Q6_K | 当拥有足够的存储空间，且希望尽可能减少在 BF16 母版基础上的额外压缩损耗时选择。 |
Q8_0 | 最大体积的量化选项。在内存充裕且最小化 BF16 后的二次量化损耗比控制体积更重要时使用。 |
BF16 | 本发布中位宽最宽的 GGUF 格式，也是所有四种量化版本的母版。体积非常大，且切分为两个分片文件。它仍是由 FP8 派生的，并非恢复的 FP8 前原始权重。 |
FP8 | 逐字节完全相同的源格式镜像，用于存档或支持原生源格式的运行时；它不是 GGUF 量化选项。 |
内存/显存占用并不等同于模型文件的大小。上下文长度、KV 缓存精度、GPU 层数卸载（offload）、批处理大小（batch size）以及多模态输入都会显著增加 RAM 或 VRAM 需求。请在您自己的运行时环境中验证是否合适。
下载说明
安装 Hugging Face CLI，然后仅下载您所需的变体。例如，推荐的默认选项：
hf download chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF \
--include "Qwen3.8-27B-Uncensored-OrcaRouter-Q4_K_M.gguf" \
--local-dir Qwen3.8-27B-Uncensored-OrcaRouter-GGUF
下载默认目标模型并附带可选的 MTP 伴随模型：
hf download chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF \
--include "Qwen3.8-27B-Uncensored-OrcaRouter-Q4_K_M.gguf" \
--include "MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf" \
--local-dir Qwen3.8-27B-Uncensored-OrcaRouter-GGUF
下载量化模型及配套的多模态投影器：
hf download chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF \
--include "Qwen3.8-27B-Uncensored-OrcaRouter-Q5_K_M.gguf" \
--include "AUX/*" \
--local-dir Qwen3.8-27B-Uncensored-OrcaRouter-GGUF
下载 BF16 版本时，需下载全部两个模型分片及投影器：
hf download chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF \
--include "BF16/*" \
--include "AUX/*" \
--local-dir Qwen3.8-27B-Uncensored-OrcaRouter-GGUF
若需获取源格式镜像：
hf download chimingw/Qwen3.8-27B-Uncensored-OrcaRouter-GGUF \
--include "FP8/*" \
--local-dir Qwen3.8-27B-Uncensored-OrcaRouter-GGUF
使用 llama.cpp 运行
无 MTP 的主 GGUF 文件是使用 llama.cpp 提交 0d9ceae1e38291035605613ab41a8f5e693d6fcd 进行转换和量化的。可选的 MTP 伴随文件是使用 ece963f41b0b02d7a0d61436ae365762c073a4c8 进行转换和测试的。请使用对应的固定版本，或经过验证支持该模型架构和所需功能特性的兼容构建版本。
使用默认量化版本进行文本对话
llama-cli \
-m Qwen3.8-27B-Uncensored-OrcaRouter-Q4_K_M.gguf \
-p "Hello" \
-n 128
使用编程/工具调用推荐版本进行文本对话
llama-cli \
-m Qwen3.8-27B-Uncensored-OrcaRouter-Q5_K_M.gguf \
-p "Write a small Python function that validates a JSON object." \
-n 256
源对话模板包含推理和工具消息结构，但此 GGUF 发布版本未针对代码编写、工具正确性或解析器兼容性进行独立评测。请使用客户端所期望的对话模板与工具调用解析器，并在您的应用中验证输出结果。
可选的 MTP 投机解码
经过严格测试的配对启动命令如下。仅 MTP 文件是草稿伴随模型，不是独立的对话模型：
llama-server \
--model Qwen3.8-27B-Uncensored-OrcaRouter-Q4_K_M.gguf \
--model-draft MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf \
--spec-type draft-mtp \
--spec-draft-n-max 2 \
--parallel 1
MTP 为可选功能。若要正常运行未经更改的主 GGUF，请省略 --model-draft、--spec-type 和 --spec-draft-n-max；此时伴随模型不会被加载。兼容性验证门禁使用了 llama.cpp ece963f41b0b02d7a0d61436ae365762c073a4c8。请使用该提交或支持该模型架构、支持独立 MTP-only 草稿 GGUF 及上述所有参数的已验证兼容构建版本。较早的构建版本或第三方前端可能未支持该功能路径。投机接受率与加速效果取决于运行时版本、目标/草稿模型匹配、提示词、采样参数、上下文长度以及硬件配置；并不保证在所有情况下均能实现加速。
切分分卷的 BF16 GGUF
请将两个 BF16 分片保存在同一目录下，并将第一个分片传递给 llama.cpp。请勿直接传递第二个分片，且不要重命名或分离分片文件。
llama-cli \
-m BF16/Qwen3.8-27B-Uncensored-OrcaRouter-FP8-derived-BF16-00001-of-00002.gguf \
-p "Hello" \
-n 128
当两个文件保存在同一目录下时，llama.cpp 会自动根据第一个分片找到 Qwen3.8-27B-Uncensored-OrcaRouter-FP8-derived-BF16-00002-of-00002.gguf。
使用配套投影器进行图像输入
请使用来自 AUX/ 且从同一固定源转换生成的投影器文件：
llama-cli \
-m Qwen3.8-27B-Uncensored-OrcaRouter-Q5_K_M.gguf \
--mmproj AUX/mmproj-Qwen3.8-27B-Uncensored-OrcaRouter-BF16.gguf \
--image /path/to/image.jpg \
-p "Describe this image." \
-n 256
主 GGUF、配套投影器、llama.cpp 运行时以及客户端图像输入支持均属于独立需求。单纯拥有投影器文件并不保证每个 llama.cpp 构建版本或前端界面都能支持该架构或每种源模态。请务必使用完全匹配的 BF16 投影器，切勿使用来自其他模型或修订版本的 mmproj 替代。
对于切分的 BF16 模型配合图像使用，请保持两个模型分片在同一目录下，通过 -m 传入第一个分片，并通过 --mmproj 传入相同的配套投影器。
可复现性与完整性
本发布工作流详细记录了：
- 直接源仓库与固定版本修订号；
- 源文件大小与 SHA-256 哈希值；
- FP8 张量与缩放比例元数据；
- 切分的分卷 FP8 派生 BF16 母版；
- 独立由 BF16 到
Q8_0、Q6_K、Q5_K_M与Q4_K_M的生成谱系； imatrix=none；- 现有主 GGUF 中排除了 MTP，同时提供源版本严格匹配的
MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf作为可选、独立转换且经过 A/B 测试的仅 MTP 草稿伴随文件； - 主模型 llama.cpp 提交
0d9ceae1e38291035605613ab41a8f5e693d6fcd以及 MTP 伴随模型/测试提交ece963f41b0b02d7a0d61436ae365762c073a4c8； MANIFEST.json和SHA256SUMS.txt中最终发布文件的大小与 SHA-256 哈希值。
请使用仓库中的校验和来验证下载文件的完整性。FP8 镜像旨在与固定源文件保持字节级完全一致；GGUF 文件是衍生转换与量化产物，并非 FP8 张量的逐字节复制。
评测状态
在 2026-08-16T07:23:30.340262+00:00，可选的 MTP 伴随模型在配备 24564 MiB 显存、驱动版本 580.159.04 的 NVIDIA GeForce RTX 4090 上，使用 llama.cpp ece963f41b0b02d7a0d61436ae365762c073a4c8 及上述展示的完全相同的配对参数，通过了受限确定性 A/B 兼容性门禁测试。所有 6 个测试提示词均产生了正常的基线与启用 MTP 后的输出，且消息内容完全一致。草稿模型在生成的 364 个草稿 token 中接受了 291 个（总体接受率 79.9%），超过了门禁设立的 50% 最低阈值。基线与开启 MTP 的请求总体耗时（wall-time）分别为 13.11 秒和 8.92 秒。有关提示词级别的具体结果、评判标准、目标/草稿哈希及脱敏机器可读佐证数据，请参阅 MTP/TEST-REPORT.json。
此测试是一项短期的兼容性、确定性输出以及草稿接受率门禁测试，并非通用的质量、长上下文、工具调用、多模态、跨硬件或经过严格统计控制的速度基准评测。耗时汇总仅作为描述性参考，不代表通用的加速表现。上游的基准评测或行为陈述归属于直接源模型卡片，不应被视为本 GGUF 发布的独立复现或背书。
预期用途
这些文件旨在用于本地 llama.cpp 实验、兼容性测试、受控学术研究以及源文件存档。请根据可用内存/显存以及对二次量化损耗的容忍度选择适合的量化规格。请在应用层添加适合您使用场景的输入验证、内容审核和访问控制。
局限性与风险
- FP8 来源上限： BF16 仅是对所发布的 FP8 数值的展开；它无法恢复原始的 FP8 前权重，也无法恢复上游已丢失的信息。
- 二次量化损耗： 相较于由 FP8 派生的 BF16 母版，
Q8_0、Q6_K、Q5_K_M和Q4_K_M各自引入了进一步的量化。本项目未声明任何 GGUF 质量基准评测。 - 无重要性矩阵（imatrix）： K-quants 是在未使用重要性矩阵的情况下生成的。不保证其能达到 imatrix 辅助量化的水准。
- 可选的独立 MTP 伴随模型： 现有的主 GGUF 保持无 MTP。
MTP/Qwen3.8-27B-Uncensored-OrcaRouter-MTP-Q8_0.gguf是一个仅含 MTP 的草稿伴随模型，并非独立模型；它需要兼容的运行时以及严格匹配源版本的目标模型配对，且可能不会在所有工作负载或硬件设备上都带来性能提升。 - MTP 测试证据范围： 受限 A/B 测试门禁仅针对记录的测试提示词、特定运行时提交、配对配置、硬件和参数建立了正常的完全一致输出、生成草稿 token 以及总体接受率。这并不能证明其具有广泛的质量或速度优势。
- 安全性说明： 直接源模型将该模型描述为 abliterated（已消除对齐限制）、uncensored（无审查）以及 refusal-removed（移除拒绝机制）。本发布版本未恢复安全对齐，也未独立验证这些行为声明。模型输出可能是不安全的、虚假的、带有偏见的、冒犯性的，或依据其采取行动可能属于违法。用户须对合法使用及采取适当防护措施负全部责任。
- 代码与工具调用：
Q5_K_M仅为实用选择建议，并非基准优越性的证明。生成的代码、参数和工具调用在执行前必须经过人工验证。 - 多模态特性： 图像使用需要配套的投影器以及兼容的运行时和客户端支持。本发布版本未重新评估多模态行为。
- 上下文与内存： 源配置中的最大位置元数据并不保证本地系统一定有能力运行该长度的上下文。KV 缓存和多模态输入可能需要大量的额外显存/内存。
- 运行时兼容性： 该模型架构较新。较早的 llama.cpp 构建版本或第三方前端可能无法加载或无法支持全部功能。
- 托管推理服务： 本产物仓库已禁用 Hugging Face 托管在线推理。
溯源信息
- 直接来源：
orcarouter/Qwen3.8-27B-Uncensored-FP8 - 源版本修订号：
21411e351948ec029617fa3c9833adcb2ad25da9 - 直接源所指名的原始基座模型：
Qwen/Qwen3.8-27B - 主转换与量化工具链：
ggml-org/llama.cpp@0d9ceae1e38291035605613ab41a8f5e693d6fcd - MTP 伴随模型来源：
orcarouter/Qwen3.8-27B-Uncensored-FP8@21411e351948ec029617fa3c9833adcb2ad25da9，使用该源版本的 MTP/NextN 张量与 scales - MTP 伴随模型转换与兼容性测试工具链：
ggml-org/llama.cpp@ece963f41b0b02d7a0d61436ae365762c073a4c8 - MTP 伴随模型测试佐证：
MTP/TEST-REPORT.json；确切的新增文件哈希：MANIFEST.json与SHA256SUMS.txt - 发布版本关系：直接源 FP8 镜像加上 FP8 派生的 BF16 转换，以及独立以 BF16 为母版的无 MTP 主 GGUF 量化版本，外加单独的源版本严格匹配的 FP8 派生仅 MTP
Q8_0草稿伴随模型
许可证与署名
直接源声明采用 Apache License 2.0，继承自 Qwen/Qwen3.8-27B。本发布仓库应保留完整的 LICENSE 文件。
署名信息：
- Qwen / 阿里巴巴：源仓库指名的原始
Qwen/Qwen3.8-27B模型。 - OrcaRouter /
orcarouter：本发布的确切直接来源orcarouter/Qwen3.8-27B-Uncensored-FP8。 ggml-org/llama.cpp：转换、GGUF 封装、量化以及运行时工具链。
本仓库所做的修改仅限于组织固定的逐字节一致 FP8 镜像，将发布的 FP8 表示形式转换为分卷切分的 BF16 GGUF 与配套的 BF16 投影器，将该 BF16 母版独立量化为列出的四种 GGUF 变体，并对源版本匹配的 MTP 张量进行单独转换、量化以及 A/B 测试以作为可选的仅 MTP 伴随文件。MTP 伴随文件遵循相同的 Apache License 2.0 源条款；在重新分发时请审阅相关条款并保留版权声明与署名。