license: mit library_name: gguf pipeline_tag: text-generation base_model_relation: quantized quantized_by: antirez base_model:
-
deepseek-ai/DeepSeek-V4-Flash-0731 tags:
-
abliterated
-
uncensored
-
GGUF
-
huihui
-
quantized
-
deepseek
-
deepseek-v4
-
deepseek-v4-flash-0731
-
moe
-
mixture-of-experts
-
2-bit
-
4-bit
-
iq2_xxs
-
q2_k
-
q4_k
-
ds4
-
apple-silicon
-
metal
-
unsloth extra_gated_prompt: >- 使用警告
“敏感或争议性内容风险”:该模型的安全过滤机制已大幅削减,可能会生成敏感、具争议性或不当的内容。用户应保持谨慎,并严格审查生成的内容。
“不适合所有受众”:由于内容过滤受限,该模型的输出可能不适合公共场合、未成年人或对安全性要求极高的应用场景。
“法律与伦理责任”:用户必须确保自身使用符合当地法律法规及道德伦理标准。生成的内容可能带有法律或道德风险,用户需对任何后果承担全部责任。
“研究与实验用途”:建议仅在研究、测试或受控环境中使用该模型,避免直接用于生产环境或面向公众的商业应用。
“监控与审查建议”:强烈建议用户对模型输出进行实时监控,并在必要时进行人工审核,以防止不良内容的传播。
“无默认安全保障”:与标准模型不同,该模型未经严格的安全优化。huihui.ai 对因使用该模型而产生的任何后果概不负责。
huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF
这是 deepseek-ai/DeepSeek-V4-Flash-0731 的无审查(uncensored)版本,通过 abliteration(消除拒绝响应)技术制作(详见 remove-refusals-with-transformers 了解更多详情)。 这是一个粗略的概念验证实现,旨在不使用 TransformerLens 的情况下消除 LLM 模型的拒答机制。
注意:这些 GGUF 文件支持 llama.cpp 与 ds4,且所有专家模块(expert modules)均未被削减/修改。
Q4 使用了比 Q2 更强的消除强度(ablation intensity),因此拒答率更低。
GGUF 文件
GGUF 文件来源于 antirez/deepseek-v4-gguf。
llama.cpp
请使用最新版本的 llama.cpp:
llama-cli -m huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF/DeepSeek-V4-Flash-Q2-0731.gguf -c 262144
DSpark
我们添加了两种类型的 DSpark 文件:一种用于消除前(pre-ablation),一种用于消除后(post-ablation)。这些文件来源于 unsloth/DeepSeek-V4-Flash-0731-GGUF/dspark。
请使用最新版本的 llama.cpp:
ds4
请使用最新版本的 ds4:
单 GPU
export CUDA_VISIBLE_DEVICES=0
./ds4 -m huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF/DeepSeek-V4-Flash-Q2-0731.gguf --ctx 32768
多 GPU
export CUDA_VISIBLE_DEVICES=0,1
./ds4 -m huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF/DeepSeek-V4-Flash-Q2_K-0731.gguf --gpu-devices 0,1 --ctx 32768
使用警告
-
敏感或争议性内容风险:该模型的安全过滤机制已大幅削减,可能会生成敏感、具争议性或不当的内容。用户应保持谨慎,并严格审查生成的内容。
-
不适合所有受众:由于内容过滤受限,该模型的输出可能不适合公共场合、未成年人或对安全性要求极高的应用场景。
-
法律与伦理责任:用户必须确保自身使用符合当地法律法规及道德伦理标准。生成的内容可能带有法律或道德风险,用户需对任何后果承担全部责任。
-
研究与实验用途:建议仅在研究、测试或受控环境中使用该模型,避免直接用于生产环境或面向公众的商业应用。
-
监控与审查建议:强烈建议用户对模型输出进行实时监控,并在必要时进行人工审核,以防止不良内容的传播。
-
无默认安全保障:与标准模型不同,该模型未经严格的安全优化。huihui.ai 对因使用该模型而产生的任何后果概不负责。
捐赠赞助
如果您喜欢这个项目,欢迎点赞(Like)并关注我们以获取更多更新!
您可以关注 x.com/support_huihui 获取 huihui.ai 的最新模型动态。
您的支持能帮助我们持续进行开发与改进,一杯咖啡足矣:
- 比特币(BTC):
bc1qqnkhuchxw0zqjh2ku3lu4hq45hc6gy84uk70ge
- 在 Ko-fi 上支持我们的工作:(https://ko-fi.com/huihuiai)!