base_model:
- qingy2024/Benchmaxx-Llama-3.2-1B-Instruct
- huihui-ai/Llama-3.2-1B-Instruct-abliterated
- bunnycore/FuseChat-3.2-1B-Creative-RP library_name: transformers tags:
- mergekit
- merge
- rp
- roleplay
- nsfw
- 1b
- llama3.2
- abliterated license: apache-2.0 language:
- en
- es
Mezcla
Esta mezcla fue creada usando mergekit.
Detalle del Modelo
He ingresado al Open LLM Leaderboard en busca de los mejores modelos Llama 3.2, sin embargo a pesar de que me topé con tres modelos considerados los mejores no pude mezclarlos y solo logré poner uno solo de ellos en la mezcla. Tomarlo como un prototipo.
Método de Mezcla
Este modelo ha sido creafo usando el método de mezcla Model Stock usando bunnycore/FuseChat-3.2-1B-Creative-RP como base.
Modelos Mezclados
Los siguientes modelos están incluídos en la mezcla:
Configuracion
La siguiente configuración YAML ha sido usada para producir este modelo:
models:
- model: bunnycore/FuseChat-3.2-1B-Creative-RP
- model: qingy2024/Benchmaxx-Llama-3.2-1B-Instruct
- model: huihui-ai/Llama-3.2-1B-Instruct-abliterated
merge_method: model_stock
base_model: bunnycore/FuseChat-3.2-1B-Creative-RP
dtype: bfloat16
parameters:
t: [0, 0.5, 1, 0.5, 0]