license: apache-2.0 base_model:

• prithivMLmods/gemma-4-E2B-it-Uncensored-MAX tags:
  • litert-lm
  • uncensored
  • abliterated
  • edge-gallery
  • on-device language:
• en

gemma-4-E2B-it-Uncensored-MAX → LiteRT-LM

Conversión de prithivMLmods/gemma-4-E2B-it-Uncensored-MAX a formato .litertlm para Google AI Edge Gallery en Android.

🚀 Cómo convertir (Google Colab, gratis)

El notebook está probado y listo para ejecutar en Colab:

📓 gemma4_to_litertlm.ipynb

Pasos:

1. Descarga el notebook y ábrelo en Google Colab
2. Selecciona runtime: GPU (T4) + RAM Alta (hm)
   → Entorno de ejecución → Cambiar tipo → T4 + RAM Alta
3. Pon tu token de HuggingFace (con permisos de escritura) en la primera celda
4. Ejecuta todas las celdas (~30-45 min)
5. El .litertlm se sube automáticamente aquí

¿Qué hace?

1. Extrae solo el decoder de texto del modelo multimodal (4.8 GB vs 9.6 GB total)
   → Mantiene la key naming correcta (model.language_model.*)
2. Crea config modificado con vision_config=None, audio_config=None
   → Gemma4ForConditionalGeneration solo instancia el language model
3. Convierte a TFLite via litert-torch con cuantización INT8
4. Empaqueta como .litertlm con externalize_embedder=True (requerido por Gemma4)
5. Sube a HuggingFace

Si pesa >2 GB

Cambia "dynamic_wi8_afp32" → "dynamic_wi4_afp32" en la celda 4 (INT4 en vez de INT8, mitad de tamaño)

📱 Uso (una vez convertido)

Edge Gallery (Android)

1. Instala Google AI Edge Gallery
2. Añade modelo via URL de HuggingFace
3. ¡Chatea!

CLI

pip install litert-lm
litert-lm import --from-huggingface-repo RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm gemma-4-E2B-it-Uncensored-MAX.litertlm uncensored-max
litert-lm run uncensored-max

Detalles técnicos

⚠️ Modelo abliterated/uncensored. Úsalo con responsabilidad.