Llama 3.2 se presentó recientemente en la Conferencia de Desarrolladores de Meta, mostrando impresionantes capacidades multimodales y una versión optimizada para dispositivos móviles que utilizan hardware Qualcomm y MediaTek. Este avance permite a los desarrolladores ejecutar potentes modelos de IA como Llama 3.2 en dispositivos móviles, allanando el camino para aplicaciones de IA más eficientes, privadas y receptivas.

Meta lanzó cuatro variantes de Llama 3.2:

• Modelos multimodales con 11 mil millones (11B) y 90 mil millones (90B) de parámetros.
• Modelos de solo texto con mil millones (1B) y 3 mil millones (3B) de parámetros.

Los modelos más grandes, especialmente las variantes 11B y 90B, destacan en tareas como la comprensión de imágenes y el razonamiento de gráficos, a menudo superando a otros modelos como Claude 3 Haiku e incluso compitiendo con GPT-4o-mini en ciertos casos. Por otro lado, los modelos livianos 1B y 3B están diseñados para generación de texto y capacidades multilingües, lo que los hace ideales para aplicaciones en dispositivos donde la privacidad y la eficiencia son clave.

En esta guía, le mostraremos cómo ejecutar Llama 3.2 en un dispositivo Android usando Termux y Ollama. Termux proporciona un entorno Linux en Android y Ollama ayuda a administrar y ejecutar modelos grandes localmente.

¿Por qué ejecutar Llama 3.2 localmente?

La ejecución de modelos de IA localmente ofrece dos beneficios principales:

1. Procesamiento instantáneo ya que todo se maneja en el dispositivo.
2. Privacidad mejorada ya que no es necesario enviar datos a la nube para su procesamiento.

Aunque todavía no hay muchos productos que permitan que los dispositivos móviles ejecuten modelos como Llama 3.2 sin problemas, aún podemos explorarlo usando un entorno Linux en Android.

Pasos para ejecutar Llama 3.2 en Android

1. Instale Termux en Android

Termux es un emulador de terminal que permite que los dispositivos Android ejecuten un entorno Linux sin necesidad de acceso de root. Está disponible de forma gratuita y se puede descargar desde la página de Termux GitHub.

Para esta guía, descarga termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk e instálalo en tu dispositivo Android.

2. Configurar Termux

Después de iniciar Termux, siga estos pasos para configurar el entorno:

1. Otorgar acceso al almacenamiento:

   termux-setup-storage

Este comando permite a Termux acceder al almacenamiento de su dispositivo Android, lo que permite una administración de archivos más sencilla.

1. Actualizar paquetes:

   pkg upgrade

Ingrese Y cuando se le solicite actualizar Termux y todos los paquetes instalados.

1. Instalar herramientas esenciales:

   pkg install git cmake golang

Estos paquetes incluyen Git para el control de versiones, CMake para la creación de software y Go, el lenguaje de programación en el que está escrito Ollama.

3. Instalar y compilar Ollama

Ollama es una plataforma para ejecutar modelos grandes localmente. Aquí se explica cómo instalarlo y configurarlo:

1. Clonar el repositorio GitHub de Ollama:

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Navega al Directorio de Ollama:

   cd ollama

1. Generar código Go:

   go generate ./...

1. Construir Ollama:

   go build .

1. Iniciar servidor Ollama:

   ./ollama serve &

Ahora el servidor de Ollama se ejecutará en segundo plano, lo que le permitirá interactuar con los modelos.

4. Ejecución de modelos Llama 3.2

Para ejecutar el modelo Llama 3.2 en tu dispositivo Android, sigue estos pasos:

1. Elige un modelo:

   • Modelos como llama3.2:3b (3 mil millones de parámetros) están disponibles para probar. Estos modelos están cuantificados para mayor eficiencia. Puedes encontrar una lista de modelos disponibles en el sitio web de Ollama.

2. Descargar y ejecutar el modelo Llama 3.2:
   

   ./ollama run llama3.2:3b --verbose

El indicador --verbose es opcional y proporciona registros detallados. Una vez completada la descarga, puedes comenzar a interactuar con el modelo.

5. Gestión del desempeño

Al probar Llama 3.2 en dispositivos como el Samsung S21 Ultra, el rendimiento fue fluido para el modelo 1B y manejable para el modelo 3B, aunque es posible que notes un retraso en el hardware más antiguo. Si el rendimiento es demasiado lento, cambiar al modelo 1B más pequeño puede mejorar significativamente la capacidad de respuesta.

Limpieza opcional

Después de usar Ollama, es posible que desees limpiar el sistema:

1. Eliminar archivos innecesarios:

   chmod -R 700 ~/go
   rm -r ~/go

1. Mover el binario Ollama a una ruta global:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Ahora puedes ejecutar ollama directamente desde la terminal.

Conclusión

Llama 3.2 representa un gran avance en la tecnología de inteligencia artificial, al llevar modelos potentes y multimodales a dispositivos móviles. Al ejecutar estos modelos localmente utilizando Termux y Ollama, los desarrolladores pueden explorar el potencial de las aplicaciones de IA en el dispositivo que priorizan la privacidad y que no dependen de la infraestructura de la nube. Con modelos como Llama 3.2, el futuro de la IA móvil parece brillante, permitiendo soluciones de IA más rápidas y seguras en diversas industrias.