En el mundo de la inteligencia artificial, los modelos de lenguaje grandes (LLM) han demostrado ser increíblemente poderosos. Sin embargo, a menudo dependemos de servicios en la nube para acceder a estos modelos, lo que puede ser costoso o limitante en términos de privacidad y conectividad.
Así que en este tutorial les presento a Ollama, el cual es una solución que permite a los usuarios ejecutar modelos de lenguaje grandes (LLM) directamente en sus propias computadoras, sin necesidad de una conexión a Internet.
En este tutorial aprenderemos a usarlo junto a una interfaz grafica llamada Open WebUI la cual nos ofrece una interfaz similar a ChatGPT.
¿Qué es Ollama?
Ollama es una herramienta que te permite ejecutar modelos de lenguaje grandes (LLM) localmente en tu propia computadora. Esto significa que puedes acceder al poder de estos modelos de inteligencia artificial avanzados sin depender de una conexión a Internet o pagar por servicios basados en la nube
Requerimientos
- Docker, Para ejecutar Ollama en tu máquina local, necesitarás tener Docker instalado. Docker es una plataforma que te permite crear, distribuir y ejecutar aplicaciones en contenedores. Asegúrate de tenerlo configurado antes de comenzar con Ollama.
Comandos basicos de Ollama
Para poder ver todos los comandos:
ollama
ollama help
Para poder listar todos los modelos instalados en Ollama:
ollama list
Para poder descargar un nuevo modelo en tu computador, puedes descargar modelos desde ollama.com/search:
ollama pull llama3
Para poder ejecutar uno de los modelos de Ollama:
ollama run llama3
Una vez instalado una de las primeras cosas que puedes hacer es saludarlo, o pidiendole algo interesante:
Hola, cuentame un dato interesante
Para poder eliminar modelos de Ollama:
ollama rm <model-name>
Probando Open Web Ui con ollama3
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Caracteristicas
- Puedes descargar, exportar e importar un chat
- Puedes añadir la API de OpenAI para usar los modelos de GPT de OpenAI
- Puedes combinar multiples modelso a la vez
Consideraciones
- Tambien puedes usar tu API Key de OpenAI y de esa forma tambien obtendrias los modelos disponibles de GPT desde tu propia interfaz
Desinstalar Ollama
Para desinstalar Ollama en Linux, sigue estos pasos:
Detén el servicio de Ollama:
$ systemctl stop ollama
Elimina el servicio de Ollama del inicio automático:
$ systemctl disable ollama
Borra el archivo binario de Ollama de tu directorio de ejecutables (puede estar en /usr/local/bin, /usr/bin o /bin):
$ rm /usr/local/bin/ollama
Elimina los modelos descargados y la configuración:
$ rm -r ~/.ollama
Desinstalacion de Ollama en Windows
Si estás utilizando Windows, aquí tienes las instrucciones para desinstalar programas:
Ve al menú Inicio y busca la aplicación en la lista de programas instalados.
Mantén presionada la aplicación (o haz clic con el botón derecho) y selecciona Desinstalar12.