Vous souhaitez exécuter des modèles de langage (LLM) comme Llama 3, Mistral ou DeepSeek directement sur votre machine Ubuntu, sans GPU coûteux et sans envoyer vos données dans le cloud ? Ollama est la solution idéale. Ce guide complet vous montre comment installer Ollama sur Ubuntu et lancer votre premier chatbot IA en local en moins de 5 minutes.

Qu’est-ce que Ollama ?

Ollama est un outil open-source qui permet d’exécuter des grands modèles de langage (LLM) en local sur votre ordinateur. Contrairement aux services cloud comme ChatGPT ou Claude, vos données restent sur votre machine, garantissant confidentialité et souveraineté numérique.

Les avantages d’Ollama sont nombreux : aucun abonnement mensuel, fonctionnement hors-ligne possible, compatibilité avec des dizaines de modèles open-source, et surtout, la possibilité de faire tourner l’IA même sur du matériel modeste grâce à la quantification des modèles.

Prérequis pour installer Ollama sur Ubuntu

Avant de commencer l’installation, vérifiez que votre système répond aux exigences minimales :

• Système d’exploitation : Ubuntu 20.04, 22.04 ou 24.04 LTS (ou dérivés comme Linux Mint)
• RAM : 8 Go minimum (16 Go recommandés pour les modèles 7B)
• Stockage : 10 Go d’espace libre minimum
• Processeur : x86_64 avec support AVX2 (la plupart des CPU depuis 2013)
• GPU (optionnel) : NVIDIA avec CUDA ou AMD avec ROCm pour de meilleures performances

Pour vérifier le support AVX2 sur votre processeur, exécutez cette commande :

grep avx2 /proc/cpuinfo

Si la commande retourne des résultats, votre CPU est compatible.

Installation d’Ollama sur Ubuntu

L’installation d’Ollama sur Ubuntu est remarquablement simple grâce au script d’installation automatique fourni par l’équipe de développement.

Méthode 1 : Installation automatique (recommandée)

Ouvrez un terminal et exécutez la commande suivante :

curl -fsSL https://ollama.com/install.sh | sh

Ce script effectue automatiquement plusieurs actions : il détecte votre architecture système, télécharge la dernière version d’Ollama, l’installe dans /usr/local/bin, et configure un service systemd pour un démarrage automatique.

Une fois l’installation terminée, vérifiez que Ollama fonctionne correctement grâce à cette commande :

ollama --version

Vous devriez voir le numéro de version s’afficher, confirmant que l’installation est réussie.

Méthode 2 : Installation manuelle pour les pro

Si vous préférez une installation manuelle pour mieux contrôler le processus, suivez ces étapes :

# Télécharger le binaire
curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama

# Rendre le fichier exécutable
chmod +x ollama

# Déplacer vers /usr/local/bin
sudo mv ollama /usr/local/bin/

# Créer un utilisateur dédié
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

# Créer le service systemd
sudo tee /etc/systemd/system/ollama.service > /dev/null <<EOF
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target
EOF

# Activer et démarrer le service
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

Télécharger et exécuter votre premier modèle LLM

Maintenant que Ollama est installé, il est temps de télécharger un modèle et de discuter avec votre IA locale. Commençons par Llama 3.2, un excellent modèle polyvalent de Meta.

Télécharger un modèle

Pour télécharger et lancer Llama 3.2 (version 3B, idéale pour débuter) :

ollama run llama3.2

Le téléchargement peut prendre quelques minutes selon votre connexion internet. Une fois terminé, vous entrez directement dans un mode conversation interactif.

Modèles recommandés pour débuter

Voici une sélection de modèles adaptés à différents usages et configurations matérielles :

Pour installer un modèle spécifique, utilisez simplement :

ollama pull mistral

Commandes Ollama essentielles

Voici les commandes que vous utiliserez au quotidien avec Ollama :

# Lister les modèles installés
ollama list

# Télécharger un modèle sans le lancer
ollama pull <nom-du-modele>

# Lancer une conversation avec un modèle
ollama run <nom-du-modele>

# Supprimer un modèle pour libérer de l'espace
ollama rm <nom-du-modele>

# Afficher les informations d'un modèle
ollama show <nom-du-modele>

# Copier un modèle sous un autre nom
ollama cp <source> <destination>

# Vérifier l'état du service Ollama
systemctl status ollama

Utiliser Ollama via l’API

Ollama expose une API REST locale sur le port 11434, permettant d’intégrer l’IA dans vos scripts et applications.

Exemple avec curl

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Explique-moi Docker en 3 phrases",
  "stream": false
}'

Exemple avec Python

import requests

response = requests.post('http://localhost:11434/api/generate', json={
    'model': 'llama3.2',
    'prompt': 'Écris un script bash pour sauvegarder /home',
    'stream': False
})

print(response.json()['response'])

Optimiser les performances d’Ollama

Pour tirer le meilleur parti d’Ollama sur votre système Ubuntu, voici quelques conseils d’optimisation.

Augmenter la taille du contexte

Par défaut, Ollama utilise un contexte de 2048 tokens. Pour des conversations plus longues :

ollama run llama3.2 --num-ctx 4096

Utiliser les modèles quantifiés

Les modèles avec suffixe :q4 ou :q5 sont quantifiés pour réduire l’utilisation de RAM tout en conservant une bonne qualité. Par exemple, llama3.1:8b-q4_0 utilise moins de mémoire que la version standard.

Configurer le GPU NVIDIA

Si vous disposez d’un GPU NVIDIA, Ollama l’utilisera automatiquement si les pilotes CUDA sont installés. Vérifiez la détection :

nvidia-smi  # Vérifier que le GPU est détecté
ollama run llama3.2  # Ollama utilisera automatiquement le GPU

Dépannage courant

Erreur « connection refused »

Si vous obtenez cette erreur, le service Ollama n’est probablement pas démarré :

sudo systemctl start ollama
sudo systemctl status ollama

Mémoire insuffisante

Si le modèle ne se charge pas ou est très lent, essayez un modèle plus petit :

ollama run llama3.2:1b  # Version 1 milliard de paramètres, très légère

Mettre à jour Ollama

Pour mettre à jour Ollama vers la dernière version, relancez simplement le script d’installation :

curl -fsSL https://ollama.com/install.sh | sh

Vous savez maintenant comment installer Ollama sur Ubuntu et exécuter des modèles de langage en local. Cette solution vous offre une alternative gratuite et respectueuse de votre vie privée aux services cloud d’IA. Pour aller plus loin, je vous recommande de découvrir Open WebUI, une interface graphique élégante pour Ollama qui reproduit l’expérience ChatGPT directement sur votre machine. C’est le sujet de notre prochain tutoriel.

Ressources utiles :

• Bibliothèque officielle des modèles Ollama
• Dépôt GitHub d’Ollama