Ollama est un cadre puissant pour exécuter localement des modèles de langage de grande taille (LLM), prenant en charge divers modèles de langage, y compris Llama 2, Mistral, etc. Désormais, LobeVidol prend en charge l’intégration avec Ollama, ce qui signifie que vous pouvez facilement utiliser les modèles de langage fournis par Ollama dans LobeVidol pour améliorer vos applications.

Ce document vous guidera sur la façon d’utiliser Ollama dans LobeVidol :

​
Utiliser Ollama sur macOS

1

Installer Ollama localement

Téléchargez Ollama pour macOS et décompressez-le, puis installez-le.

2

Configurer Ollama pour autoriser l'accès cross-origin

En raison de la configuration par défaut d’Ollama, il est réglé pour un accès local uniquement au démarrage, donc l’accès cross-origin et l’écoute des ports nécessitent des réglages supplémentaires des variables d’environnement OLLAMA_ORIGINS. Utilisez launchctl pour définir la variable d’environnement :

```bash
launchctl setenv OLLAMA_ORIGINS "*"
```

Après avoir terminé la configuration, vous devez redémarrer l'application Ollama.
3

Dialoguer avec le grand modèle local dans LobeVidol

Ensuite, vous pouvez dialoguer avec le LLM local dans LobeVidol.

<img
  src="https://oss.vidol.chat/assets/9cc8ac00cfe1eb7397e7206755c79f0a.webp"
  alt="Dialoguer avec llama3 dans LobeVidol"
  className="w-full"
/>

​
Utiliser Ollama sur Windows

1

Installer Ollama localement
2

3

Configurer Ollama pour autoriser l’accès cross-origin
4

En raison de la configuration par défaut d’Ollama, il est réglé pour un accès local uniquement au démarrage, donc l’accès cross-origin et l’écoute des ports nécessitent des réglages supplémentaires des variables d’environnement OLLAMA_ORIGINS.
5

Sur Windows, Ollama hérite de vos variables d’environnement utilisateur et système.
6

  • Tout d’abord, cliquez sur Ollama dans la barre des tâches de Windows pour quitter le programme.
  • Éditez les variables d’environnement système depuis le panneau de configuration.
  • Éditez ou créez la variable d’environnement Ollama OLLAMA_ORIGINS pour votre compte utilisateur, avec la valeur *.
  • Cliquez sur OK/Appliquer pour enregistrer, puis redémarrez le système.
  • Relancez Ollama.
    • 7

    Dialoguer avec le grand modèle local dans LobeVidol
    8

    Ensuite, vous pouvez dialoguer avec le LLM local dans LobeVidol.

    ​
    Utiliser Ollama sur Linux

    1

    Installer Ollama localement
    2

    Installez-le avec la commande suivante :
    3

    curl -fsSL https://ollama.com/install.sh | sh
    4

    Ou, vous pouvez également consulter le guide d’installation manuelle pour Linux.
    5

    Configurer Ollama pour autoriser l’accès cross-origin
    6

    En raison de la configuration par défaut d’Ollama, il est réglé pour un accès local uniquement au démarrage, donc l’accès cross-origin et l’écoute des ports nécessitent des réglages supplémentaires des variables d’environnement OLLAMA_ORIGINS. Si Ollama fonctionne en tant que service systemd, vous devez utiliser systemctl pour définir la variable d’environnement :
    7

  • Éditez le service systemd en appelant sudo systemctl edit ollama.service.
    • 8

    sudo systemctl edit ollama.service
    9

  • Pour chaque variable d’environnement, ajoutez Environment sous la section [Service] :
    • 10

    [Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
    11

  • Enregistrez et quittez.
  • Rechargez systemd et redémarrez Ollama :
    • 12

    sudo systemctl daemon-reload
sudo systemctl restart ollama
    13

    Dialoguer avec le grand modèle local dans LobeVidol
    14

    Ensuite, vous pouvez dialoguer avec le LLM local dans LobeVidol.

    ​
    Déployer Ollama avec Docker

    1

    Tirer l’image Ollama
    2

    Si vous préférez utiliser Docker, Ollama propose également une image Docker officielle que vous pouvez tirer avec la commande suivante :
    3

    docker pull ollama/ollama
    4

    Configurer Ollama pour autoriser l’accès cross-origin
    5

    En raison de la configuration par défaut d’Ollama, il est réglé pour un accès local uniquement au démarrage, donc l’accès cross-origin et l’écoute des ports nécessitent des réglages supplémentaires des variables d’environnement OLLAMA_ORIGINS.
    6

    Si Ollama fonctionne en tant que conteneur Docker, vous pouvez ajouter la variable d’environnement à la commande docker run.
    7

    docker run -d --gpus=all -v ollama:/root/.ollama -e OLLAMA_ORIGINS="*" -p 11434:11434 --name ollama ollama/ollama
    8

    Dialoguer avec le grand modèle local dans LobeVidol
    9

    Ensuite, vous pouvez dialoguer avec le LLM local dans LobeVidol.

    ​
    Installer des modèles Ollama

    Ollama prend en charge divers modèles, vous pouvez consulter la liste des modèles disponibles dans Ollama Library et choisir le modèle qui vous convient.

    ​
    Installation dans LobeVidol

    Dans LobeVidol, nous avons par défaut activé certains modèles de langage courants, tels que llama3, Gemma, Mistral, etc. Lorsque vous sélectionnez un modèle pour dialoguer, nous vous informerons que vous devez télécharger ce modèle.

    Une fois le téléchargement terminé, vous pouvez commencer à dialoguer.

    ​
    Utiliser Ollama pour tirer des modèles localement

    Bien sûr, vous pouvez également installer des modèles en exécutant la commande suivante dans le terminal, en prenant llama3 comme exemple :

    ollama pull llama3

    ​
    Configuration personnalisée

    Vous pouvez trouver les options de configuration d’Ollama dans Paramètres -> Modèle de langage, où vous pouvez configurer le proxy, le nom du modèle, etc.

    Vous pouvez consulter Intégration avec Ollama pour en savoir plus sur le déploiement de LobeVidol afin de répondre aux besoins d’intégration avec Ollama.

    Utiliser MoonshotUtiliser OpenRouter