跳转到主要内容
在 LobeVidol中使用 Ollama Ollama 是一款强大的本地运行大型语言模型（LLM）的框架，支持多种语言模型，包括 Llama 2, Mistral 等。现在，LobeVidol已经支持与 Ollama 的集成，这意味着你可以在 LobeVidol中轻松使用 Ollama 提供的语言模型来增强你的应用。 本文档将指导你如何在 LobeVidol中使用 Ollama：

​
在 macOS 下使用 Ollama

1

本地安装 Ollama

下载 Ollama for macOS 并解压、安装。
2

配置 Ollama 允许跨域访问

由于 Ollama 的默认参数配置，启动时设置了仅本地访问，所以跨域访问以及端口监听需要进行额外的环境变量设置 OLLAMA_ORIGINS。使用 launchctl 设置环境变量：
launchctl setenv OLLAMA_ORIGINS "*"
完成设置后，需要重启 Ollama 应用程序。
3

在 LobeVidol中与本地大模型对话

接下来，你就可以使用 LobeVidol与本地 LLM 对话了。在 LobeVidol中与 llama3 对话

​
在 windows 下使用 Ollama

1
本地安装 Ollama
2
下载 Ollama for Windows 并安装。
3
配置 Ollama 允许跨域访问
4
由于 Ollama 的默认参数配置，启动时设置了仅本地访问，所以跨域访问以及端口监听需要进行额外的环境变量设置 OLLAMA_ORIGINS。
5
在 Windows 上，Ollama 继承了您的用户和系统环境变量。
6
  • 首先通过 Windows 任务栏点击 Ollama 退出程序。
  • 从控制面板编辑系统环境变量。
  • 为您的用户账户编辑或新建 Ollama 的环境变量 OLLAMA_ORIGINS，值设为 * 。
  • 点击OK/应用保存后重启系统。
  • 重新运行Ollama。
    • 7
    在 LobeVidol中与本地大模型对话
    8
    接下来，你就可以使用 LobeVidol与本地 LLM 对话了。

    ​
    在 linux 下使用 Ollama

    1
    本地安装 Ollama
    2
    通过以下命令安装：
    3
    curl -fsSL https://ollama.com/install.sh | sh
    4
    或者，你也可以参考 Linux 手动安装指南。
    5
    配置 Ollama 允许跨域访问
    6
    由于 Ollama 的默认参数配置，启动时设置了仅本地访问，所以跨域访问以及��口监听需要进行额外的环境变量设置 OLLAMA_ORIGINS。如果 Ollama 作为 systemd 服务运行，应该使用systemctl设置环境变量：
    7
  • 通过调用sudo systemctl edit ollama.service编辑 systemd 服务。
    • 8
    sudo systemctl edit ollama.service
    9
  • 对于每个环境变量，在[Service]部分下添加Environment：
    • 10
    [Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
    11
  • 保存并退出。
  • 重载 systemd 并重启 Ollama：
    • 12
    sudo systemctl daemon-reload
sudo systemctl restart ollama
    13
    在 LobeVidol中与本地大模型对话
    14
    接下来，你就可以使用 LobeVidol与本地 LLM 对话了。

    ​
    使用 docker 部署使用 Ollama

    1
    拉取 Ollama 镜像
    2
    如果你更倾向于使用 Docker，Ollama 也提供了官方 Docker 镜像，你可以通过以下命令拉取：
    3
    docker pull ollama/ollama
    4
    配置 Ollama 允许跨域访问
    5
    由于 Ollama 的默认参数配置，启动时设置了仅本地访问，所以跨域访问以及端口监听需要进行额外的环境变量设置 OLLAMA_ORIGINS。
    6
    如果 Ollama 作为 Docker 容器运行，你可以将环境变量添加到 docker run 命令中。
    7
    docker run -d --gpus=all -v ollama:/root/.ollama -e OLLAMA_ORIGINS="*" -p 11434:11434 --name ollama ollama/ollama
    8
    在 LobeVidol中与本地大模型对话
    9
    接下来，你就可以使用 LobeVidol与本地 LLM 对话了。

    ​
    安装 Ollama 模型

    Ollama 支持多种模型，你可以在 Ollama Library 中查看可用的模型列表，并根据需求选择合适的模型。

    ​
    LobeVidol中安装

    在 LobeVidol中，我们默认开启了一些常用的大语言模型，例如 llama3、 Gemma 、 Mistral 等。当你选中模型进行对话时，我们会提示你需要下载该模型。 LobeVidol提示安装 Ollama 模型 下载完成后即可开始对话。

    ​
    用 Ollama 拉取模型到本地

    当然，你也可以通过在终端执行以下命令安装模型，以 llama3 为例： 
    ollama pull llama3

    ​
    自定义配置

    你可以在 设置 -> 语言模型 中找到 Ollama 的配置选项，你可以在这里配置 Ollama 的代理、模型名称等。 Ollama 服务商设置
    你可以前往 与 Ollama 集成 了解如何部署 LobeVidol，以满足与 Ollama 的集成需求。