目 录CONTENT

文章目录

【LLM】本地部署Gemma模型(图文)

EulerBlind
2025-07-01 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

工具简介

我们需要使用到两个工具,一个是****Ollama,另一个是open-webui。

Ollama

Ollama 是一个开源的大语言平台,基于 Transformers 和 PyTorch 架构,基于问答交互方式,提供大语言模型常用的功能,如代码生成、文本生成、数据分析等。

Ollama 的优势:

  • 开源: 免费使用,无需付费。
  • 易用: 简易的操作,无需复杂的代码或配置。
  • 功能强大: 提供广泛的功能,以满足各种需求。
  • 性能良好: 使用 PyTorch 和 Transformers 架构,可以实现快速和高效的模型训练。

Ollama 的局限性:

  • 模型规模限制: 与其他大语言模型(Chat GPT3.5、Chat GPT4等)相比,模型规模可能相对较小。
  • 数据集限制: 不支持所有数据集,特别是在特定领域的数据。

总体来说,Ollama 是一个强大的开源大语言平台,提供广泛的功能和良好的性能,适合各种任务。

open-webui

简单来讲,可以理解为****Ollama的web ui。

机器配置

**借助于****Ollama,开源大模型也可以通过CPU来运行,GPU会更快,且支持三大主流平台。**使用显卡要求显存6GB以上,对磁盘要求磁盘至少4GB,此外还要预留出模型存放的空间,如这里Gemma 7B模型约5.2GB。

⚠️如果使用显卡运行,安装之前需要检查显卡驱动是否存在。

配置步骤

⚠️本教程基于Ubuntu 22.04系统。

安装Ollama

这里介绍两种方式安装,及直接安装和在docker上安装,建议docker安装。

直接在机器上安装

  1. Ollama网址下载并安装Ollama。
    img点击并拖拽以移动编辑根据自己需要下载对应的操作系统版本,这里使用的ubuntu,直接复制如下命令到ubuntu上执行即可。

    curl -fsSL <https://ollama.com/install.sh> | sh
    

    点击并拖拽以移动

    img点击并拖拽以移动编辑

  2. 安装过程及其结果截图

  3. img点击并拖拽以移动编辑记住这里的访问链接

    127.0.0.1:11434
    

    点击并拖拽以移动

使用docker 安装

创建网络

docker network create ollama

点击并拖拽以移动

由于要使用到显卡,所以这里直接用命令跑

docker run -d --gpus=all -v /opt/ollama:/root/.ollama --network ollama -p 11434:11434 --name ollama --restart always ollama/ollama

点击并拖拽以移动

如果出现了如下提示

docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

点击并拖拽以移动

通过如下方式解决docker调用显卡问题,然后再使用上述命令启动ollama服务。

curl -fsSL <https://nvidia.github.io/libnvidia-container/gpgkey> \\
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L <https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list> \\
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \\
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
​
sudo apt-get install -y nvidia-container-toolkit
​
sudo systemctl daemon-reload
sudo systemctl restart docker

点击并拖拽以移动

安装open-webui

安装open-webui很简单,这里会使用到docker,docker的安装教程这里就不给了。使用命令安装。

docker run -d --network host -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui

点击并拖拽以移动

也可以使用如下docker-compose文件来安装,⚠️这里ollama使用容器安装的。如果使用宿主机直接安装,建议直接用host模式。

version: '3.8'
​
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui
    container_name: open-webui
    ports:
      - "3000:8080"
    volumes:
      - /data/open-webui:/app/backend/data
    restart: always
    networks:
      - ollama
  
networks:
  ollama:
    external: true

点击并拖拽以移动

配置模型

**访问 **服务器地址:3000 (如果使用host模式,请访问8080端口),进入登陆界面。

open-webui 首次登陆,需要自行注册管理员账号

登陆后,我们就可以下载模型了,先去ollama确定需要下载的模型编码,这里以gemma模型为例。

img点击并拖拽以移动编辑复制模型名称及其版本

img点击并拖拽以移动编辑点击如下按钮(忽略这里已经下载好的模型),进入设置界面

img点击并拖拽以移动编辑

填入ollama后台然后点击下载,等待模型下载完毕(这里最好有科学环境,不然会很慢)

⚠️:ubuntu环境下直接安装情况下,默认模型路径为 /usr/share/ollama/.ollama

img点击并拖拽以移动编辑下载完成后,即可选择相应的模型进行对话。

0

评论区