windows虚拟机linux-OLLAMA本地AI

By | 2024-11-20

第一部分：请使用第二部分部署比较简单。
教程：https://www.youtube.com/watch?v=ljAGAzY7vqU
https://github.com/sugarforever/chat-ollama
1.pwerSell 管理员运行
2.
wsl — install 或者 wsl —install -d Ubuntu 安装
wsl —update 升级
wsl —shutdown 关机
wsl —status 查看状态
3.安装docker desktop
3.2 勾选两个选项

  1. CMD 输入 docker -v
    4和5 选一样。
    4.1 wsl 进入虚拟机系统。需要安装docker-compose，目前这个方法未验证。
    4.12 cd /usr
    4.13 mkdir docker-compose
    cd docker-compose
    vi docer-compose.yaml
    按 “insent” 键
    黏贴配置文件
    1输入“：”，2在输入“wq”3回车
    运行：docker-compose up -d

5.在 Docker Desktop 下安装 Portainer 服务器:
教程：https://www.youtube.com/watch?v=ljAGAzY7vqU

创建一个包含 Portainer 服务器管理的数据的Docker 卷

docker volume create Portainer_data

验证名为“Portainer_data”的 Docker 卷是否存在

docker volume ls

安装实际的 Portainer 服务器

docker run -d -p 8000:8000 -p 9000:9000 -p 9443:9443 —name portainer —restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer-ce:latest
docker run -d -p 9000:9000 —name portainer —restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer-ce:latest

我们检查名为“Portainer”的 Docker 容器是否正在运行

docker ps -a
5.2
http://127.0.0.1:9000
5.22 账户：admin key: haogougouhjkhg@#$#

  1. 安装本地 Ai聊天chat
    6.1 安装OllamaSetup.exe 地址： https://github.com/ollama/ollama
    6.12 安装完成，浏览器输入：http://localhost:11434/ Ollama is running表示成功
    6.13 模式网址：https://ollama.com/library ，点击里面的模型，就有运行命令，复制。
    6.13 CMD-输入：ollama run llama3 就可以对话了。
    以下是安装gui界面，有两种，第二种比较好用。
    6.2安装dockers chatollama
    视频教程：https://www.youtube.com/watch?v=FGHbjtIxDyQ
    https://github.com/sugarforever/chat-ollama/blob/main/docker-compose.yaml
    6.22 配置 yaml 内容///////////////////////////////////////////////////////////////////////////////////////////////////////////
    version: ‘3.1’
    services:
    chromadb:
    image: chromadb/chroma
    ports:

    • “8000:8000”
      restart: always
      volumes:
    • chromadb_data:/chroma/.chroma/index

    chatollama:
    environment:

    • CHROMADB_URL=http://chromadb:8000
    • DATABASE_URL=file:/app/sqlite/chatollama.sqlite
    • REDIS_HOST=redis
      image: 0001coder/chatollama:latest
      ports:
    • “3000:3000”
      pull_policy: always
      restart: always
      volumes:
    • ~/.chatollama:/app/sqlite

    redis:
    image: redis:latest
    restart: always
    volumes:

    • redis_data:/data

volumes:
chromadb_data:
redis_data:
//////////////////////////////////////////////////////////////////////////////////////////
1.使用Portainer 部署-home-stacks-create stack

  1. 将以上内容黏贴
  2. 点击页面下部-deploy the stack 创建。

6.2 访问：
localhost:3000
https://ai.haogougou.eu.org/chat
6.2 Ollama sever 输入：http://host.docker.internal:11434 保存，不然无法访问，选择模型。
6.3 https://github.com/ollama/ollama 模型下载
第二部分：请使用第二部分部署比较简单。
另一个博主：第一部分：请使用第二部分部署比较简单。
1 https://www.youtube.com/watch?v=2h8OpB7oh4g
2 https://github.com/open-webui/open-webui
3 代码：

docker run -d -p 3001:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  1. localhost:6000

5.如何自定义模型存放位置。
5.1 我的电脑-右键-属性-高级系统设置-环境变量-系统变量-新建-变量名：，
变量值：OLLAMA_MODELS
存储目录:E:\AI_MODELS
，保存。
6.重启电脑
6.2 点击任务栏ollama 图标，退出 Quit ollama .
6.3开始菜单找到，ollama
6.4 cmd运行命令如：ollama run llama3 下载模型。