ollama 常用命令 – 我的学习园地

官网 https://ollama.com/

修改监听地址：

windows

`[System.Environment]::SetEnvironmentVariable('OLLAMA_HOST', '0.0.0.0', 'Machine')` # 监听地址 
`[System.Environment]::SetEnvironmentVariable('OLLAMA_MODELS', '', 'Machine')`  # OLLAMA 模型目录
`New-NetFirewallRule -DisplayName 'OLLAMA 规则' -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434` # 开端口
 windows 下重启 ollama 服务
`netstat -aon | ?  { $_ -like '*11434*' } # 查看 ollama 进程监听的地址`

linux

vi /etc/systemd/system/ollama.service  

[Unit]
Description=Ollama Service
After=network-online.target  

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"   # 增加环境变量， 单写一行
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

# 重启服务
systemctl daemon-reload
systemctl restart ollama
systemctl status ollama

sudo ss -tuln | grep 11434 # 查看监听地址，早期使用 sudo netstat -tuln | grep 11434
sudo ufw allow 11434/tcp

兼容 openai 接口

# 没有完全兼容
http://localhost:11434/v1
还有为了兼容某些工具的跨域访问，需要设置变量 OLLAMA_ORIGINS = *

一些常用工具

Jan
Page Assist - A Web UI for Local AI Models

搭配 open web ui

# 注意：关闭管理员设置中的 openai 的 enable, 不然登录会卡顿很久
#
services:
     open-webui:
        image: ghcr.io/open-webui/open-webui:main
        container_name: open-webui
        # ports:
            # - "3000:8080"
        environment:
            - OLLAMA_BASE_URL=http://192.168.0.80:11434
            - HF_ENDPOINT=https://hf-mirror.com # 不翻墙的时候，会要求访问 , 导致会卡很久，这里使用国内镜像
            - HTTP_PROXY=http://10.1.1.121:7897 # 或是指定一下代理
            - HTTPS_PROXY=http://10.1.1.121:7897 # 或是指定一下代理
        volumes:
            - ./open-webui:/app/backend/data
        restart: always
        networks:
            - nginx_default
networks:
     nginx_default:
        external: true

常用操作

启动Ollama服务：

ollama serve

这条命令用于启动Ollama服务，允许你在本地运行和管理大型语言模型。

从模型文件创建模型：

ollama create

使用此命令可以从模型文件创建一个新的模型实例。

显示模型信息：

ollama show

这条命令用于显示当前模型的详细信息。

运行模型：

ollama run 模型名称

通过这条命令，你可以运行指定名称的模型。

从注册表中拉取模型

ollama pull 模型名称

使用此命令可以从模型注册表中拉取指定的模型。

将模型推送到注册表：

ollama push

这条命令用于将你的模型推送到模型注册表中，以便其他人可以使用。

列出模型：

ollama list

使用此命令可以列出所有可用的模型。

复制模型：

ollama cp

这条命令用于复制模型。

删除模型：

ollama rm 模型名称

使用此命令可以删除指定名称的模型。

获取有关Ollama任何命令的帮助信息

ollama help

这条命令提供了关于Ollama所有命令的帮助信息。

这些命令涵盖了从模型的创建、管理到运行的各个方面，是使用Llama模型时的常用操作。

修改监听 地址 ：