ollama安装、部署模型、命令、环境变量（ubuntu + windows）

Ubuntu安装ollama1.1、命令行安装1.1.1、安装命令# 下载并安装ollama curl -fsSL https://ollama.com/install.sh | sh注意这里curl需要支持https加密或curl版本更新不然报错无法下载curl: (1) Protocol httpsnot supported or disabled in libcurl1.1.2、curl1.1.2.1、curl报错编译时未启用https支持curl依赖于libcurl库若在编译libcurl时没有启用https支持例如没有包含 OpenSSL 等 SSL/TLS 库那么curl就无法处理https协议。curl版本过旧较旧版本的curl可能存在对https协议支持不完善的情况。1.1.2.2、curl报错解决1、更新curl在基于 Debian 或 Ubuntu 的系统上sudo apt update sudo apt install curl2、重新编译curl并启用https支持若更新curl后问题依旧存在你可以尝试重新编译curl并确保启用https支持。以下是详细步骤步骤 1安装必要的依赖你需要安装 OpenSSL 等 SSL/TLS 库这些库为https协议提供支持。在基于 Debian 或 Ubuntu 的系统上sudo apt update sudo apt install build-essential libssl-dev步骤 2下载并解压curl源码从curl官方网站下载最新版本的源码包wget https://curl.se/download/curl-7.88.1.tar.gz tar -xzvf curl-7.88.1.tar.gz cd curl-7.88.1步骤 3配置、编译并安装curl在配置curl时确保启用 OpenSSL 支持./configure --with-ssl make sudo make install步骤 4验证curl是否支持https安装完成后你可以使用以下命令验证curl是否能够正常处理https协议curl -fsSL https://www.google.com若能正常输出网页内容则说明curl已经支持https协议。3、检查系统环境变量有时候系统环境变量可能会影响curl的行为。确保LD_LIBRARY_PATH环境变量包含了正确的libcurl库路径。你可以使用以下命令查看和设置该环境变量echo $LD_LIBRARY_PATH export LD_LIBRARY_PATH/path/to/libcurl:$LD_LIBRARY_PATH将/path/to/libcurl替换为实际的libcurl库所在路径。通过以上步骤你应该能够解决curl不支持https协议的问题。这时候curl报错问题应该被解决了但是下载速度会比较慢1.1.3、下载速度慢解决方案网络代理加速器先下载install.sh文件修改其中配置下载安装脚本并修改下载源# 下载原始安装脚本 curl -fsSL https://ollama.com/install.sh -o ollama_install.sh # 替换下载链接为 GitHub 加速镜像示例用 github.moeyy.xyz sed -i s|https://ollama.com/download/ollama-linux-${ARCH}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.7.1/ollama-linux-amd64|g ollama_install.sh关键说明将v0.7.1替换为官网最新版本号如v0.9.0版本号根据自己需要填写去ollama github看有哪些版本。若github.moeyy.xyz速度慢可替换为其他加速源如ghproxy.com参考链接1Linux下Ollama下载安装速度过慢的解决方法_downloading linux amd64 bundle-CSDN博客参考链接2Linux环境下载Ollama慢或卡顿解决方案_linux ollama 安装慢-CSDN博客1.1.4、安装成功和启动1.1.4.1、查看ollama版本ollama --version下面这样就安装成功了ollama安装后就会自动启动1.1.4.2、查看ollama状态sudo systemctl status ollama下面这样就启动成功了1.2、离线包安装1.2.1、下载并解压该软件包curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \ | sudo tar x -C /usr1.2.2、然后直接验证ollama --version出版本号 安装成功1.2.3、配置 service 文件[Unit] # 服务名字随便写 DescriptionOllama Service # 等网络就绪再启动避免启动失败 Afternetwork-online.target [Service] # 核心允许所有IP访问 EnvironmentOLLAMA_HOST0.0.0.0:11434 # 可选允许跨域网页调用时需要 EnvironmentOLLAMA_ORIGINS* # 启动命令 ExecStart /usr/bin/ollama serve # 安全专用用户必须先创建 Userollama Groupollama # 自动重启 Restartalways RestartSec5s [Install] WantedBymulti-user.target1.2.4、创建 ollama 用户你直接用这个 service 会报错User ollama not found解决sudo useradd -r -s /bin/false ollama1.3、删除安装的ollama参考链接如何卸载ollama_ollama卸载-CSDN博客1.4、拉取模型网址deepseek-r11.4.1、下载完成1.4.2、成功运行1.5、服务相关命令# 启动服务 sudo systemctl start ollama # 停止服务 sudo systemctl stop ollama # 重启服务改配置后必用 sudo systemctl restart ollama # 查看状态看是否正常运行 sudo systemctl status ollama # 设置开机自启 sudo systemctl enable ollama # 取消开机自启 sudo systemctl disable ollama # 重新加载服务配置改完 .service 文件后用 sudo systemctl daemon-reloadollama服务端如果windows充当客户端Ubuntuollama充当服务器不在一台设备上这时候还要做一些处理。配置局域网连接首先打开Ollama的配置文件sudo gedit /etc/systemd/system/ollama.service在[Service]下面加上ollama默认端口是11434EnvironmentOLLAMA_HOST0.0.0.0:11434然后查看防火墙 状态windows和 Ubuntu防火墙都关了就行然后更新并重新启动ollamasudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl restart ollama这时候应该就能访问ubuntu服务器上Ollama了。Windows安装ollama下载官网Download Ollama on Windows安装下载后得到文件OllamaSetup.exe双击安装安装完成会出现界面WINR--cmd检查ollama版本ollama --v ollama --verison查看模型列表ollama list更改模型存储位置方法一设置环境变量打开“系统属性” → “高级系统设置” → “环境变量”。在“用户变量”或“系统变量”中新建‌变量名‌OLLAMA_MODELS‌变量值‌F:\ollama\modelFile你的目标路径‌重启 Ollama 服务。方法二软件更改右键点击Ollama图标点击Settings打开设置见面或者左侧折叠展开点击Settings设置界面点击选择目录Ollama命令一、基础核心命令1. 查看 Ollama 版本ollama --version2. 查看帮助ollama help查看指定命令帮助ollama help run3. 启动 / 停止 Ollama 服务# 启动服务后台运行 ollama serve # 停止服务Windows/macOS 直接关闭终端即可二、模型管理命令1. 运行模型最常用# 直接运行默认版本模型 ollama run llama3.1 # 运行指定参数/大小版本 ollama run llama3.1:8b ollama run qwen2:7b ollama run gemma2:2b2. 查看本地已安装模型ollama list3. 拉取模型下载到本地ollama pull llama3.1 ollama pull qwen2 ollama pull mistral4. 删除本地模型ollama rm llama3.15. 复制模型重命名ollama cp llama3.1 my-model三、高级运行参数运行模型时附加参数控制性能、上下文、温度等# 设定上下文窗口大小 ollama run llama3.1 --num-ctx 4096 # 设定温度0精准1创意 ollama run llama3.1 --temperature 0.7 # 设定GPU使用数量 ollama run llama3.1 --num-gpu 1 # 设定最大生成token数 ollama run llama3.1 --num-predict 1024四、API 与服务命令1. 以 API 服务运行模型ollama serve默认地址http://localhost:114342. 查看服务状态ollama ps3. 停止正在运行的模型ollama stop llama3.1五、模型创建 / 自定义命令1. 创建自定义模型用 Modelfileollama create my-custom-model -f Modelfile2. 查看模型信息ollama show llama3.13. 查看模型参数ollama show llama3.1 --parameters4. 查看模型系统提示词ollama show llama3.1 --system六、模型推送 / 分享命令1. 登录 Ollama 账号ollama login2. 推送自定义模型ollama push username/my-custom-model3. 注销登录ollama logout七、调试 / 日志命令1. 查看运行日志ollama logs2. 检查模型完整性ollama validate llama3.1八、常用模型推荐直接复制运行# 轻量快速低配电脑 ollama run qwen2:2b ollama run gemma2:2b # 全能平衡推荐 ollama run llama3.1:8b ollama run qwen2:7b # 强大性能16G内存以上 ollama run llama3.1:70bOllma系统环境变量参数常用ollama serve -h查看1. 服务地址与基础配置OLLAMA_HOST作用设置 Ollama 服务监听的 IP 和端口默认值127.0.0.1:11434常用值0.0.0.0:11434→ 允许局域网访问127.0.0.1:8080→ 仅本机改端口OLLAMA_ORIGINS作用允许跨域访问的域名网页调用 API 时用默认值无限制示例http://localhost:3000,https://yourapp.comOLLAMA_DEBUG作用开启调试日志排错用默认值0关闭填值1 开启2. 模型加载与内存控制OLLAMA_KEEP_ALIVE作用模型加载后在内存里保留多久默认值5m5 分钟可选10m、30m、1h、-1永久不卸载OLLAMA_MAX_LOADED_MODELS作用单个 GPU 最多同时加载几个模型默认值自动根据显存判断示例2、3OLLAMA_LOAD_TIMEOUT作用模型加载超时时间默认值5mOLLAMA_NOPRUNE作用启动时不清理无用模型文件默认值false填值1 不清理3. 性能与并发OLLAMA_NUM_PARALLEL作用最大同时处理多少个请求默认值1高配可设2、3、4OLLAMA_MAX_QUEUE作用最大排队请求数默认值1024OLLAMA_SCHED_SPREAD作用强制模型分散到所有 GPU 运行默认值false填值1 开启OLLAMA_FLASH_ATTENTION作用开启 Flash Attention 加速提速省显存默认值自动开启填值1 开启 /0 关闭OLLAMA_GPU_OVERHEAD作用给显卡保留多少显存不用于模型默认值自动单位字节示例536870912 512MB4. 模型路径与上下文OLLAMA_MODELS作用模型下载存放目录默认WindowsC:\Users\用户名\.ollama\modelsLinux/macOS~/.ollama/models示例D:\OllamaModelsOLLAMA_CONTEXT_LENGTH作用全局默认上下文窗口大小默认根据显存自动 4k/32k/256k可选2048、4096、8192、16384、32768OLLAMA_KV_CACHE_TYPE作用KV 缓存量化类型影响显存占用默认f16可选q4_0、q8_0、f325. 高级 / 关闭功能OLLAMA_NO_CLOUD作用禁用 Ollama 云功能远程推理、联网搜索默认false填值1 完全离线OLLAMA_LLM_LIBRARY作用强制使用指定 LLM 库一般不用改默认自动检测生效Windows 下1临时生效只对当前终端有用关了就没set OLLAMA_HOST0.0.0.0:11434 ollama serve$env:OLLAMA_HOST0.0.0.0:11434 ollama serve2永久生效任何终端、重启都有效方法 A图形界面最简单右键此电脑 → 属性 → 高级系统设置 → 环境变量在用户变量或系统变量点新建变量名OLLAMA_HOST变量值0.0.0.0:11434确定 →完全退出 Ollama再重新打开方法 BPowerShell 直接设置管理员# 用户变量 [Environment]::SetEnvironmentVariable(OLLAMA_HOST, 0.0.0.0:11434, User) # 系统变量需要管理员 [Environment]::SetEnvironmentVariable(OLLAMA_HOST, 0.0.0.0:11434, Machine)设置完重启终端 / 重启 Ollama。Linux 下常用 Ubuntu / Debian1临时生效当前终端export OLLAMA_HOST0.0.0.0:11434 ollama serve2永久生效两种常用方法 A写入/.bashrc当前用户echo export OLLAMA_HOST0.0.0.0:11434 ~/.bashrc source ~/.bashrc ollama serve方法 B修改 systemd 服务最标准、最稳sudo systemctl edit ollama写入[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434保存后运行sudo systemctl daemon-reload sudo systemctl restart ollama