Python + Ollama 本地跑大模型：零成本打造私有 AI 助手

前言过去一年，大模型浪潮席卷整个科技圈，ChatGPT、Claude、Gemini 纷纷出圈。然而，调用这些云端 API 需要付费，也存在数据隐私的顾虑。对于技术爱好者来说，有没有一种方式能够零成本、在本地跑起大模型，同时还保持不错的效果？答案就是：Ollama。本文将从零开始，手把手教你如何在本地机器上跑起 Ollama，并结合 Python 实现一个私有 AI 助手。一、什么是 Ollama？Ollama 是一个开源的大模型本地运行框架，支持一键部署和运行各类开源大模型（如 Llama 3、Qwen、Mistral、Gemma 等）。它的设计理念是：让本地跑大模型变得和安装一个 App 一样简单。Ollama 的核心优势：零配置：一条命令即可启动模型跨平台：支持 macOS、Linux、Windows资源友好：支持 GPU 加速，也支持纯 CPU 运行丰富模型库：内置支持数十种开源模型REST API：自带 HTTP 服务，方便二次开发二、环境准备2.1 系统要求组件最低要求推荐配置内存8 GB16 GB 及以上显卡无（CPU 模式）NVIDIA GPU，6 GB 显存系统macOS 10.8+ / Ubuntu 22.04+ / Windows 10+同左💡 没有 GPU 也能跑，只是速度会慢一些，适合小模型。2.2 安装 OllamamacOS / Linux：curl -fsSL https://ollama.com/install.sh | shWindows：直接访问 ollama.com/download/