Mac 环境下 ollama 部署和体验
一、下载并安装 Ollama
- 什么是 Ollama?
Ollama 是一个开源项目，专注于在本地运行、创建和分享大型语言模型（LLMs）。它支持多种模型，包括 Llama 2、Code Llama 等，适用于文本生成、代码编写等任务。用户可以通过命令行与模型交互，并自定义模型。 - 下载并安装 Ollama，下载地址：https://ollama.com/download，根据操作系统选择对应版本。
二、下载并安装 Docker
-
什么是 Docker？
Docker 是一个开源平台，用于开发、部署和运行应用程序。它通过容器化技术将应用及其依赖打包在一起，确保在不同环境中一致运行。 -
下载并安装 Docker，下载地址：https://www.docker.com/，根据操作系统选择对应版本。
-
Docker 汉化，插件地址：https://github.com/asxez/DockerDesktop-CN，下载对应系统版本插件包，从坊达 - 前往 - 前往文件夹中进入「/Applications/Docker.app/Contents/MacOS/Docker Desktop.app/Contents/Resources」路径，备份 app.asar，将下载到的插件拖拽到该文件夹内并改名为 app.asar。
三、下载并安装 Dify
- 下载 Dify，下载地址：https://github.com/langgenius/dify，下载完成后解压。
- 解压完成后，终端进入该文件下 docker 文件夹，执行以下命令，执行完成可以看到 Running 字样。
1cp .env.example .env 2docker compose up -d - 通过 http://localhost/install 即可在本地打开，首次打开需要设置邮箱/用户名和密码，登录成功后，即可体验 dify。
四、大模型下载
- 下载地址：https://ollama.com/search，我们选择 deepseek-r1 模型，其中 1.5b，7、8、14、32....为参数量，1.5b 为 15 亿参数量，7 为 7 亿参数量....平常使用 1.5 或 7、8 足够，通常参数量越大，模型的理解能力、生成能力和泛化能力越强。参数越大所需的硬件性能就越高。
- 本次选择 8b 模型，终端输入命令「ollama run deepseek-r1:8b」
- 终端退出，终端输入 /bye 或 option + d 退出，终端若再次进入，终端输出 ollama run [模型全称]，若忘记可输入 ollama list 查看存在哪些模型。
五、Dify 添加本地模型
- Dify 右上角下拉进入设置页面，模型供应商中找到 ollama 并安装。
- 模型名称为下载的模型完整名称，可在终端输入 ollama list 查询，基础 URL 为 http://host.docker.internal:11434。
- 返回主页面，创建空白应用，选择聊天助手，名称随意，创建完成后即可聊天。
