欢迎，来自IP地址为：3.149.240.88 的朋友
Ollama 是一个免费开源项目，它可以让用户在本地运行各种大语言模型（LLMs）。
无论想使用像 Codestral 这样的开源 LLM 来生成代码，还是使用 LLaMa 3 来替代 ChatGPT，Ollama 都能满足需求。
这些可能是可以在系统上使用 Ollama 本地实现的最终目标。我们首先需要了解怎样才能实现这一目标，并且如何做到这一切？
在本文中，将会提供有关 Ollama 的所有基本信息。
什么是 Ollama
Ollama 是一款免费的开源工具，任何人都可以在他的系统上本地运行开放的 LLM。它支持 Linux（Systemd 驱动的发行版）、Windows 和 macOS（Apple 芯片）。
它是一个命令行界面 (CLI) 工具，可以方便地下载 LLM 并在本地运行。使用几条命令，就可以下载 Llama 3、Mixtral 等模型。
可以把 Ollama 想象成 Docker。使用 Docker，我们可以从镜像存储库下载各种映像并在容器中运行它们。同样，使用 Ollama，我们可以下载各种开源 LLM，然后在我们的终端中运行它们。
运行 Ollama 的系统要求
为了能够使用 Ollama，我们需要一个能够运行 AI 模型的系统。
首先，需要一个 GPU 来运行程序。使用 CPU（或集成 GPU）时，运行速度会非常缓慢。因此，不建议这样做。
其次，还需要确保拥有 Nvidia/AMD 的 GPU，其计算能力至少为 5。一些流行的受支持 GPU 包括：
- NVIDIA RTX 40×0 系列、NVIDIA RTX 30×0 系列、GTX 1650 Ti、GTX 750 Ti、GTX 750
- AMD Vega 64、AMD Radeon RX 6000 系列、AMD Radeon RX 7000 系列
Ollama 是否可以与 TPU 或 NPU 配合使用
很不幸的是，Ollama 目前不正式支持 TPU 或 NPU。
TPU（Tensor Processing Unit 张量处单元）是 Google 为机器学习工作流程量身定制的定制集成电路 (IC)。它可能不是运行机器学习模型的最强大的解决方案，但在某些情况下，使用 Google Cloud 可以使事情变得方便/灵活且经济实惠。
NPU（Neural Processing Unit 神经处理单元），是专门用于与 AI 相关任务的专用处理器，可以将它们视为用于 AI 的 GPU。
虽然有像 ezrknpu 这样的项目试图提供一些在 NPU 上运行的 LLM 模型，但目前，Ollama 不使用 NPU，它需要 GPU。
Ollama 是否可以只在 CPU 情况下运行
是的，之前已经提到过，在只使用 CPU 的情况下是可以运行 Ollama的，但应该尽量避免这样做。Ollama 旨在使用 Nvidia 或 AMD GPU。它无法识别集成的 Intel GPU。虽然我们可以仅在 CPU 上运行 Ollama，但即使强如 16 核处理器达到最大性能，Ollama 的性能也会远远低于标准。
如何安装 Ollama
根据自己主机运行的操作系统，我们可以自行到 >>Ollama 官方网站<< 下载并安装它。
Ollama 支持的模型
Ollama 专注于为用户提供开放的模型，其中一些模型允许商业使用，有些则不允许。
这些模型由 Ollama 托管，只需要使用 pull 命令下载，如下所示：
# ollama pull codestral
因为 LLM 在设备上本地运行，所以还需要对 LLM 进行训练。如果我们愿意，可以将其部署为服务以与其它的软件应用程序交互。
Ollama 提供的一些有用模型包括：
- llama 3：Meta Inc 开发的开放模型系列，具有指令调整和预训练的变体
- gemma：Google DeepMind 开发的轻量级开放模型，灵感来自 Google Gemini
- Mistral：Apache 2.0 许可下提供的强大开源模型
- Codestral：Mistral 的非生产许可下的 AI 模型，使用 80 多种编程语言进行训练
我们可以在 Ollama 官方网站了解到所有可用的 LLM 的信息。并且可以查看详细信息并将其拉取到自己的设备上使用。
如果不需要某些模型了，可以简单地使用 Linux 上的命令将其删除：
# ollama rm codestral
模型保存在哪里
有时用户会遇到这种情况，即使使用删除命令删除模型后，存储空间仍未释放，这意味着删除不成功。
遇到这种情况，或者如果想使用图形用户界面 (GUI) 或文件管理器删除多个模型，就需要知道模型的存储位置。以下是下载的模型的默认存储路径：
- Linux：/usr/share/ollama/.ollama/models
- Windows：C:\Users\%username%\.ollama\models
- macOS：~/.ollama/models
如何停止 Ollama
对于 Windows/macOS，可以转到右下角或右上角的系统托盘图标（取决于任务栏的位置），然后单击”退出 Ollama”。
对于 Linux，则需要输入以下命令来停止 Ollama 进程在后台运行：
# sudo systemctl stop ollama
Ollama 的 GUI
Ollama 是一款基于 CLI 的工具。因此，默认情况下，系统不会提供用于与模型交互或管理模型的图形用户界面。但是，您可以安装 Web UI 工具或 GUI 前端来与 AI 模型交互。常用的 GUI 工具包括 Page Assist、Open WebUI 和 Lobe Chat 等。
虽然有很多类似的工具，但 Ollama 已成为在本地运行 LLM 的最流行工具。它易于快速安装不同的 LLM，是想要使用本地 AI 的初学者的理想选择。
