在浏览 Reddit 网站时，我遇到了有关在 Raspberry Pi 上运行 LLM 的讨论。

于是我很想验证这个“说法”，所以我决定在我的 Raspberry Pi 4 上使用 Ollama 本地运行大语言模型。

现在让我在这篇简短的文章中与各位分享自己的实践。

本文假设您对人工智能、大语言模型和其他相关工具和术语有基本的了解。

在 Raspberry Pi 操作系统（和其他 Linux）上安装 Ollama

Ollama 的安装过程可谓非常轻松。

如果我们要在 Linux 上安装，必须获得它的官方安装脚本并运行它。以下是其官方网站上描述的安装方法。

可以手动下载它并阅读它的作用。如果您像我一样懒惰，请将它们组合在一个命令中，如下所示：

curl https://ollama.ai/install.sh | sh

探索不同的大语言模型

安装完成后，现在就可以在 Pi 上运行 LLM ，然后立即开始与 AI 聊天。

在我的实验中，我使用了tinyllama和phiLLM llava，您还可以尝试Ollama 库中提供的不同大型语言模型。

📋 您应该至少有 8 GB 可用于运行 7B 模型，16 GB 可以运行 13B 模型，32 GB 可以运行 33B 模型。

TinyLlama

让我们从TinyLlama开始，它基于 11 亿个参数，是第一次尝试本地语言模型的完美候选者。

要下载并运行 TinyLlama，需要输入以下命令：

ollama run tinyllama

下载语言模型需要几分钟的时间，下载完成后，您就可以开始与它聊天。

我向 AI 提出的问题是：

“div 标签在 html 中的用例是什么？”

下面是完整的答案以及完成它所需的时间：

真棒！谁会想到人工智能会在 Raspberry Pi 上运行得这么快？

phi

我们继续讨论一些更大的模型，例如phi，它是一个基于 2.7B 参数的语言模型。我认为 Raspberry Pi 也可以处理这个问题。

接下来安装并运行此模型，请键入以下命令：

ollama run phi

尝试问它一些问题。我提问道：“网络交换机和集线器有什么区别？”

下面是 phi 的完整答案以及其他详细信息：

这是我测试过的最大的大语言模型，因为它自带有 7B 参数。我要求它描述图像而不是问简单的问题。

我使用的是 Raspberry Pi 4 的 4 GB 模型，我个人认为它不会像上面的语言模型那样工作得那么好。

不过，我们还是测试一下。要安装 llava请使用以下命令：

ollama run llava

下载这个模型需要一些时间，因为它的尺寸很大，接近 3.9 GB。

我将要求该模型描述存储在目录中的猫的图片：/media/hdd/shared/test.jpg。

但是我不得不中途终止该过程，因为回复时间太长（超过 30 分钟）。

但是，我们可以看到，响应非常准确，如果你有最新的 Raspberry Pi 5 和 8 GB RAM，你可以轻松运行 7B 参数语言模型。

结论

本文将 Raspberry Pi 5 的功能与 Ollama 相结合，为热衷于在本地运行开源语言模型的人奠定更坚实的基础。

无论您是努力突破紧凑计算界限的开发者，还是渴望探索语言处理领域的机关报爱好者，这种设置都提供了无限的机会。

欢迎在评论部分，发表您对 Ollama 的想法和实践经历。

作者：场长