本地 AI 可以在 Mac mini 上运行吗? 16GB 最多可以使用 12GB,可以使用的型号和不能使用的型号

决定因素是内存而不是芯片。

国外有一篇文章说人们把 599 美元的 Mac mini 变成了自己的 AI 服务器。当我读到它时,我想,“就是这样。”他指出,最重要的不是芯片的速度,而是可用的可用内存量。

在日本,Mac mini134,800 日元起。尽管它不再便宜,但它仍然是触手可及的运行 AI 的最实用的盒子之一。在本文中,我们将整理哪些型号实际适用于 16GB Mac mini,哪些型号不适用。

Apple Silicon Mac 在 CPU 和 GPU 之间共享内存。这与 Windows 的“VRAM◯GB”不同。然而,其上的整个 16GB 都不能用于 AI。

  • 仅运行 macOS 本身就需要 3-4GB。
  • 分配给GPU的标准上限是总内存约75%决定
  • 如果是16GB的话,75%就是12GB。这是可以放置模型的框架的上限。

更重要的是,12GB不仅可以保存模型本身,还可以保存对话历史记录(称为KV缓存)。因此,可以放心地假设您实际上最多可以存储 10GB 左右。

支持 12GB 的型号和不支持 12GB 的型号

让我们列出 Ollama 分销的典型型号的尺寸。这些数字来自 Ollama 的官方页面。

模型尺寸16GB Mac 迷你
宝石3:4b3.3GB◎ 边距
qwen3:4b2.5GB◎ 边距
qwen3:8b5.2GB◎ 移动自如
宝石3:12b8.1GB○ 输入
qwen3:14b9.3GB△勉强
gpt-oss:20b14GB✕ 不适合
宝石3:27b17GB✕ 不适合
qwen3:30b19GB✕ 不适合

如你看到的,舒适工作高达 8B 左右。我可以适应12B和14B,但如果我要进行长时间的交谈,我肯定会变得困难。而现在经常谈论的 gpt-oss 20B 无法装入 16GB Mac mini。这就是“16GB墙”。

即使 4B 和 8B 模型也足以用于总结文本、起草电子邮件、简单翻译和创建代码片段。在很多情况下,不需要连接到互联网就可以让您感觉更好。

您可以自行更改 75% 的限制。

这75%的框架其实是可以改变的。只需在终端中输入以下命令:

sudo sysctl iogpu.wired_limit_mb=13000

单位是MB,这里写的数字是可以发送到GPU的上限。重启后就会恢复正常,大家可以尝试一下。

但是,如果将其设置得太高,macOS 将耗尽内存,导致运行缓慢或更糟糕的崩溃。在 16GB 机器上赠送 13GB 就有点过分了。我会将其限制在 12.5GB 左右,并根据情况进行决定。

我应该将内存保留在 16GB 还是升级到 24GB?

这将在订购时确定。这很令人困惑,但是M4型号只有两种选择:16GB和24GB。是。如果你想要48GB,则需要升级到M4 Pro型号,起价279,800日元。

  • 16GB(M4标配):足以玩8B以下的模型。即使是日常使用的机器也没有问题。
  • 24GB(M4 上可用):由于您可以在 75% 的情况下使用大约 18GB,因此 gpt-oss 20B 在范围内。我认为这是一个转折点。
  • 48GB(仅限 M4 Pro):向上移动到 27B 和 30B。然而,主机的起价为279,800日元,所以如果你想走那么远,你需要做好准备。

Mac 内存以后无法增加。之前我很烦恼如何为我的MacBook Pro选择内存。我当时的想法我写了一篇关于它的文章。就像当年一样,当有疑问时,我认为正确的答案是走得更高。

尽管如此,在某些情况下云会更好。

说实话,如果从智能上来比较的话,还达不到云端AI的水平。 8B 型号和当前的 Frontier 型号可以执行的操作范围完全不同。如果您要让某人阅读长材料或进行复杂的咨询,那么只需支付月费可能会更快。

将其转移到手边的价值在于其他地方。当处理您不想共享的手稿或个人信息时,当您想发送而不必担心使用次数时,当您想在没有互联网的地方使用它时。如果这三点符合你的情况,我认为拥有 Mac mini 是有意义的。

概括

如果在 16GB Mac mini 上运行 AI,实际可用空间约为 12GB。 8B以下的型号还算舒服,12B、14B就勉强可以,20B以上就装不下了。可以使用命令更改上限,但如果将其提高太多,主机将变得困难。

如果您明智地选择,请选择云,如果手头上有它有意义,请选择 Mac mini。我正在我当前的 Mac 上尝试一个较小的型号,看看它有多实用。

如果您想购买 Mac mini

Mac mini 起售价为 134,800 日元。您可以在 Apple Store 中选择和订购内存和 SSD,但根据配置,亚马逊或乐天可能会更便宜。只看库存和价格。

▼如果您对 Mac mini 感兴趣,请点击这里

您可以立即查看库存和最新价格。

您可能还想阅读的文章

Mac mini M4×eGPU变身“本地AI机器”─苹果官方认可驱动改变Mac潜力
Mac mini是性价比最高的Mac | M2 和 M4 Mac mini 的影响(如果您现在选择)
您应该选择哪款 MacBook Pro,14 英寸还是 16 英寸?选择 M1 Max 内存时的经验教训

高野和人

SKEG WORKS 代表。自 1998 年第一台 iMac 以来,他一直是 Mac 用户。他于 2005 年开设了 Suelog,一直在传播对实际设备的评论和想法,重点关注苹果、相机和小玩意。他也是一位涉足体育、建筑、美食等多种领域的摄影师,其作品曾发表在 Recruit 的《生活广告年鉴》上。二级 FP 技术员。
*本站部分使用AI工具来提高写作效率。所有发表的文章均经过作者本人审核和编辑。