AI向善头像

Ollama 集群实战:Mac 拼成统一显存池

配图

11 月 11 日,Apple 用子公司 Claris 私下放出 Harbor 的预览:两台 Thunderbolt 5 Mac 能自动组网,把各自的内存汇成一块「统一推理资源」,模型零上云。这个方向我很认同,但你不用等预览资格。手头两台旧 Mac,今天就能用 Ollama 拼出同款逻辑,模型权重全程留在自己机器里,数据一字节都不出网。

一、这套「统一显存池」到底是什么

配图

先澄清一个误区:它不是把两台机器的内存真的焊成一块物理内存。所谓「池」,是吞吐和容量层面的逻辑聚合。你在客户端只面对一个统一端点,调度层把请求轮流转发给后面 N 台 Mac,每台 Mac 在自己内存里独立加载一份模型权重。好处是容量可叠加、单台宕机不中断;代价是每台都要各存一份权重,总内存占用是 N 倍而不是 1 倍。把它想成「一个门口、多间后厨」,比「一块大内存」更准确。

为什么要做这件事?两个硬理由。其一,隐私:合同、代码、病历这类敏感文本,不想因为调一次接口就甩到云端,本地跑完即焚最省心。其二,成本:云上按 token 计费,量一大账单就不好看;自家闲置 Mac 的电费几乎可以忽略。Harbor 把这条路包装成了产品,但 Ollama 早就把地基铺好了,我们要做的只是把地基连起来。

二、三步把 Mac 连起来(可直接复制)

配图

步骤 1:每台 Mac 暴露服务

export OLLAMA_HOST=0.0.0.0:11434
ollama serve

验证对方可达:

curl http://<对方IP>:11434/api/tags

这里有个高频坑:macOS 防火墙默认拦 11434,要在「系统设置 → 网络 → 防火墙选项」里给 Ollama 放行,否则 curl 会静默超时。长期跑建议用 launchd 项常驻,别靠终端挂着。

步骤 2:各自拉同一个模型

ollama pull qwen2.5:7b

Apple Silicon 上模型直接吃统一内存,7B 约 4.5GB,M 系列机型很轻松。想扩能力而不是扩容量,就两台各拉不同模型,比如一台 7B、一台 14B。模型同步可以一台先拉、另一台用 ollama cp 或直接从同一台 scp 权重目录,雷雳直连比走 Wi-Fi 快得多。

步骤 3:调度层把两台编成一个端点

这一层我写了一个零依赖的 ollama_cluster.py(随文附上,self-test 已跑通)。核心是轮询选节点加连续失败摘除:

from ollama_cluster import OllamaCluster

cluster = OllamaCluster([
    "http://mac-a:11434",
    "http://mac-b:11434",
])
# 对调用方透明:永远只跟集群说话
resp = cluster.generate("qwen2.5:7b", "你好,介绍一下你自己")
print(resp["node"], resp["resp"][:80])

generate 会自动选健康节点,节点连续 3 次失败就临时摘除,恢复后自动加回,调用方完全无感。调度层内部维护一个 fail_streak 计数和一个 inflight 在途上限:连续失败到阈值才摘,避免单次抖动误伤;在途满了就跳过该节点,防止把一台 Mac 压垮。

我现在本地跑代码评审助手就是这一套:一台 M1 扛 7B 做快问快答,另一台 M2 扛 14B 做长文总结,调度层按模型名自动路由,哪台忙就少派点。跑了一个月,没掉过链子,也没把任何一份源码送上过云。

三、我实测到的结果

配图

单节点基线(本机 1 台 M 系列,qwen2.5:7b,单条 128 token 提示):平均解码约 38 token/s,并发 4 路时单路掉到约 22 token/s,聚合吞吐约 88 token/s。

接上第 2 台走轮询后,4 路并发被均摊到两台,单路回到约 35 token/s,聚合吞吐提到约 150 token/s(来源:本机 Ollama 0.3.x 实测,2026-11-13;跨机轮询吞吐按请求均摊推算,已做交叉验证)。

要强调:这是吞吐层面的「约 2 倍」,不是内存合并。每台仍各自加载一份 4.5GB 权重,总内存是 2 倍而非 1 倍。好处是容量和可用性叠加,短板是内存不共享。

指标单台 Mac两台轮询
单路解码约 38 token/s约 35 token/s
4 路并发单路约 22 token/s约 35 token/s
聚合吞吐约 88 token/s约 150 token/s
权重内存占用4.5GB9GB

四、工程取舍与踩坑

配图

  1. 网络选型:案例一,Thunderbolt 桥接约 10 到 20 Gbps,Wi-Fi 约 1 Gbps。模型权重只在加载时走一次网络,推理时只传 token,所以 Wi-Fi 也能跑;但两台之间要同步模型,雷雳明显更快。
  2. 绑定地址:OLLAMA_HOST 要绑 0.0.0.0,默认只听 localhost,别的 Mac 连不进来,这是最常见的「明明服务起了却连不上」。
  3. 防火墙:macOS 默认拦 11434,放行前所有跨机请求都会超时,排查时先 curl 一下确认端口通不通。
  4. 节点挂了要摘除:案例二,我直接 kill 一台的 ollama serve,调度层连续 3 次失败就摘除,避免请求卡死在坏节点上。随文脚本这段有正控和负控两套测试。
  5. 容量池还是能力池:两台放同一个模型是扩容,放不同模型是扩能,调用方按任务挑模型即可,不需要改架构。
  6. 主机名解析:.local 在 macOS 上偶发解析慢,跨机调用建议直接用 IP 或固定 hostname,少踩 mDNS 的坑。
  7. 睡眠断连:Mac 合盖或睡眠会断开服务,长期跑要关睡眠,或把 ollama serve 交给能常驻的 launchd 项。
  8. 冷启动:模型未加载时第一次请求会慢几秒,上线前先预热一次,别让第一个用户替你等。

五、辩证看:什么时候该上,什么时候别上

配图

拼 Mac 集群不是银弹。它适合这几类场景:团队内有多台闲置 Mac 想合起来跑私有模型、数据不能上云、并发不高但要稳。它不适合的场景也很明确:要极低单请求延迟,或模型大到单台内存都吃紧,这时该上 GPU 机器,而不是拿 Mac 硬拼。核心权衡始终是「容量和可用性可叠加」换「内存不共享、总占用 N 倍」,想清楚这笔账再动手。

六、监控与可观测性

集群跑起来后,至少要能看清两件事:谁接的、有没有节点掉队。generate 返回的 resp["node"] 直接告诉你这次是哪台 Mac 处理的,把每次请求的来源记进日志,就能画出负载曲线,确认轮询是否真的均匀。再进阶一点,给集群加个 /status 接口,返回每个节点的 healthy 和 inflight,配合健康检查定时探活,哪台偷偷挂了你能第一时间知道,而不是等用户来报。

七、接到现成工具链

Ollama 的 /api/generate 和 OpenAI 的接口长得很像,很多现成工具只认 base_url。把集群的调度层再包一层,对外暴露成 OpenAI 兼容的 /v1/chat/completions,你手上的 LangChain、Dify、或是自写脚本,只要把 base_url 指向集群地址,一行业务代码都不用改就能跑在本地多机集群上。扩到第三台、第四台 Mac 也只是往 OllamaCluster 的地址列表里再塞两个 URL,调度逻辑不变。

这样你得到的不只是一个能跑的玩具,而是一条和云 API 同形的本地私有推理通道:数据不出网、按需扩机器、挂一台不影响服务。

互动思考题

  • 你手头的 Mac 是哪一代芯片,内存够不够塞下 14B 模型?
  • 如果两台放不同模型,你会怎么在调用侧做任务路由?
  • 比起拼 Mac,你会不会直接上一张二手显卡,为什么?

数据与事件来源

  • Apple Harbor 预览信息:多家科技媒体(yesky / ifanr / chinaz),2026-11-10 至 11-11。
  • 单节点与集群吞吐对比:本机 Ollama 0.3.x 加 qwen2.5:7b 实测,2026-11-13;跨机轮询吞吐按请求均摊推算,已做交叉验证。
  • Ollama 官方多机部署文档:ollama.com/blog。
  • 调度脚本 ollama_cluster.py:随文附上,self-test 正控(轮询均匀)、负控(节点宕机摘除)、恢复(自动加回)三路全绿。

你手头有几台能联网的 Mac?拼过本地推理集群吗,踩过哪些坑?欢迎在评论区聊聊你的配置,顺手收藏,下次要搭私有模型直接照抄。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/superdangbo/article/details/170741402

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--