机器之心原创体育游戏app平台
机器之心剪辑部
前些天，发布了一大堆东西，其中包括一款 AI 超等想象机Project DIGITS，机器之心也在第一技巧进行了报说念，参阅《RTX5090 触动发布，国行 16499 元起，黄仁勋「好意思国队长」pose 亮翻全场》。在这篇著作的驳斥区，一位读者的问题激发了不少争议。
诚然该问题的最高赞回话示意这是「英伟达被黑得最惨的一次」，但实验上使用 Mac Mini 看成个东说念主的大模子运行平台并不是什么陌生操作。
Fast Company 甚而以为 M4 Mac Mini 是「测试 AI 的完整想象机」。
你也能在外交网络上找到很多用户分享的训戒。
其实，上图中的这位 Alex Cheema 不单是是在 Mac Mini 上运行我方的个东说念主 LLM 集群，亦然在为自家公司 EXO Labs 作念成见考据。其在本岁首秘书推出了 EXO Gym 竞赛，运转测试能否在较慢的互联网带宽上已毕存效的低延长老师，而他们为此准备的 Mac Mini 数目更是多达 1000 台！是的，你莫得看错，不单是使用 Mac Mini 来施行推理，还使用它们来老师模子。
天然，这种作念法通常亦然极具争议，不外有好奇羡慕好奇羡慕我方尝试的读者也可使用他们的开源软件库，现时该方法照旧获利了极端 1.84 万 star。
GitHub 地址：https://github.com/exo-explore/exo
总之，至少在运行推理方面，看起来使用 Mac Mini 如实可行。现时，咱们就来严肃地磋议一下这个问题：关于个东说念主用户而言，淌若念念我方跑土产货大模子，Mac Mini 和英伟达 Project DIGITS 到底选哪个更好？
参数对比
相比谁更胜一筹的最直不雅智商是相比它们的参数。
价钱
当先来看价钱。
证明芯片、内存和硬盘的不同设置，M4 和 M4 Pro 芯片的国行版 Mac Mini 价钱从 4499 元到 35749 元东说念主民币不等，海外版则是从 599 好意思元到 4699 好意思元不等。
而 Project DIGITS 现时已知的起售价为 3000 好意思元。而这个 3000 好意思元版块的设置情况未必是 128GB 内存和高达 4TB 的 NVMe 存储。
而 64GB 内存和 4TB 硬盘的 M4 Pro 版 Mac Mini 的官方价钱就照旧达到了 3199 好意思元起，极端了 Project DIGITS。
配备 12 核 CPU、16 核 GPU 和 16 核 Neural Engine 的 M4 Pro 芯片的 Mac Mini，当遴选 64GB 内存和 4TB 硬盘时，售价为 3199 好意思元
因此至少在价钱上，Project DIGITS 先拿下一分。
性能参数
现时，由于 Project DIGITS 还没上市，因此咱们天然无法获取其与 Mac Mini 的径直性能对比数据，但咱们不错通过一些基本的设置情况来进行最基础的评估。
当先是 CPU 和 GPU。Project DIGITS 经受的想象中枢是 GB10 Superchip，由 Grace CPU 和 Blackwell GPU 构成。其中，Grace CPU 设置了 20 个经受 Arm 架构构建的高能效中枢，GPU 则是先进的 Blackwell，经受了最新一代 CUDA 中枢和第五代 Tensor Cores，可已毕 1 PetaFLOP FP4 的 AI 想象。1 PetaFLOP！简直吓东说念主，不外这是 FP4 精度的。淌若等价到 FP16 精度，则不错说是 250 TFLOPS（天然这种算法很不严谨）。
英伟达示意，借助这款超等想象机，拓荒者不错运行多达 2000 亿参数的大型谈话模子，从而加快 AI 立异。此外，借助 NVIDIA ConnectX 网络，还可将两台 Project DIGITS AI 超等想象机集合起来，运行多达 4050 亿参数的模子。也即是说，足以运行 Llama 3.1 405B。
而 Apple M4 Pro 芯片的 CPU 则是 12 核，其中包含 8 个性能中枢与 4 个成果中枢；GPU 则是 16 核版块。而其在 FP16 精度下的速率为 17 TFLOPS 。
证明 Alex Cheema 的想象，Project DIGITS 不错说在各个层面齐碾压了 M4 Pro Mac Mini。
简便算算性价比：
Project DIGITS：250 TFLOPS / $3,000 ≈0.083 TFLOPS/好意思元M4 Pro Mac Mini：17 TFLOPS / $2,200 ≈0.0077 TFLOPS/好意思元
也即是说，用通常的钱，能从 Project DIGITS 取得极端 M4 Pro Mac Mini 极端 10 倍的算力！
不外知乎用户 Karminski - 牙医也指出了 Project DIGITS 的一大不足。他示意「它是和谐内存，即 CPU 和 CPU 分享 LPDDR5X。它不是 GDDR6，也不是 HBM2 的。」
诚然该拓荒的内存有 128 GB，「可是证明 Grace 架构 CPU 的 Product Brief，单 CPU 的内存带宽最大唯有 512GB/s。是以淌若用这个拓荒来运行大谈话模子，瓶颈就会酿成这个内存带宽。」
他也作念了一番想象，得出的论断是「在 512GB/s 的情况下，运行 70b-4bit 规模的模子，生成速率表面最大值是 512/40=12.8 token/s。淌若念念要运行 200B 规模的模子 (200B4bit 量化未必是 114GB)，表面生成速率是 512/114≈4.5token/s」。
因此，Project DIGITS 可能也偷偷收受了老黄擅长的刀法。
全体来看，读者 Thomas Copper 如实莫得说错，至少在 AI 想象任务上，Mac Mini 如实远远不足 Project DIGITS。但需要认识，Mac Mini 并不是专为 AI 任务打造，也适用于各式普通和责任任务。
之前不少东说念主示意 Mac Mini 是已毕 AI 进步化（democratize AI）的运转，但实验相比下来，未必信得过的运转是英伟达 Project DIGITS！
不外也需指出，Project DIGITS 才刚刚露脸，展望要到 5 月份才上市，市集进展究竟怎样还有待老师——毕竟咱们到时才智信得过知说念「皮衣刀客」究竟刀了哪些方位。但至少从外交网络上的分享来看，照旧有不少东说念主准备好我方的钱包了。
对此，你有什么看法呢？
https://www.youtube.com/watch?v=GBR6pHZ68Ho
https://www.jeffgeerling.com/blog/2024/m4-mac-minis-efficiency-incredible
https://x.com/alexocheema/status/1876676954549620961
https://www.zhihu.com/question/8953765123/answer/73915191447