Georgi Gerganov 开发者日前使用苹果 M2 Ultra 芯片进行了一系列 LLaMA 模型推理测试

2023-10-30 阅读 12 评论 0

摘要：IT之家 10 月 13 日消息，据 Y Combinator 论坛消息，名为 Georgi Gerganov 开发者日前使用苹果 M2 Ultra 芯片，进行了一系列 LLaMA 模型推理测试，测试显示该芯片在并行运行 128 个 Llama 2 7B 流时，效果较佳。据悉，LLaMA 模型推理测试强调内存带宽，而非计算能力，而苹果的 M2 Ultra 芯片号称“内存带宽达 800G

IT之家 10 月 13 日消息，据 Y Combinator 论坛消息，名为 Georgi Gerganov 开发者日前使用苹果 M2 Ultra 芯片，进行了一系列 LLaMA 模型推理测试，测试显示该芯片在并行运行 128 个 Llama 2 7B 流时，效果较佳。

据悉，LLaMA 模型推理测试强调内存带宽，而非计算能力，而苹果的 M2 Ultra 芯片号称“内存带宽达 800GB/s”，因此推理时效果良好。

可并行运行 128 个 LLaMA 2 7B 流，开发者测试苹果 M2 Ultra 芯片模型推理表现

不过虽然 M2 Ultra 芯片的内存带宽具有优势，但用户最多只能获得 192 GB RAM，用户花费 5600 美元(IT之家注：国行 44999 人民币)购买搭载 M2 Ultra 芯片及 192GB 运行内存的 Mac Studio，价格足够买一台“拥有 1TB RAM、搭载 RTX 4090 的 PC”。

Georgi Gerganov 据此认为，如果用户的工作负载(如推理)不需要超过 192 GB，那么选择相关机器时可以更重视“内存带宽”表现，但如果用户有其他工作需求，则可以看看相对应价格的 PC。

M2 Ultra can run 128 streams of Llama 2 7B in parallel

开发者在 GitHub 上提交的测试结果

免责声明：本文由用户上传，如有侵权请联系删除！

原文链接：https://www.sast-sy.com/ea207BD0CBABTWgAC.html

上一篇：无线未连接连接可用红叉（无线网络未连接有红叉）

下一篇：北京2日游最佳路线（北京两日游最佳路线图）