Intel回擊AMD資料中心AI效能主張：稱第五代Xeon使用適當優化比AMD EPYC Turin更快

Intel跟進了AMD第五代EPYC Turin CPU的資料中心人工智慧效能聲明，稱第五代Xeon透過正確的優化速度更快。

在Computex 2024上AMD正式發布了代號Turin的第五代EPYC CPU系列，採用最新的Zen5核心架構。該公司針對代號為Emerald Rapids的Intel第五代Xeon系列發布了一些重要數據，特別是在AI吞吐量工作負載方面，但Intel現已澄清這些測試是在沒有對其Xeon系列進行適當在優化的情況下進行的，而實施這些測試後，即使是第五代Xeon在AI性能方面應該可以輕鬆超越第五代EPYC Turin。

Intel特別強調的測試是Llama2-7B聊天機器人，它採用INT4推理吞吐量，並以50ms的延遲進行。 AMD展示了其第五代EPYC CPU採用2S（雙插槽）配置，每個128個核心可提供高達671 tokens/s的性能，而Intel的第五代Xeon Platinum 8592+晶片則每個64個核心運行在同一雙插槽中配置僅提供125 tokens/s的輸出。對於AMD EPYC Turin CPU來說，這是一個巨大的5.4倍增益。

Intel表示測試是在沒有適用於第五代Xeon的正確軟體的情況下進行的，AMD沒有在腳註中提供有關Intel配置的任何詳細資訊。Intel現在已經在相同的人工智慧工作負載中進行了效能測試，結果看起來截然不同。

使用Intel PyTorch 擴充（P99 延遲），第五代Emerald Rapids Xeon CPU的效能比AMD 示的效能高出5.4倍。 686 Tokens/s的輸出超過了AMD第五代EPYC Zen5 CPU的效能。這不僅要歸功於Intel對Llama2的軟體優化，還要歸功於第五代Emerald Rapids系列中添加的AI硬體加速器，這提供了很好的提升。

Intel沒有就此止步，該公司還表示在另外兩個工作負載（翻譯和摘要）中，與AMD在Computex 2024展示中使用的結果相比，該公司的性能提高了1.2倍到2.3倍。

此外更重要的是這些測試很大程度上取決於記憶體，而下一代EPYC Turin系列將採用12通道DDR5。雖然Intel當前一代Xeon Emerald Rapids CPU最多只有8個DDR5通道，但下一代Granite Rapids Xeon 6700P/6900P CPU不僅將配備相同的Up To 12通道記憶體通道，而且與2025年初推出的Xeon 6900E系列一樣，有128個P核心和最多288個E核心。

看起來目前涉足人工智慧業務的所有主要公司都非常重視他們的業績主張，而且也重視其他公司所炫耀的東西。幾個月前NVIDIA和AMD也曾進行過類似的戰鬥，當時AMD公佈了MI300X與Hopper陣容的數據，從此開始了一場拉鋸戰。

同樣在AI PC方面，AMD、Intel、高通和NVIDIA等公司正在進行一場非常激烈的戰鬥，其中AI TOP成為人們談論的話題。隨著整個科技產業對人工智慧的需求不斷增長，所有這些科技公司都在努力吸引更多客戶使用他們的產品，並運送盡可能多的產品，以滿足對功能硬體不斷增長的需求。

消息來源

資料中心都是模組化的, 要算總功耗下, 多少算力.
這跟 running cost 有關.

還是老實加快提昇工藝水平吧!

扶不的阿斗只會吹