AMD 發(fā)布 ROCm 6.3：集成 SGLang、引入新 Fortran 編譯器等

感謝本站網(wǎng)友 華南吳彥祖 的線索投遞！

本站 11 月 27 日消息，科技媒體 techpowerup 昨日（11 月 26 日）發(fā)布博文，報(bào)道稱 AMD 公司發(fā)布了 ROCm 6.3 版本更新，集成了用于加速 AI 推理的 SGLang，并重新設(shè)計(jì) FlashAttention-2 用于優(yōu)化 AI 訓(xùn)練和推理等等。

SGLang

AMD 表示 ROCm 6.3 更新現(xiàn)支持 SGLang，這是一個(gè) Runtime，為 AMD Instinct GPU 優(yōu)化大語(yǔ)言模型（LLMs）和視覺(jué)語(yǔ)言模型（VLM）的推理。

AMD 承諾通過(guò)集成 SGLang，吞吐量可以提高 6 倍，并且由于集成了 Python 和預(yù)配置的 ROCm Docker 容器，使用起來(lái)更加便捷。

FlashAttention-2

AMD 在 ROCm 6.3 中重新設(shè)計(jì)了 FlashAttention-2，相比較 FlashAttention-1，顯著改進(jìn)了前向和后向傳遞，大幅提升了 Transformer 模型的訓(xùn)練和推理速度。

全新 AMD Fortran 編譯器

AMD 推出了全新的 Fortran 編譯器，支持直接 GPU offload，并兼容之前的版本，同時(shí)完美集成 HIP 內(nèi)核和 ROCm 庫(kù)，為 Fortran 開(kāi)發(fā)者提供了更強(qiáng)大的 GPU 計(jì)算能力。

增強(qiáng)計(jì)算機(jī)視覺(jué)庫(kù)

rocDecode、rocJPEG 和 rocAL 等計(jì)算機(jī)視覺(jué)庫(kù)也得到了增強(qiáng)，分別支持 AV1 編解碼、GPU 加速 JPEG 解碼和更優(yōu)的音頻增強(qiáng)功能，為圖像和視頻處理應(yīng)用提供了更強(qiáng)大的支持。

ROCm簡(jiǎn)介

本站注：ROCm 是 AMD 開(kāi)發(fā)的一個(gè)開(kāi)放源代碼軟件棧，用于在 AMD 圖形處理器 (GPU) 上進(jìn)行編程。

它包含驅(qū)動(dòng)程序、開(kāi)發(fā)工具和 API，支持從底層內(nèi)核到最終用戶應(yīng)用程序的 GPU 編程，ROCm 針對(duì)生成式 AI 和高性能計(jì)算 (HPC) 應(yīng)用進(jìn)行了優(yōu)化，并涵蓋了通用計(jì)算 (GPGPU)、高性能計(jì)算 (HPC) 和異構(gòu)計(jì)算等多個(gè)領(lǐng)域。