AIGC動態(tài)歡迎閱讀

原標題：H100推理飆升8倍！英偉達官宣開源TensorRT-LLM，支持10+模型

關(guān)鍵字：模型,批處理,性能,語言,內(nèi)核

文章來源：新智元

內(nèi)容字數(shù)：6204字

內(nèi)容摘要：新智元報道編輯：桃子 潤【新智元導(dǎo)讀】H100讓模型推理性能最高躍升8倍！英偉達最新開源軟件TensorRT-LLM，將徹底改變LLM推理現(xiàn)狀?！窯PU貧民」即將告別困境！剛剛，英偉達發(fā)布了一款開源軟件TensorRT-LLM，能夠加速H100上大型語言模型的推理。那么，具體能提升多少倍？在添加了TensorRT-LLM及其一系列優(yōu)化功能后（包括In-Flight批處理），模型總吞吐量提升8倍。使…

原文鏈接：點此閱讀原文：H100推理飆升8倍！英偉達官宣開源TensorRT-LLM，支持10+模型

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。