Деяка організація (SGLang) тепер досягає 7,583 токенів на секунду на один GPU, запустивши певну AI модель R1 на GB200 NVL72, що є стрибком у 2.7 рази у порівнянні з H100.
Ми раді бачити, як екосистема з відкритим кодом розвиває оптимізації висновків на GB200 NVL72, знижуючи вартість за токен для галузі на
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
22 лайків
Нагородити
22
8
Поділіться
Прокоментувати
0/400
AltcoinHunter
· 06-19 17:03
Смажте, смажте! Підвищення в 2,7 рази, вийшло на ринок.
Переглянути оригіналвідповісти на0
CryptoPunster
· 06-18 08:09
Апаратура битви в майбутньому знищить биків.
Переглянути оригіналвідповісти на0
LiquidityWizard
· 06-17 07:19
*теоретично* множення ефективності на 2,7x означає -63% бази витрат... захоплююче
Переглянути оригіналвідповісти на0
DeFiDoctor
· 06-17 01:31
Режим цифрового посилення викликає сумніви, рекомендуємо перевірити контрольну групу.
Переглянути оригіналвідповісти на0
TokenAlchemist
· 06-17 01:16
ех, сирі tps не означають оптимального витягання mev, чесно кажучи
Переглянути оригіналвідповісти на0
GasWhisperer
· 06-17 01:16
ці метрики tps течуть, як плавні хвилі пулу пам'яті зараз
Переглянути оригіналвідповісти на0
ProposalManiac
· 06-17 01:15
А все ж це NVIDIA, недостатньо балів.
Переглянути оригіналвідповісти на0
HodlKumamon
· 06-17 01:09
Ей, який ти сильний! ww Великий витратний обчислювальна потужність малий майстер.
Деяка організація (SGLang) тепер досягає 7,583 токенів на секунду на один GPU, запустивши певну AI модель R1 на GB200 NVL72, що є стрибком у 2.7 рази у порівнянні з H100.
Ми раді бачити, як екосистема з відкритим кодом розвиває оптимізації висновків на GB200 NVL72, знижуючи вартість за токен для галузі на