Certaines organisations (SGLang) atteignent désormais 7 583 jetons par seconde par GPU exécutant un certain modèle d'IA R1 sur le GB200 NVL72, un bond de 2,7x par rapport au H100.
Nous sommes ravis de voir l'écosystème open source faire progresser les optimisations d'inférence sur GB200 NVL72, réduisant le coût par jeton pour l'industrie à
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
22 J'aime
Récompense
22
8
Partager
Commentaire
0/400
AltcoinHunter
· 06-19 17:03
Faites-le chauffer, faites-le chauffer ! Augmentation de 2,7 fois, pas encore lancé.
Répondre0
CryptoPunster
· 06-18 08:09
La guerre matérielle tue à l'avenir le marché noir.
Répondre0
LiquidityWizard
· 06-17 07:19
*théoriquement* multiplier l'efficacité par 2,7x signifie -63% de coût de base... fascinant
Répondre0
DeFiDoctor
· 06-17 01:31
Le mode d'amplification numérique est douteux, il est conseillé de revoir le groupe de contrôle.
Répondre0
TokenAlchemist
· 06-17 01:16
meh, les tps bruts ne signifient pas une extraction optimale du mev à vrai dire
Répondre0
GasWhisperer
· 06-17 01:16
ces métriques de tps coulent comme des vagues de mempool fluides rn
Répondre0
ProposalManiac
· 06-17 01:15
C'est encore Nvidia, je n'ai pas assez de points.
Répondre0
HodlKumamon
· 06-17 01:09
Eh bien, c'est puissant ww petit expert en puissance de calcul.
Certaines organisations (SGLang) atteignent désormais 7 583 jetons par seconde par GPU exécutant un certain modèle d'IA R1 sur le GB200 NVL72, un bond de 2,7x par rapport au H100.
Nous sommes ravis de voir l'écosystème open source faire progresser les optimisations d'inférence sur GB200 NVL72, réduisant le coût par jeton pour l'industrie à