Dnes spouštíme InferenceMAX! Máme podporu od společností Nvidia, AMD, OpenAI, Microsoft, Pytorch, SGLang, vLLM, Oracle, CoreWeave, TogetherAI, Nebius, Crusoe, HPE, SuperMicro, Dell Běží každý den na nejnovějším softwaru (vLLM, SGLang atd.) na stovkách GPU, infrastruktura za 10 milionů dolarů vrní každý den, aby vytvořila skutečné benchmarky LLM Inference InferenceMAX odpovídá na hlavní otázky naší doby pomocí AI Infrastructure. Kolik Žetonů je vygenerováno na MW kapacity na různých infrastrukturách? Kolik stojí milion potahů? Jaký je skutečný kompromis mezi latencí a propustností? Pokrýváme více než 80 % nasazených FLOPS po celém světě tím, že pokrýváme H100, H200, B200, GB200, MI300X, MI325X a MI355X. Brzy budeme nad 99 % s přidanými TPU Google a Amazon Trainium.

Aby bylo jasno, byl to obrovský vzpruha od technického personálu společnosti SemiAnalysis. Jsou to zde zářící hvězdy. Udělali něco, co podle mě změní způsob, jakým se lidé rozhodují o nákupu infrastruktury. Obrovské poděkování patří také Nvidii a AMD, kterým za tím stojí nespočet hodin úsilí.