Bulut veya On-Premises GPU arasında karar vermeye çalışan bir yapay zeka girişimisiniz. İşte ihtiyacınız olan maliyet ve yatırım getirisi dağılımı. 🧵

Sayılardan bahsedelim. 📉 64 çekirdekli yerel GPU kümesi baştan ~38 bin dolar + enerji için yılda 4,2 bin dolar tutar. Bulut eşdeğerleri ise aylık ~$2.8k tutarında. Başa baş noktası sadece 7/24 kullanırsanız 14 aydır. İş yükünüz sadece %20 zaman çalışıyorsa, Cloud spot örnekleri capex'in kazananı olur.

Orkestrasyon esnekliğin anahtarıdır. Fintech firmalarını ele alalım: hassas modelleri yerel tutmak için Slurm-on-Kubernetes gibi araçlar kullanıyorlar, ardından gece testleri için 10k+ bulut çekirdeğe yükseliyorlar. İş ayda 1.200 core saati geçtiğinde satın alın. Kısa'yı kira edin.

GPU kullanımınızı kaydedin. Tahmin etme. Boşta > %60 oranında boşta kalıyorsa, donanım için fazla ödeme yapıyorsunuz. Bulut patlamaya geç. Görev döngüsü > %70 tutarlı mı? Çıplak metal satın almak/kiralamak.