Olet tekoälystartup, joka yrittää päättää pilven ja paikallisen GPU:n välillä. Tässä on tarvitsemasi kustannus- ja ROI-erittely. 🧵

Puhutaan numeroista. 📉 64-ytiminen paikallinen GPU-klusteri maksaa ~38 000 dollaria etukäteen + 4,2 000 dollaria vuodessa virtaa. Pilvivastineet maksavat ~2,8 000 dollaria kuukaudessa. Kannattavuuspiste on 14 kuukautta VAIN, jos käytät sitä 24/7. Jos työkuormasi pyörii vain 20 % ajasta, Cloud spot -instanssit ovat capex-voittaja.

Orkestrointi on joustavuuden avain. Otetaan esimerkiksi fintech-yritykset: ne käyttävät työkaluja kuten Slurm-on-Kubernetes pitääkseen arkaluontoiset mallit paikallisina, ja siirtyvät sitten 10k+ pilviytimiin yön yli kestäviä testejä varten. Osta, kun työ ylittää 1 200 ydintuntia kuukaudessa. Vuokra, jos lyhyempi.

Kirjaa näytönohjaimen käyttöaste. Älä arvaa. Jos lepotilassa > 60 % ajasta, maksat liikaa laitteistosta. Siirry pilvien räjähtämiseen. Työsykli > 70 % johdonmukaisesti? Osta/vuokraa paljas metalli.