Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Lidé se ptají, proč trvám na GPU
a ne Mac Studios/Mac miniatury
Proto je to:
- Llama 3.1 70B BF16 na 8x RTX 3090
- 50+ současných požadavků
- Dávková inference
- Trvalý propustnost
A nejen to:
> ~2k kontextu na požadavek (prompt)
> ~1,8k tokenů na výstupu
> 2 minuty 29 sekund na 50 odpovědí
Tohle je oblast GPU.
Na Macu to nejde.
Aspoň zatím ne.
Top
Hodnocení
Oblíbené