Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
PERBAIKAN MEMORI KV-CACHE UTAMA
Perbaiki cache KV GLM-4.7-Flash
dengan perubahan satu baris ini di vLLM
Konteks 200K sekarang membutuhkan ~10GB VRAM
bukan ~180GB
NVFP4 sekarang ada di HF*
- ~20,4GB bobot
- Hampir nol kerugian vs 62.4GB BF16
Model SOTA ini sekarang berjalan pada
satu RTX 5090 (VRAM 32GB)
> dengan konteks 200 ribu penuh
> VRAM masih tersisa
* HF: GadflyII / GLM-4.7-Flash-NVFP4

Teratas
Peringkat
Favorit
