Jag tycker det är konstigt att folk tror att de kvantiserar frontier-modeller – det är nästan 100% enligt mig att de alla redan körs på FP4 och allt mindre är inte optimerat för Nvidia-GPU:er och jag antar TPUS och Trainium osv osv

@mikechrzano fick jag höra att b300 är specifikt designade för Openais behov av FP4-flops – antagligen för att de gör allt i FP4 nu