Jeg gjorde raske 71 eksperimenter for 500 av 13 000 steg for OpenAIs utfordring 1. Mixture of Experts er en absolutt VINNER (veldig overraskende siden det ikke burde være for små LLM-er) > Eksperttellingen er viktigst. 4 (beste) > 3 >> 2. 2. UNTIED Embeddings fungerer, bundet er katastrofe 3. Dybdekonvolusjon - BLINDVEI Innsikt: 1. 4-ekspert MOE + lekk ReLU -> -0,048 BPB, klar vinner 2. Ubundne faktoriserte embeddinger (bn128) -> -0,031 BPB, verdt å kombinere med MOE 3. MOE + QAT-kombinasjonen -> bevarer kvantisert kvalitet for innsending Blindveier 1. Dybdekonvolusjon -> hver variant gjør vondt, gjør større kjerner mer vondt 2. Bundne faktoriserte innleiringer – > katastrofale, spesielt ved små flaskehalser 3. Vektfordeling – > ikke konkurransedyktig med MOE når det gjelder kvalitet 4. Conv + hva som helst kombinasjoner — forsterker skaden Neste steg 1. Valider MOE 4e + lekk ved 2000-5000 trinn, flere frø 2. Test MOE 4e + lekk + uavgjort BN128 — de to største seirene kan hope seg opp 3. Full gjennomspilling (13780 trinn) av beste kombinasjon for å se om den slår 1,2244 BPB-poengtavle 71 eksperimenter, 3 GPU-er, ~500 steg hver. Vuk Rosić...