Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico-6,11%
USELESS
USELESS-5,22%
IKUN
IKUN-2,28%
gib
gib-2,15%
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk-0,33%
ALON
ALON-2,99%
LAUNCHCOIN
LAUNCHCOIN-2,41%
GOONC
GOONC+0,89%
KLED
KLED-9,34%
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP-4,21%
Boopa
Boopa+3,93%
PORK
PORK0,00%
Shuangfei Zhai
Shuangfei Zhai
12 Mar, 16.44·
Sapa Exclusive Self Attention (XSA), peningkatan (hampir) gratis untuk Transformers untuk LM. Pengamatan: untuk y = attn(q, k, v), yi dan vi cenderung memiliki kesamaan kosinus yang sangat tinggi Perbaiki: kecualikan vi dari yi melalui zi = yi - (yiTvi)vi/‖vi‖² Hasil: pelatihan/kehilangan val yang lebih baik di seluruh ukuran model; meningkatkan keuntungan seiring bertambahnya panjang urutan. Lihat lebih lanjut: