"ViT-5: Vision Transformers för mitten av 2020-talet" Denna artikel visar att vanliga Vision Transformers fortfarande har många lågthängande frukter, med många underoptimerade aspekter. Genom att systematiskt byta ut moderna transformers bästa praxis, t.ex. RMSNorm, 2D RoPE + absoluta positioner, QK-norm, registertokens, LayerScale Du skulle få en enkel drop-in ViT-ryggrad som är ganska stark och mycket mer stabil, utan att behöva ändra kärnuppmärksamhet+FFN-receptet alls!