interessant. Soweit ich mich erinnere, funktioniert das Ausschließen des KV des aktuellen Tokens durch die Aufmerksamkeitsmaske (d.h. die Diagonale entfernen) nicht! Hypothese: Dies macht das aktuelle Token effektiv zu einem Aufmerksamkeits-Senke.