Intressant. Om jag minns rätt fungerar det inte att utesluta nuvarande tokens KV med attention mask (dvs. ta bort diagonalen)! Hypotes: detta gör i praktiken den nuvarande token till en uppmärksamhetsslukare.