De residuele verbinding in een transformer model wordt meestal op een van deze twee manieren geïmplementeerd: Pre-Norm: x + Laag(Norm(x)) Post-Norm: Norm(x + Laag(x)) In Een Wiskundig Kader voor Transformer Circuits wordt de residuele stroom beschreven als een interne centrale werkruimte