W końcu doszedłem do momentu, w którym wystarczająco wiele rzeczy, na których polegam, jest specyficznych dla b200 + cuda + torch, że nie mogłem uzyskać tych samych wyników na TPU z Jax. Co za niespodziewany zwrot akcji.