Mi chiedo se eseguire softmax in base 2 invece che in base e potrebbe essere un'ottimizzazione utile su alcune hardware a punto fisso. Aggiungi un 1 alla parte frazionaria e sposta a sinistra di una parte intera come un'approssimazione abbastanza vicina di 2^punto_fisso.