*Adaugă investitorul Figma la biografie.

Recomand cu căldură să aplic pentru a lucra cu @jmj & @seidtweets! Sunt oameni și investitori incredibili!

Pe 4 august, vom găzdui Ziua inteligenței teoretice: conversații aprofundate cu experți în agenți, monede stabile și sisteme de date scalabile.

Cum mă găsește e-mailul tău

Meme-urile de astăzi au fost nivelul următor.

Nu îl putem cumpăra pe Noah Shazeer pentru 1 miliard, dar îl putem crea în total

Felicitări echipei Lance! Sunt încântat să lucrez cu voi!

Gândurile mele pentru WSJ Venture Capital despre atributele care fac dintr-o companie un candidat puternic pentru a deveni publică pe piața actuală. Mulțumesc @marcvarta !

@tryramp puteți ingera datele mele din calendar: titlu, participanți și apoi automatizați cerințele mele de cheltuieli? stagiarul nostru @pavitarsaini și cu mine îl vom codifica în acest weekend.

TL; DR: Am construit un model de bază de plăți bazat pe transformatoare. Funcționează. De ani de zile, Stripe folosește modele de învățare automată antrenate pe caracteristici discrete (BIN, zip, metodă de plată etc.) pentru a îmbunătăți produsele noastre pentru utilizatori. Iar aceste eforturi au funcționat bine: +15% conversie, -30% fraudă. Dar aceste modele au limitări. Trebuie să selectăm (și, prin urmare, să constrângem) caracteristicile luate în considerare de model. Și fiecare model necesită instruire specifică sarcinii: pentru autorizare, pentru fraudă, pentru dispute și așa mai departe. Având în vedere puterea de învățare a arhitecturilor de transformatoare generalizate, ne-am întrebat dacă o abordare în stil LLM ar putea funcționa aici. Nu era evident că ar fi așa – plățile sunt ca limbajul în unele privințe (modele structurale similare cu sintaxa și semantica, secvențiale temporal) și extrem de diferit de limbaj în altele (mai puține "jetoane" distincte, raritate contextuală, mai puține principii de organizare asemănătoare regulilor gramaticale). Așa că am construit un model de bază pentru plăți - o rețea auto-supravegheată care învață vectori denși, de uz general, pentru fiecare tranzacție, la fel ca un model de limbaj care încorporează cuvinte. Antrenat pe zeci de miliarde de tranzacții, distilează semnalele cheie ale fiecărei încărcări într-o singură încorporare versatilă. Vă puteți gândi la rezultat ca la o distribuție vastă a plăților într-un spațiu vectorial de mare dimensiune. Locația fiecărei încorporari captează date bogate, inclusiv modul în care diferitele elemente se relaționează între ele. Plățile care împărtășesc asemănări se grupează în mod natural: tranzacțiile de la același emitent de carduri sunt poziționate mai aproape unul de celălalt, cele de la aceeași bancă și mai aproape, iar cele care împărtășesc aceeași adresă de e-mail sunt aproape identice. Aceste încorporari bogate fac semnificativ mai ușoară identificarea modelelor nuanțate și contradictorii ale tranzacțiilor; și pentru a construi clasificatori mai precisi pe baza atât a caracteristicilor unei plăți individuale, cât și a relației acesteia cu alte plăți din secvență. Luați testarea cardurilor. În ultimii ani, abordările tradiționale ML (proiectarea de noi funcții, etichetarea modelelor de atac emergente, reinstruirea rapidă a modelelor noastre) au redus testarea cardurilor pentru utilizatorii de pe Stripe cu 80%. Dar cei mai sofisticați testeri de carduri ascund noi modele de atac în volumele celor mai mari companii, așa că sunt greu de identificat cu aceste metode. Am construit un clasificator care ingerează secvențe de încorporari din modelul de bază și prezice dacă felia de trafic este sub atac. Folosește arhitectura transformatorului pentru a detecta modele subtile în secvențele de tranzacții. Și face toate acestea în timp real, astfel încât să putem bloca atacurile înainte ca acestea să lovească companiile. Această abordare ne-a îmbunătățit rata de detectare a atacurilor de testare a cardurilor asupra utilizatorilor mari de la 59% la 97% peste noapte. Acest lucru are un impact instantaneu pentru utilizatorii noștri mari. Dar adevărata putere a modelului de fundație este că aceleași încorporari pot fi aplicate în alte sarcini, cum ar fi disputele sau autorizațiile. Poate chiar mai fundamental, sugerează că plățile au o semnificație semantică. La fel ca cuvintele dintr-o propoziție, tranzacțiile posedă dependențe secvențiale complexe și interacțiuni cu caracteristici latente care pur și simplu nu pot fi capturate prin ingineria manuală a caracteristicilor. Se pare că atenția a fost necesară pentru toate plățile!