Tinker Thinking Machinesista on yksi ensimmäisistä julkaisuista pitkään aikaan, joka oikeasti tuntuu koulutukselta tuotteena. Useimmat isännöidyn hienosäätörajapinnot (mukaan lukien OpenAI-tyylinen) ovat mahtavia, kun tarvitset vain puhtaan SFT-suorituksen, mutta heti kun haluat tehdä jotain edes vähän tulista: räätälöityjä opetussuunnitelmia, verkkoarviointia, palkintomuotoista jälkikoulutusta, RL-tyylisiä silmukoita, outoja erä- ja pakkaustemppuja: pääset kattoon nopeasti ja päädyt rakentamaan puoli harjoituspinoa uudelleen. Tinker kääntää tämän käytännössä päinvastaiseksi: se antaa sinulle koulutusrajapinnan, jossa on matalan tason primitiivejä (sample / forward_backward / optim_step / save_state), joten kirjoitat oikeasti haluamasi silmukan, ja he hoitavat ne osat, jotka normaalisti kestävät kuukauden infrastruktuurityötä (aikataulutus, skaalaus, ennakoinnit, vian palautus, miksi tämä työ kuoli 93 %:ssa). Se on myös LoRA-ensimmäinen, mikä on juuri oikea oletus räätälöinnille: iteraatio on nopeampi, kustannukset pysyvät järkevinä, voit pitää useita versioita ilman jättimäisten tarkistuspisteiden kopiointia, ja tarjoilu muuttuu paljon käytännöllisemmäksi. Pidän myös siitä, että tarina ei ole epätasainen: LoRA pystyy todella vastaamaan monien koulutuksen jälkeisten datajoukkojen täydelliseen hienosäätöön, kun sen on asetettu oikein, mutta jos yrität tunkea massiivisen käyttäytymisen muutoksen pieneen sovittimeen (tai aineistosi vain ylittää adapterin tehokkaan kapasiteetin), tunnet pullonkaulan eikä se taianomaisesti katoa. Ainoa todellinen haittapuoli, jonka näen, on pienten mallien lattia: jos tavoitteesi on pienet reunalliset SLM:t, tämä ei todennäköisesti ole oikea työkalu. Silti olen innoissani siitä. En malta odottaa, mitä ihmiset rakentavat.