Kysyin @JacquelineSYC19 tekoälyn dataongelmasta: "Datan siirtäminen tuntuu petollisen yksinkertaiselta asialta. Mutta työskentelet heterogeenisten järjestelmien kanssa. Postgres on rakennettu eri tavalla kuin Snowflake. Datatyyppejä ja merkkipituuksia on eri tavalla. Matkan varrella täytyy rakentaa pieniä konversioita, jotta data pysyy johdonmukaisena. Kun rakennat järjestelmää, sinun täytyy varmistaa, että kaikki kopioidut tiedot ovat tarkkoja. Eikä mitään pudoteta matkan varrella. Useimmat järjestelmät voivat olla satoja teratavuja tai jopa petatavuja dataa. Joka kerta kun soitat Uberin, kirjaudut hotelliin, lähetät viestin tai avaat sovelluksen, kaikki tallennetaan. Kaikki nämä reunatapaukset kasaantuvat kasvaessasi. Kun keräät dataa, jotkut yritykset hajottavat tietokantojaan. Ja tämä tekee siitä entistä monimutkaisempaa. Joillakin yrityksillä on satoja tietokantoja, jotka virtaavat keskitettyyn tietovarastoon. Ja joillakin yrityksillä on jopa useita tietovarastoja. Tämä tekee pelkästään suurten datamäärien tallentamisesta ja käsittelystä erittäin vaikean ongelman, jonka ratkaisimme @artie_labs."