Я спросил @JacquelineSYC19 о проблеме данных AI: "Перемещение данных кажется обманчиво простым делом. Но вы работаете с гетерогенными системами. Postgres построен иначе, чем Snowflake. Существуют разные типы данных и длины символов. Есть небольшие преобразования, которые нужно создать на пути, чтобы поддерживать согласованность данных. Когда вы строите систему, вы должны убедиться, что все скопированные данные точны. И что ничего не потеряно по пути. Большинство систем могут содержать сотни терабайт или даже петабайты данных. Каждый раз, когда вы вызываете Uber, регистрируетесь в отеле, отправляете сообщение или даже открываете приложение, все это хранится. Все эти крайние случаи накапливаются по мере роста. По мере накопления данных некоторые компании разбивают свои базы данных на части. И это делает задачу еще более сложной. Некоторые компании имеют сотни баз данных, которые поступают в центральный хранилище данных. А некоторые компании даже имеют несколько хранилищ данных. Это делает простое хранение и работу с большими объемами данных очень сложной задачей, которую мы решили в @artie_labs."