𝗧𝗿𝗮𝗰𝗸𝗶𝗻𝗴 𝗮𝗻𝗱 𝗼𝗯𝗷𝗲𝗰𝘁 𝗱𝗲𝘁𝗲𝗰𝘁𝗶𝗼𝗻 𝗳𝗼𝗿 𝗿𝗼𝗯𝗼𝘁𝗶𝗰𝘀 В робототехнике обнаружение объектов — это моментальный снимок: "на этом кадре есть бутылка на (x, y)." Отслеживание объектов — это более сложная, операционная задача: "это та же бутылка, что и раньше, она двигалась так, и она все еще там, даже если я не вижу ее в течение 200 мс." Представьте себе мобильного манипулятора на кухонном столе. Задача проста на бумаге: взять синюю бутылку с загроможденного стола, пока рядом движется человек. У робота есть камера (возможно, также и глубинная). Он запускает детектор объектов и получает ограничивающий прямоугольник с меткой "бутылка" и коэффициентом уверенности. Это звучит как восприятие. Но это еще не так. На кадре 1 детектор видит бутылку. На кадре 2 рука человека частично закрывает ее, уверенность падает, и прямоугольник исчезает. На кадре 3 бутылка снова появляется, но детектор немного смещает прямоугольник. С точки зрения планировщика бутылка исчезла и телепортировалась. В загроможденной обстановке вы также получаете дубликаты: детектор может создать два правдоподобных "бутылочных" прямоугольника для одного и того же объекта. Если робот реагирует непосредственно на обнаружения в каждом кадре, вы видите классические ошибки: ➤ он колеблется, потому что цель "пропала" каждые несколько кадров, ➤ он постоянно пересчитывает, потому что позиция цели дрожит, ➤ он тянется к неправильному объекту, когда появляются два похожих предмета, ➤ он не может надежно соблюдать правило "не сталкиваться с человеком", потому что прямоугольник человека тоже мерцает. Вот почему восприятие в робототехнике редко останавливается на обнаружении. Ему нужна постоянство объектов: способность сказать "это все еще та же бутылка, даже если я на мгновение потерял ее из виду." Отслеживание — это то, что превращает предположения из кадра в кадр в стабильную модель мира. Типичный подход — это "отслеживание по обнаружению": вы все еще запускаете детектор каждый кадр, но прикрепляете обнаружения к постоянным трекам (ИД) с течением времени, используя предсказание + ассоциацию. Конкретно, трекер делает три вещи: ➤ Предсказывает "где должна быть бутылка сейчас?" ➤ Ассоциирует "какое обнаружение принадлежит какому треку?" ➤ Поддерживает идентичность при изменениях Вернемся к нашей сцене со столом: как только вы начинаете отслеживание, бутылка перестает мерцать. У нее есть стабильный ИД, сглаженная оценка позиции и часто оценка скорости. Теперь планировщик может вести себя как взрослый: он может подождать короткое изменение в окружении, сосредоточиться на одной цели и спланировать безопасную траекторию вокруг движущегося человека. Даже с отслеживанием робот все еще не знает, что он делает с точки зрения человека. У него есть "Трек #7" с ограничивающим прямоугольником и, возможно, классом "бутылка." Этого недостаточно для реальных задач, потому что реальные задачи связаны с отношениями и намерениями: ➤ "Возьмите синюю бутылку (не прозрачную)." ➤ "Не тянитесь через человека." ➤ "Бутылка за кружкой." ➤ "Если человек тянется к ней, остановитесь." Вот где LLM (часто в паре с VLM) могут помочь, рассуждая над структурированным представлением сцены, построенным из треков. Ключевое здесь то, что LLM должен работать в стабильном состоянии. Если вы подаете ему сырые обнаружения по кадрам, вы получите низкое рассуждение, потому что его входные данные мерцают. Отслеживание делает семантический слой согласованным.

𝗚𝗱𝗮𝗻𝗮 𝗶𝘀 𝗿𝗼𝗯𝗼𝘁𝗶𝗸𝗮 𝘁𝗼𝗱𝗮𝘆? «Решённая» часть робототехники — это промышленная автоматизация в контролируемых условиях. Это не идеально, но достаточно зрелое, чтобы масштабироваться на глобальном уровне. Международная федерация робототехники сообщила о 4,281,585 промышленных роботов, работающих на фабриках по всему миру (World Robotics 2024). А в статистике World Robotics 2025 IFR сообщает о 542k+ промышленных роботов, установленных в 2024 году, с ежегодными установками выше 500k в течение 4+ последовательных лет. Это и есть «фабричное преимущество»: задачи повторяемы, среды структурированы, и границы безопасности могут быть спроектированы. Когда роботизированная рука сварит или разместит компоненты, вы можете ограничить мир, пока робот не станет выглядеть умным. Граница — это всё, что находится за пределами этой зоны комфорта: мобильные роботы в переполненных пространствах, полевые роботы, гибкая манипуляция (схватывание беспорядочных объектов) и любые сценарии, где роботу нужно рассуждать в условиях неопределенности в течение длительных периодов. Здесь основная трудность не в том, «может ли он провести демонстрацию». Основная трудность заключается в надежности в масштабе: может ли он выполнять задачу безопасно, предсказуемо и экономично тысячи раз, включая странные 2% случаев. Вот почему робототехника одержима безопасностью и режимами отказа. Ошибка в программном обеспечении веб-приложения раздражает. Ошибка в программном обеспечении движущейся машины становится кинетической. Это подталкивает команды робототехники к консервативному развертыванию: избыточность, поведение безопасной остановки, постепенные развертывания и тщательный мониторинг. Это также объясняет, почему физический прогресс может казаться медленнее, чем чистое программное обеспечение.

Зашифрованные мемпулы — одна из самых чистых идей в смягчении MEV: скрыть детали транзакций до тех пор, пока не станет слишком поздно, чтобы их обойти. Если валидаторы (или комитет с пороговым значением) не могут видеть полезную нагрузку, они не могут легко: - скопировать сделку, - сделать сэндвич, - продать поток заказов, - или заранее занять позицию вокруг этого. В этом случае вы заменяете "все видят все мгновенно" на "раскрытие происходит позже и должно быть скоординировано." Основные затраты проявляются в виде: ➤ задержки / задержки, когда некоторые конструкции требуют фазы раскрытия, окна расшифровки или предварительных подтверждений. Это может добавить время до уверенности в исполнении. ➤ риска координации, когда кто-то должен расшифровать (набор валидаторов, комитет или механизм). Если они потерпят неудачу, застрянут или сговорятся, качество пользовательского опыта ухудшается. ➤ новых режимов отказа, где управление ключами, предположения о жизнеспособности и "кто что узнает когда" становятся частью вашей поверхности протокола. Таким образом, зашифрованные мемпулы не являются бесплатным обедом, вместо этого это осознанное решение заплатить за координационные затраты, чтобы уменьшить видимость.