Pelacakan dan deteksi objek untuk robotika Dalam robotika, deteksi objek adalah snapshot: "ada botol di (x, y) dalam bingkai ini." Pelacakan objek adalah hal yang lebih sulit dan lebih operasional: "ini adalah botol yang sama seperti sebelumnya, bergerak seperti ini, dan masih ada bahkan jika saya tidak melihatnya selama 200 ms." Bayangkan manipulator seluler di meja dapur. Tugasnya sederhana di atas kertas: mengambil botol biru dari meja yang berantakan sementara seseorang bergerak di dekatnya. Robot ini memiliki kamera (mungkin kedalaman juga). Ini menjalankan detektor objek dan mendapatkan kotak pembatas berlabel "botol" dengan skor keyakinan. Itu terdengar seperti persepsi. Itu belum. Pada bingkai 1 detektor melihat botol. Pada bingkai 2 lengan orang tersebut menutupinya sebagian, kepercayaan diri menurun, dan kotak itu menghilang. Pada bingkai 3 botol muncul kembali tetapi detektor sedikit menggeser kotak. Dari sudut pandang perencana, botol itu berkedip keluar dan berteleportasi. Dalam kekacauan, Anda juga mendapatkan duplikat: detektor mungkin menghasilkan dua kotak "botol" yang masuk akal untuk objek yang sama. Jika robot bereaksi langsung terhadap deteksi per bingkai, Anda melihat perilaku kegagalan klasik: ➤ ragu-ragu karena target "hilang" setiap beberapa frame, ➤ itu merencanakan ulang terus-menerus karena posisi target gelisah, ➤ menjangkau objek yang salah ketika dua item serupa muncul, ➤ Itu tidak dapat dengan andal menegakkan "jangan bertabrakan dengan orang tersebut" karena kotak orang tersebut juga berkedip. Inilah sebabnya mengapa persepsi robotika jarang berhenti pada deteksi. Itu membutuhkan keabadian objek: kemampuan untuk mengatakan "ini masih botol yang sama, bahkan jika saya melupakannya sebentar." Pelacakan adalah apa yang mengubah tebakan bingkai demi bingkai menjadi model dunia yang stabil. Pendekatan yang umum adalah "pelacakan berdasarkan deteksi": Anda masih menjalankan detektor setiap frame, tetapi Anda melampirkan deteksi ke track persisten (ID) dari waktu ke waktu menggunakan prediksi + asosiasi. Secara konkret, pelacak melakukan tiga hal: ➤ Memprediksi "di mana seharusnya botolnya sekarang?" ➤ Kaitkan "deteksi mana yang termasuk dalam trek mana?" ➤ Pertahankan identitas di bawah perubahan Kembali ke adegan meja kami: setelah Anda melacak, botol berhenti berkedip. Ini memiliki ID yang stabil, perkiraan posisi yang dihaluskan, dan seringkali perkiraan kecepatan. Sekarang perencana dapat berperilaku seperti orang dewasa: ia dapat menunggu perubahan lingkungan yang singkat, berkomitmen pada satu target, dan merencanakan lintasan yang aman di sekitar orang yang bergerak. Bahkan dengan pelacakan, robot masih tidak tahu apa yang dilakukannya dalam hal manusia. Ini memiliki "Track #7" dengan kotak pembatas dan mungkin label kelas "botol." Itu tidak cukup untuk tugas nyata karena tugas nyata adalah tentang hubungan dan niat: ➤ "Pilih botol biru (bukan yang bening)." ➤ "Jangan menjangkau orang itu." ➤ "Botolnya ada di belakang cangkir." ➤ "Jika orang tersebut meraihnya, berhentilah." Di sinilah LLM (sering dipasangkan dengan VLM) dapat membantu dengan bernalar atas representasi terstruktur dari adegan yang dibangun dari trek. Kuncinya adalah LLM harus beroperasi dalam keadaan stabil. Jika Anda memberinya deteksi per bingkai mentah, Anda akan mendapatkan penalaran rendah karena inputnya berkedip. Pelacakan membuat lapisan semantik koheren.

Di mana robotika saat ini? Bagian yang "terpecahkan" dari robotika adalah otomatisasi industri di lingkungan yang terkendali. Ini tidak sempurna, tetapi cukup dewasa sehingga dapat diskalakan secara global. Federasi Robotika Internasional melaporkan 4.281.585 robot industri yang beroperasi di pabrik di seluruh dunia (World Robotics 2024). Dan dalam statistik World Robotics 2025, IFR melaporkan 542k+ robot industri yang dipasang pada tahun 2024, dengan instalasi tahunan di atas 500k selama 4+ tahun berturut-turut. Itulah "keunggulan pabrik": tugas dapat diulang, lingkungan terstruktur, dan batas keselamatan dapat direkayasa. Saat lengan robot mengelas atau menempatkan komponen, Anda dapat membatasi dunia hingga robot terlihat pintar. Perbatasan adalah segala sesuatu di luar zona nyaman itu: robot bergerak di ruang ramai, robotika lapangan, manipulasi fleksibel (menggenggam objek yang berantakan), dan skenario apa pun di mana robot harus bernalar di bawah ketidakpastian untuk waktu yang lama. Di sini, kesulitan intinya bukanlah "bisakah melakukan demo." Kesulitan intinya adalah keandalan dalam skala besar: dapatkah ia melakukan tugas dengan aman, dapat diprediksi, dan ekonomis ribuan kali, termasuk 2% kasus yang aneh. Ini juga mengapa robotika terobsesi dengan mode keselamatan dan kegagalan. Bug perangkat lunak di aplikasi web mengganggu. Bug perangkat lunak di mesin bergerak menjadi kinetik. Itu mendorong tim robotika menuju penyebaran konservatif: redundansi, perilaku penghentian aman, peluncuran bertahap, dan pemantauan yang cermat. Ini juga menjelaskan mengapa kemajuan fisik bisa terasa lebih lambat daripada perangkat lunak murni.

Mempool terenkripsi adalah salah satu ide terbersih dalam mitigasi MEV: sembunyikan detail transaksi sampai terlambat untuk menjalankannya di depan. Jika validator (atau komite ambang batas) tidak dapat melihat muatan, mereka tidak dapat dengan mudah: - menyalin perdagangan, - sandwich itu, - menjual alur pesanan, - atau pra-posisi di sekitarnya. Dalam hal ini, Anda mengganti "semua orang melihat semuanya secara instan" dengan "mengungkapkan terjadi nanti dan harus dikoordinasikan." Biaya utama muncul sebagai: ➤ Latensi / penundaan di mana beberapa desain memerlukan fase pengungkapan, jendela dekripsi, atau prakonfirmasi. Itu dapat menambah waktu sebelum kepastian eksekusi. ➤ Risiko koordinasi di mana seseorang harus mendekripsi (set validator, komite, atau mekanisme). Jika gagal, terhenti, atau berkolusi, pengalaman pengguna menurun. ➤ Mode kegagalan baru di mana manajemen kunci, asumsi keaktifan, dan "siapa yang belajar apa kapan" menjadi bagian dari area permukaan protokol Anda. Jadi mempool terenkripsi bukanlah makan siang gratis, melainkan keputusan sadar untuk membayar biaya koordinasi untuk mengurangi visibilitas.