مجموعة Ant Group قامت مؤخرا بفتح المصدر LingBot Depth. يحل أصعب تحدي في إدراك العمق في الروبوتات: التعامل مع الأجسام الشفافة والعاكسة. الروبوتات لديها "عيون" (حساسات)، لكنها عادة ما تكون عمياء عن أشياء مثل الأكواب الزجاجية أو الأوعية المعدنية اللامعة. هم حرفيا ينظرون من خلالها أو يصابون بالعمى بسبب الانعكاسات. LingBot-Depth يصلح هذا العمى، مما يسمح للروبوتات ب "الرؤية" والتفاعل مع غير المرئي. ملخص: - 10 ملايين عينات تدريب (~3.1 مليون منسقة + 7 ملايين عام) - معايير SOTA حول إكمال العمق - يعمل على عمق العين الأحادية، الستيريو، عمق الفيديو، والتتبع ثلاثي الأبعاد - يمسك بنجاح بالأجسام الشفافة/العاكسة في اختبارات الروبوتات الحقيقية مزيد من التفاصيل أدناه 👇 6/1

2/6 أكبر مشكلة حاليا هي أن الكاميرات الروبوتية القياسية (RGB-D) تعمل عن طريق إسقاط الضوء لقياس المسافة. لكن عندما يصطدم الضوء بنافذة زجاجية أو مرآة، لا يرتد بشكل صحيح، بل يمر أو يتفرق. الروبوت يرى فقط "ثقبا أسود" أو ضوضاء. يظن أنه لا يوجد شيء هناك، فيحاول الدخول عبر الباب الزجاجي أو سحق الكوب. الحل: LingBot-Depth يقلب هذا. بدلا من تصفية تلك "الثقوب السوداء"، تستخدمها كإشارة تعلم. يعلم الذكاء الاصطناعي استخدام السياق المحيط (الجدول، الظل) ل "ملء الفراغات" وإعادة بناء الكائن غير المرئي.

3/6 أخذوا نموذج رؤية (مشفر ViT) ودربوه على لعب لعبة "ملء الفراغات" مع خرائط عمق معطلة. يتعلم النموذج النظر إلى: - ما تراه كاميرا RGB (الألوان، الحواف، الظلال) - بيانات العمق الجزئي التي تعمل - أنماط ما هو مفقود ثم يعيد بناء المشهد بالكامل، بما في ذلك الأجزاء غير المرئية. الجزء الذكي: لم يصنعوا أقنعة مزيفة. لقد استخدموا فقط الأعطال الطبيعية للحساس كبيانات تدريب. في كل مرة تفشل الكاميرا في رؤية الزجاج أو المعدن، كان ذلك درسا.

4/6 يتفوق LingBot-Depth على الطرق الحالية في معايير العمق القياسية (iBims، NYUv2) ويعمل عبر عدة مهام دون إعادة تدريب: - عمق الفيديو: يحافظ على العمق متسقا عبر الإطارات، حتى في الأجسام الشفافة المتحركة - مطابقة الستيريو: تحسن الدقة عند دمجه مع أنظمة الكاميرات الستيريو - التتبع ثلاثي الأبعاد: يساعد على تتبع الأجسام عبر الفضاء بسلاسة أكبر يعمم لأنه تعلم التعامل مع "المعلومات المفقودة" كمهارة أساسية، وليس كحالة حاسمة.

5/6 اختبار الروبوت الحقيقي قاموا بتركيب النظام على ذراع روبوت (Rokae XMate SR5) وأعطوه مهمتين مستحيلتين: صندوق تخزين شفاف - حساس العمق القياسي: فشل كامل (نجاح 0٪، لم يتمكن حتى من اكتشافه) - عمق LingBot: نسبة نجاح 50٪ (رأيت الصندوق، تم التخطيط للقبضة بشكل صحيح) كوب فولاذي عاكس - المستشعر القياسي: مرتبك بسبب الانعكاسات - عمق LingBot: نجاح ثابت (إعادة بناء هندسة معقولة) هذا ليس مجرد أرقام أفضل في المعيار. إنه روبوت يمكنه فعليا الإمساك بكأس الماء دون أن يسقطه.