سیگنال های لمسی واقع گرایانه

سیستم این تیم می تواند سیگنال های لمسی واقع گرایانه را از ورودی های بصری ایجاد کند ، و پیش بینی کند کدام شی و چه بخشی مستقیماً از آن ورودی های لمسی لمس می شود. آنها از یک بازوی ربات KUKA با یک سنسور لمسی مخصوص به نام GelSight استفاده کردند که توسط گروه دیگری در MIT طراحی شده است.

با استفاده از یک دوربین وب ساده ، این تیم نزدیک به 200 شیء از قبیل ابزار ، محصولات خانگی ، پارچه و موارد دیگر را ضبط کرده است که بیش از 12،000 بار لمس می شود. با شکستن این 12000 کلیپ ویدیویی در قاب های استاتیک ، این تیم "VisGel" را جمع آوری کرد ، مجموعه ای از بیش از 3 میلیون تصویر بصری / لمسی.

Yunzhu Li ، دکترای CSAIL می گوید: "با دیدن صحنه ، مدل ما می تواند احساس لمس یک سطح صاف یا لبه تیز را تصور کند." دانشجو و نویسنده اصلی در مقاله جدیدی درباره سیستم. "با لمس کورکورانه در اطراف ، مدل ما می تواند تعامل با محیط را صرفاً از احساس لمس پیش بینی کند.

کار اخیر برای تجهیز روبات ها به حواس بدنی بیشتر مانند انسان ، مانند پروژه MIT 2016 با استفاده از یادگیری عمیق برای نشان دادن بصری ، یا مدلی که پاسخ اجسام را به نیروهای بدنی پیش بینی می کند ، هر دو از مجموعه داده های بزرگی استفاده می کنند که برای درک فعل و انفعالات موجود نیست. بین دید و لمس.



تکنیک تیم با استفاده از مجموعه داده های VisGel و چیزی به نام شبکه های مخالف مولد (GAN) به نتیجه می رسد.

Yunzhu Li دانشجوی دکترا در آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) است. اعتبار: موسسه فناوری ماساچوست
GAN ها از تصاویر بصری یا لمسی برای تولید تصاویر در روش دیگر استفاده می کنند. آنها با استفاده از "ژنراتور" و "تمایزگر" که با یکدیگر رقابت می کنند ، کار می کنند ، جایی که ژنراتور قصد دارد تصاویر واقعی به دنبال ایجاد فریب و تفریط ایجاد کند. هربار که فرد تبعیض آمیز "صید" می کند ، مجبور استدلال داخلی را برای تصمیم گیری افشا کند ، که به مولد اجازه می دهد تا به طور مکرر خود را بهبود ببخشد.

چشم انداز برای لمس کردن

انسانها می توانند با دیدن آن نتیجه بگیرند که چگونه یک شیء فقط با دیدن آن احساس می کند. برای بهتر کردن این قدرت به دستگاه ها ، ابتدا سیستم باید موقعیت لمسی را پیدا کرده و سپس اطلاعاتی در مورد شکل و احساس منطقه استخراج کند.

تصاویر مرجع - بدون هیچ گونه تعامل با ربات - شیء - به سیستم کمک می کند تا جزئیات مربوط به اشیاء و محیط را رمزگذاری کند. سپس ، هنگامی که بازوی ربات در حال کار بود ، این مدل به سادگی می توانست قاب فعلی را با تصویر مرجع آن مقایسه کند ، و به راحتی مکان و مقیاس لمسی را تشخیص دهد.

این ممکن است چیزی شبیه به تغذیه سیستم از ماوس رایانه ای باشد ، و سپس "دیدن" منطقه ای را که مدل پیش بینی می کند ، شیء را برای وانت لمس کند - که می تواند به ماشینهای بسیار کمک کند تا اقدامات ایمن تر و کارآمدتری را انجام دهند.

لمس به بینایی

برای لمس به بینایی ، هدف این مدل تولید تصویر تصویری بر اساس داده های لمسی بود. این مدل یک تصویر لمسی را مورد تجزیه و تحلیل قرار داده و سپس شکل و ماده موقعیت تماس را تشخیص داده است. سپس به تصویر مرجع نگاه داشت تا تعامل را "توهم" کند.

به عنوان مثال ، اگر در حین آزمایش از داده های لمسی روی یک کفش تغذیه شده باشد ، می تواند تصویری از احتمال لمس آن کفش را تهیه کند.

این نوع توانایی می تواند در مواردی که داده های تصویری وجود ندارد ، مانند روشن بودن چراغ ، یا اگر شخص نابینا وارد یک جعبه یا ناحیه ناشناخته شود ، می تواند برای انجام وظایف مفید باشد.

با نگاه به آینده

مجموعه داده های فعلی فقط نمونه هایی از تعامل در یک محیط کنترل شده را نشان می دهد. این تیم امیدوار است با جمع آوری داده ها در مناطق بدون ساختار و یا با استفاده از یک دستکش لمسی جدید طراحی شده توسط MIT ، این مسئله را بهبود ببخشد تا از نظر اندازه و تنوع مجموعه داده بهتر شود.

هنوز جزئیاتی وجود دارد که می تواند از حالت های تغییر مانند مشکل باشد ، مانند گفتن رنگ یک شی با لمس کردن آن ، یا گفتن چقدر نرم مبل بدون اینکه روی آن فشار بیاورید. محققان می گویند که با ایجاد مدلهای قوی تر برای عدم اطمینان ، می توان توزیع نتایج احتمالی را بهبود بخشید.

در آینده ، این نوع مدل می تواند به ایجاد رابطه هماهنگ تر بین بینایی و روباتیک کمک کند ، به خصوص برای تشخیص اشیاء ، درک ، درک بهتر صحنه و کمک به ادغام یکپارچه روبات انسان در یک محیط دستی یا ساخت.

اندرو اونز ، فوق دکترا در دانشگاه کالیفرنیا در برکلی می گوید: "این اولین روشی است که می تواند به طور متقاعد کننده بین سیگنال های دیداری و لمسی ترجمه کند." "روش هایی مانند این امکان وجود دارد که برای رباتیک بسیار مفید باشد ، جایی که شما باید به سؤالاتی مانند این پاسخ دهید" آیا این شیء سخت است یا نرم؟ "، یا" اگر من این لیوان را با دسته آن بلند کنم ، چقدر دستم خوب خواهد بود؟ " این یک مشکل بسیار چالش برانگیز است ، زیرا سیگنال ها بسیار متفاوت هستند و این مدل توانایی بسیار خوبی را نشان داده است. "

دامنه کاربرد پمپ وکیوم خلاء ریشه و انتخاب مدل