غزال زیاری: DeepMind گوگل حالا این توانایی را دارد تا با آموزش ربات‌های کوچک، آنها را به زمین فوتبال بفرستد. در مقاله جدیدی که در مجله Science Robotics منتشر شده، محققان درباره تلاش‌هایشان برای تطبیق زیرمجموعه‌ای از یادگیری ماشینی به نام یادگیری تقویتی عمیق (Deep RL) توضیح داده‌اند که از آن برای آموزش نسخه ساده شده ورزش فوتبال به ربات‌های دوپا استفاده می‌شود.
اعضای این تیم، یادآور شده‌اند که در آزمایش‌های مشابه گذشته، ربات‌های چهارپای مشابه و چابکی ساخته بودند ولی تلاش چندانی برای ساخت ربات‌های دوپا و انسان‌نما انجام نشده بود. اما ویدیوی اخیر منتشر شده، ربات‌های دوپا را در حال دریبل زدن، دفاع و شوت‌زنی به سمت دروازه حریف نشان می‌دهد و حکایت از آن دارد که یادگیری تقویت عمیق مربی چقدر در ماشین‌های انسان‌نما، کاربردی و خوب است.
ورود ربات‌ها به عرصه‌های مختلف
این درحالی است که این ربات‌ها در نهایت در پروژه‌های عظیمی مثل پیش‌بینی آب‌وهوا و مهندسی مواد طراحی شده‌اند. اما بدین ترتیب Google DeepMind این قابلیت را دارد که در بازی‌هایی مثل شطرنج و یا حتی Starcraft II رقبای انسانی را از پیش رو بردارد. البته همه این مانورهای استراتژیک به حرکات و هماهنگی‌های فیزیکی پیچیده‌ای نیاز ندارند.
هرچند که DeepMind تا به امروز توانسته تا به بررسی حرکات شبیه‌سازی شده فوتبال بپردازد ولی هنوز قادر نبوده تا آن را در زمین بازی فیزیکی پیاده‌سازی کند که این روند هم با سرعت بالایی در حال تغییر است.
مهندسان برای ساخت یک فوتبالیست مینیاتوری، در ابتدا دو مجموعه مهارت عمیق RL را در شبیه‌سازی کامیپوتری ساخته و آموزش دادند که عبارت بود از توانایی بلند شدن از روی زمین و نحوه به ثمر رساندن گل مقابل یک حریف آموزش‌ندیده. پس از آن، آنها عملا سیستم‌شان را آموزش دادند تا با ترکیب این مجموعه مهارت‌ها، یک مسابقه کامل فوتبال دو نفره (یک به یک) را برگزار کرده و بعد از آن به شکلی تصادفی آنها را مقابل ربات‌هایی که تا حدودی تمرین داده شده بودند به میدان فرستادند.
در مرحله دوم، این ربات‌ها یادگرفتند تا مهارت‌هایی که قبلا آموخته بودند را با هم ترکیب کنند؛ سپس این مهارت‌ها را برای انجام وظایف کاملا فوتبالی ترکیب کرده و رفتار حریف را پیش‌بینی کنند. در جریان بازی، این ربات‌ها به شیوه‌ای کاملا روان، وظایف مختلفی را پیاده‌سازی می‌کردند.
به لطف RL، ربات‌های DeepMind خیلی زود یاد گرفتند تا توانایی‌هایشان را در نحوه ضربه زدن و شوت زدن به توپ، مهار شوت‌ها و حتی دفاع از دروازه در برابر حریف با استفاده از بدن بهبود ببخشند.
بیشتر بخوانید:
حرفه‌ای‌تر از پیش‌بینی‌ها
در جریان مسابقات یک به یک بااستفاده از ربات‌های آموزش دیده توسط Deep RL، این دو ورزشکار مکانیکی سریع‌تر از آنچه مهندسان مهارت‌های مقدماتی‌شان را تنظیم کرده بودند، راه می‌رفتند، می‌چرخیدند، شوت می‌زدند و می‌ایستادند. این‌ها اصلا پیشرفت‌های کوچکی نبود. ربات‌ها ۱۸۱% سریع‌تر راه می‌رفتند. ۳۰۲% سریع‌تر می‌چرخیدند، ۳۴% سریع‌تر شوت می‌زدند و ۶۳% به زمان کمتری برای بلند شدن بعد از زمین خوردن نیاز داشتند. به علاوه ربات‌های آموزش دیده توسط Deep RL ، رفتارهای جدیدی را برای چرخیدن و تغییر پای‌شان به نمایش گذاشتند.
البته هنوز برای آنکه ربات‌های مجهز به DeepMind بتوانند به مسابقات RoboCup برسند، به اقدامات و تلاش‌های بیشتری نیاز است. در این تست‌های ابتدایی، محققان تمرکزشان را بر آموزش شبیه‌سازی برپایه Deep RL قرار داده‌اند تا بعد این اطلاعات را به ربات‌های فیزیکی منتقل کنند. در آینده، مهندسان قصد دارند تا هر دو آموزش تقویتی مجازی و همزمان را در ربات‌ها ترکیب کنند و امیدوارند تا بتوانند تعداد این ربات‌های فوتبالیست را افزایش دهند که البته این به آزمایش‌ها و تنظیمات دقیق بیشتری نیاز خواهد داشت.
اعضای این تیم معتقدند که با بهره‌گیری از رویکردهای مشابه Deep RL در فوتبال و بسیاری از کارهای دیگر، می‌توان پیشرفت‌های زیادی در حرکات و توانایی‌های سازگاری در زمان واقعی در ربات‌های دوپا ایجاد کرد. با این وجود بعید به نظر می‌رسد که ربات‌های انسان‌نمای DeepMind را به زودی در زمین‌های فوتبال با اندازه واقعی یا در بازار کار ببینیم. در عین حال با توجه به پیشرفت‌های مستمر این ربات‌ها، بد نیست که خودمان را برای رویارویی با چنین اتفاقاتی آماده کنیم.
منبع : popsci
۵۴
