محققان از هوش مصنوعی برای اضافه کردن جلوه های 4 بعدی به فیلم ها استفاده می کنند
فیلم 3 بعدی دیوید جیمز کامرون در اولین بار در سال 2009 به دنبال تحول در تجربه فیلمبرداری بود و دنیای همه جانبه ای را برای بینندگان ایجاد کرد. اما اگر می خواستید گرما و باد را احساس کنید ، در حالی که روی یک باند پرواز می کنید ، مستقیم از صندلی سینمای خود استفاده کنید؟
در حالی که تعداد کمی از به اصطلاح "4-D" فیلم که اضافه کردن یک عنصر فیزیکی حال حاضر وجود دارد، محققان از دانشگاه تورنتو در حال کار بر روی یک راه برای اعمال ویژگی به طور گسترده تر.
یوهو ژو ، کارشناسی ارشد سال چهارم در رشته مهندسی برق و رایانه ادوارد اس. راجرز ، در حال ظهور می گوید: "معمولاً صندلی تکان می خورد ، ممکن است در هنگام تماشای فیلم ، پاشش یا نوعی تعامل وجود داشته باشد." سرگرمی. "در حال حاضر همه این جلوه ها از مرحله اول تولید ایجاد می شوند. ما می خواهیم این نوع فرآیند را برای فیلم هایی که در ابتدا برای سینماهای 4 بعدی ساخته نشده بودند ، خودکار سازی کنیم."
ژو با Makarand Tapaswi ، عضو ارشد علوم دکتری علوم کامپیوتر ، و Sanja Fidler ، استادیار گروه U ریاضیات و محاسباتی دانشگاه U of T Mississauga و دکتری فارغ التحصیل دانشگاه دانشگاه علوم کامپیوتر همکاری می کند. آنها به تازگی کار خود را با عنوان Now You Shake Me: Towards Automatic 4-D Cinema انجام داده اند و در کنفرانس Computer Vision and Pattern Recognition (CVPR) در سالت لیک سیتی ، یوتا ، در یک نمایش کانون توجه قرار گرفتند.
ژو می گوید یک فیلم 4 بعدی معمولاً از دید شخص اول یا دوربین درک می شود. اگر ویل ترنر در ان دریایی کارائیب احساس کند وزش باد در چهره او را احساس می کند ، و فیلمبردار می خواهد Turner را تجربه کند ، پس آنها نیز باید در چهره خود باد را تجربه کنند.
ژو می گوید: "ما می خواهیم یک ویژگی داشته باشیم که در آن شما فقط می توانید سوئیچ را بچرخانید و آنچه را که شخصیت ها احساس می کنند تجربه کنید."
محققان برای گرفتن یک فیلم معمولی یا 3 بعدی به 4 بعدی ، از یک وب سایت آزاد برای حاشیه نویسی از تأثیرات این فیلم برای مدل پیش بینی 4 بعدی استفاده کردند.
ژو می گوید: "به عنوان مثال ، [در ارباب حلقه ها: یاران حلقه] فردو سام را از آب بیرون می کشد ، اما چندین اثر همزمان اتفاق می افتد" ، می گوید: ژو ، که در سال سوم تحصیلات خود در سال سوم کار خود را با فیدلر آغاز کرد. . "اول ، او او را می کشد - تعامل جسمی با دست وجود دارد. وقتی سام به پایین برگردد داخل آب ، فردو را می کشد و قایق می لرزد.
تاپاسوی می افزاید: "دوربین ورودی شما است." "اما در این حالت شما می خواهید نه تنها آنچه دوربین را می بینید بلکه یکی از شخصیت ها را نیز تجربه کنید - احساس کنید که چگونه شخصیت ها احساس لرزش می کنند و غیره."
در حالی که فن آوری 4 بعدی هنوز از محدوده تعامل بدنی خارج نیست - یعنی کشش دستی - Tapaswi پیش بینی سنسورهای فشار برای شبیه سازی لمس را با پیشرفت فناوری دارد. این مدل می تواند در زمینه های دیگر مانند واقعیت مجازی یا واقعیت افزوده مفید باشد.
ژو می گوید: "ما در حال جمع آوری این نوع یادداشت ها برای مطالعات آینده هستیم."
برای مجموعه داده های خود ، آنها هر دو طبقه بندی اثر و شناسایی را به کار بردند. برای طبقه بندی اثر ، ژو می گوید شبکه عصبی آنها ، تابعی از یادگیری ماشینی است که به تجزیه و تحلیل عمیق و یادگیری داده ها می پردازد ، ویژگی هایی را از کلیپ کوتاه ، از جمله حرکت و صدا استخراج می کند. وی گفت ، برای شناسایی ، شبکه عصبی می تواند در یک کلیپ ویدیویی طولانی اثرات و مکانهای مختلف آنها را پیش بینی کند.
"شما فقط نمی خواهید بدانید که در یک کاراکتر خاص در یک عکس خاص چه اتفاقی می افتد. شما می خواهید بگویید ،" [ اثر ] اکنون باد است ، نه تنها به این دلیل که من الان باد را می بینم ، بلکه [زیرا] تاپاسوی می گوید: "احتمالاً قبلاً بادی بود."
محققان دریافتند ژانرهای خاصی از فیلم ها که تمایل به اشتراک گذاری جلوه های مشابه دارند - برای مثال فیلم هایی که در فضایی مانند Interstellar یا Gravity قرار دارند. تاپاسوی می گوید: این می تواند به عنوان یک روش جدید برای خوشه بندی دیده شود.
ژو می گوید: "معمولاً با فیلم های 3 بعدی ، افراد فیلمبرداری عینک می پوشند و در یک صندلی می نشینند." "با استفاده از سینمای 4 بعدی اتوماتیک ، شبکه عصبی اطلاعات فیلم 2-D و 3-D را پردازش می کند ، آن را درون صندلی تغذیه می کند و جلوه ها را شبیه سازی می کند."
درباره این سایت