آموزش واقعیت افزوده با پایتون و OpenCV

این آموزش واقعیت افزوده با پایتون و OpenCV در واقع بخشی از این بسته آموزش بینایی کامپیوتر است که مستقل هم می‌توانید استفاده کنید. یک پروژه واقعیت افزوده آلبوم موسیقی در این آموزش از  صفر پیاده سازی می‌شود. خواهیم آموخت که واقعیت افزوده چیست و چطور باید آن را پیاده کرد.

واقعیت افزوده چیست ؟

واقعیت افزوده (به انگلیسی: Augmented Reality) به ترکیبی از نمای محیط واقعی به علاوه عناصر مجازی روی آن گفته می‌شود. در واقع بر اساس موقعیت دوربین و آنچه که دوربین به آن نگاه می‌کند، کدی که در پشت آن نوشته شده عمل می‌کند. اگر پدیده خاصی یا مختصات خاصی شناسایی شود، عنصر مجازی در خروجی دوربین روی دنیای واقعی افزوده می‌شود.

بر این اساس واقعیت افزوده به دو دسته تقسیم می‌شود. دسته اول واقعیت افزوده مختصات مبنا یا Location-based AR است. دسته دوم واقعیت افزوده تشخیص مبنا یا Recognition-based AR است.

واقعیت افزوده تشخیص-مبنا خود به دو دسته تقسیم می‌شود. واقعیت افزوده مبتنی بر نشانه گذاری یا Marker-based AR و واقعیت افزوده بدون نشانه گذاری یا Markerless AR .

دقت کنید که واقعیت افزوده با واقعیت مجازی (به انگلیسی Virtual Reality)‌ متفاوت است. فرق AR با VR این است که واقعیت افزوده شامل افزودن پدیده‌های مجازی به دنیای واقعی در خروجی دوربین است. اما واقعیت مجازی شامل تعامل با دنیای مجازی به واسطه یک عینک و دسته‌های مخصوص است.

برای شناخت بیشتر و دیدن مثال، این مقاله تفاوت واقعیت افزوده و واقعیت مجازی  و همچنین این مقاله بهترین اپلیکیشن های واقعیت افزوده را بخوانید.

این آموزش در یک نگاه

بسته آموزش واقعیت افزوده با پایتون و OpenCV شامل 9 درس است. در درس 1 به این پرسش پاسخ می‌دهیم که واقعیت افزوده چیست و فرق واقعیت افزوده با واقعیت مجازی چیست.

در درس 2 به تعریف پروژه و راه اندازی محیط کدنویسی می‌پردازیم. در درس 3 با مفهوم ویژگی یا feature در تصویر آشنا می‌شویم. سپس دستورات لازم را برای واکشی ویژگی‌های تصویر مرجع یا QUERY در پروژه خود می‌نویسیم.

درس 4 به مفهوم مهم matching اختصاص دارد. ویژگی‌های استخراج شده در تصویر مرجع و تصویر ورودی وبکم باید با هم مقایسه شوند. در صورت انطباق یا match بودن ویژگی‌ها می‌توان نتیجه گرفت که تصویر مرجع در دوربین دیده شده است.

در درس‌های 5 و 6 ابتدا به بیان مفهوم هم نگاری می‌پردازیم. این که Homography چیست و ماتریس هم نگاری چه نقشی دارد. سپس به کدنویسی و استخراج ماتریس هم‌نگاری می‌پردازیم.

درس‌های 7 و 8 جمع‌بندی همه تلاش‌های دوره هستند. در درس 7 می‌آموزیم که چطور از داده‌های درس‌های گذشته برای ساخت یک واقعیت افزوده با درج یک تصویر استفاده کنیم. در درس 8 همین فرآیند برای جاسازی یک فیلم در واقعیت دوربین اجرا می‌شود.

درس 9 بسیار مهم است. اینجا به جمع بندی می‌پردازیم. چه یاد گرفتیم و چرا؟ سپس اندیشه پردازی می‌کنیم. ذهن باید دست را به تلاش ترغیب کند. طوفان فکری یک روش عالی برای انگیزه بخشی و دست به عمل زدن است.

نگاه این دوره

در سراسر این دوره ضمن کدنویسی همواره از مستندات OpenCV استفاده می‌شود. همچنین با اسلایدهای متنوع و یا دیباگ کردن کدها سعی می‌شود که مفاهیم درک شوند.

وقتی شما OpenCV را درک کنید فراتر از یک زبان هستید. می‌توانید از پایتون استفاده کنید. می‌توانید در پروژه‌های سنگین پردازشی از سی پلاس پلاس استفاده کنید.

در این دوره سعی شده به جای کدنویسی تنها، نگاه عمیقی به امکانات OpenCV در بحث واقعیت افزوده پیدا کنید.

آموزه‌های اصلی

• آشنایی با توابع واقعیت افزوده در OpenCV
• درک عمیق واقعیت افزوده بدون نشانه گذاری
• آموختن روش صحیح استفاده از مستندات OpenCV
• درک فرق واقعیت افزوده و واقعیت مجازی
• شناخت بسیاری از توابع OpenCV و Numpy با کاربرد عملی
• درک مفهوم Homography و مفهوم Matching
• درک تفاوت Brute force Matcher و FLANN Matcher

این آموزش بی‌نظیر است زیرا:

• این آموزش هم مفهوم محور و هم پروژه محور است.
• آموزش واقعیت افزوده با پایتون از صفر و گام به گام پیش می‌رود.
• آموزش واقعیت افزوده با OpenCV فقط محدود به زبان پایتون نیست.
• با ترکیب این آموزش و آموزش کیوی (+) می‌توان اپلیکیشن‌های AR ساخت.
• با ترکیب این آموزش و آموزش پایگیم (+) می‌توان بازی‌های AR ساخت.

پیشنیاز

آموزش پردازش تصویر با پایتون و OpenCV (+)

کلیدواژه‌ها

آموش واقعیت افزوده با پایتون – آموزش واقعیت افزوده با OpenCV – واقعیت افزوده چیست – فرق واقعیت افزوده با واقعیت مجازی – آموزش پروژه محور واقعیت افزوده – واقعیت افزوده در پایتون – Augmented Reality با OpenCV

سرفصل مطالب

درس صفر – معرفی دوره
– نگاهی به پروژه این دوره
– نگاه سریع به مراحل آموزش
– پیشنیاز این آموزش

درس یکم: واقعیت افزوده چیست؟
– واقعیت افزوده یا AR چیست؟ معنی Augmented Reality
– واقعیت مجازی چیست؟ معنی Virtual Reality
– واقعیت ترکیبی چیست؟ معنی Mixed Reality
تفاوت واقعیت افزوده و واقعیت مجازی و واقعیت ترکیبی
– انواع واقعیت افزوده یا AR
– مفهوم Location-based AR
– مفهوم Recognition-based AR
– کاربرد Marker-based AR چیست؟
– کاربرد Markerless-based AR چیست؟

درس دوم: آماده‌سازی و راه‌اندازی پروژه
– نحوه تبدیل گوشی اندروید به وبکم
– معرفی فرآیند کار با DroidCam
– تعریف مساله مورد پردازش
– ایجاد پروژه و نصب کتابخانه opencv-python و numpy
– ایجاد اسکریپت پایتونی main
– وارد کردن تصویر و فیلم مورد استفاده
– خواندن وبکم و عکس و فیلم پروژه با OpenCV
– گرفتن اندازه عکس با تابع shape و اعمال آن روی فیلم با تابع resize

درس سوم: یافتن ویژگی‌های تصویر
– مفهوم feature چیست؟
– ویژگی یا feature در بینایی ماشین
– فرآیند یافتن ویژگی یا Feature Detection
– فرآیند توصیف ویژگی یا Feature Description
– الگوریتم های feature detection در OpenCV
– آشنایی با الگوریتم ORB یا Oriented FAST and Rotated BRIEF
– تعریف detector در OpenCV با تابع ORB_create
– تعریف keypoint و descriptions با تابع detectAndCompute
– ترسیم نقاط کلیدی یا ویژگی ها با تابع drawKeyPoints

درس چهارم: تطبیق ویژگی‌ها در دو تصویر
– گام های انطباق یا matching
– انواع matcher در OpenCV
– نحوه عملکرد Brute-Force Matcher یا BF
– نحوه عملکرد Fast Library for Approximate Nearest Neighbors
– تفاوت BF و FLANN در انطباق description ها
– تعریف BF با متد BFMathcer
– مفهوم پارامتر norm و پارامتر crosscheck
– تفاوت NORM_HAMMING با NORM_L1
– مفهوم crosscheck در مقایسه دو descriptor
– مقایسه و انطباق با متد match
– بازچینی فهرست مچ ها با تابع sorted در پایتون
– مفهوم lambda در پایتون و پارامتر key در تابع sorted
– ترسیم 10 انطباق یا match برتر در مقایسه دو تصویر
– انطباق دو تصویر به روش Ratio Test ابداعی D.Low
– انطباق با متد knnMatch و مقدار k=2
– انتخاب match های برتر با مقایسه دو Dmatch
– شی Dmatch و مفهوم distance و trainIdx و queyIdx
– ترسیم انطباق ها با تابع drawMatchesKnn و drawMatches
– رفع خطای size.width>0 && size.height>0 in function ‘cv::imshow’
– رفع خطای terminating async callback
– خطای (type == CV_32F || type == CV_8U) in function ‘cv::batchDistance’

درس پنجم: محاسبه ماتریس هم‌نگاری
– هموگرافی چیست ؟ Homography یا هم نگاری
– شرح مفهوم هموگرافی و Homography Matrix
– کاربردهای هموگرافی در واقعیت افزوده مبتنی بر مارکر و پرسپکتیو و پانوراما
– کاربرد تابع fingHomography در cv2 و OpenCV
– محاسبه مختصات نقاط match و استخراج از لیست keypoint
– کاربرد تابع reshape در numpy و استخراج مختصات نقطه
– کاربرد .pt در پایتون برای تبدیل آبجکت به استرینگ مختصاتی
– حفظ دقت نقاط با مدت float32 در نامپای
– مفهوم mask یا status در OpenCV و یافتن هموگرافی
– استخراج و بررسی ماتریس هموگرافی یا هم نگاری
– تفکیک نقاط outlier و inlier توسط لیست 0 و 1 در mask
– مفهوم الگوریتم RANSAC یا Random Sample Consensus
– مفهوم Projection Error و نقش آن در استخراج Outlier با Threshold

درس ششم: جانمایی تصویر به وسیله ماتریس هم‌نگاری
– استخراج نقاط مرجع مختصاتی تصویر Query
– تغییر شکل آرایه نقاط مرجع با تابع reshape برای ایجاد n بلوک 1 در 2
– تبدیل مختصات نقاط مرجع به نقاط مقصد با تابع perspectiveTransform
– کار با تابع polylines برای ترسیم polygone به دور ناحیه تصویر در مقصد

درس هفتم: افزودن یک تصویر مجازی در موقعیت آبجکت
– استفاده از متد set در cv2 برای انتقال فریم ویدیو به یک نقطه خاص
– ایجاد فریم warp شده با تابع cv2.warpPerspective
– ایجاد یک تصویر سیاه خالی با numpy.zeroes
– پر کردن فضای فریم در تصویر با cv2.fillpoly و ایجاد پنجره ماسک
– معکوس کردن مقادیر پر و خالی تصویر با تابع cv2.bitwise_not
– پر کردن فضای اطراف تصویر با ورودی وبکم و تابع cv2.bitwise_and و ماسک پنجره mask
– پر کردن فضای داخل فریم با فریم warp شده و تابع cv2.bitwise_or
– کپی کردن فریم برای از دست نرفتن فریم اصلی با تابع copy

درس هشتم: افزودن یک فیلم مجازی در موقعیت آبجکت
– ایجاد شمارشگر فریم و افزودن تک واحدی آن در حلقه while
– ایجاد متغیر منظقی شناسایی سوژه در فریم
– ثابت CAP_PROP_POS_FRAMES برای رفتن به موقعیت یک فریم
– ثابت CAP_PROP_FRAME_COUNT برای گرفتن کل فریم های فیلم
– مدیریت شرط ها برای پخش فیلم به محض شناسایی آبجکت

درس نهم: جمع بندی و اندیشه پردازی
– دستاوردهای این دوره
– نگاه به OPENCV فراتر از یک زبان
– اندیشه پردازی برای ادامه کار
– جمع بندی و توصیه‌های پایانی