آموزش پانداس PANDAS پروژه محور __ تحلیل داده با پایتون (پروژه سفر به ماه)

این آموزش پانداس پروژه محور است. اما فقط به آموزش pandas نمی‌پردازیم. این که پانداس چیست و چگونه کار می‌کند. این یک آموزش تحلیل داده با پایتون از صفر محسوب می‌شود. به واسطه یک پروژه جذاب با تحلیل داده در پایتون آشنا می‌شوید. در این پروژه به پیش بینی حجم و نوع نمونه برداری مورد نیاز در یک ماموریت واقعی سفر به ماه می‌پردازیم. پس از 50 سال انسان دوباره به ماه پا خواهد گذاشت و از خاک آن نمونه برداری می‌کند.

هم‌رویشی‌های عزیز پیشنهاد می‌کنم حول محور این آموزش مقاله زیر را مطالعه کنید. برای مطالعه مقاله بر روی تصویر زیر کلیک کنید:

پانداس چیست ؟

کتابخانه Pandas (+) یک کتابخانه به زبان پایتون (بهینه شده با سایتون) برای تحلیل داده است. توسعه کتابخانه با نیاز شرکت AQR به تحلیل های سریع داده و توسط کارمند این شرکت وِس مک‌کنی (Wes McKinney) در سال 2008 آغاز شد.

پانداس متن باز و رایگان است. امکان فراخوانی داده های CSV و JSON و اکسل و SQL و بسیاری فرمت های دیگر را دارد. با پانداس می توان شکل و فرمت داده ها را تحلیل کرد. می‌توان داده های دو بعدی را در هم ادغام کرد. نیز می‌توان فیلترها و نمودارهای گوناگون برای درک ماهیت داده ها به کار برد.

نام Pandas ارتباطی با خرس پاندا ندارد. در واقع از سرنام واژه‌های Panel Data گرفته شده که اصطلاحی رایج برای داده های جدولی و چندبعدی در مطالعات اقتصادی است. به همین دلیل بسیاری علاقه مندان Pandas آن را به جای پانداز به عمد به صورت پانداس تلفظ می کنند. تا بگویند این یک کلمه جدید است. پانداز تلفظ جمع کلمه panda به معنی خرس پاندا است که بر اساس قواعد گرامر انگلیسی باید s جمع آن با صدای z تلفظ شود.

پروژه این آموزش (آپولو و آرتمیس)

انسان نخستین بار در جریان برنامه فضایی آپولو (Apollo) در سال 1969 و توسط آپولو 11 روی ماه پا گذاشت. پس از آن پنج فضاپیمای آپولوی دیگر در سال های بعد روی ماه نشستند. در جریان این ماموریت ها یکی از کارهایی که انجام شد این بود که حدود 400 کیلوگرم از خاک و سنگ ماه به زمین آورده شد. مطالعه این نمونه ها برای درک تاریخ هستی و همچنین پروژه های فضایی اقتصادی اهمیت بسیاری دارد.

در سال 2017 ناسا اعلام کرد که قصد دارد دوباره و تا سال 2024 طی یک برنامه فضایی به نام آرتمیس (Artemis) دوباره به ماه بازگردد. ماموریت آرتمیس در چندین مرحله انجام می شود. هدف آن استقرار فضانوردان روی ماه و اکتشاف آن و سپس آماده سازی سفر به مریخ از ماه است.

در جریان ماموریت آرتمیس هم حتما نمونه برداری صورت خواهد گرفت. اما چقدر و کدام سنگ ها؟ این سوالی است که ما با تحلیل داده های نمونه برداری آپولو در این آموزش پانداس پیش بینی خواهیم کرد.

این آموزش در یک نگاه

ما در جریان این آموزش pandas ابتدا به این سوال می پردازیم که پانداس چیست ؟ سپس به تعریف صورت مساله مورد نظر می پردازیم. با ماموریت آپولو و آرتمیس آشنا خواهیم شد. خواهید دید که چه داده هایی داریم و چه مساله ای باید حل شود.

آنگاه به سراغ نصب ابزار و شروع کدنویسی می رویم. این آموزش VSCode را به یاد دارید؟ دیدیم که این محیط توسعه تقریبا برای هر پروژه کدنویسی و توسعه راهکار دارد. و خب چه چیزی بهتر از این که مدام نخواهیم از این IDE به دیگری مهاجرت کنیم. پس در این آموزش به نصب ژوپیتر در VS Code می‌پردازیم. نصب پانداس در ژوپیتر به واسطه پکیج منیجر Conda را تجربه می کنیم و کدها را در این محیط می نویسیم.

پس از راه اندازی ابزار یک درس ماراتونی داریم. در یک ساعت به معنی Data Cleansing یا Data Cleaning و سپس اجرای آن با پانداس می پردازیم. آنچه در این درس می آموزید مستقل از نوع کتابخانه ای که استفاده می کنید در هر آموزش تحلیل داده لازم است. یکی از مهم ترین مواردی که در این درس می‌آموزید برخورد با داده های پرت است. به تعریف داده پرت یا Outlier می‌پردازیم و روش‌های شناسایی و حذف آن را خواهیم آموخت.

در چند درس بعدی به کار با داده ها و تحلیل آن ها می‌پردازیم. در این درس هاست که چشم و ذهن شما به شیوه استفاده از pandas عادت می کند. قطعا همه امکانات یک کتابخانه بزرگ مثل پانداز را نمی توان در یک آموزش بیان کرد. نیازی هم نیست. همین که ماهیت و شیوه استفاده از یک ابزار را بیاموزید کافی است. بعدها بسته به نوع پروژه می توانید موارد بیشتری را با جستجو در گوگل پیدا کنید. برای آگاهی از ریز امکانات گفته شده به بخش سرفصل های آموزش در انتهای توضیحات مراجعه کنید.

سرانجام در درس نهم و دهم به تفسیر نتایج و ارائه پیش بینی کمّی (مقدار نمونه برداری) و کیفی (نوع سنگ های واجب تر) می‌پردازیم. این که در ماموریت آرتمیس به طور متوسط هر بار چند کیلوگرم و از چه سنگ هایی باید نمونه گرفت.

این آموزش پروژه محور پانداس با طرح دو تمرین و دو ایده پایان می یابد. همچنین لینک سورس کدها به فراگیران تحویل می‌شود.

برخی آموزه‌ها

• کتابخانه Pandas چیست ؟
• آموزش نصب پانداس
• نصب ژوپیتر در VS Code
• مفهوم DataFrame در پانداز
• مفهوم Series در پانداز
• فرآیند پاکسازی در تحلیل داده
• مفهوم Outlier روش حذف آن
• کار با دیتافریم و سری در پانداس
• متدهای groupby و merge برای ادغام
• متد apply برای دستکاری داده ها در پانداس
• کار با پراپرتی loc برای فیلتر داده ها
• محاسبه میانگین و میانه و نما در پانداس
• ایده هایی برای استفاده از مهارت تحلیل داده

پیشنیاز

• آموزش پایتون مقدماتی تا پیشرفته 

همچنین به صورت اختیاری پیشنهاد می‌کنیم که آموزش Matplotlib و آموزش NumPy را نیز همراه این آموزش ببینید. آگاهی از متپلات لایب و نامپای می‌تواند قدرت مانور شما در پانداس را بیشتر کند.

کلیدواژگان

پانداس چیست ؟ آموزش پانداس پروژه محور – آموزش pandas – تلفظ pandas – پاندا پایتون – آموزش پانداز – آموزش پروژه محور pandas – تحلیل داده با پایتون – آموزش تحلیل داده – بهترین کتابخانه تحلیل داده پایتون – آموزش سریع pandas – شروع سریع تحلیل داده با python – آموزش نصب پانداس – آموزش نصب ژوپیتر در ویژوال استودیو کد

سرفصل‌ها

درس صفر: معرفی دوره

• اهداف آموزش pandas
• مروری بر آنچه در این دوره گفتیم
• پیشنیاز این آموزش و پیشنهاد مطالعه بیشتر
• مرجع آموزش
• آموزه ها و دستاوردهای آموزش پانداس

درس 1: تعریف مساله

• معرفی برنامه فضایی آپولو
• تاریخچه ماموریت آپولو و آپولو 11
• معرفی برنامه فضایی آرتمیس
• اجزای ماموریت آرتمیس
• تعریف صورت مساله
• معرفی داده های موجود برای پیش بینی

درس 2: کتابخانه PANDAS چیست؟

• معنی نام کتابخانه pandas
• تلفظ pandas : پانداز یا پانداس ؟
• تاریخچه توسعه pandas
• ویژگی های پانداس
• بهترین کتابخانه پایتون برای تحلیل داده ؟
• مستندات و خودآموز و راهنمای pandas

درس 3: نصب ابزار و راه اندازی پروژه

• نصب پانداز با pip برای پایتونی ها
• استفاده از دفترچه ژوپیتر برای تحلیل داده
• معرفی شیوه نصب ژوپیتر بر پایه آناکوندا
• استفاده از ژوپیتر در Visual Studio Code
• نصب Jupyter در VS Code همراه اکستنشن پایتون
• چرا نیاز به محیط مجازی داریم ؟
• معرفی Conda Package Management
• راه های دسترسی به دستور conda
• معرفی و نصب miniconda
• ایجاد محیط مجازی با دستور conda create -n myenv
• نصب کتابخانه و پایتون در کوندا
• فعال کردن محیط مجازی با conda activate
• تغییر کرنل ژوپیتر (Jupyter Kernel) در VSCode
• مشکل ژوپیتر با وی اس کد

درس 4: تبدیل داده ها به دیتافریم

• تعریف ساده ساختمان داده یا data structure
• انواع ساختار داده در پانداس
• تعریف series در pandas
• دیتافریم چیست ؟
• تعریف dataframe در pandas
• فراخوانی داده های csv در پانداس
• نگاهی به انواع فراخوانی فایل در پانداز
• استفاده از متد read_csv
• کاربرد تابع head و تابع info در آشنایی با داده ها

درس 5: پاکسازی داده ها یا Data Cleansing

• تعریف پاکسازی داده چیست ؟
• مفهوم Data Cleansing یا Data Cleaning چیست ؟
• هفت مرحله پاکسازی داده در دیتاست و علم داده
• استفاده از پانداز در پاکسازی داده ها
• آمار توصیفی در پانداز با دستور describe
• ترسیم نمودار در پانداز با plot یا matplotlib API
• کاربرد نمودار پراکندگی یا Scatter Plot در تحلیل داده
• حذف سطرهای حاوی داده Null با متد dropna
• جایگزینی داده خالی با یک مقدار ثابت با متد fillna
• مفهوم و محاسبه میانگین Mean و میانه Median و نما Mode
• جایگزینی سلول های خالی با شاخص های آماری
• حذف سطرهای تکراری یا دستور drop_duplicates
• مفهوم inplace در پانداز و بازنویسی دیتافریم
• کاربرد متد apply در اعمال تغییرات روی سری و دیتافریم
• استفاده از متد apply و مفهوم تابع لامبدا lambda در پایتون
• کاربرد متد rename برای اصلاح عنوان ستون ها یا series
• مفهوم داده پرت یا outlier چیست؟
• روش های تشخیص داده های پرت در تحلیل داده
• استفاده از نمودار جعبه ای برای پیدا کردن داده های پرت
• مفهوم Box Plot و چارک Quartile و صدک Quantile
• معنی شاخص IQR یا Interquartile Range
• استفاده از IQR برای حذف outlier
• کار با پراپرتی loc property در پانداس
• تمرین برای استفاده از Z Score و Skewness در حذف داده های پرت

درس 6: شروع تحلیل داده با ایجاد دیتافریم جدید

• ایجاد دیتافریم با دستور DataFrame در پانداس
• نمایش کامل یک دیتافریم به جای استفاده از متد head
• کار تابع unique در پانداز
• گروه بندی داده با groupby و کار آن در پانداس
• استفاده از تابع merge و کار آن در پانداز
• استفاده از تابع diff برای تفریق داده های یک ستون
• استفاده از تابع sum برای جمع داده های یک ستون

درس 7: آشنایی با راکت سترن 5 و داده های وزنی آپولو

• مشخصات سترن 5 یا Saturn V
• تاریخچه مختصر سترن پنج
• فرق راکت و موشک
• ماژول فرماندهی یا Command Module
• ماژول اقماری یا Lunar Module
• افزودن داده های وزنی سترن 5 از وبسایت ناسا
• افزودن یک ستون به دیتافریم آماده در pandas
• افزودن داده به ستون با لیست در پایتون
• جمع داده های دو ستون در پانداس

درس 8: محاسبه نسبت داده های وزنی ماموریت‌های آپولو

• خوبی محاسبه نسبت یا ratio در علم داده
• محاسبه نسبت ستون ها در دیتافریم پانداس
• محاسبه میانگین داده های دیتافریم با متد mean

درس 9: پیش بینی وزن نمونه گیری آرتمیس

• آشنایی با اجزای ماموریت آرتمیس Artemis Spec
• آشنایی با مشخصات فنی راکت SLS یا Space Launch System
• استخراج ظرفیت ترابری یا Payload راکت در ماموریت آرتمیس
• ایجاد دیتافریم جدید با وارد کردن داده به صورت دیکشنری
• میانگین گیری بین ستون ها به صورت دستی
• پیش بینی وزن مجاز فضاپیمای اوریون Orion
• پیش بینی ظرفیت نمونه برداری در ماموریت های آرتمیس

درس 10: پیش بینی نوع نمونه گیری آرتمیس

• ایجاد دیتافریم جدید برای ذخیره نتیجه تفسیر و پیش بینی
• تفکیک نمونه های بحرانی بر اساس درصد سلامت نمونه
• استفاده از پراپرتی loc برای جداسازی نمونه های بحرانی
• چکیده سازی نتایج با استفاده از groupby و reset_index
• ترکیب نتایج با تابع merge

درس 11: جمع بندی و طوفان ذهنی

• دستاوردهای این دوره چه بود؟
• تمرین هایی برای یادگیری بیشتر
• طرح هایی برای کارهای بزرگ تر