در این فصل اول از آموزش وب کاوی به آموزش وب اسکریپینگ (Web Scraping) و ساخت یک اسکریپر ساده می‌پردازیم. اسکریپر در واقع یک برنامه کامپیوتری (در این آموزش به زبان پایتون) است که خیلی ساده یک درخواست را به یک سرور ارسال می‌کند و پاسخ سرور را تجزیه و بخش مورد نظر ما را چاپ می‌کند.
این دوره در واقع هم به صورت مستقل قابل استفاده است و هم فصل نخست از آموزش مقدماتی وب اسکرپینگ با پایتون است. البته شما میتوانید فصل‌های دیگر را به صورت مستقل نیز تهیه کنید.
این آموزش در یک نگاه
در این آموزش ابتدا با مبانی نظری وب کاوی و چرخه وب آشنا می‌شویم. سپس ابزار کدنویسی (در این آموزش، Pycharm) را آماده میکنیم.
در ادامه با استفاده از کتابخانه urllib پایتون یک درخواست خودکار از درون اسکریپت خود به یک سرور فرستادیم و یک صفحه وب را فراخوانی و محتوای آن را چاپ کردیم.
سپس به Beautifulsoup و راه اندازی سریع آن پرداختیم. آموختیم که چگونه با استفاده از این کتابخانه یک فایل html را تجزیه و یک تگ به خصوص (مثلا عنوان صفحه) را استخراج و چاپ کنیم.
در هنگام ارسال درخواست به یک سرور ممکن است که خطاهای مختلفی رخ دهند. شاید سرور در دسترس نباشد. شاید نشانی ارسالی اشتباه باشد. شاید تگ مورد نظر موجود نباشد. در گام نهایی این آموزش در دو درس با مدیریت خطاهای ممکن آشنا خواهید شد.
برای آگاهی دقیق‌تر از محتوای این آموزش وب اسکریپینگ حتما سرفصل مطالب را انتهای این مطلب ببینید.
اگر می‌خواهید نمونه‌هایی از کاربردهای وب اسکریپینگ توسط این مدرس را ببینید به این آموزش ساخت خبرخوان ورزشی و این آموزش شکار قیمت بهینه دیجی کالا مراجعه کنید.
ویژگی‌های این آموزش
- بر اساس یک مرجع معتبر تهیه شده است.
- مدت زمان هر درس کوتاه و بدون حاشیه گویی است.
- آموزش همراه با مثال پیش می‌رود.
مرجع
این مجموعه بر اساس یک مرجع معتبر و محبوب جهانی (کتاب Web Scraping with Python) به همراه تجربه خود مدرس تولید می‌شوند.
کلیدواژگان
وب کاوی چیست؟ وب اسکریپینگ چیست؟ کاربردهای وب کاوی چیست؟ چطور می توان با پایتون یک اسکریپر ساخت؟ beautifulsoup چیست؟ آموزش وب اسکریپینگ از صفر – ساخت اسکریپر در پایتون – وب اسکرپینگ یا وب اسکریپینگ – آموزش urllib
mehdiesnaashar55 (خریدار محصول) –
بعضی فایلها صدا ندارند . با نصب vlc player هم مشکل حل نمیشه.
روابط عمومی هم رویش –
با سلام. همراه گرامی فایل ها همگی تست شده و صدا دار هستند. مشکل از کدک های سیستم شماست. اینکه عرض شده که از vlc استفاده نمایید جهت تکمیل کدک هاست نه مشکل فایل ها. برای تست این موضوع کافیست فایلی که در سیستم مشکل صدا دارد، به گوشی اندروید منتقل نمایید تا از صحت فایل ها اطمینان حاصل نمایید. پیشنهاد میکنیم سرچ نمایید و کدک های سیستم عامل خود را کامل نمایید. از این سایت میتوانید کدک های مربوط به سیستم عامل خود را دانلود نمایید –> https://codecguide.com/
Farshid –
سلام و تشکر
من این آموزش دو سه روز پیش خریدم متاسفانه فایل های ویدیویی یکی در میان صدا ندارند یعنی تصویر پخش میشه ولی صامت هستش البته با چندین پلیر هم چک کردم ولی داستان فرقی نکرد میشه لطفا پیگیری بفرمایید
روابط عمومی هم رویش –
با سلام. همراه گرامی مشکل بروز نبود کدک های سیستم شماست. با استفاده از پلیر vlc دوره را مشاهده بفرمایید. این پلیر کدک های سیستم را هم بروز می نماید. جهت دانلود می توانید به لینک زیر مراجعه فرمایید
https://www.videolan.org/vlc/download-windows.html
امیر محمد کهنگی –
سلام استاد کرمی.
برای این آموزش و فصل های بعدی آن باید Beautifulsoup و HTML را تا چه حد بلد باشیم؟
مصطفی آصفی –
سلام به شما. تا رفع مشکل پنل خانم کرمی بنده جواب ارسالی ایشون رو خدمتتون می فرستم:
در این آموزش Beautifulsoup از آغاز درس داده میشه و به عنوان پیش نیاز مطرح نیست. در رابطه با HTML هم داشتن شناخت کمک می کنه اما بدون شناخت هم می تونید با دوره پیش بیایید. در طی آموزش خواهید فهمید که دانش بیشتر در چه مواردی در HTML می تونه به شما کمک کنه.
حمید (خریدار محصول) –
سلام. فوق العاده دوره شروع میشه. پیشنهاد میکنم به همه علاقمندان