آموزش وب اسکریپینگ با پایتون از صفر ــ بسته مقدماتی

آیا می‌دانید وب اسکریپینگ چیست ؟ اینترنت امروز سرشار از داده‌های مفید است. وب اسکریپینگ ابزاری برای جمع آوری داده‌ها از پهنه اینترنت است. این آموزش وب اسکریپینگ با پایتون دارای سناریو بوده و سریع شما را از نقطه صفر وارد web scraping در پایتون می‌کند.

شما می‌توانید فصل‌های این بسته را جداگانه نیز تهیه کنید: 

• ساخت یک Scraper (فصل ۱) 
• تجزیه پیشرفته HTML (فصل ۲) 
• ساخت Crawler (فصل ۳)

همچنین در زمینه کاربردهای وب اسکریپینگ و چالش‌های آن، مقاله‌های زیر در مجله هم‌رویش نیز توصیه می‌شود.

• تعریف وب اسکریپینگ و مزایای آن
• معایب و چالش های وب اسکریپینگ
• ایده های درآمد زایی از وب اسکریپینگ
• کاربردهای وب اسکریپینگ 

وب اسکریپینگ یا وب اسکرپینگ، کدام تلفظ درست است؟

وب اسکرپینگ تلفظ اشتباهی است و تلفظ درست وب اسکریپینگ می باشد. علت اشتباه این تلفظ این است که Scrap، در انگلیسی اسکرپ خوانده می شود اما Scraping اصولا اسکریپینگ خوانده می شود. با این حساب تلفظ وب اسکریپینگ تلفظ صحیح می باشد. برای بررسی دقیق تر این تلفظ و یا تلفظ صحیح هر کلمه دیگر می توانید از دیکشنری کمبریج استفاده کنید.

این آموزش در یک نگاه

این آموزش شامل سه فصل است که عنوان فصل ها در بالا ذکر شد. از نقطه صفر این آموزش شروع می شود.

در فصل اول این آموزش ابتدا با مبانی نظری وب کاوی و چرخه وب آشنا می‌شویم. سپس ابزار کدنویسی (در این آموزش، Pycharm) را آماده می‌کنیم. در ادامه با استفاده از کتابخانه urllib پایتون یک درخواست خودکار از درون اسکریپت خود به یک سرور فرستادیم و یک صفحه وب را فراخوانی و محتوای آن را چاپ کردیم. سپس به Beautifulsoup و راه اندازی سریع آن پرداختیم. آموختیم که چگونه با استفاده از این کتابخانه یک فایل html را تجزیه و یک تگ به خصوص (مثلا عنوان صفحه) را استخراج و چاپ کنیم.  در گام نهایی این آموزش در دو درس با مدیریت خطاهای ممکن آشنا خواهید شد.

فصل دوم در واقع به نوعی ادامه آموزش beautifulsoup و ابزارهای حرفه‌ای آن است. ابتدا به یافتن اطلاعات براساس css و استایل تگ‌های حاوی این اطلاعات می‌پردازیم. در ادامه با استفاده از توابع children و descendants و parent و توابع هم‌ارز siblings ساختار درختی HTML را می‌شکنیم. سپس تگ های سازنده جدول در HTML آشنا می‌شویم. آنگاه اطلاعات یک جدول را به صورت اصولی بیرون می‌کشیم. در پایان این فصل نیز هم با عبارت‌های لامبدا (Lambda Expressions) در زبان پایتون آشنا می‌شویم؛ سپس با کاربرد این عبارت‌ها در BeautifulSoup آشنا می‌شویم. وب اسکریپینگ با پایتون پیشرفته لذت بخش تر است.

در فصل سوم این آموزش ساخت خزنده وب یا Crawler با پایتون به صورت پروژه محور ضبط شده است. با دو پروژه درک خواهید کرد که کراولر چیست. ساخت خزنده وب یا کرالر گام بلندی برای جمع آوری داده ها از صفحه‌ای به صفحه دیگر است.

آموزه های اصلی

•  آشنایی با mac address , ip address
• چرخه وب برای ارسال درخواست HTTP و دریافت پاسخ آن
• نصب و راه اندازی pycharm
• آموزش کتابخانه urllib پایتون
• نصب کتابخانه BeautifulSoup
• اتصال مطمئن و مدیریت Exceptions
• استفاده از کلاس AttributeError
• تابع getTitle و استفاده از آن
• استفاده از تابع find_all و get_text
• پارامتر tag، attributes، recursive ، text، keyword، limit  در تابع find() , find-all()
• استفاده از تابع children()
• تابع next_siblings
• کار با تابع previous_siblings، next_sibling، previous_sibling
• استخراج عکس از صفحه html
• ساخت Crawler و خزش در سایت‌های واقعی

این آموزش بی نظیر است زیرا:

• از نقطه صفر این آموزش شروع می شود.
• کوتاه و بهینه است.
• در این آموزش مثال های متعدد و واقعی حل می شود.
• با دو پروژه مفهوم کراولر چیست را درک خواهید کرد.
• بر اساس یک مرجع معتبر تهیه شده است.

پیشنیار

• آموزش برنامه نویسی پایتون
• بسته آموزش سریع HTML در یک ساعت (+)
• آموزش سریع CSS در یک ساعت (+) 

همچنین پس از این آموزش توصیه می‌کنیم آموزش‌های زیر را برای پیشرفت بیشتر ببینید:

• آموزش پیشرفته وب اسکریپینگ با پایتون (+)
• آموزش Scrapy — فریمورک اسکرپینگ پایتون (+)

کلید واژگان

آموزش وب اسکریپینگ با پایتون – وب اسکرپینگ – آموزش web scraping در پایتون – وب اسکریپینگ با پایتون – متن کاوی – وب کاوی با پایتون

سر فصل مطالب

فصل اول : ساخت یک Scraper

درس اول: معرفیweb scraping وکاربرد آن
– وب اسکریپینگ چیست؟
– کاربردهای وب اسکریپینگ کجاست؟

درس دوم: چرخه وب و نقش مرورگرها
– آشنایی با mac address , ip address
– معرفی چرخه وب برای ارسال درخواست HTTP و دریافت پاسخ آن
– کاربرد مرورگرها در چرخه وب

درس سوم: نصب ابزار و اولین کد
– معرفی و نصب pycharm
– ایجاد اولین پروژه در pycharm
– معرفی کتابخانه داخلی urllib پایتون
– ساخت اولین scraper برای بیرون کشیدن اطلاعات وب

درس چهارم: شروع کار با BeautifulSoup
– معرفی کتابخانه BeautifulSoup
– نصب BeautifulSoup
– استفاده از کتابخانه BeautifulSoup برای خواندن تگ HTML از صفحه وب نمایش آن در Terminal pycharm
– مقایسه parser های مختلف

درس پنجم: اتصال مطمئن و مدیریت Exceptions
– استفاده از کلاس URLErorre و HTTPErorre

درس ششم: اتصال مطمئن و مدیریت Exceptions
– استفاده از کلاس AttributeError
– معرفی تابع getTitle و استفاده از آن

فصل دوم: تجزیه پیشرفته HTML

درس اول: معرفی
– چرا باید از تجزیه بیشرفته HTML استفاده کرد؟

درس دوم: یافتن تگ ها با استفاده از CSS
– معرفی CSS و HTML
– استفاده از تابع find_all برای یافتن تگ های css
– استفاده از تابع get_text برای حذف کردن تگ ها و نمایش متن داخل تگ ها

درس سوم:تفاوت ()Find و ()Find-All در BeautifulSoup
– معرفی توابع find() , find-all()
– معرفی پارامتر tag در تابع find() , find-all()
– معرفی پارامتر attributes در تابع find() , find-all()
– معرفی پارامتر recursive در تابع find() , find-all()
– معرفی پارامتر text در تابع find() , find-all()
– معرفی پارامتر keyword در تابع find() , find-all()
– معرفی پارامتر limit در تابع find-all()

درس چهارم: کاوش درختی ـ بخش اول
– مقدمه ای بر بیرون کشیدن اطلاعات بر اساس موقعیت آن
– آشنایی با ساختار HTML جدول ها

درس پنجم : کاوش درختی ـ بخش دوم(Dealing with children and other descendants)
– آشنایی با مفهوم children و descendants
– معرفی و استفاده از تابع children()
– معرفی و استفاده از تابع descendants()

درس ششم: کاوش درختی ـ بخش سوم(Dealing with siblings)
– معرفی انواع sibling
– معرفی و استفاده از تابع next_siblings
– معرفی تابع previous_siblings
– معرفی تابع next_sibling
– معرفی تابع previous_sibling

درس هفتم : کاوش درختی ـ بخش چهارم (Dealing with parents)
– استفاده از تگ parent برای یافتن اطلاعات

درس هشتم : عبارت‌های با قاعده (Regular Expressions)
ـ آشنایی با عبارت های باقاعده (Regular Expressions)
ـ آشنایی با علائم در عبارت با قاعده
ـ نوشتن یک عبارت با قاعده (Regular Expressions) برای شرط‌ها

درس نهم : عبارت‌های با قاعده با BeautifulSoup
(Regular Expressions and BeautifulSoup)
ـ استفاده از عبارت های باقاعده (Regular Expressions) برای بیرون کشیدن عکس ها
– استخراج عکس از صفحه html

درس دهم : عبارت لامبدا (Lambda Expressions) در BeautifulSoup
– معرفی توابع لامبدا (Lambda) در پایتون
ـ استفاده از توابع لامبدا برای بیرون کشیدن اطلاعات

فصل سوم: ساخت crawler

درس اول: معرفی دوره
ـمعرفی منبع دوره آموزشی
ـ معرفی مطالب دوره

درس دوم: بازی شش درجه ویکی‌پدیا (Six Degrees of Wikipedia)
– معرفی نظریه Six Degrees of Kevin Bacon
– آشنایی با بازی بازی شش درجه ویکی‌پدیا

درس سوم: ساخت اسکریپر برای بیرون کشیدن لینک‌های داخل یک صفحه
– ساخت اسکریپر برای بیرون کشیدن تمام لینک‌های داخل صفحه ویکی‌پدیا
– نوشتن عبارت منظم برای تشخیص لینک‌های داخل مقالات ویکی پدیا‌‌‌
– ساخت اسکریپر برای بیرون کشیدن لینک‌های داخل مقالات ویکی‌پدیا

درس چهارم: خزش در یک دامنه (Traversing a Single Domain)
– ساخت اسکریپر برای بیرون کشیدن تمام لینک‌های داخل صفحه ویکی‌پدیا‌‌
‌- نوشتن عبارت منظم برای تشخیص لینک‌های داخل مقالات ویکی پدیا

درس پنجم : خزش در تمام صفحات یک سایت (Crawling an Entire Site)
– کاربرد خزش در تمام صفحات یک وبسایت
– تعریف پروژه کراولینگ وبسایت دیجی کالا

درس ششم: خزش در صفحه محصولات وبسایت دیجی کالا (Crawling an Entire digikala)
– معرفی set در پایتون
ـ استفاده از کتابخونه urllib.parse برای مرتب کردن url های فارسی
– ساخت کراولر برای حرکت در صفحه محصولات دیجیکالا

درس هفتم : جمع‌آوری داده‌های سایت دیجی‌کالا (Collecting Data Across an Entire Digikala)
– یافتن تگ های html حاوی اطلاعات مورد نیاز ما از وبسایت دیجی کالا
ـ مدریت AttributeError
– ساخت کراولر برای بیرون کشیدن عنوان و ویژگی محصولات دیجیکالا
ـ استفاده از متد strip() برای منظم نمایش دادن اطلاعات در ترمینال

درس هشتم : خزش در اینترنت (Crawling an Entire Site) بخش اول
– کاربرد خزش در اینترنت
ـ معرفی خزش در اینترنت

درس نهم : خزش در اینترنت (Crawling an Entire Site)  بخش دوم
– معرفی اساس کار کراولرهای اینترنت
– تعریف تابع getInternalLinks برای بیرون کشیدن لیستی از لینک های داخلی صفحه ها

درس دهم : خزش در اینترنت (Crawling an Entire Site) بخش سوم
– تعریف تابع getExternalLinks برای بیرون کشیدن لیستی از لینک های خارجی صفحه ها
ـ تعریف تابع getRandomExternalLink برای استفاده از دو تابع قبل و انتخاب رندوم از لینک های خارجی وبسایت
ـ تعریف تابع followExternalOnly برای خزش در لینک های خارجی و وبسایت های مختلف
ـ اجرای کراولر برای وبسایت oreilly.com و خزش تصادفی در لینک خارجی وبسایت

درس یازدهم : بیرون کشیدن تمام لینک های خارجی یک سایت
ـ تعریف تابع getAllExternalLinks برای ‌ذخیره کردن لیستی از لینک های خارجی صفحه
ـ اجرای کراولر برای وبسایت oreilly.com و ذخیره کردن لینک خارجی وبسایت

درس دوازدهم : اصلاحیه
ـ اصلاحه بخشی از کدهای تابع getAllExternalLinks