آموزش وب اسکرپینگ از صفر با پایتون ــ (فصل ۲- تجزیه HTML)

در این فصل از آموزش وب کاوی به آموزش تجزیه پیشرفته HTML در قالب چند موضوع می‌پردازیم. استخراج عکس از وبسایت ، استخراج جدول با beutifulsoup ، آموزش تابع find در beautifulsoup ، آشنایی با توابع لامبدا در پایتون و آموزش regex در پایتون از این جمله هستند.

اگر بخواهید اسکریپرهای پایدار بنویسید که با کمترین تغییر در ساختار html صفحه از دست نروند، این فصل به شما کمک می‌کند.

این دوره در واقع هم به صورت مستقل قابل استفاده است و هم فصل دوم از آموزش مقدماتی وب اسکریپینگ با پایتون است. البته شما می‌توانید فصل‌های دیگر را به صورت مستقل نیز تهیه کنید.

• فصل اول: شروع وب اسکریپینگ
• فصل سوم: ساخت Crawler

معرفی این آموزش

برای نوشتن یک ربات اسکریپینگ اصولی باید با تجزیه پیشرفته HTML آشنا باشید. اگر به یاد داشته باشید،‌ در فصل اول اطلاعات را از صفحات با HTML ساده بیرون کشیدیم. اکنون در فصل دوم به تجزیه پیشرفته HTML می‌پردازیم. این فصل در واقع به نوعی ادامه آموزش beautifulsoup و ابزارهای حرفه‌ای آن است.

ابتدا به یافتن اطلاعات براساس css و استایل تگ‌های حاوی این اطلاعات می‌پردازیم.

در ادامه با استفاده از توابع children و descendants و parent و توابع هم‌ارز siblings ساختار درختی HTML را می‌شکنیم. سپس تگ های سازنده جدول در HTML آشنا می‌شویم. آنگاه اطلاعات یک جدول را به صورت اصولی بیرون می‌کشیم.

همچنین در این آموزش با عبارت‌های باقاعده (Regular Expressions) در زبان پایتون آشنا می‌شویم؛ بعد با استفاده از عبارت‌های باقاعده، به آموزش استخراج عکس از یک صفحه وب می‌پردازیم.

در پایان این فصل نیز هم با عبارت‌های لامبدا (Lambda Expressions) در زبان پایتون آشنا می‌شویم؛ سپس با کاربرد این عبارت‌ها در BeautifulSoup آشنا می‌شویم. وب اسکریپینگ با پایتون پیشرفته لذت بخش تر است.

در تمام بخش‌های این آموزش از مثال استفاده شده است. مثال‌ها گام به گام کدنویسی شده‌اند که به فهمیدن مطالب کمک می‌کند.

اگر می‌خواهید نمونه‌هایی از کاربردهای وب اسکریپینگ توسط این مدرس را ببینید به این آموزش ساخت خبرخوان ورزشی و این آموزش شکار قیمت بهینه دیجی کالا مراجعه کنید.

این آموزش بی‌نظیر است زیرا

• سرفصل‌های آن بر اساس یک مرجع معتبر جهانی است.
• با مفاهیم تجزیه پیشرفته HTML آشنا می‌شوید
• با استخراج عکس از یک صفحه وب آشنا می‌شوید.
• با عبارت‌های باقاعده و عبارت‌های لامبدا آشنا می‌شوید.
• تمامی مطالب با مثال تشریح می‌شوند.
• زمان هر درس کوتاه و بهینه است تا بتوانید تمرکز کنید.

مرجع

این مجموعه بر اساس یک مرجع معتبر و محبوب جهانی (کتاب Web Scraping with Python) به همراه تجربه خود مدرس تولید می‌شوند.

کلیدواژگان

وب اسکریپینگ چیست‌ ؟ تجزیه پیشرفته HTML چیست؟ چگونه تگ ها را از روی css واکشی می‌کنیم ؟ استخراج عکس از یک صفحه وب – معنی تگ parent و تگ children چیست؟ تفاوت تگ children و تگ descendant چیست ؟ تابع لامبدا در پایتون چه کاربردی دارد ؟ استخراج عکس از وبسایت – توابع لامبدا در پایتون – استخراج جدول با beautifulsoup

سرفصل مطالب

درس اول: معرفی
– چرا باید از تجزیه بیشرفته HTML استفاده کرد؟

درس دوم: یافتن تگ ها با استفاده از CSS
– معرفی CSS و HTML
– استفاده از تابع find_all برای یافتن تگ های css
– استفاده از تابع get_text برای حذف کردن تگ ها و نمایش متن داخل تگ ها

درس سوم:تفاوت ()Find و ()Find-All در BeautifulSoup
– معرفی توابع find() , find-all()
– معرفی پارامتر tag در تابع find() , find-all()
– معرفی پارامتر attributes در تابع find() , find-all()
– معرفی پارامتر recursive در تابع find() , find-all()
– معرفی پارامتر text در تابع find() , find-all()
– معرفی پارامتر keyword در تابع find() , find-all()
– معرفی پارامتر limit در تابع find-all()

درس چهارم: کاوش درختی ـ بخش اول
– مقدمه ای بر بیرون کشیدن اطلاعات بر اساس موقعیت آن
– آشنایی با ساختار HTML جدول ها

درس پنجم : کاوش درختی ـ بخش دوم(Dealing with children and other descendants)
– آشنایی با مفهوم children و descendants
– معرفی و استفاده از تابع children()
– معرفی و استفاده از تابع descendants()

درس ششم: کاوش درختی ـ بخش سوم(Dealing with siblings)
– معرفی انواع sibling
– معرفی و استفاده از تابع next_siblings
– معرفی تابع previous_siblings
– معرفی تابع next_sibling
– معرفی تابع previous_sibling

درس هفتم : کاوش درختی ـ بخش چهارم (Dealing with parents)
– استفاده از تگ parent برای یافتن اطلاعات

درس هشتم : عبارت‌های با قاعده (Regular Expressions)
ـ آشنایی با عبارت های باقاعده (Regular Expressions)
ـ آشنایی با علائم در عبارت با قاعده
ـ نوشتن یک عبارت با قاعده (Regular Expressions) برای شرط‌ها

درس نهم : عبارت‌های با قاعده با BeautifulSoup
(Regular Expressions and BeautifulSoup)
ـ استفاده از عبارت های باقاعده (Regular Expressions) برای بیرون کشیدن عکس ها
– استخراج عکس از صفحه html

درس دهم : عبارت لامبدا (Lambda Expressions) در BeautifulSoup
– معرفی توابع لامبدا (Lambda) در پایتون
ـ استفاده از توابع لامبدا برای بیرون کشیدن اطلاعات