آیا با مفهوم pipeline آشنایی دارید؟ pipeline چیست؟ می توان گفت دنیای امروزی، دنیای داده‌هاست. کسانی موفق‌تر خواهند بود که به این داده‌ها دسترسی داشته باشند و البته، بدانند چگونه از این داده‌ها استفاده کنند. در هر صورت، گام اول، استخراج داده‌هاست. یکی از ابزارهای قدرتمند برای استخراج داده‌ها از وبسایت‌ها، فریمورک scrapy است. پیش از این در هم‌رویش آموزش پروژه محور scrapy منتشر شد. اگر این آموزش را تهیه کرده باشید در درس ۱۵ آموزش با مفهوم pipeline و همینطور کاربرد پایپ لاین در داده کاوی با اسکرپی آشنا می‌شوید. چون درس 15 از آموزش به صورت مستقل نیز کاربردی است، این قسمت از آموزش به رایگان به هم‌رویشی‌های عزیز هدیه داده می‌شود.
مفهوم pipeline چیست ؟
بطور کلی روند استخراج و سپس پردازش داده‌ها، از چندین مرحله تشکیل می‌شود. هر کدام از مراحل مدت زمان خاصی را برای اجرا به خود اختصاص می‌دهند. اما اگر یکی از مراحل، مدت زمان زیادی طول بکشد، کل روند برنامه معطل می‌ماند تا این مرحله انجام شود. این یک نکته منفی به حساب می‌آید. در نهایت برای غلبه بر این مشکل، از مفهوم پایپ لاین استفاده می‌کنیم.
این آموزش در یک نگاه:
در این آموزش قصد داریم در قالب یک مثال، مفهوم پایپ لاین و لزوم استفاده از آن در داده کاوی و مشخصا فریمورک scrapy را به زبان ساده توضیح بدهیم. پس اگر می‌خواهید با یک مثال با مفهوم پایپ لاین آشنا شوید، همین الان آموزش را رایگان دانلود کنید.
پیشنیاز
ندارد
کلید واژگان
pipeline چیست | پایپ لاین چیست | کاربرد پایپ لاین در داده کاوی | پردازش خط لوله ای چیست
نقد و بررسی‌ها
هنوز بررسی‌ای ثبت نشده است.