وب اسکریپینگ چیست؟ وب اسکریپر چه می کند ؟
متنی که اکنون در حال مطالعه آن هستید، در ظاهر از کنار هم قرار گرفتن کلمات تشکیل شده است. اما در واقع چیزی که این متن را می سازد داده ها هستند. پشت هر متن آنلاینی که می خوانید یک سری داده ها هستند. به کمک یک وب اسکریپر (Web Scraper) می توان آن ها را حذف، از هم جدا یا دستکاری کرد.
وب اسکریپرها به داخل کدهای سازنده یک وبسایت (کدهای HTML) یا داده های وبسایت می خزند و اطلاعاتی که می خواهند را بر می دارند. وب اسکریپینگ از طریق کدهای نوشته شده برای ایجاد وب سایت ها (کد های HTML) یا دیتا بیس ها وارد شده و اطلاعاتی که می خواهد را بر می دارد. تقریبا تمام وب سایت ها قابل اسکریپ کردن هستند. بعضی از سایت ها اقداماتی جهت جلوگیری از این کار انجام می دهند.
اگر به اندازه کافی در کارتان خوب باشید، می توانید 99 درصد از وب سایت ها را به صورت آنلاین اسکریپ کنید.
حال که ایده ای از چیستی وب اسکریپینگ در ذهنتان ایجاد شد، می توانیم به هدف اصلی مقاله که همان درآمدزایی است، بپردازیم.
وب اسکریپینگ آسان تر از چیزی است که به نظر می رسد. راهی بی نظیر برای کسب در آمد است. در واقع تمام روش هایی که قرار است به شما بگویم کمتر از 30 خط کد برای ایجاد نیاز دارند. همچنین کمتر از چند ساعت زمان برای یادگیری آن ها کافی است. در ادامه به معرفی روش ها می پردازیم.
سه روش کسب درآمد با استفاده از وب اسکریپینگ
1- ساخت ربات ها (Bot)
ربات یک اصطلاح فنی برای برنامه ای است که عمل خاصی را انجام می دهد.
بسته به کارایی رباتتان می توانید آن را به کسانی که مهارت فنی لازم برای ساخت ربات ندارند، بفروشید.
برای این که ببینید چگونه می توانید یک ربات بسازید و از آن کسب در آمد کنید، رباتی به نام Airbnb را ایجاد کردم.این ربات به کاربر اجازه می دهد تا موقعیت مکانی خود را وارد کند، سپس مکان های پیشنهادی آن منطقه را به همراه قیمت، امتیاز، تعداد مهمانان مجاز، اتاق خواب، تختخواب و حمام را نمایش می دهد.
هم رویش منتشر کرده است:
آموزش پیشرفته وب اسکریپینگ با پایتون __ ترفندهای خزش در وبسایت‌ها
تمام این کارها با وب اسکریپینگ انجام می شود.
برای نشان دادن عملکرد این ربات بیایید شهر رم در ایتالیا را وارد کنیم.
با وارد کردن کلمه رم، ربات 272 نتیجه منحصر به فرد را درکسری از ثانیه و به فرمت اکسل باز می گرداند.
در این حالت مشاهده انواع خانه ها / ویژگی ها و مقایسه آن ها با سایرین و اعمال فیلتر بروی آن ها بسیار ساده تر است.من خانواده ای 4 نفره دارم و اگر قرار بود به رم برویم به دنبال مکانی با حداقل 2 تخت با قیمت مناسب می گشتیم.
با استفاده از این صفحه سازماندهی شده اکسل، می توانم فیلترهای خود را اعمال کنم.
همانطور که مشاهده می کنید از 272 نتیجه 7 تای آن با خواسته ی من مطابقت دارد.
در بین این 7 مورد، انتخاب من Vatican St.Peter Daniel است چراکه رتبه ی خوبی دارد.
همچنین از بین این 7 مورد با هزینه 61 دلار در هر شب ارزان ترین است.
پس از انتخاب مکان مورد نظر به راحتی لینک آن را در یک مرورگر کپی و سپس آن را رزرو می کنم.
پیدا کردن اقامتگاهی برای تعطیلاتتان می تواند کاری سخت و دلهره آور باشد، مطمئنا اکثر ما حداقل یک بار این احساس را تجربه کرده ایم.
به همین دلیل افراد زیادی وجود دارند که حاضرند برای آسان تر کردن این روند هزینه کنند.
همانطور که دیدید من با استفاده از این ربات فرآیند را آسان تر کردم و توانستم در طی 5 دقیقه یک اتاق مطابق با نیازم و قیمت مناسب تهیه کنم.
باور کنید مردم تمایل دارند برای فقط کمی آسان تر کردن زندگی خود، هزینه کنند.
هم رویش منتشر کرده است:
2- نوعی از دلالی !!
یکی از کاربردهای رایج وب اسکریپینگ پیدا کردن کم ترین قیمت محصولات از وب سایت ها می باشد.
عده ای از افراد وب اسکریپینگی ایجاد می کنند که هر روز اجرا می شود و قیمت کالایی خاص را می گیرد.
هنگامی که قیمت کالا به یک مقدار مشخص کاهش یافت آن محصول را به طور اتوماتیک خریداری می کنند.
از آنجایی که تقاضا برای محصول بیشتر از عرضه خواهد شد، برای کسب سود، کالا را با قیمتی بالاتر می فروشند.
نمونه ی بعدی که با مثال بررسی اش می کنیم می تواند موجب صرفه جویی زیادی در هزینه ها و کسب درآمد شود.
وب سایت های خرده فروش دارای محدودیت در معاملات هستند.
در این وب سایت ها می توانید قیمت اصلی و قیمت فروش را مشاهده کنید.
چیزی که آن ها نمایش نمی دهند درصد تخفیف است.
به عنوان مثال اگر یک ساعت در اصل 350 دلار و قیمت فروش آن 300 دلار باشد، ممکن است به نظر آید 50 دلار تخفیف پول زیادی است در حالی که فقط 14.2 درصد تخفیف خورده است.
حال اگر یک تیشرت در ابتدا 50 دلار و قیمت فروش آن 40 دلار باشد، 10 دلار مقدار کمی به نظر می آید، در حالی که میزان تخفیف آن 20 درصد است.
بنابراین با خرید محصولاتی با بالاترین درصد تخفیف، می توانید پس انداز/کسب درآمد کنید.
می خواهیم با وب اسکریپ کردن Hudson’s’ Bay که فروشگاهی شامل برندهای بسیاری است، قیمت اصلی و قیمت فروش محصولات آن را به دست بیاوریم.
در نتيجه بررسی کنیم کدام محصول بیش ترین تخفیف را خورده است.
پس از اسکریپ کردن وب سایت بیش از 900 محصول را مشاهده می کنید.
در میان آن ها تنها پیراهن مارک Perry Ellis بیش از 50 درصد تخفیف خورده است.
این فروش ویژه محدودیت زمانی دارد و پس از پایان آن قیمت پیراهن به حدود 90 دلار باز می گردد.
پس اگر الان آن را با قیمت 40 دلار خریداری و پس از پایان زمان فروش ویژه آن را 30 دلار کمتر از قیمت اصلی یعنی 60 دلار به فروش برسانیم، 20 دلار سود خواهیم کرد.
اگر بتوانید این روش را بر روی مارکتی مناسب پیاده کنید، پتانسیل درآمدزایی بالایی دارد.
3- فروش داده ها
میلیون ها مجموعه داده آنلاین رایگان که قابل دسترس برای تمام افراد است وجود دارند.
این داده ها اغلب به راحتی جمع آوری می شوند.
به همین دلیل در اختیار هر کسی که می خواهد از آن ها استفاده کنند، گذاشته می شود.
سیر تکاملی فروش داده ها از جایی شروع می شود که برخی از داده ها به آسانی قابل دستیابی نیستند و برای تهیه مجموعه داده های مناسب از آن ها به زمان یا کار زیادی نیاز است.
شرکت هایی وجود دارند که بر روی به دست آوردن داده هایی که بدست آوردنشان مشکل است تمرکز می کنند.
آن ها این داده ها را در جدول هایی که به صورت سطرها و ستون هایی مرتب شده اند،مرتب می کنند.
با این کار کاربرانمی توانند آن ها را با هزینه های مشخص تهیه کنند.
هم رویش منتشر کرده است:
آموزش وب اسکریپینگ با پایتون _____ بسته مقدماتی
نمونه‌هایی از این نوع وب سایت ها
BigDataBall یک وب سایت داده ورزشی است که اطلاعات مربوط به بازیکنان، داده های بازی ها و سایر آمارها را با قیمت 30 دلار برای داده های هر فصل خاص به فروش می رساند.
دلیل این که آن ها می توانند این قیمت را تقاضا کنند این نیست که تنها کسانی هستند که این داده ها را دارند،بلکه به این دلیل است که این داده ها را در ساختاری بسیار مرتب و تمیز ارائه می دهند که خواندن آن بسیار آسان است.
حال می خواهیم داده های مشابه BigDataBall را به صورت رایگان بدست آوریم.
و آن را مانند کاری که قبلا انجام دادیم، در یک مجموعه داده ساختاری قرار دهیم.
همانطور که قبلاً گفتم این سایت تنها جایی نیست که دارای این نوع داده است.
Basketball- Reference.com یکی از سایت هایی است که داده هایی مشابه با BigDataBall دارد اما نه به صورت ساختار بندی شده.
به بیان دیگر داده ها پراکنده و خواندن آن ها سخت است.
به همین دلیل نمی توانید به سادگی مجموعه داده مورد نظر خود را بارگیری کنید.
وب اسکریپینگ راه حل این مشکل است! بیایید در این سایت داده هایی که شامل اطلاعات بازیکنان برای هر بازی می باشند را اسکریپ کنیم.
و در آخر این اطلاعات را مانند BigDataBall در یک مجموعه داده ساختار یافته قرار دهیم.
بعد از اسکریپ کردن سایت Basketball-Reference.com بیش از 1600 داده از اطلاعات بازیکنان در هر فصل به دست آوردیم.
واضح است که هیچ کس نمی تواند این تعداد داده را به صورت دستی پیدا و دسته بندی کند.
به همین دلیل است که قالب بندی داده ها به صورت منظم راهی مناسب برای کسب درآمد است.
با کمک وب اسکریپینگ توانستیم داده ها را طی چند دقیقه به دست آورده و 30 دلار صرفه جویی کنیم.
لازم به گفتن نیست که می توانید کار BigDataBall را انجام دهید.
یعنی داده هایی را که دستیابی به آن ها دشوار است را با وب اسکریپ پیدا کنید.
سپس آن را به کسانی که علاقه مند به داشتن داده ها در یک مجموعه داده ساختار یافته هستند، بفروشید.
نتیجه گیری
در دنیایی که همه به دنبال کسب درآمد هستند ، وب اسکریپینگ به روشی بسیار منحصر به فرد و جدید برای درآمدزایی تبدیل شده است که اگر آن را در موقعیت های مناسب اعمال کنید، می تواند پول زیادی برای شما به ارمغان آورد، هم چنین انجام آن آسان تر از چیزی است که اکثر مردم فکر می کنند.
کلیدواژگان
وب اسکریپینگ چیست | web scraping چیست | راه های درآمدزایی از وب اسکریپینگ | درآمد از وب اسکریپینگ | درآمدزایی از وب اسکریپینگ | وب اسکریپر چه می کند | کار وب اسکریپر | وظیفه وب اسکریپر | کاربرد وب اسکریپینگ چیست | کاربرد وب اسکریپینگ | مزایای وب اسکریپینگ
دوره های آموزشی مرتبط
-
آموزش ساخت یک سایت خبرخوان ورزشی --- با جنگو و وب اسکرپینگ
۴۸,۰۰۰ تومان -
آموزش ساخت ربات وب کاوی دیجی کالا برای خرید ارزان -- وب اسکرپینگ با Beautifulsoup و پایتون
رایگان
منبع :
