وب کاوی (web mining) چیست؟ — تفاوت وب کاوی و داده کاوی

وب کاوی چیست؟ — web mining چیست؟

وب کاوی (Web Mining)، فرایندی است مبتنی بر تکنیک های داده کاوی (Data Mining) که در آن، اطلاعاتی از اسناد، سرویس ها و خدمات اینترنتی، کشف و استخراج می شود. هدف اصلی وب کاوی را می توان کشف اطلاعات مفید از شبکه جهانی وب و الگوهای استفاده آن دانست.

**پیش از این در هم‌رویش آموزش مقدماتی وب اسکریپینگ از صفر منتشر شد. برای دیدن فیلم معرفی این آموزش بر روی لینک آموزش مقدماتی وب اسکریپینگ از صفر  و یا پخش کننده پایین کلیک کنید:

برای دریافت بسته کامل این آموزش می‌توانید به لینک آموزش وب اسکریپینگ با پایتون کلیک کنید.

کاربردهای وب کاوی

1. وب کاوی، با دسته بندی اسناد اینترنتی و شناسایی صفحات وب، قدرت موتور جستجو را بهبود می بخشد.
2. وب کاوی، در فرایند جستجوی اینترنتی نظیر Google و Yahoo و در فرایند جستجوی عمودی (Vertical search) نظیر FatLens و Become مورد استفاده قرار می گیرد.
3. از وب کاوی برای پیش بینی رفتار کاربر نیز استفاده می شود.
4. وب کاوی برای یک وبسایت و خدمات الکترونیکی خاص، به طور مثال به منظور بهینه سازی صفحه فرود (landing page)، بسیار سودمند است.

به طور کلی، وب کاوی را می توان به سه نوع تکنیک مختلف داده کاوی تقسیم کرد: کاوش در محتوای وب (محتواکاوی وب)، کاوش در ساختار وب (ساختارکاوی وب) و کاوش در استفاده از وب (استفاده کاوی وب). در ادامه، به توضیح این تکنیک ها می پردازیم:

1. محتوا کاوی وب

محتوا کاوی وب (Web Content Mining)، کاربرد استخراج اطلاعات مفید از محتوای اسناد اینترنتی است. محتوای وب، انواع گوناگونی از داده ها را شامل می شود: متن، تصویر، صوت، فیلم و غیره.

داده های محتوایی، مجموعه حقایقی هستند که یک صفحه وب بر اساس آن طراحی شده است. این داده ها می توانند الگوهای سودمند و جالبی از نیازهای کاربران را برای ما فراهم کنند.

اسناد متنی، با کاوش در متن، یادگیری ماشین و پردازش زبان طبیعی مرتبط هستند. این نوع از کاوش، با نام متن کاوی نیز شناخته می شود. این تکنیک، متن ها، تصاویر و صفحات وب را متناسب با محتوای ورودی دریافتی، اسکن و کاوش می کند.

2. ساختارکاوی وب

ساختارکاوی وب (Web Structure Mining)، کاربرد کشف اطلاعات از ساختار وب است. ساختار گراف وب، به این صورت است که گره های آن را صفحات وب تشکیل می دهند و یال های آن، همان پیوند ها و لینک هایی هستند که صفحه های مرتبط را به هم وصل می کنند.

ساختارکاوی وب، در اصل، خلاصه ای ساختار یافته از یک وبسایت خاص را نمایش می دهد. این تکنیک، رابطه بین صفحات وب را که از طریق لینک های مستقیم یا اطلاعات به یکدیگر مرتبط شده اند، شناسایی می کند. برای تعیین ارتباط بین دو وبسایت تجاری، ساختارکاوی وب می تواند بسیار مفید باشد.

3. استفاده کاوی وب

استفاده کاوی وب (Web Usage Mining)، کاربرد شناسایی و کشف الگوهای جالب از نحوه استفاده کاربران اینترنتی است که از مجموعه های بزرگ داده بدست می آید. این الگوها به شما کمک می کنند رفتار کاربر (یا مواردی نظیر آن) را بفهمید.

در این نوع کاوش، کاربر به داده ها در محیط اینترنت دسترسی دارد و داده ها را در قالب لاگ ها (logs) جمع آوری می کند. بنابراین، به این روش، کاوش لاگ (لاگ کاوی) نیز گفته می شود.

**پیش از این در هم‌رویش آموزش پیشرفته وب اسکریپینگ منتشر شد. برای دیدن فیلم معرفی این آموزش بر روی لینک آموزش پیشرفته وب اسکریپینگ  و یا پخش کننده پایین کلیک کنید.

برای دریافت بسته کامل این آموزش می‌توانید بر روی لینک آموزش پیشرفته وب اسکریپینگ کلیک کنید.

تفاوت وب کاوی و داده کاوی

تعریف

داده کاوی: فرایندی که سعی دارد الگو و دانش پنهانی را که در مجموعه های بزرگ داده هر سیستمی نهفته است، کشف کند.

وب کاوی: فرایندی است مبتنی بر تکنیک های داده کاوی که طی آن، اطلاعات از اسناد موجود در وب، به صورت خودکار کشف و استخراج می شود.

کاربرد

داده کاوی: برای تحلیل صفحه وب بسیار مفید است.

وب کاوی: برای یک وبسایت و سرویس الکترونیکی مخصوص، بسیار سودمند است.

کاربران هدف

داده کاوی: دانشمندان و مهندسین داده.

وب کاوی: دانشمندان داده به همراه تحلیل گران داده.

دسترسی

داده کاوی: دسترسی خصوصی به داده ها.

وب کاوی: دسترسی عمومی به داده ها.

ساختار

داده کاوی: اطلاعات از یک ساختار واضح استخراج می شود.

وب کاوی: اطلاعات از صفحات وب ساختار یافته، نیمه ساختار یافته و ساختار نیافته استخراج می شود.

نوع مساله

داده کاوی: خوشه بندی، دسته بندی، رگرسیون، پیش بینی، بهینه سازی و کنترل.

وب کاوی: محتواکاوی وب و ساختارکاوی وب.

ابزارها

داده کاوی: ابزارهایی نظیر الگوریتم های یادگیری ماشین.

وب کاوی: ابزارهای مخصوص وب کاوی عبارتند از Scrapy، PageRank و لاگ های Apache.

مهارت های مورد نیاز

داده کاوی: روش های پاک سازی داده، الگوریتم های یادگیری ماشین، آمار و احتمال.

وب کاوی: دانش کاربردی، مهندسی داده با ماژول های ریاضیاتی مانند آمار و احتمال.

کلید واژگان

وب کاوی چیست – web mining چیست –  تفاوت وب کاوی و داده کاوی – کاربردهای وب کاوی – وب کاوی فناوری – مقاله وب کاوی – وب ماینینگ – وب ماینینگ چیست – تحقیق در مورد وب کاوی –  کاربرد وب کاوی – وب کاوی مبتنی بر کاربرد – web mining چیست – کاربردهای وب کاوی

منبع

web-mining

• آموزش ساخت یک سایت خبرخوان ورزشی --- با جنگو و وب اسکرپینگ ۴۸,۰۰۰ تومان
• آموزش scrapy پروژه محور ــ کتابخانه وب اسکرپینگ پایتون ۲۲۶,۰۰۰ تومان