داده کاوی (DATA MINING) چیست؟

ما در دنیایی داده محور و غنی از اطلاعات زندگی می‌کنیم. شاید خیلی راحت با این موضوع کنار بیاین که اطراف ما انبوهی از داده ها در حال مبادله هستش، اما بهت است بدانید که این حجم خیلی زیاد از داده ها چالش هایی رو هم ایجاد می شود. هر چقدر اطلاعات بیشتری در دسترس باشد، مدت زمان دستیابی به بینش های مفید و مورد نیاز شما هم طولانی تر می گردد. به همین دلیل در این مقاله قصد داریم توضیحاتی در مورد داده کاوی یا Data Mining توضیح ارائه دهیم.

سیر تحول پلتفرم‌ها و ابزارهای دیجیتال موجب شده‌اند که در سال‌های اخیر، میزان تولید و ثبت داده‌ها به طرز چشمگیری افزایش پیدا کند. همین میسر شدن امکان ثبت و ذخیره‌سازی، افراد و کسب‌وکارها را قادر ساخته تا بتوانند اقدام به تحلیل داده‌ها و استخراج اطلاعاتی کنند که می‌تواند روند توسعه سازمان‌ها را به کلی متحول کند و به مانند چشم سومی برای مدیران، آن‌ها را در اتخاذ تصمیم‌های بهینه‌تر یاری کند.

ظهور علم داده کاوی (Data Mining) باعث شده است که اکنون «داده‌ها» به یکی از سرمایه‌های بسیار ارزشمند سازمان‌ها تبدیل شوند و استفاده درست از این برگ برنده، بتواند نتایج را به نحو متفاوتی رقم بزند. به‎طوری‌که اکنون در شرکت‌های بزرگ و یا سطوح کلان اقتصادی، سیاسی و اجتماعی، بدون استناد به پزوهش‌های داده‌محور و تحلیل‌های داده‌ای از جوامع هدف، هیچ تصمیم و یا سیاستی اتخاذ نمی‌شود.

داده چیست؟

پیش از آنکه بخواهیم به اهمیت علم داده کاوی و مزایایی که برای سازمان‌ها ایجاد می‌کند بپردازیم، باید بدانیم که اساسا «داده» چیست. داده یا data در واقع کوچکترین و ساده‌ترین واحد محتواست. تمامی کاراکترها، آمار، ارقام و حقایقی که توسط سیستم‌ها و یا محققان جمع آوری شده و توضیح و تفسیر اضافه‌ای بر آن‌ها افزوده نشده باشد داده به حساب می‌آیند. بسیاری مواقع اشتباها از «داده» و «اطلاعات» به عنوان مفاهیم یکسانی یاد می‌شود.

درحالی که این دو مفهوم کاملا متفاوتند و نمی‌توان آنها را به جای دیگری به کار برد. داده فرم مشخصی دارد و دو فرد جداگانه نمی‌توانند برداشت متفاوتی از مفهومی که یک «داده» ارائه می‌دهد داشته باشند. درحالی که اطلاعات یا information چنین نیست و هر فرد به تناسب رویکرد و اهدافی که دارد، می‌تواند برداشت و تفسیر متفاوتی از اطلاعات داشته باشد.

تفاوت داده (Data) و اطلاعات (Information) چیست؟

درحالی که «داده» محتوایی خام و تفسیر نشده است، «اطلاعات» را می‌توان نسخه پرورش‌یافته مجموعه ای از «داده‌ها» دانست. به عبارتی دیگر، «داده» زیرمجموعه «اطلاعات» است. با مجموعه مشخصی از داده، می‌توان اطلاعات متعدد و متفاوتی ایجاد کرد. مثلا بسته به اینکه آن داده‌ها با چه ترتیبی و تحت چه ساختاری دسته‌بندی شوند و یا در چه حوزه‌ای مورد بررسی و تحلیل قرار بگیرند، اطلاعات متفاوتی ایجاد می‌شود.

پس از تفسیر، تحلیل و پروراندن داده‌ها در بستری خاص و متناسب با هدف و رویکردی مشخص، اطلاعات به دست می‌آید. برخلاف داده که به واسطه تجزیه ناپذیر بودن آن به مفهومی کوچکتر، نمی‌توان برداشت‌های متفاوتی از آن داشت، اطلاعات قابلیت این را دارند که هر فردی متناسب با ذهنیتی که دارد، برداشت متفاوتی از آن داشته باشد.

داده کاوی چیست؟

حال که با مفهوم داده (Data) و تفاوت آن با اطلاعات (Information) آشنا شدیم، می‌توانیم به این موضوع بپردازیم که داده کاوی چیست. به جرات می‌توان گفت از زمانی که دانش داده کاوی و یا تحلیل داده پا به میدان گذاشت، ارزش داده در دنیای امروز متحول شد.

داده کاوی (Data Mining) علم استخراج الگوها، اطلاعات و تحلیل از مجموعه داده‌های خامی است که در یک سازمان و یا یک جامعه یا هر مجموعه دیگری تولید شده است.

سالیان پیش که حجم داده‌های تولیدی بسیار محدود بود، بسیاری از مدیران با نگاهی سطحی و با جداسازی دستی داده ها، می‌توانستند به مفاهیمی که در پس آن‌ها بود پی ببرند. اما زمانی که با حجم عظیمی از داده مواجه شویم، عملا این کار غیرممکن است و توان محدود هیچ انسانی، پاسخگوی تحلیل این داده‌ها و استخراج الگوهای آن نخواهد بود.

اکنون علم داده کاوی بستری فراهم کرده است که بتوان با به‌کارگیری فناوری‌های جدیدی مانند هوش مصنوعی، یادگیری‌ماشین و… متناسب با اهداف مشخص، به دسته‌بندی، تحلیل و استخراج مفاهیم نهفته در داده‌ها پرداخت و از آنها برای اتخاذ تصمیمات مهم استفاده کرد. به عبارتی در دنیای مدیریت امروزی، شهود جایی در تصمیم‌گیری‌ها ندارد و مدیران به استناد داده‌های استخراج شده در هر مورد، تصمیمات مقتضی را استخراج می‌کنند.

اهمیت داده کاوی

اما آنچه باعث شده علم داده کاوی تا این حد مورد توجه قرار بگیرد، ضریب اطمینان بالای تصمیمات اتخاذ شده بر اساس تحلیل‌های داده‌ای و نتایجی است که ایجاد می‌شود. زمانی که مدیران بر اساس احساسات و شهود اقدام به سیاست‌گذاری و تصمیم‌گیری در مورد موضوعی می‌کنند، احتمال خطا در تشخیص مشکل و ارائه راهکار بسیار زیاد است، در نتیجه ریسک زیادی منابع سازمان را تهدید می‌کند.

درحالی که با تصمیم گیری بر اساس تحلیل‌های حاصل از داده کاوی، از هدررفت منابع شرکت در یک اقدام ناکارآمد و غیرضروری جلوگیری می‌شود. داده کاوی به مدیران کمک می‌کند تا پیش از هرچیزی، دید درستی از جامعه مورد بررسی پیدا کنند و پس از عارضه یابی درست، راهکاری بهینه برای حل آن مشکل ارائه دهند.

توجه داشته باشید که نباید مفهوم داده کاوی را صرفا به جمع آوری و ذخیره سازی داده‌ها محدود دانست. زیرا تا زمانی که نتوان الگوهای نهفته در داده‌ها را برای ارائه تحلیل و راهکار استخراج کرد، این داده‌ها ارزش چندانی ندارند. در واقع داده کاوی با ایجاد ابزارهایی که استخراج این اطلاعات ارزشمند را ممکن می‌کند، به داده‌ها ارزش می‌بخشد و باعث می‌شود بتوان از آن داده‌ها برای برآوردن یک هدف و یا حل یک مشکل استفاده کرد.

فرایند داده کاوی

فرآیند داده کاوی، مجموعه‌ای از گام‌ها و اقداماتی است که باید از زمان جمع آوری داده تا استخراج اطلاعات و دانش کاربردی از آن انجام شود. عموما فرآیند داده کاوی بر حجم عظیمی از داده‌ها اعمال می‌شود و چون این کار از توان انسان خارج است، از فناوری‌های خاصی برای این کار استفاده می‌شود.

همانطور که پیشتر تاکید شد، هدف از داده کاوی آن است که بتوان همسبگی‌های موجود میان داده‌های خام را شناخت و از آنها برای استخراج الگوها، تحلیل‌ها و توصیفاتی که پاسخگوی یه معضل و یا یک هدف مشخص باشند استفاده کرد. پیش بینی‌ها حاصل از این داده ها، کمک می‌کند تا بتوان راهکار مناسبی طراحی و ارائه کرد.

به طور کلی برای داده کاوی می‌توان ۴ مرحله یا گام کلی متصور بود. گام اول تعیین اهداف است. گام دوم جمع آوری و آماده سازی داده‌هاست. در گام سوم باید با استخراج الگوهای موجود در این داده ها، به ارائه مدلی برای حل مساله پرداخت. در نهایت و در گام چهارم می‌توان با جمع بندی و ارزیابی نتایج حاصله، اقدامات مناسبی طراحی و اجرایی کرد.

صرف وقت مناسب برای تعیین اهداف داده ‎کاوی، یکی از مهم‌ترین نکاتی است که مدیران سازمان باید به آن توجه داشته باشند. بهتر است تعیین اهداف، طی همکاری و مشارکت مدیران بخش‌های مختلف سازمان ایجاد شود تا نتایج حاصل بتوانند پاسخی جامع و کاربردی باشند.

پس آنکه حوزه و معضل مورد بررسی مشخص شد، متخصصان داده باید تعیین کنند که چه سبک داده هایی، ورودی‌های مناسبی برای این پروژه هستند. بعد از تعیین داده‌ها و جمع آوری آنها، باید آنها را پاکسازی، دسته بندی و یکدست کرد تا تحلیل آنها ساده‌تر شود.

مشکلات و چالش‌های داده کاوی

با وجود اهمیت بسیار بالای داده کاوی در کسب‌وکارهای امروزی و دستاوردهای مهم که این علم برای سازمان‌ها ایجاد می‌کند، چالش‌ها و مشکلاتی نیز در این مسیر وجود دارد. در ادامه شماری از مهم‌ترین چالش‌های داده کاوی را ذکر می‌کنیم و در سپس به شرح برخی از این موارد می‌پردازیم. اصلی‌ترین چالش‌های داده کاوی عبارتند از:

• مسائل امنیتی و حفظ حریم‌خصوصی
• مواجهه با داده‌های ناقص و پراکنده
• دشواری کشف پیچیدگی‌های موجود در برخی داده‌ها
• چالش‌های روش‌شناختی
• لزوم انتخاب روش تحلیل درست برای استخراج نتایجی کارآمد
• مقیاس‌پذیری الگوریتم ها
• دشواری در ارائه مفاهیم شهودی برای برخی پدیده‌های نهفته در داده ها

از آنجا که داده‌های خام سازمان‌ها، ممکن است حاوی اطلاعات ارزشمندی از ابعاد مختلف زندگی کاربران باشند، نگهداری و حفظ امنیت این داده‌ها و خدشه وارد نشدن به حریم‌خصوصی کاربران طی کار بر روی داده‌ها کار بسیار دشواری است. از سوی دیگر، داده‌های خامی که برای انجام داده کاوی و استخراج اطلاعات مورد نیازند، لزوما به سادگی به دست نمی‌آیند.

یا اگر بتوان به این داده‌ها دست پیدا کرد، دسته بندی و پاکسازی آنها از داده‌های پرت و زائد کار چندان ساده‌ای نیست. حتی ممکن است پراکندگی داده‌های به دست آمده به قدری باشد که یکپارچه و هماهنگ کردن آنها، دست‌اندرکاران داده کاوی را با مشکل مواجه کند.

اعتبار و کارآمدی نتایج حاصل از داده کاوی، وابستگی بسیاری به دقت در انتخاب روش‌ها و الگوریتم‌های درست برای تحلیل داده‌ها دارد. چنانچه ابزارها و تکنیک اتخاذ شده برای بررسی مجموعه‌ای داده‌ها مناسب نباشد، ممکن است اعتبار نتایج حاصل از داده کاوی خدشه دار شود. از سوی دیگر، باید از الگوریتم‌هایی استفاده شود که مقیاس‌پذیر باشند تا توان پاسخگویی به حجم متفاوتی از داده‌ها در حوزه‌های مختلف سازمان را داشته باشند.

در نهایت باید گفت گاهی ممکن است ارائه توضیحات شهودی و درک مفاهیم کشف شده در دل داده‌ها کار ساده‌ای نباشد. به همین دلیل برای استخراج درست مفاهیم از داده‌های هر حوزه، ممکن است به متخصصانی نیاز باشد که دانش توامانی در علوم داده و آن حوزه خاص مورد بررسی داشته باشند.

مزایای استفاده از داده کاوی

از علم داده کاوی می‌توان در حوزه‌های مختلفی از جمله بهداشت و درمان، سلامت، سیاست، درک بهتر رفتار مشتریان کسب و کارها، تجارت، بیمه، بانکداری و علوم مالی، جامعه شناسی، علوم مهندسی و به عبارتی هر حوزه‌ای استفاده کرد. در مجموع می‌توان گفت داده کاوی به مدیران کمک می‌کند تا در تصمیم‌گیری‌ها هوشمندانه‌تر عمل کنند و با کاهش ریسک تصمیمات خود، منابع را به گونه‌ای بهینه‌تر تخصیص دهند.

از جمله مهم‌ترین مزایای استفاده از داده کاوی در تصمیم‌گیری‌ها و سیاست‌گذاری‌ها می‌توان به موارد زیر اشاره کرد:

• بهبود دید مدیران و کمک به عرضه‌یابی درست
• فراهم شدن امکان پیش بینی وقایع و درک بهتر آینده
• افزایش کارایی سازمان
• کمک به شناخت به موقع ترندها و فرصت ها
• جلوگیری از تصمیم گیری‌های احساسی و کاهش ریسک تصمیمات
• کاهش هزینه‌ها و جلوگیری از اتلاف منابع

جمع‌بندی

در نهایت باید گفت که دوره تصمیم‌گیری‌های شهودی و کورکورانه به پایان رسیده است و اکنون چیزی جز داده ها، حکمرانی ارکان مهم اقتصادی، اجتماعی و سیاسی دنیا را بر عهده ندارند. تا چندی قبل استفاده از داده کاوی برای کسب مزیت نسبت به رقبا، یک امکان بود که مدیران به نسبت دوراندیشی خود از آن استفاده می‌کردند.

اما به کارگیری داده کاوی در مدیریت کسب‌وکارها و سازمان‌های امروزی دیگر یک الزام است نه یک امکان. با توجه به گرایش روزافزون کسب‌وکارهای مختلف به استفاده از علم‌داده و روش‌های مختلف داده کاوی، به جرات می‌توان گفت کسب‌وکارهایی که از پیوستن به این جریان سرباز بزنند محکوم به شکستند و تردید در به کارگیری متدهای این علم، تنها شما را از بهره‌مندی از فرصت‌های مختلف باز می‌دارد.