دیتای بزرگ؛ پدیده‌‌ای نویدبخش برای شرکت‌‌های مدرن

واژه دیتای بزرگ برای نخستین بار در اوایل دهه ۲۰۰۰ و در حوزه‌هایی مانند نجوم و ژنوم‌شناسی مورداستفاده قرار گرفت که در آنها مجموعه دیتاهای عظیمی تولید می‌شود که امکان پردازش سریع و کم‌‌هزینه آنها با استفاده از پردازشگرهای مرکزی سنتی وجود نداشت و تکنولوژی دیتای بزرگ نیز برای حل این مشکل به وجود آمد و در آن، ده‌ها هزار پردازشگر به‌‌صورت همزمان و به‌‌موازات همدیگر اقدام به پردازش حجم بسیار بزرگی از داده‌ها می‌کنند.MapReduce و Hadoop دو نمونه از مشهورترین و پرکاربردترین شبکه‌های دیتای بزرگ هستند که توسط شرکت‌‌های گوگل و یاهو در سال‌های ۲۰۰۴ و ۲۰۰۶ به وجود آمدند و بعدها Hadoop با اخذ لیسانس نرم‌‌افزار منبع باز از بنیاد نرم‌‌افزار آپاچی فعالیت‌‌هایش را گسترش داد و با نام ApacheHadoop به فعالیت خود ادامه داد و امروزه می‌توان با استفاده از آن بسیاری از دیتاهای بزرگ مورد نیاز در اپلیکیشن‌های هوش مصنوعی و اینترنت اشیا را مدیریت کرد.

انفجار دیتای بزرگ

به‌طور تاریخی، جمع‌آوری دیتا، فرآیندی است که نیازمند صرف وقت و کار زیادی است بنابراین سازمان‌ها ترجیح می‌‌دادند آمارشان را بر مبنای نمونه‌های کوچک (از چند صد نقطه دیتا تا چند هزار نقطه دیتا) دسته‌بندی کنند تا دسترسی راحت‌‌تری به آنها داشته باشند. بااین‌‌همه امروزه و با گسترش تکنولوژی محاسبات ابری امکان محاسبه و ذخیره‌‌سازی مقادیر نامحدودی دیتا ازجمله دیتاهای موازی به وجود آمده است و دیگر نیازی به دسته‌بندی دیتا نیست. به همین دلیل هم هست که امروزه و باوجود بیش از ۲۰ میلیارد تلفن همراه متصل به اینترنت، کامپیوترها و حسگرهای متصل به شبکه که به‌طور پیوسته در حال ارسال و دریافت دیتا هستند و درمجموع حجم بی‌‌سابقه‌‌ای از داده‌ها معادل چند «زتابایت» را تولید می‌کنند مشکل خاصی برای پردازش و ذخیره‌‌سازی این حجم دیتا پیش نمی‌‌آید (توضیح اینکه هر یک زتابایت برابر است با حجم دیتای قابل ذخیره‌‌سازی در ۲۵۰میلیارد دی‌‌وی‌‌دی). امروزه تعداد وسایل متصل‌‌به‌‌هم و به اینترنت به بیش از سه برابر جمعیت کل کره زمین رسیده است و هرساله ۱۰ درصد به این تعداد افزوده می‌شود. خوشبختانه الگوریتم‌‌های هوش مصنوعی این توانایی رادارند تا از رفتار سیستم‌‌های پیچیده بیاموزند و به‌طور مستقیم دیتای تولیدشده در این سیستم‌‌ها را موردبررسی قرار دهند. به عنوان‌‌مثال دیگر نیازی نیست که برای بررسی علل عدم بازپرداخت وام‌‌هایی که افراد قبلا دریافت کرده‌‌اند از یک کارمند مجرب و کارشناس امور اعتباری استفاده کرد بلکه کافی است این کار به یک سیستم یا یک ماشین سپرده شود و اوست که می‌تواند دلایل و ریشه‌های عدم بازپرداخت به‌‌موقع اقساط و سایر اطلاعات مهم مربوط به آن را از منابع مختلف جمع‌آوری و پردازش کند و نتیجه این بررسی‌‌ها را پیش از اعطای وام‌‌های جدید به افراد در اختیار بانک‌ها و موسسات اعتباری قرار دهد. نمونه‌های دیگری را نیز می‌توان برای استفاده بهینه هوش مصنوعی از دیتای بزرگ برشمرد: به عنوان‌‌مثال دیگر نیازی نیست که یک مهندس مکانیک مجرب بخواهد کلی وقت و انرژی صرف بررسی این موضوع کند که یک موتور چه زمانی از کار خواهد افتاد یا دچار عملکرد بی‌‌نظم خواهد شد و بهتر است که این کار به الگوریتم‌‌ها و ماشین‌‌ها سپرده شود یا اینکه دیگر نیازی نیست که از یک پزشک حاذق خواست ابتلا به دیابت را در یک بیمار پیش‌‌بینی کند، چراکه ماشین‌‌ها می‌توانند این کار را بهتر از هر پزشکی انجام دهند یا دیگر برای پیش‌‌بینی بهترین محل برای حفر یک چاه نفت جدید به یک مهندس زمین‌‌شناس نیازی نیست و...

حرف‌‌های بزرگ، دیتای بزرگ

دیتای بزرگ حرف‌‌های بزرگی برای زدن دارد: دیتای بزرگ یعنی توانایی دریافت، ذخیره‌‌سازی، پردازش و تحلیل هر مقدار دیتا، با هر شکلی و با هر سرعتی. و قدرت دیتای بزرگ در توانایی تطبیق‌‌پذیری و کاربردهای فراوان آن در حوزه هوش مصنوعی نهفته است. امروزه سازمان‌ها و شرکت‌‌ها می‌توانند داده‌ها را از منابع نامحدودی دریافت و جمع‌آوری و با استفاده بهینه و بهنگام از این داده‌ها، ارزش‌‌آفرینی کنند. این داده‌ها از منابع بی‌شماری می‌‌آیند که به معنای واقعی کلمه بی‌‌انتها هستند: از هر تماس مشتریان با شرکت گرفته تا اطلاعات مربوط به عملکرد تامین‌‌کنندگان و فروشندگان و از درخواست‌‌های استخدام نیرو گرفته تا وضعیت بازارها و رقبا. امروزه شرکت‌‌ها و سازمان‌ها از هر ترفندی برای جمع‌آوری اطلاعات و دیتا و به‌‌کارگیری آن بهره می‌‌برند تا از این طریق و به‌‌واسطه ارائه خدمات بهتر به مشتریانشان برای خود ارزش‌‌آفرینی کنند. به عنوان‌‌مثال، شرکت‌‌های بیمه عمر می‌‌کوشند تا با همکاری بیمارستان‌‌ها و پزشکان یا شرکت‌‌های استخراج معدن و نصب حسگرهایی در بدن بیماران و افراد سالخورده یا کارگران معادن، هرگونه علائم غیرعادی در وضعیت سلامت افراد یا خطرات احتمالی را رصد کرده و با ارائه هشدارهای سریع و پیشگیرانه جلوی ضررهای احتمالی برای خود و به خطر افتادن زندگی بیمه‌‌گذاران را بگیرند. به‌طورکلی، مثال‌‌هایی ازاین‌‌دست که نشان‌دهنده اهمیت روزافزون دیتا در روند ارزش‌‌آفرینی شرکت‌‌هاست بسیارند. مثلا شرکت ایتالیایی اینل از یک اپلیکیشن جدید برای شناسایی اختلاس رونمایی کرده است که می‌تواند با استفاده از پیش‌‌بینی موارد اختلاس با کمک یادگیری ماشینی به شرکت‌‌های مشتری خود خدمات منحصربه‌‌فردی را ارائه دهد. طراحان این اپلیکیشن معتقدند که با ترکیب سه عامل دیتای نامحدود و بزرگ مربوط به اختلاس‌‌های گذشته، هوش انسانی تقویت‌‌شده و هوش مصنوعی و یادگیری ماشینی می‌توان بسیاری از اختلاس‌‌ها و کلاهبرداری‌‌های مالی را پیش‌‌بینی کرد. همین اهمیت فزاینده و تعیین‌‌کنندگی روزافزون دیتاست که باعث شده مرزهای جدیدی برای فرآیند جست‌وجو برای یافتن منابع جدید اطلاعاتی چه در درون و چه در بیرون از سازمان‌ها شکل بگیرد و در این میان آنچه به‌‌اندازه خود دیتا اهمیت پیدا می‌کند همان مدیریت و نحوه به‌‌کارگیری دیتای جمع‌آوری‌‌شده توسط هوش مصنوعی و یادگیری ماشینی است که ستون دیگر دگرگونی دیجیتال را تشکیل می‌دهد.