اطلاعات بزرگ- این نه تنها خود داده ها، بلکه فن آوری های پردازش و استفاده از آنها، روش هایی برای یافتن اطلاعات لازم در آرایه های بزرگ است. مشکل کلان داده هنوز برای هر سیستمی که چندین دهه است اطلاعات گسترده ای را جمع آوری کرده است باز و حیاتی است.
این اصطلاح با عبارت همراه است "حجم، سرعت، تنوع"- اصولی که کار با داده های بزرگ بر اساس آنها ساخته شده است. مستقیم است مقدار اطلاعات, سرعت پردازش آنو انواع اطلاعاتدر یک آرایه ذخیره می شود اخیراً یک مورد دیگر به سه اصل اساسی اضافه شده است - ارزش، که به معنی ارزش اطلاعات. یعنی باید از نظر نظری یا عملی مفید و ضروری باشد که هزینه های نگهداری و پردازش آن را توجیه کند.
شبکه‌های اجتماعی نمونه‌ای از یک منبع معمولی داده‌های بزرگ هستند - هر نمایه یا صفحه عمومی یک قطره کوچک در اقیانوس بدون ساختار اطلاعات است. علاوه بر این، صرف نظر از میزان اطلاعات ذخیره شده در یک پروفایل خاص، تعامل با هر یک از کاربران باید تا حد امکان سریع باشد.
کلان داده تقریباً در هر زمینه ای از زندگی انسان به طور مداوم در حال انباشته شدن است. این شامل هر صنعت مرتبط با تعاملات انسانی یا محاسبات می شود. اینها رسانه های اجتماعی، دارو، و بخش بانکی و همچنین سیستم های دستگاهی هستند که نتایج متعددی از محاسبات روزانه دریافت می کنند. به عنوان مثال، مشاهدات نجومی، اطلاعات هواشناسی و اطلاعات از دستگاه های صوتی زمین.
اطلاعات سیستم های ردیابی مختلف در زمان واقعی نیز به سرورهای یک شرکت خاص ارسال می شود. پخش تلویزیونی و رادیویی، پایگاه های تماس اپراتورهای تلفن همراه - تعامل هر فرد با آنها حداقل است، اما در مجموع، همه این اطلاعات به داده های بزرگ تبدیل می شوند.
فناوری‌های کلان داده به بخش تحقیق و توسعه و تجارت تبدیل شده‌اند. علاوه بر این، آنها شروع به تسخیر حوزه مدیریت دولتی کرده اند - و در همه جا به معرفی سیستم های بیشتر و کارآمدتر برای ذخیره و دستکاری اطلاعات نیاز است.
اصطلاح "داده های بزرگ" برای اولین بار در مطبوعات در سال 2008 ظاهر شد، زمانی که کلیفورد لینچ، سردبیر Nature مقاله ای در مورد چگونگی پیشرفت آینده علم با کمک فناوری های داده های بزرگ منتشر کرد. تا سال 2009، این اصطلاح فقط از نقطه نظر تحلیل علمی مورد توجه قرار می گرفت، اما پس از انتشار چندین مقاله دیگر، مطبوعات شروع به استفاده گسترده از مفهوم Big Data کردند - و در حال حاضر نیز از آن استفاده می کنند.
در سال 2010، اولین تلاش ها برای حل مشکل رو به رشد داده های بزرگ ظاهر شد. محصولات نرم افزاری منتشر شد که هدف آن به حداقل رساندن خطرات هنگام استفاده از آرایه های اطلاعاتی عظیم بود.
تا سال 2011، شرکت های بزرگی مانند مایکروسافت، اوراکل، EMC و IBM به داده های بزرگ علاقه مند شدند - آنها اولین کسانی بودند که از داده های بزرگ در استراتژی های توسعه خود استفاده کردند و کاملاً موفقیت آمیز بودند.
دانشگاه ها در سال 2013 شروع به مطالعه کلان داده ها به عنوان یک موضوع جداگانه کردند - اکنون نه تنها علوم داده، بلکه مهندسی، همراه با موضوعات محاسباتی، با مشکلاتی در این زمینه سروکار دارند.
روش های اصلی تجزیه و تحلیل و پردازش داده ها شامل موارد زیر است:
- روش های کلاس یا تحلیل عمیق (داده کاوی).
این روش ها بسیار زیاد هستند، اما با یک چیز متحد می شوند: ابزارهای ریاضی مورد استفاده در ارتباط با دستاوردهای حوزه فناوری اطلاعات.
- جمع سپاری.
این تکنیک به شما امکان می دهد داده ها را به طور همزمان از چندین منبع بدست آورید و تعداد آنها عملاً نامحدود است.
- تست A/B
از کل مقدار داده، یک مجموعه کنترلی از عناصر انتخاب می شود که به نوبه خود با سایر مجموعه های مشابه، که در آن یکی از عناصر تغییر کرده است، مقایسه می شود. انجام چنین آزمایشاتی به تعیین اینکه کدام نوسانات پارامتر بیشترین تأثیر را بر جمعیت کنترل دارد کمک می کند. به لطف حجم داده های بزرگ، می توان تعداد زیادی تکرار را انجام داد و هر یک از آنها به مطمئن ترین نتیجه نزدیک می شوند.
- تجزیه و تحلیل پیش بینی کننده
متخصصان در این زمینه سعی می کنند از قبل نحوه رفتار جسم کنترل شده را پیش بینی و برنامه ریزی کنند تا سودمندترین تصمیم را در این شرایط بگیرند.
- یادگیری ماشینی (هوش مصنوعی).
این مبتنی بر تجزیه و تحلیل تجربی اطلاعات و ساخت متعاقب آن الگوریتم های خودآموز برای سیستم ها است.
- تجزیه و تحلیل شبکه
رایج ترین روش برای مطالعه شبکه های اجتماعی - پس از دریافت داده های آماری، گره های ایجاد شده در شبکه تجزیه و تحلیل می شوند، یعنی تعاملات بین کاربران فردی و جوامع آنها.
در سال 2017 که داده های بزرگ دیگر چیز جدیدی و ناشناخته نیستند، اهمیت آن نه تنها کاهش نیافته، بلکه حتی افزایش یافته است. اکنون کارشناسان شرط بندی می کنند که تجزیه و تحلیل حجم زیادی از داده ها نه تنها برای سازمان های غول پیکر، بلکه برای مشاغل کوچک و متوسط نیز در دسترس خواهد بود. این رویکرد با استفاده از مؤلفه های زیر برنامه ریزی شده است:
- فضای ذخیره ابری.
ذخیره سازی و پردازش داده ها سریعتر و مقرون به صرفه تر می شود - در مقایسه با هزینه های نگهداری از مرکز داده خود و افزایش احتمالی کارکنان، به نظر می رسد اجاره ابر جایگزین بسیار ارزان تری باشد.
- استفاده از داده های تاریک
به اصطلاح "داده های تاریک" همه اطلاعات غیر دیجیتالی درباره یک شرکت است که نقش کلیدی در استفاده مستقیم از آن ایفا نمی کند، اما ممکن است دلیلی برای تغییر فرمت ذخیره سازی اطلاعات جدید باشد.
- هوش مصنوعی و یادگیری عمیق.
فناوری یادگیری هوش ماشینی، که ساختار و عملکرد مغز انسان را تقلید می کند، بهترین گزینه برای پردازش حجم زیادی از اطلاعات دائما در حال تغییر است. در این حالت، دستگاه هر کاری را که یک فرد باید انجام دهد انجام می دهد، اما احتمال خطا بسیار کاهش می یابد.
- بلاک چین
این فناوری به شما امکان می دهد تا تراکنش های اینترنتی متعدد از جمله تراکنش های بین المللی را سرعت بخشیده و ساده کنید. یکی دیگر از مزایای بلاک چین کاهش هزینه های تراکنش است.
- سلف سرویس و کاهش قیمت.
در سال 2017، برنامه ریزی شده است که "پلتفرم های سلف سرویس" معرفی شود - این پلتفرم های رایگان هستند که در آن نمایندگان مشاغل کوچک و متوسط می توانند به طور مستقل داده هایی را که ذخیره می کنند ارزیابی کرده و آنها را سیستماتیک کنند.
همه استراتژی های بازاریابی به نوعی مبتنی بر دستکاری اطلاعات و تجزیه و تحلیل داده های موجود هستند. به همین دلیل است که استفاده از داده های بزرگ می تواند پیش بینی کند و امکان تنظیم توسعه بیشتر شرکت را فراهم کند.
به عنوان مثال، یک حراج RTB ایجاد شده بر اساس داده های بزرگ به شما امکان می دهد از تبلیغات به طور موثرتری استفاده کنید - یک محصول خاص فقط به گروهی از کاربرانی که علاقه مند به خرید آن هستند نشان داده می شود.
مزیت استفاده از فناوری های کلان داده در بازاریابی و تجارت چیست؟
- با کمک آنها می توانید پروژه های جدید را بسیار سریعتر ایجاد کنید که احتمالاً در بین خریداران محبوب می شوند.
- آنها به ارتباط نیازهای مشتری با خدمات موجود یا پیش بینی شده کمک می کنند و بنابراین آنها را تنظیم می کنند.
- روش های کلان داده ارزیابی میزان رضایت فعلی همه کاربران و هر یک به صورت جداگانه را ممکن می سازد.
- افزایش وفاداری مشتری از طریق روش های پردازش کلان داده تضمین می شود.
- جذب مخاطب هدف در اینترنت به دلیل توانایی کنترل حجم عظیمی از داده ها آسان تر می شود.
به عنوان مثال، یکی از محبوب ترین سرویس ها برای پیش بینی محبوبیت احتمالی یک محصول خاص، Google.trends است. این به طور گسترده توسط بازاریابان و تحلیلگران مورد استفاده قرار می گیرد و به آنها امکان می دهد آماری در مورد استفاده از یک محصول معین در گذشته و پیش بینی فصل آینده بدست آورند. این به مدیران شرکت اجازه می دهد تا بودجه تبلیغاتی را به طور مؤثرتری توزیع کنند، و تعیین کنند که در کدام حوزه سرمایه گذاری بهتر است.
نمونه هایی از استفاده از داده های بزرگ
معرفی فعال فناوری‌های Big Data به بازار و زندگی مدرن درست پس از شروع استفاده از آنها توسط شرکت‌های مشهور جهانی که تقریباً در هر گوشه جهان مشتری دارند، آغاز شد.
اینها غول های اجتماعی مانند فیس بوک و گوگل، آی بی ام و همچنین ساختارهای مالی مانند مستر کارت، ویزا و بانک آمریکا هستند.
به عنوان مثال، IBM از تکنیک های کلان داده برای تراکنش های نقدی استفاده می کند. با کمک آنها، 15٪ تراکنش های کلاهبرداری بیشتر شناسایی شد که میزان وجوه محافظت شده را 60٪ افزایش داد. مشکلات مربوط به موارد مثبت کاذب سیستم نیز حل شد - تعداد آنها بیش از نصف کاهش یافت.
VISA به طور مشابه از Big Data برای ردیابی تلاش های جعلی برای انجام یک تراکنش خاص استفاده کرد. به لطف این، آنها سالانه بیش از 2 میلیارد دلار از نشت صرفه جویی می کنند.
وزارت کار آلمان با استقرار سیستم کلان داده در کار صدور مقرری بیکاری، توانسته است هزینه ها را 10 میلیارد یورو کاهش دهد. در همان زمان مشخص شد که یک پنجم شهروندان این مزایا را بدون توجیه دریافت می کنند.
Big Data صنعت بازی را نیز دور نگذاشته است. بنابراین، توسعه دهندگان World of Tanks مطالعه ای از اطلاعات مربوط به همه بازیکنان انجام دادند و شاخص های موجود فعالیت آنها را مقایسه کردند. این به پیش‌بینی ریزش احتمالی بازیکنان در آینده کمک کرد - بر اساس فرضیات ساخته شده، نمایندگان سازمان قادر به تعامل مؤثرتر با کاربران بودند.
سازمان‌های برجسته‌ای که از داده‌های بزرگ استفاده می‌کنند نیز شامل HSBC، نزدک، کوکاکولا، استارباکس و AT&T هستند.
بزرگترین مشکل کلان داده هزینه پردازش آن است. این می تواند شامل تجهیزات گران قیمت و هزینه دستمزد متخصصان واجد شرایطی باشد که قادر به ارائه اطلاعات زیادی هستند. بدیهی است که تجهیزات باید به طور مرتب به روز شوند تا با افزایش حجم داده، حداقل عملکرد خود را از دست ندهند.
مشکل دوم باز هم مربوط به حجم زیاد اطلاعاتی است که باید پردازش شوند. به عنوان مثال، اگر یک مطالعه نه 2-3، بلکه تعداد زیادی نتیجه را ارائه دهد، بسیار دشوار است که عینی باقی بمانیم و از جریان داده های عمومی فقط آنهایی را انتخاب کنیم که تأثیر واقعی بر وضعیت یک پدیده داشته باشند.
مشکل حفظ حریم خصوصی داده های بزرگ با توجه به انتقال بیشتر خدمات مشتری به سمت استفاده از داده های آنلاین، تبدیل شدن به هدف بعدی برای مجرمان سایبری بسیار آسان است. حتی صرفاً ذخیره اطلاعات شخصی بدون انجام هرگونه تراکنش آنلاین می تواند با عواقب نامطلوبی برای مشتریان ذخیره سازی ابری همراه باشد.
مشکل از دست دادن اطلاعات اقدامات احتیاطی مستلزم این است که به یک نسخه پشتیبان ساده از داده ها محدود نشوید، بلکه باید حداقل 2-3 نسخه پشتیبان از فضای ذخیره سازی تهیه کنید. با این حال، با افزایش حجم، پیچیدگی افزونگی افزایش می یابد - و متخصصان فناوری اطلاعات در تلاش هستند تا بهترین راه حل را برای این مشکل بیابند.
بازار فناوری های کلان داده در روسیه و جهان
از سال 2014، 40 درصد از بازار کلان داده را خدمات تشکیل می دهد. درآمد حاصل از استفاده از داده های بزرگ در تجهیزات کامپیوتری کمی کمتر (38٪) نسبت به این شاخص است. 22 درصد باقی مانده در نرم افزار است.
طبق آمار، مفیدترین محصولات در بخش جهانی برای حل مشکلات Big Data پلتفرم های تحلیلی In-memory و NoSQL هستند. 15 و 12 درصد از بازار به ترتیب در اختیار نرم افزارهای تحلیلی Log-file و پلتفرم های Columnar است. اما Hadoop/MapReduce در عمل مقابله با مشکلات کلان داده چندان موثر نیست.
نتایج پیاده‌سازی فناوری‌های کلان داده:
- بهبود کیفیت خدمات به مشتریان؛
- بهینه سازی ادغام در زنجیره تامین؛
- بهینه سازی برنامه ریزی سازمان؛
- تسریع در تعامل با مشتریان؛
- بهبود کارایی پردازش درخواست های مشتری؛
- کاهش هزینه های خدمات؛
- بهینه سازی پردازش درخواست های مشتری
بهترین کتاب های داده های بزرگ
مناسب برای مطالعه اولیه فناوری های پردازش کلان داده - به راحتی و به وضوح شما را به روز می کند. این نشان می‌دهد که چگونه فراوانی اطلاعات بر زندگی روزمره و همه حوزه‌های آن تأثیر گذاشته است: علم، تجارت، پزشکی و غیره. حاوی تصاویر متعددی است، بنابراین بدون تلاش زیاد درک می‌شود.
"مقدمه ای بر داده کاوی" نوشته پانگ نینگ تان، مایکل اشتاین باخ و ویپین کومار
همچنین یک کتاب مفید برای مبتدیان در Big Data که نحوه کار با داده های بزرگ را به شیوه ای "از ساده به پیچیده" توضیح می دهد. بسیاری از نکات مهم را در مرحله اولیه پوشش می دهد: آماده سازی برای پردازش، تجسم، OLAP، و همچنین برخی از روش های تجزیه و تحلیل داده ها و طبقه بندی.
راهنمای عملی استفاده و کار با داده های بزرگ با استفاده از زبان برنامه نویسی پایتون. هم برای دانشجویان مهندسی و هم برای متخصصانی که می خواهند دانش خود را عمیق تر کنند مناسب است.
"Hadoop for Dummies"، دیرک دروس، پل اس. زیکوپولس، رومن بی. ملنیک
Hadoop پروژه ای است که به طور خاص برای کار با برنامه های توزیع شده طراحی شده است که اجرای اقدامات را روی هزاران گره به طور همزمان سازماندهی می کند. آشنایی با آن به درک دقیق تر کاربرد عملی داده های بزرگ کمک می کند.
شتاب مداوم رشد داده ها بخشی جدایی ناپذیر از واقعیت های امروزی است. شبکه‌های اجتماعی، دستگاه‌های تلفن همراه، داده‌های دستگاه‌های اندازه‌گیری، اطلاعات کسب‌وکار تنها تعدادی از انواع منابعی هستند که می‌توانند حجم عظیمی از داده را تولید کنند.
در حال حاضر، اصطلاح Big Data (Big Data) بسیار رایج شده است. هنوز همه نمی دانند که فناوری های پردازش مقادیر زیادی از داده ها چقدر سریع و عمیق در متنوع ترین جنبه های جامعه تغییر می دهند. تغییراتی در حوزه‌های مختلف رخ می‌دهد که منجر به مشکلات و چالش‌های جدیدی می‌شود، از جمله در زمینه امنیت اطلاعات، جایی که جنبه‌های مهمی مانند محرمانگی، یکپارچگی، در دسترس بودن و غیره باید در پیش‌زمینه باشد.
متأسفانه، بسیاری از شرکت‌های مدرن بدون ایجاد زیرساخت مناسب برای این کار، به فناوری Big Data متوسل می‌شوند، که می‌تواند ذخیره مطمئن حجم عظیمی از داده‌هایی را که جمع‌آوری و ذخیره می‌کنند تضمین کند. از سوی دیگر، فناوری بلاک چین در حال حاضر به سرعت در حال توسعه است که برای حل این مشکل و بسیاری از مشکلات دیگر طراحی شده است.
کلان داده چیست؟
در واقع، تعریف این اصطلاح در ظاهر نهفته است: "داده های بزرگ" به معنای مدیریت حجم بسیار زیادی از داده ها و همچنین تجزیه و تحلیل آنها است. اگر به طور گسترده تر نگاه کنید، پس این اطلاعاتی است که به دلیل حجم زیاد، با روش های کلاسیک قابل پردازش نیست.
خود اصطلاح Big Data (داده های بزرگ) نسبتاً اخیراً ظاهر شده است. طبق سرویس Google Trends، رشد فعال در محبوبیت این اصطلاح در پایان سال 2011 است:
در سال 2010، اولین محصولات و راه حل های مرتبط با پردازش کلان داده ها شروع به ظهور کردند. تا سال 2011، بسیاری از بزرگترین شرکت های فناوری اطلاعات، از جمله IBM، Oracle، Microsoft و Hewlett-Packard، به طور فعال از واژه Big Data در استراتژی های تجاری خود استفاده می کنند. به تدریج، تحلیلگران بازار فناوری اطلاعات تحقیقات فعالی را در مورد این مفهوم آغاز می کنند.
در حال حاضر، این اصطلاح محبوبیت قابل توجهی به دست آورده است و به طور فعال در زمینه های مختلف استفاده می شود. با این حال، نمی توان با قاطعیت گفت که داده های بزرگ نوعی پدیده اساساً جدید است - برعکس، منابع داده بزرگ سال هاست که وجود داشته اند. در بازاریابی، آنها می‌توانند پایگاه‌های اطلاعاتی از خریدهای مشتری، تاریخچه اعتباری، شیوه زندگی و موارد دیگر باشند. در طول سال‌ها، تحلیلگران از این داده‌ها برای کمک به شرکت‌ها در پیش‌بینی نیازهای آینده مشتریان، ارزیابی ریسک، شکل‌دهی ترجیحات مصرف‌کننده و موارد دیگر استفاده کرده‌اند.
در حال حاضر وضعیت از دو جنبه تغییر کرده است:
- ابزارها و روش های پیچیده تری برای تجزیه و تحلیل و مقایسه مجموعه داده های مختلف پدیدار شده اند.
- ابزارهای تجزیه و تحلیل با بسیاری از منابع جدید داده تکمیل شده است که توسط دیجیتالی سازی گسترده و همچنین روش های جدید جمع آوری و اندازه گیری داده ها هدایت می شود.
محققان پیش‌بینی می‌کنند که فناوری‌های کلان داده به طور فعال در تولید، مراقبت‌های بهداشتی، تجارت، مدیریت عمومی و در سایر حوزه‌ها و صنایع بسیار متنوع مورد استفاده قرار خواهند گرفت.
Big Data آرایه خاصی از داده ها نیست، بلکه مجموعه ای از روش ها برای پردازش آنها است. مشخصه تعیین کننده برای کلان داده ها نه تنها حجم آنها، بلکه مقوله های دیگری است که فرآیندهای پر زحمت پردازش و تجزیه و تحلیل داده ها را مشخص می کند.
داده های اولیه برای پردازش می تواند به عنوان مثال:
- سیاهههای مربوط به رفتار کاربر اینترنت؛
- اینترنت اشیا؛
- رسانه های اجتماعی؛
- داده های هواشناسی؛
- کتاب های دیجیتالی شده از بزرگترین کتابخانه ها؛
- سیگنال های GPS از وسایل نقلیه؛
- اطلاعات مربوط به معاملات مشتریان بانک؛
- داده های مربوط به مکان مشترکین شبکه های تلفن همراه؛
- اطلاعات در مورد خرید در زنجیره های خرده فروشی بزرگ و غیره.
با گذشت زمان، حجم داده ها و تعداد منابع آنها به طور مداوم در حال افزایش است و در این زمینه، روش های جدید پردازش اطلاعات ظاهر می شود و روش های موجود پردازش اطلاعات بهبود می یابد.
اصول اولیه داده های بزرگ:
- مقیاس پذیری افقی - آرایه های داده می توانند بزرگ باشند و این بدان معنی است که سیستم پردازش داده های بزرگ باید به صورت پویا با افزایش حجم آنها گسترش یابد.
- تحمل خطا - حتی اگر برخی از تجهیزات خراب شوند، کل سیستم باید فعال بماند.
- محل داده ها در سیستم های توزیع شده بزرگ، داده ها معمولاً روی تعداد قابل توجهی از ماشین ها توزیع می شوند. با این حال، در صورت امکان و به منظور صرفه جویی در منابع، داده ها اغلب در همان سروری که ذخیره می شوند پردازش می شوند.
برای عملکرد پایدار هر سه اصل و بر این اساس، راندمان بالای ذخیره‌سازی و پردازش کلان داده‌ها، به فن‌آوری‌های پیشرفت جدیدی مانند بلاک چین نیاز است.
کلان داده برای چیست؟
دامنه کلان داده به طور مداوم در حال گسترش است:
- داده های بزرگ را می توان در پزشکی استفاده کرد. بنابراین، می توان نه تنها بر اساس داده های تجزیه و تحلیل تاریخچه پزشکی، بلکه با در نظر گرفتن تجربه سایر پزشکان، اطلاعات در مورد وضعیت اکولوژیکی منطقه سکونت بیمار، یک تشخیص برای بیمار ایجاد کرد. ، و بسیاری از عوامل دیگر.
- فناوری های داده های بزرگ را می توان برای سازماندهی حرکت وسایل نقلیه بدون سرنشین استفاده کرد.
- با پردازش مقادیر زیادی داده، تشخیص چهره در مواد عکاسی و ویدئویی امکان پذیر است.
- فناوری‌های کلان داده را می‌توان توسط خرده‌فروشان استفاده کرد - شرکت‌های تجاری می‌توانند به طور فعال از آرایه‌های داده از شبکه‌های اجتماعی برای راه‌اندازی مؤثر کمپین‌های تبلیغاتی خود استفاده کنند، که می‌تواند حداکثر بر یک بخش مصرف‌کننده خاص متمرکز شود.
- این فناوری به طور فعال در سازماندهی مبارزات انتخاباتی از جمله برای تجزیه و تحلیل ترجیحات سیاسی در جامعه استفاده می شود.
- استفاده از فناوری‌های کلان داده برای راه‌حل‌های کلاس تضمین درآمد (RA) مرتبط است، که شامل ابزارهایی برای تشخیص ناسازگاری‌ها و تجزیه و تحلیل عمیق داده‌ها است که امکان شناسایی به موقع زیان‌های احتمالی یا تحریف اطلاعات را فراهم می‌کند که می‌تواند منجر به کاهش نتایج مالی شود. .
- ارائه دهندگان مخابرات می توانند داده های بزرگ، از جمله داده های موقعیت جغرافیایی را جمع آوری کنند. به نوبه خود، این اطلاعات ممکن است برای آژانس های تبلیغاتی مورد توجه تجاری قرار گیرد، که ممکن است از آن برای نمایش تبلیغات هدفمند و محلی و همچنین خرده فروشان و بانک ها استفاده کنند.
«داده‌های بزرگ می‌توانند نقش مهمی در تصمیم‌گیری برای باز کردن یک فروشگاه خرده‌فروشی در یک مکان خاص بر اساس داده‌های مربوط به حضور یک جریان هدفمند قدرتمند از مردم بازی کنند.
بنابراین، آشکارترین کاربرد عملی فناوری کلان داده در حوزه بازاریابی نهفته است. به لطف توسعه اینترنت و گسترش انواع وسایل ارتباطی، داده‌های رفتاری (مانند تعداد تماس‌ها، عادت‌های خرید و خرید) در زمان واقعی در دسترس قرار می‌گیرند.
فناوری های کلان داده همچنین می توانند به طور موثر در امور مالی، تحقیقات جامعه شناختی و بسیاری از زمینه های دیگر مورد استفاده قرار گیرند. کارشناسان استدلال می کنند که همه این احتمالات استفاده از کلان داده تنها بخش قابل مشاهده کوه یخ است، زیرا این فناوری ها در حجم بسیار بیشتری در اطلاعات و ضد جاسوسی، در امور نظامی و همچنین در هر چیزی که معمولاً جنگ اطلاعاتی نامیده می شود استفاده می شود.
به طور کلی، توالی کار با داده های بزرگ شامل جمع آوری داده ها، ساختاردهی اطلاعات دریافتی با استفاده از گزارش ها و داشبوردها و سپس تدوین توصیه هایی برای اقدام است.
اجازه دهید به اختصار امکانات استفاده از فناوری های کلان داده در بازاریابی را بررسی کنیم. همانطور که می دانید برای یک بازاریاب، اطلاعات ابزار اصلی پیش بینی و استراتژی است. تجزیه و تحلیل کلان داده ها برای مدت طولانی با موفقیت برای تعیین مخاطبان هدف، علایق، تقاضا و فعالیت مصرف کنندگان مورد استفاده قرار گرفته است. تجزیه و تحلیل کلان داده، به ویژه، نمایش تبلیغات (بر اساس مدل حراج RTB - مناقصه زمان واقعی) را فقط برای آن دسته از مصرف کنندگانی که به یک محصول یا خدمات علاقه مند هستند، ممکن می سازد.
استفاده از داده های بزرگ در بازاریابی به تجار اجازه می دهد:
- مشتریان خود را بهتر بشناسید، مخاطبان مشابهی را در اینترنت جذب کنید.
- ارزیابی میزان رضایت مشتری؛
- درک اینکه آیا سرویس پیشنهادی انتظارات و نیازها را برآورده می کند یا خیر.
- یافتن و پیاده سازی راه های جدید برای افزایش اعتماد مشتری؛
- ایجاد پروژه های مورد تقاضا و غیره
به عنوان مثال، سرویس Google.trends می تواند پیش بینی فعالیت تقاضای فصلی برای یک محصول خاص، نوسانات و جغرافیای کلیک ها را به بازاریاب بگوید. اگر این اطلاعات را با آمار جمع آوری شده توسط افزونه مربوطه در سایت خود مقایسه کنید، می توانید برنامه ای برای توزیع بودجه تبلیغاتی با ذکر ماه، منطقه و سایر پارامترها تهیه کنید.
به گفته بسیاری از محققان، در تقسیم بندی و استفاده از داده های بزرگ است که موفقیت کمپین ترامپ نهفته است. تیم رئیس جمهور آینده ایالات متحده توانست بینندگان را به درستی تقسیم کند، خواسته های آن را درک کند و دقیقاً پیامی را که رای دهندگان می خواهند ببینند و بشنوند را نشان دهند. بنابراین، به گفته ایرینا بلیشوا از ائتلاف داده محور، پیروزی ترامپ تا حد زیادی به دلیل رویکرد غیر استاندارد بازاریابی اینترنتی بود که مبتنی بر داده های بزرگ، تحلیل روانشناختی-رفتاری و تبلیغات شخصی بود.
فن‌آوران سیاسی و بازاریابان ترامپ از یک مدل ریاضی توسعه‌یافته استفاده کردند که به آنها اجازه می‌دهد تا داده‌های همه رای‌دهندگان آمریکایی را عمیقاً تجزیه و تحلیل کرده و آنها را نظام‌مند کنند و هدف‌گیری فوق‌العاده دقیقی را نه تنها بر اساس ویژگی‌های جغرافیایی، بلکه بر اساس نیات، منافع رأی‌دهندگان، آنها انجام دهند. پس از آن، بازاریابان ارتباط شخصی با هر یک از گروه‌های شهروندان را بر اساس نیازها، خلق و خوی، دیدگاه‌های سیاسی، ویژگی‌های روانشناختی و حتی رنگ پوست سازماندهی کرده‌اند و تقریباً برای هر فردی از پیام خود استفاده می‌کنند. رای دهنده
در مورد هیلاری کلینتون، او از روش‌های «آزمایش‌شده زمان» بر اساس داده‌های جامعه‌شناختی و بازاریابی استاندارد در مبارزات انتخاباتی‌اش استفاده کرد و رأی‌دهندگان را فقط به گروه‌های رسمی همگن (مردان، زنان، آمریکایی‌های آفریقایی‌تبار، اسپانیایی‌ها، فقیر، ثروتمند و غیره) تقسیم کرد.
در نتیجه، برنده کسی بود که از پتانسیل فن آوری های جدید و روش های تجزیه و تحلیل قدردانی کرد. قابل توجه است که هزینه های انتخاباتی هیلاری کلینتون دو برابر رقیب او بود:
داده ها: Pew Research
مشکلات اصلی استفاده از داده های بزرگ
علاوه بر هزینه بالا، یکی از عوامل اصلی مانع از معرفی کلان داده ها در حوزه های مختلف، مشکل انتخاب داده های مورد پردازش است: یعنی تعیین اینکه کدام داده ها باید استخراج، ذخیره و تجزیه و تحلیل شوند و کدام یک. نباید در نظر گرفته شود.
یکی دیگر از مشکلات کلان داده، اخلاقی است. به عبارت دیگر، یک سوال طبیعی مطرح می شود: آیا می توان چنین جمع آوری داده ها را (به ویژه بدون اطلاع کاربر) نقض حریم خصوصی تلقی کرد؟
بر کسی پوشیده نیست که اطلاعات ذخیره شده در موتورهای جستجوی گوگل و یاندکس به غول های فناوری اطلاعات اجازه می دهد تا به طور مداوم خدمات خود را بهبود بخشند، آنها را کاربر پسند کنند و برنامه های کاربردی تعاملی جدیدی ایجاد کنند. برای انجام این کار، موتورهای جستجو داده‌های کاربر را در مورد فعالیت کاربر در اینترنت، آدرس‌های IP، داده‌های موقعیت جغرافیایی، علایق و خریدهای آنلاین، داده‌های شخصی، پیام‌های ایمیل و غیره جمع‌آوری می‌کنند. همه اینها به نمایش تبلیغات متنی مطابق با رفتار کاربر در اینترنت اجازه می‌دهد. در عین حال، معمولاً رضایت کاربران برای این مورد درخواست نمی شود و انتخاب اینکه چه اطلاعاتی در مورد خود ارائه دهند داده نمی شود. یعنی به طور پیش فرض همه چیز در Big Data جمع آوری می شود که سپس در سرورهای داده سایت ها ذخیره می شود.
موضوع مهم بعدی در رابطه با امنیت ذخیره سازی و استفاده از داده ها از این پس می آید. به عنوان مثال، آیا یک پلتفرم تحلیلی که مصرف کنندگان به طور خودکار داده های خود را با آن به اشتراک می گذارند، امن است؟ علاوه بر این، بسیاری از نمایندگان کسب‌وکار به کمبود تحلیلگران و بازاریاب‌های ماهر اشاره می‌کنند که قادرند به طور موثر حجم زیادی از داده‌ها را مدیریت کنند و با کمک آنها مشکلات تجاری خاص را حل کنند.
علیرغم تمام مشکلاتی که در پیاده سازی Big Data وجود دارد، این کسب و کار قصد دارد سرمایه گذاری در این زمینه را افزایش دهد. طبق یک مطالعه گارتنر، رهبران صنایع سرمایه‌گذاری بر روی داده‌های بزرگ رسانه‌ها، خرده‌فروشی‌ها، مخابرات، بانکداری و شرکت‌های خدماتی هستند.
چشم انداز تعامل بین فناوری های بلاک چین و داده های بزرگ
ادغام با داده های بزرگ اثر هم افزایی دارد و طیف گسترده ای از فرصت های جدید را برای مشاغل باز می کند، از جمله اجازه می دهد:
- دسترسی به اطلاعات دقیق در مورد ترجیحات مصرف کننده، که بر اساس آن می توانید پروفایل های تحلیلی دقیق برای تامین کنندگان، محصولات و اجزای محصول خاص بسازید.
- ادغام داده های دقیق تراکنش ها و آمار مصرف گروه های خاصی از کالاها توسط دسته های مختلف کاربران؛
- به دست آوردن داده های تحلیلی دقیق در مورد زنجیره های تامین و مصرف، کنترل تلفات محصول در حین حمل و نقل (به عنوان مثال، کاهش وزن به دلیل انقباض و تبخیر انواع خاصی از کالاها).
- مقابله با محصولات تقلبی، افزایش اثربخشی مبارزه با پولشویی و کلاهبرداری و غیره.
دسترسی به داده‌های دقیق در مورد استفاده و مصرف کالاها تا حد زیادی پتانسیل فناوری Big Data را برای بهینه‌سازی فرآیندهای تجاری کلیدی، کاهش ریسک‌های نظارتی و ایجاد فرصت‌های جدیدی برای کسب درآمد و ایجاد محصولاتی که به بهترین وجه ترجیحات مصرف‌کننده را برآورده می‌کنند، باز می‌کند.
همانطور که می دانید، نمایندگان بزرگترین موسسات مالی در حال حاضر علاقه زیادی به فناوری بلاک چین از جمله و غیره نشان می دهند. به گفته اولیور باسمن، مدیر فناوری اطلاعات هلدینگ مالی سوئیس UBS، فناوری بلاک چین می تواند زمان پردازش تراکنش را از چند روز به چند روز کاهش دهد. دقیقه».
پتانسیل تجزیه و تحلیل از بلاک چین با استفاده از فناوری Big Data بسیار زیاد است. فناوری رجیستری توزیع شده یکپارچگی اطلاعات و همچنین ذخیره سازی قابل اعتماد و شفاف کل تاریخچه تراکنش را تضمین می کند. داده های بزرگ به نوبه خود ابزارهای جدیدی را برای تجزیه و تحلیل موثر، پیش بینی، مدل سازی اقتصادی فراهم می کند و بر این اساس، فرصت های جدیدی را برای تصمیم گیری های مدیریتی آگاهانه تر باز می کند.
پشت سر هم بلاک چین و کلان داده را می توان با موفقیت در مراقبت های بهداشتی مورد استفاده قرار داد. همانطور که می دانید اطلاعات ناقص و ناقص در مورد سلامت بیمار در مواقعی خطر تشخیص نادرست و درمان نادرست تجویز شده را افزایش می دهد. داده های حیاتی در مورد سلامت مشتریان موسسات پزشکی باید تا حد امکان امن باشد، دارای ویژگی های تغییر ناپذیری باشد، قابل تایید باشد و در معرض هیچ گونه دستکاری قرار نگیرد.
اطلاعات موجود در بلاک چین تمام الزامات فوق را برآورده می کند و می تواند به عنوان داده منبع با کیفیت بالا و قابل اعتماد برای تجزیه و تحلیل عمیق با استفاده از فناوری های جدید Big Data عمل کند. علاوه بر این، با کمک بلاک چین، موسسات پزشکی می توانند داده های قابل اعتماد را با شرکت های بیمه، مقامات قضایی، کارفرمایان، موسسات علمی و سایر سازمان هایی که به اطلاعات پزشکی نیاز دارند مبادله کنند.
کلان داده و امنیت اطلاعات
در یک مفهوم گسترده، امنیت اطلاعات حفاظت از اطلاعات و زیرساخت های پشتیبانی از اثرات منفی تصادفی یا عمدی طبیعی یا مصنوعی است.
در حوزه امنیت اطلاعات، داده های بزرگ با چالش های زیر مواجه است:
- مشکلات حفاظت از داده ها و تضمین یکپارچگی آنها؛
- خطر دخالت خارجی و نشت اطلاعات محرمانه؛
- ذخیره سازی نامناسب اطلاعات محرمانه؛
- خطر از دست دادن اطلاعات، به عنوان مثال، به دلیل اقدامات مخرب شخصی؛
- خطر سوء استفاده از داده های شخصی توسط اشخاص ثالث و غیره
یکی از مشکلات اصلی داده های بزرگ که بلاک چین برای حل آن طراحی شده است در حوزه امنیت اطلاعات نهفته است. فن‌آوری دفتر کل توزیع شده با اطمینان از رعایت تمام اصول اولیه خود می‌تواند یکپارچگی و قابلیت اطمینان داده‌ها را تضمین کند و به دلیل عدم وجود یک نقطه شکست، بلاک چین سیستم‌های اطلاعاتی را پایدار می‌کند. فناوری دفتر کل توزیع شده می تواند به حل مشکل اعتماد به داده ها و همچنین امکان تبادل جهانی داده ها کمک کند.
اطلاعات یک دارایی ارزشمند است، به این معنی که جنبه های اصلی امنیت اطلاعات باید در خط مقدم باشد. برای بقای خود در رقابت، شرکت‌ها باید همگام با زمان باشند، به این معنی که نمی‌توانند فرصت‌ها و مزایای بالقوه‌ای را که فناوری بلاک چین و ابزارهای کلان داده در خود دارد نادیده بگیرند.
فقط تنبل در مورد داده های بزرگ صحبت نمی کند، اما به سختی می فهمد که چیست و چگونه کار می کند. بیایید با ساده ترین - اصطلاحات شروع کنیم. به زبان روسی، Big data ابزارها، رویکردها و روش‌های مختلفی برای پردازش داده‌های ساختاریافته و بدون ساختار به منظور استفاده از آنها برای وظایف و اهداف خاص است.
داده های بدون ساختار اطلاعاتی هستند که ساختار از پیش تعیین شده ای ندارند یا به ترتیب خاصی سازماندهی نشده اند.
اصطلاح "داده های بزرگ" توسط کلیفورد لینچ، سردبیر نیچر در سال 2008 در یک شماره ویژه درباره رشد انفجاری حجم اطلاعات جهان ابداع شد. اگرچه، البته، خود داده های بزرگ قبلا وجود داشته است. به گفته کارشناسان، اکثریت جریان داده های بیش از 100 گیگابایت در روز متعلق به دسته داده های بزرگ است.
همچنین بخوانید:
امروزه، این اصطلاح ساده تنها دو کلمه را پنهان می کند - ذخیره سازی و پردازش داده ها.
داده های بزرگ - به عبارت ساده
در دنیای مدرن، داده های بزرگ یک پدیده اجتماعی-اقتصادی است که با این واقعیت همراه است که فرصت های فناوری جدید برای تجزیه و تحلیل حجم عظیمی از داده ها ظاهر شده است.
همچنین بخوانید:
برای سهولت درک، سوپرمارکتی را تصور کنید که در آن همه کالاها به ترتیبی که شما به آن عادت کرده اید نیست. نان در کنار میوه، رب گوجه فرنگی در کنار پیتزای یخ زده، مایع فندکی در کنار قفسه ای از تامپون که آووکادو، توفو یا قارچ شیتاکه دارد و غیره. بیگ دیتا همه چیز را در جای خود قرار می دهد و به شما کمک می کند شیر آجیل را پیدا کنید، از هزینه و تاریخ انقضا مطلع شوید و همچنین چه کسی به جز شما چنین شیری را می خرد و چگونه بهتر از شیر گاو است.
کنت کوکیر: داده های بزرگ داده های بهتری هستند
فناوری داده های بزرگ
حجم عظیمی از داده‌ها پردازش می‌شوند تا فرد بتواند نتایج خاص و لازم را برای کاربرد مؤثر بیشتر آنها به دست آورد.
همچنین بخوانید:
در واقع، داده های بزرگ یک حل کننده مشکل و جایگزینی برای سیستم های مدیریت داده سنتی است.
تکنیک ها و روش های تجزیه و تحلیل قابل استفاده برای داده های بزرگ طبق مک کینزی:
جمع سپاری؛
ترکیب و یکپارچه سازی داده ها؛
فراگیری ماشین؛
شبکه های عصبی مصنوعی؛
تشخیص الگو؛
تجزیه و تحلیل پیش بینی کننده؛
مدل سازی شبیه سازی؛
تحلیل فضایی؛
تحلیل آماری؛
- بصری سازی داده های تحلیلی
مقیاس پذیری افقی که پردازش داده ها را امکان پذیر می کند، اصل اساسی پردازش کلان داده است. داده ها در گره های محاسباتی توزیع می شوند و پردازش بدون کاهش عملکرد انجام می شود. مک‌کینزی همچنین سیستم‌های مدیریت رابطه‌ای و هوش تجاری را در زمینه کاربردی گنجاند.
فن آوری:
- NoSQL;
- MapReduce;
- هادوپ
- راه حل های سخت افزاری
همچنین بخوانید:
برای کلان داده ها، مشخصه های تعریف کننده سنتی وجود دارد که توسط گروه متا در سال 2001 توسعه یافته است، که به نام " سه V»:
- جلد- مقدار حجم فیزیکی
- سرعت- نرخ رشد و نیاز به پردازش سریع داده ها برای به دست آوردن نتایج.
- تنوع- توانایی پردازش همزمان انواع مختلف داده ها.
داده های بزرگ: کاربرد و فرصت ها
حجم اطلاعات دیجیتالی ناهمگن و به سرعت دریافتی را نمی توان با ابزارهای سنتی پردازش کرد. تجزیه و تحلیل داده ها به خودی خود به شما امکان می دهد الگوهای مشخص و نامحسوسی را ببینید که شخص نمی تواند آنها را ببیند. این به ما امکان می دهد تا تمام زمینه های زندگی خود را - از مدیریت دولتی گرفته تا تولید و مخابرات - بهینه کنیم.
به عنوان مثال، چند سال پیش برخی از شرکت ها از مشتریان خود در برابر کلاهبرداری محافظت کردند و مراقبت از پول مشتری مراقبت از پول خود است.
سوزان اتلیگر: داده های بزرگ چطور؟
راه حل های مبتنی بر داده های بزرگ: Sberbank، Beeline و سایر شرکت ها
Beeline اطلاعات زیادی در مورد مشترکین دارد که آنها نه تنها برای کار با آنها، بلکه برای ایجاد محصولات تحلیلی مانند مشاوره خارجی یا تجزیه و تحلیل IPTV از آنها استفاده می کنند. Beeline پایگاه داده را تقسیم بندی کرد و با استفاده از HDFS و Apache Spark برای ذخیره سازی و Rapidminer و Python برای پردازش داده ها، از مشتریان در برابر کلاهبرداری پول و ویروس ها محافظت کرد.
همچنین بخوانید:
یا Sberbank را با کیس قدیمی خود به نام AS SAFI به یاد بیاورید. این سیستمی است که عکس ها را برای شناسایی مشتریان بانک و جلوگیری از کلاهبرداری تجزیه و تحلیل می کند. این سیستم در سال 2014 معرفی شد، این سیستم مبتنی بر مقایسه عکس‌های پایگاه داده است که از وب‌کم‌های روی قفسه‌ها به لطف دید کامپیوتری به آنجا می‌رسند. اساس سیستم یک پلت فرم بیومتریک است. با تشکر از این، موارد کلاهبرداری 10 برابر کاهش یافت.
کلان داده در جهان
تا سال 2020، طبق پیش بینی ها، بشریت 40-44 زتابایت اطلاعات تشکیل خواهد داد. طبق گزارش The Data Age 2025 که توسط تحلیلگران IDC تهیه شده است، تا سال 2025 رشد 10 برابری خواهد داشت. این گزارش اشاره می‌کند که بیشتر داده‌ها توسط خود کسب‌وکارها تولید می‌شوند، نه مصرف‌کنندگان عادی.
تحلیلگران این مطالعه بر این باورند که داده ها به یک دارایی حیاتی تبدیل خواهند شد و امنیت - پایه ای حیاتی در زندگی است. همچنین، نویسندگان اثر مطمئن هستند که این فناوری چشم انداز اقتصادی را تغییر خواهد داد و کاربر معمولی حدود 4800 بار در روز با دستگاه های متصل ارتباط برقرار می کند.
بازار داده های بزرگ در روسیه
به طور معمول، کلان داده از سه منبع به دست می آید:
- اینترنت (شبکه های اجتماعی، انجمن ها، وبلاگ ها، رسانه ها و سایت های دیگر)؛
- آرشیو اسناد شرکتی؛
- نشانه های سنسورها، ابزارها و سایر دستگاه ها.
کلان داده در بانک ها
علاوه بر سیستم توضیح داده شده در بالا، در استراتژی Sberbank برای 2014-2018. در مورد اهمیت تجزیه و تحلیل مجموعه داده های فوق العاده برای خدمات مشتری با کیفیت، مدیریت ریسک و بهینه سازی هزینه صحبت می کند. این بانک اکنون از داده های بزرگ برای مدیریت ریسک ها، مبارزه با تقلب، تقسیم بندی و ارزیابی اعتبار مشتریان، مدیریت پرسنل، پیش بینی صف ها در شعب، محاسبه پاداش برای کارکنان و سایر وظایف استفاده می کند.
VTB24 از داده های بزرگ برای تقسیم بندی و مدیریت ریزش مشتری، تولید صورت های مالی و تجزیه و تحلیل بازخورد در شبکه های اجتماعی و انجمن ها استفاده می کند. برای این کار از Teradata، SAS Visual Analytics و SAS Marketing Optimizer استفاده می کند.
"اطلاعات بزرگ"- موضوعی که به طور فعال توسط شرکت های فناوری مورد بحث قرار می گیرد. برخی از آنها از داده های بزرگ ناامید شده اند، در حالی که برخی دیگر، برعکس، تا حد امکان از آن برای تجارت استفاده می کنند... . امیدواریم اطلاعات جالب و مفید باشد.
BIG DATA چیست؟
ویژگی های کلیدی
کلان داده در حال حاضر یکی از محرک های کلیدی توسعه فناوری اطلاعات است. این جهت که برای تجارت روسیه نسبتاً جدید است، در کشورهای غربی گسترده شده است. این امر به این دلیل است که در عصر فناوری اطلاعات، به ویژه پس از رونق شبکه های اجتماعی، حجم قابل توجهی از اطلاعات برای هر کاربر اینترنتی شروع به انباشته شدن کرد که در نهایت منجر به جهت گیری Big Data شد.اصطلاح Big Data باعث بحث و جدل های زیادی می شود، بسیاری معتقدند که این فقط به معنای مقدار اطلاعات انباشته شده است، اما جنبه فنی را فراموش نکنید، این حوزه شامل فناوری های ذخیره سازی، محاسبات و خدمات می شود.
لازم به ذکر است که این حوزه شامل پردازش حجم زیادی از اطلاعات است که پردازش آن با روش های سنتی مشکل است*.
در زیر جدول مقایسه پایگاه داده سنتی و کلان داده است. 
حوزه داده های بزرگ با ویژگی های زیر مشخص می شود:
جلد
- حجم، پایگاه داده انباشته شده حجم زیادی از اطلاعات است که پردازش و ذخیره آن به روش های سنتی پر زحمت است، آنها به یک رویکرد جدید و ابزارهای بهبود یافته نیاز دارند.
سرعت
- سرعت، این ویژگی هم سرعت فزاینده انباشت داده ها را نشان می دهد (90 درصد اطلاعات در 2 سال گذشته جمع آوری شده است) و هم سرعت پردازش داده ها؛ اخیراً فناوری های پردازش داده های بلادرنگ تقاضای بیشتری پیدا کرده اند.
تنوع
- تنوع، یعنی امکان پردازش همزمان اطلاعات ساختاریافته و بدون ساختار با فرمت های مختلف. تفاوت اصلی بین اطلاعات ساختاریافته این است که می توان آنها را طبقه بندی کرد. نمونه ای از این اطلاعات، اطلاعات مربوط به معاملات مشتری است.
اطلاعات بدون ساختار شامل ویدئو، فایل های صوتی، متن رایگان، اطلاعاتی است که از شبکه های اجتماعی می آید. تا به امروز 80 درصد اطلاعات در گروه بدون ساختار قرار می گیرد. این اطلاعات به تجزیه و تحلیل پیچیده نیاز دارد تا برای پردازش بیشتر مفید باشد.
صحت
- قابلیت اطمینان داده ها، کاربران شروع به اهمیت دادن به قابلیت اطمینان داده های موجود کردند. بنابراین شرکت‌های اینترنتی در تفکیک اقدامات انجام شده توسط یک ربات و یک شخص در وب‌سایت شرکت دچار مشکل می‌شوند که در نهایت منجر به دشواری تجزیه و تحلیل داده‌ها می‌شود.
ارزش
- ارزش اطلاعات انباشته شده Big Data باید برای شرکت مفید باشد و ارزشی برای آن به ارمغان بیاورد. به عنوان مثال، به بهبود فرآیندهای تجاری، گزارش دهی یا بهینه سازی هزینه کمک کنید.
در صورت رعایت 5 شرط بالا، حجم انباشته داده ها را می توان به عنوان بزرگ طبقه بندی کرد.
کاربردهای داده های بزرگ
دامنه فناوری های Big Data گسترده است. بنابراین، با کمک داده های بزرگ، می توانید در مورد ترجیحات مشتری، اثربخشی کمپین های بازاریابی یا تجزیه و تحلیل ریسک اطلاعات کسب کنید. در زیر نتایج یک نظرسنجی موسسه IBM در مورد جهت گیری استفاده از داده های بزرگ در شرکت ها آورده شده است.
همانطور که از نمودار مشخص است، اکثر شرکت ها از داده های بزرگ در زمینه خدمات به مشتریان استفاده می کنند، دومین جهت محبوب، بهره وری عملیاتی است، در زمینه مدیریت ریسک، داده های بزرگ در حال حاضر کمتر رایج است.
همچنین لازم به ذکر است که Big Data یکی از سریع ترین حوزه های فناوری اطلاعات در حال رشد است، طبق آمار، مجموع داده های دریافتی و ذخیره شده هر 1.2 سال دو برابر می شود.
بین سال‌های 2012 تا 2014، میزان داده‌های ارسالی ماهانه توسط شبکه‌های تلفن همراه 81 درصد افزایش یافته است. سیسکو تخمین می زند که حجم ترافیک موبایل در سال 2014 2.5 اگزابایت (واحد اندازه گیری مقدار اطلاعات برابر با 10 ^ 18 بایت استاندارد) در ماه بوده و در سال 2019 معادل 24.3 اگزابایت خواهد بود.
بنابراین، Big Data حتی با وجود سن نسبتاً جوان آن، در حال حاضر یک حوزه فناوری جا افتاده است که در بسیاری از زمینه‌های کسب و کار گسترده شده است و نقش مهمی در توسعه شرکت‌ها ایفا می‌کند.
فناوری های کلان داده
فن آوری های مورد استفاده برای جمع آوری و پردازش داده های بزرگ را می توان به 3 گروه تقسیم کرد:- نرم افزار؛
- تجهیزات؛
- سرویس.
رایج ترین رویکردهای پردازش داده (PD) عبارتند از:
SQL
- یک زبان پرس و جو ساختار یافته که به شما امکان می دهد با پایگاه های داده کار کنید. با استفاده از SQL می توانید داده ها را ایجاد و اصلاح کنید و آرایه داده ها توسط سیستم مدیریت پایگاه داده مناسب مدیریت می شود.
NoSQL
- این اصطلاح مخفف Not Only SQL (نه فقط SQL) است. این شامل تعدادی رویکرد با هدف پیاده سازی پایگاه داده است که با مدل های مورد استفاده در DBMS های سنتی و رابطه ای متفاوت است. استفاده از آنها با ساختار داده دائماً در حال تغییر است. به عنوان مثال برای جمع آوری و ذخیره اطلاعات در شبکه های اجتماعی.
MapReduce
- مدل توزیع محاسباتی برای محاسبات موازی در مجموعه داده های بسیار بزرگ (پتابایت* یا بیشتر) استفاده می شود. در رابط برنامه نویسی، داده ها برای پردازش به برنامه منتقل نمی شوند، بلکه برنامه به داده ها منتقل می شود. بنابراین، پرس و جو یک برنامه جداگانه است. اصل عملیات پردازش متوالی داده ها با دو روش Map و Reduce است. Map داده های اولیه را انتخاب می کند، Reduce آنها را جمع می کند.
هادوپ
- برای پیاده‌سازی مکانیسم‌های جستجو و زمینه‌ای برای سایت‌های با بارگذاری بالا - فیس‌بوک، eBay، آمازون و غیره استفاده می‌شود. یک ویژگی متمایز این است که سیستم از شکست هر یک از گره‌های خوشه محافظت می‌شود، زیرا هر بلوک حداقل یک کپی از داده‌ها دارد. در گره دیگر
SAP HANA
یک پلت فرم NewSQL با کارایی بالا برای ذخیره سازی و پردازش داده ها است. پردازش درخواست با سرعت بالا را ارائه می دهد. تمایز دیگر این است که SAP HANA چشم انداز سیستم را با کاهش هزینه پشتیبانی از سیستم های تحلیلی ساده می کند.
تجهیزات تکنولوژیکی شامل:
- سرورها؛
- تجهیزات زیرساختی
تجهیزات زیرساخت شامل ابزارهای شتاب دهنده پلت فرم، منابع تغذیه بدون وقفه، مجموعه های کنسول سرور و غیره است.
سرویس.
خدمات شامل معماری سیستم پایگاه داده، توسعه و بهینه سازی زیرساخت و امنیت ذخیره سازی داده ها است.
نرم‌افزار، سخت‌افزار و خدمات با هم ترکیب می‌شوند تا پلتفرم‌های سرتاسری برای ذخیره‌سازی و تجزیه و تحلیل داده‌ها را تشکیل دهند. شرکت هایی مانند مایکروسافت، اچ پی، EMC خدماتی را برای توسعه، استقرار و مدیریت راه حل های Big Data ارائه می دهند.
کاربرد در صنایع
داده های بزرگ در بسیاری از بخش های تجاری گسترش یافته است. آنها در مراقبت های بهداشتی، مخابرات، تجارت، تدارکات، شرکت های مالی و همچنین در مدیریت دولتی استفاده می شوند.در زیر چند نمونه از کاربردهای کلان داده در برخی از صنایع آورده شده است.
خرده فروشی
پایگاه‌های اطلاعاتی فروشگاه‌های خرده‌فروشی می‌توانند اطلاعات زیادی در مورد مشتریان، سیستم مدیریت موجودی، عرضه محصولات قابل عرضه در بازار جمع‌آوری کنند. این اطلاعات می تواند در تمام زمینه های فعالیت فروشگاه مفید باشد.
بنابراین با کمک اطلاعات انباشته شده می توانید عرضه کالاها، نگهداری و فروش آنها را مدیریت کنید. بر اساس اطلاعات انباشته شده می توان تقاضا و عرضه کالا را پیش بینی کرد. همچنین سیستم پردازش و تجزیه و تحلیل داده ها می تواند سایر مشکلات خرده فروش را حل کند، مثلاً هزینه ها را بهینه کند یا گزارش تهیه کند.
خدمات مالی
Big Data تجزیه و تحلیل اعتبار وام گیرنده را ممکن می کند و همچنین برای امتیازدهی اعتبار* و پذیره نویسی** مفید است. معرفی فناوری های Big Data زمان بررسی درخواست های وام را کاهش می دهد. با کمک بیگ دیتا می توان عملیات یک مشتری خاص را تحلیل کرد و خدمات بانکی مناسب او را ارائه داد.
مخابرات
در صنعت ارتباطات از راه دور، Big Data به طور گسترده توسط اپراتورهای تلفن همراه استفاده می شود.
اپراتورهای تلفن همراه همراه با موسسات مالی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند.
علاوه بر استفاده از داده های بزرگ برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی تقلبی استفاده می شود.
معدن و صنعت نفت
داده های بزرگ هم در استخراج مواد معدنی و هم در پردازش و بازاریابی آنها استفاده می شود. بر اساس اطلاعات دریافتی، شرکت ها می توانند در مورد کارایی توسعه میدان نتیجه گیری کنند، برنامه تعمیرات اساسی و وضعیت تجهیزات را پیگیری کنند و تقاضا و قیمت محصول را پیش بینی کنند.
بر اساس یک نظرسنجی توسط Tech Pro Research، داده های بزرگ در صنعت ارتباطات راه دور و همچنین در شرکت های مهندسی، فناوری اطلاعات، مالی و دولتی گسترده ترین است. بر اساس نتایج این نظرسنجی، داده های بزرگ در آموزش و مراقبت های بهداشتی از محبوبیت کمتری برخوردار است. نتایج نظرسنجی در زیر ارائه شده است:
نمونه هایی از استفاده از داده های بزرگ در شرکت ها
امروزه Big Data به طور فعال در شرکت های خارجی پیاده سازی می شود. شرکت‌هایی مانند نزدک، فیس‌بوک، گوگل، آی‌بی‌ام، ویزا، مستر کارت، بانک آمریکا، اچ‌اس‌بی‌سی، AT&T، کوکا کولا، استارباکس و نتفلیکس در حال حاضر از منابع Big Data استفاده می‌کنند.حوزه های کاربرد اطلاعات پردازش شده متنوع است و بسته به صنعت و وظایفی که باید انجام شود متفاوت است.
در ادامه، نمونه هایی از کاربرد فناوری های کلان داده در عمل ارائه خواهد شد.
HSBC از فناوری های Big Data برای مقابله با تراکنش های جعلی با کارت های پلاستیکی استفاده می کند. این شرکت با کمک بیگ دیتا، کارایی سرویس امنیتی را 3 برابر و تشخیص حوادث کلاهبرداری را 10 برابر افزایش داد. تاثیر اقتصادی معرفی این فناوری ها از 10 میلیون دلار آمریکا فراتر رفت.
ضد تقلب* ویزا به شما امکان می دهد تا به طور خودکار معاملات با ماهیت جعلی را محاسبه کنید، این سیستم در حال حاضر به جلوگیری از پرداخت های جعلی به مبلغ 2 میلیارد دلار در سال کمک می کند.
شرکت سوپر کامپیوتر واتسون IBM در زمان واقعی جریان داده ها در مورد معاملات پول را تجزیه و تحلیل می کند. بر اساس گزارش IBM، واتسون تعداد تراکنش‌های جعلی کشف‌شده را 15 درصد افزایش داد، موارد مثبت کاذب سیستم را تا 50 درصد کاهش داد و میزان وجوه محافظت شده از تراکنش‌های این ماهیت را 60 درصد افزایش داد.
پراکتر اند گمبل
آنها با کمک بیگ دیتا محصولات جدید طراحی می کنند و کمپین های بازاریابی جهانی ایجاد می کنند. P&G دفاتر اختصاصی Business Spheres را ایجاد کرده است که در آن می توانید اطلاعات را در زمان واقعی مشاهده کنید.
بنابراین، مدیریت شرکت این فرصت را دارد که فوراً فرضیه ها را آزمایش کند و آزمایش هایی را انجام دهد. P&G معتقد است که داده های بزرگ به پیش بینی عملکرد شرکت کمک می کند.
خرده فروش لوازم اداری officemax آنها با کمک فناوری های Big Data رفتار مشتریان را تجزیه و تحلیل می کنند. تجزیه و تحلیل کلان داده اجازه می دهد تا درآمد B2B را تا 13 درصد افزایش دهد، هزینه ها را تا 400000 دلار در سال کاهش دهد.
مطابق با کرم ابریشم ، توزیع کنندگان آن سالانه 9 تا 18 میلیارد دلار درآمد را از دست می دهند فقط به این دلیل که فناوری Big Data را پیاده سازی نمی کنند. Big Data به مشتریان این امکان را می دهد تا با تجزیه و تحلیل اطلاعات از حسگرهای نصب شده روی ماشین ها، ناوگان خود را به طور موثرتری مدیریت کنند.
تا به امروز، امکان تجزیه و تحلیل وضعیت اجزای کلیدی، درجه سایش، مدیریت هزینه های سوخت و نگهداری وجود دارد.
گروه لوکسوتیکا تولید کننده عینک های ورزشی با برندهایی مانند Ray-Ban، Persol و Oakley است. این شرکت از فناوری های Big Data برای تجزیه و تحلیل رفتار مشتریان بالقوه و بازاریابی پیامکی «هوشمند» استفاده می کند. در نتیجه، گروه Big Data Luxottica بیش از 100 میلیون مشتری با ارزش را شناسایی کرد و اثربخشی کمپین بازاریابی را 10٪ افزایش داد.
با کمک Yandex Data Factory، توسعه دهندگان بازی دنیای تانک ها تحلیل رفتار بازیکنان فناوری های Big Data امکان تجزیه و تحلیل رفتار 100 هزار بازیکن World of Tanks را با استفاده از بیش از 100 پارامتر (اطلاعات در مورد خرید، بازی، تجربه و غیره) فراهم می کند. در نتیجه تجزیه و تحلیل، پیش بینی ریزش کاربر به دست آمد. این اطلاعات به شما امکان می دهد مراقبت از کاربر را کاهش دهید و به طور هدفمند با شرکت کنندگان در بازی کار کنید. مدل توسعه‌یافته ۲۰ تا ۳۰ درصد کارآمدتر از ابزارهای استاندارد آنالیز صنعت بازی است.
وزارت کار آلمان از داده های بزرگ برای تجزیه و تحلیل ادعاهای بیکاری دریافتی استفاده می کند. بنابراین، پس از تجزیه و تحلیل اطلاعات، مشخص شد که 20 درصد از مزایای بدون استحقاق پرداخت شده است. وزارت کار با کمک بیگ دیتا هزینه ها را 10 میلیارد یورو کاهش داده است.
بیمارستان کودکان تورنتو پروژه پروژه آرتمیس را اجرا کرد. این یک سیستم اطلاعاتی است که داده های مربوط به نوزادان را در زمان واقعی جمع آوری و تجزیه و تحلیل می کند. این سیستم در هر ثانیه 1260 شاخص از وضعیت هر کودک را کنترل می کند. پروژه آرتمیس به شما امکان می دهد وضعیت ناپایدار کودک را پیش بینی کنید و پیشگیری از بیماری ها را در کودکان آغاز کنید.
مروری بر بازار جهانی داده های بزرگ
وضعیت فعلی بازار جهانی
در سال 2014، داده های بزرگ، به گفته Data Collective، به یکی از حوزه های اولویت برای سرمایه گذاری در صنعت سرمایه گذاری تبدیل شده است. به گزارش پورتال اطلاعاتی Computerra، این به این دلیل است که تحولات در این زمینه شروع به نتایج قابل توجهی برای کاربران خود کرده است. طی سال گذشته تعداد شرکت‌های دارای پروژه‌های اجرا شده در حوزه مدیریت کلان داده‌ها 125 درصد افزایش یافته است، حجم بازار نسبت به سال 2013 رشد 45 درصدی داشته است.
طبق ویکی‌بون، بیشترین درآمد بازار داده‌های بزرگ در سال 2014 از خدمات تشکیل شده است که سهم آنها معادل 40 درصد از کل درآمد بوده است (نمودار زیر را ببینید):
اگر داده های بزرگ را برای سال 2014 بر اساس زیرگروه ها در نظر بگیریم، بازار به این صورت خواهد بود:
بر اساس Wikibon، اپلیکیشن‌ها و تجزیه و تحلیل‌ها 36 درصد از درآمد کلان داده در سال 2014 را از برنامه‌های Big Data و تجزیه و تحلیل، 17 درصد از سخت‌افزار محاسباتی و 15 درصد از فناوری ذخیره‌سازی را به خود اختصاص دادند. کمترین درآمد حاصل از فناوری NoSQL، تجهیزات زیرساختی و ارائه شبکه ای از شرکت ها (شبکه های شرکتی) بوده است.
محبوب ترین فناوری های Big Data پلتفرم های درون حافظه SAP، HANA، Oracle و غیره هستند. نتایج نظرسنجی T-Systems نشان داد که 30 درصد از شرکت های مورد بررسی آن ها را انتخاب کرده اند. دومین محبوب ترین پلتفرم های NoSQL (18٪ از کاربران) بودند، شرکت ها همچنین از پلتفرم های تحلیلی Splunk و Dell استفاده کردند، آنها توسط 15٪ از شرکت ها انتخاب شدند. طبق نتایج این نظرسنجی، کمترین کاربرد برای حل مشکلات Big Data، محصولات Hadoop/MapReduce بود.
بر اساس نظرسنجی Accenture، در بیش از 50 درصد از شرکت‌هایی که از فناوری‌های Big Data استفاده می‌کنند، هزینه‌های Big Data بین 21 تا 30 درصد متغیر است.
بر اساس تحلیل Accenture زیر، 76 درصد از شرکت ها معتقدند که این هزینه ها در سال 2015 افزایش می یابد و 24 درصد از شرکت ها بودجه خود را برای فناوری های Big Data تغییر نمی دهند. این نشان می دهد که در این شرکت ها Big Data در حال حاضر به یک منطقه تاسیس شده IT تبدیل شده است که به بخشی جدایی ناپذیر از توسعه شرکت تبدیل شده است.
نتایج نظرسنجی واحد اطلاعات اکونومیست تأثیر مثبت اجرای کلان داده را تأیید می کند. 46% از شرکت‌ها ادعا می‌کنند که با استفاده از فناوری‌های Big Data خدمات مشتریان را بیش از 10% بهبود داده‌اند، 33% از شرکت‌ها موجودی را بهینه کرده‌اند و بهره‌وری دارایی‌های کلیدی را بهبود بخشیده‌اند، 32% از شرکت‌ها فرآیندهای برنامه‌ریزی را بهبود بخشیده‌اند.
کلان داده در سراسر جهان
تا به امروز، فناوری‌های Big Data اغلب در شرکت‌های آمریکایی پیاده‌سازی می‌شوند، اما اکنون دیگر کشورهای جهان علاقه خود را نشان داده‌اند. در سال 2014، بر اساس IDC، کشورهای اروپا، خاورمیانه، آسیا (به استثنای ژاپن) و آفریقا 45 درصد از بازار نرم افزار، خدمات و تجهیزات Big Data را به خود اختصاص دادند.همچنین، طبق نظرسنجی CIO، شرکت های منطقه آسیا و اقیانوسیه به سرعت در حال تسلط بر راه حل های جدید در زمینه تجزیه و تحلیل داده های بزرگ، ذخیره سازی ایمن و فناوری های ابری هستند. آمریکای لاتین از نظر تعداد سرمایه گذاری در توسعه فناوری های داده های بزرگ، بالاتر از اروپا و ایالات متحده در رتبه دوم قرار دارد.
در ادامه، توضیحات و پیش‌بینی‌هایی از توسعه بازار کلان داده در چندین کشور ارائه خواهد شد.
چین
حجم اطلاعات در چین 909 اگزابایت است که معادل 10 درصد کل اطلاعات جهان است، تا سال 2020 حجم اطلاعات به 8060 اگزابایت خواهد رسید و سهم اطلاعات در آمارهای جهانی نیز افزایش خواهد یافت. 5 سال برابر با 18 درصد خواهد بود. رشد بالقوه داده های بزرگ چین یکی از سریع ترین پویایی های در حال رشد را دارد.
برزیل
تا پایان سال 2014، برزیل 212 اگزابایت اطلاعات جمع آوری کرده است که 3 درصد از حجم جهانی را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1600 اگزابایت خواهد رسید که 4 درصد از اطلاعات جهان را تشکیل می دهد.
هند
بر اساس گزارش EMC، میزان داده های انباشته شده در هند در سال 2014، 326 اگزابایت است که 5 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 2800 اگزابایت خواهد رسید که 6 درصد از اطلاعات جهان را تشکیل می دهد.
ژاپن
مقدار داده های انباشته شده در ژاپن در پایان سال 2014، 495 اگزابایت است که 8 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020، حجم اطلاعات به 2200 اگزابایت افزایش می یابد، اما سهم بازار ژاپن کاهش می یابد و به 5 درصد از کل اطلاعات در کل جهان می رسد.
بدین ترتیب حجم بازار ژاپن بیش از 30 درصد کاهش خواهد یافت.
آلمان
بر اساس گزارش EMC، میزان داده های انباشته شده در آلمان در سال 2014، 230 اگزابایت است که 4 درصد از کل اطلاعات موجود در جهان را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1100 اگزابایت و 2 درصد خواهد رسید.
در بازار آلمان، طبق پیش‌بینی گروه اکسپرتون، سهم زیادی از درآمد توسط بخش خدمات ایجاد می‌شود که سهم آن در سال 2015 54 درصد خواهد بود و در سال 2019 به 59 درصد، سهم نرم‌افزار و سخت‌افزار افزایش می‌یابد. برعکس کاهش خواهد یافت.
به طور کلی، اندازه بازار از 1.345 میلیارد یورو در سال 2015 به 3.198 میلیارد یورو در سال 2019 با متوسط نرخ رشد 24 درصد افزایش خواهد یافت.
بنابراین، بر اساس تجزیه و تحلیل CIO و EMC، می‌توان نتیجه گرفت که کشورهای در حال توسعه جهان در سال‌های آینده به بازارهایی برای توسعه فعال فناوری‌های Big Data تبدیل خواهند شد.
روندهای اصلی بازار
طبق IDG Enterprise، شرکت‌ها در سال 2015 به‌طور متوسط 7.4 میلیون دلار برای هر شرکت در Big Data، شرکت‌های بزرگ حدود 13.8 میلیون دلار و شرکت‌های کوچک و متوسط 1.6 میلیون دلار هزینه خواهند کرد.بیشتر سرمایه گذاری در زمینه هایی مانند تجزیه و تحلیل داده ها، تجسم و جمع آوری داده ها خواهد بود.
با توجه به روندهای فعلی و تقاضای بازار، سرمایه گذاری در سال 2015 برای بهبود کیفیت داده ها، بهبود برنامه ریزی و پیش بینی و افزایش سرعت پردازش داده ها استفاده خواهد شد.
طبق تحلیل بینش شرکت باین، شرکت های بخش مالی سرمایه گذاری های قابل توجهی انجام خواهند داد، بنابراین در سال 2015 برنامه ریزی شده است که 6.4 میلیارد دلار آمریکا برای فناوری های Big Data هزینه شود، متوسط نرخ رشد سرمایه گذاری تا سال 2020 22 درصد خواهد بود. شرکت های اینترنتی قصد دارند 2.8 میلیارد دلار با نرخ رشد متوسط 26 درصدی در مخارج کلان داده هزینه کنند.
طی بررسی واحد اطلاعات اکونومیست، حوزه های اولویت برای توسعه داده های بزرگ در سال 2014 و در 3 سال آینده مشخص شد، توزیع پاسخ ها به شرح زیر است:
بر اساس پیش بینی IDC، روند بازار به شرح زیر است:
- طی 5 سال آینده، هزینه راه حل های کلان داده مبتنی بر ابر 3 برابر سریعتر از هزینه راه حل های داخلی رشد خواهد کرد. پلتفرم های ذخیره سازی هیبریدی محبوب خواهند شد.
- رشد برنامه‌های کاربردی با استفاده از تحلیل‌های پیچیده و پیش‌بینی‌کننده، از جمله یادگیری ماشین، در سال 2015 شتاب می‌گیرد، بازار چنین برنامه‌هایی 65 درصد سریعتر از برنامه‌های بدون آنالیز پیش‌بینی رشد خواهد کرد.
- تجزیه و تحلیل رسانه ها در سال 2015 سه برابر خواهد شد و به یک محرک رشد کلیدی برای بازار فناوری داده های بزرگ تبدیل خواهد شد.
- روند پیاده سازی راه حل هایی برای تجزیه و تحلیل جریان ثابت اطلاعاتی که در اینترنت اشیا قابل استفاده است، شتاب خواهد گرفت.
- تا سال 2018، 50 درصد از کاربران با خدمات مبتنی بر محاسبات شناختی تعامل خواهند داشت.
محرک ها و محدود کننده های بازار
کارشناسان IDC 3 محرک بازار کلان داده را در سال 2015 شناسایی کردند:طبق نظرسنجی Accenture، مسائل امنیتی داده ها در حال حاضر مانع اصلی پذیرش فناوری های Big Data هستند، بیش از 51٪ از پاسخ دهندگان تأیید کردند که نگران حفاظت از داده ها و حریم خصوصی هستند. 47% از شرکت‌ها عدم امکان پیاده‌سازی Big Data را به دلیل محدودیت بودجه گزارش کرده‌اند، 41% از شرکت‌ها کمبود پرسنل واجد شرایط را مشکل می‌دانند.
ویکی‌بون پیش‌بینی می‌کند که بازار کلان داده در سال 2015 به 38.4 میلیارد دلار افزایش می‌یابد که 36 درصد نسبت به سال گذشته افزایش خواهد یافت. در سال های آینده، کاهش نرخ رشد به 10 درصد در سال 2017 وجود خواهد داشت. با در نظر گرفتن این پیش بینی ها، اندازه بازار در سال 2020 برابر با 68.7 میلیارد دلار آمریکا خواهد بود.
توزیع بازار جهانی داده های بزرگ بر اساس دسته بندی کسب و کار به این صورت خواهد بود:
همانطور که از نمودار می بینید، بیشتر بازار توسط فناوری های حوزه بهبود خدمات مشتری اشغال خواهد شد. بازاریابی نقطه ای تا سال 2019 دومین اولویت برای شرکت ها خواهد بود، طبق گفته Heavy Reading در سال 2020 راه حل هایی برای بهبود کارایی عملیاتی خواهد داد.
بخش «بهبود خدمات به مشتریان» نیز با 49 درصد افزایش سالانه بالاترین نرخ رشد را خواهد داشت.
پیش‌بینی بازار برای زیرشاخه‌های Big Data به این صورت خواهد بود:
همانطور که از نمودار مشخص است، سهم بازار غالب در اختیار خدمات حرفه‌ای است، اپلیکیشن‌های دارای تجزیه و تحلیل بالاترین نرخ رشد را خواهند داشت، سهم آنها از 12% فعلی به 18% در سال 2020 افزایش می‌یابد و حجم این بخش خواهد بود. معادل 12.3 میلیارد دلار آمریکا باشد، برعکس، سهم تجهیزات محاسباتی از 20 درصد به 14 درصد کاهش می یابد و در سال 2020 به حدود 9.3 میلیارد دلار می رسد، بازار فناوری های ابری به تدریج افزایش می یابد و در سال 2020 به 6.3 میلیارد دلار، سهم بازار راه حل های ذخیره سازی داده ها، برعکس، از 15 درصد در سال 2014 به 13 درصد در سال 2020 و از نظر پولی معادل 8.9 میلیارد دلار آمریکا خواهد بود.
بر اساس پیش‌بینی تحلیل بینش Bain & Company، توزیع بازار کلان داده بر اساس صنعت در سال 2020 به این صورت خواهد بود:
- صنعت مالی 6.4 میلیارد دلار برای کلان داده با میانگین نرخ رشد 22 درصد در سال هزینه خواهد کرد.
- شرکت‌های اینترنتی برای 2.8 میلیارد دلار هزینه و نرخ رشد متوسط هزینه‌ها 26 درصد طی 5 سال آینده.
- هزینه های بخش دولتی متناسب با هزینه های شرکت های اینترنتی خواهد بود، اما نرخ رشد کمتر خواهد بود - 22٪.
- بخش مخابرات با نرخ رشد متوسط 40 درصد رشد خواهد کرد و در سال 2020 به 1.2 میلیارد دلار خواهد رسید.
شرکت های انرژی مقدار نسبتا کمی در این فناوری ها سرمایه گذاری خواهند کرد - 800 میلیون دلار آمریکا، اما نرخ رشد یکی از بالاترین ها - 54٪ در سال خواهد بود.
بنابراین، شرکت‌های صنعت مالی در سال 2020 سهم بزرگی از بازار کلان داده را در اختیار خواهند گرفت و انرژی سریع‌ترین بخش در حال رشد را خواهد داشت.
بر اساس پیش بینی های تحلیلگران، حجم کل بازار در سال های آینده افزایش خواهد یافت. رشد بازار با معرفی فناوری‌های Big Data در کشورهای در حال توسعه جهان تضمین می‌شود، همانطور که از نمودار زیر قابل مشاهده است.
اندازه بازار پیش‌بینی‌شده به این بستگی دارد که کشورهای در حال توسعه چگونه فناوری‌های کلان داده را درک می‌کنند، آیا آنها به اندازه کشورهای توسعه‌یافته محبوب خواهند بود. در سال 2014، کشورهای در حال توسعه جهان 40 درصد از اطلاعات انباشته شده را به خود اختصاص داده اند. بر اساس پیش‌بینی EMC، ساختار بازار فعلی که تحت سلطه کشورهای توسعه‌یافته است، از اوایل سال 2017 تغییر خواهد کرد. بر اساس تحلیل EMC، در سال 2020 سهم کشورهای در حال توسعه بیش از 60 درصد خواهد بود.
طبق گفته سیسکو و EMC، کشورهای در حال توسعه جهان به طور فعال با داده های بزرگ کار خواهند کرد، از بسیاری جهات این به دلیل در دسترس بودن فناوری ها و انباشت اطلاعات کافی در سطح کلان داده خواهد بود. نقشه جهان در صفحه بعدی پیش بینی رشد و نرخ رشد Big Data را بر اساس منطقه نشان می دهد.
تجزیه و تحلیل بازار روسیه
وضعیت فعلی بازار روسیه
بر اساس نتایج مطالعه CNews Analytics و Oracle، سطح بلوغ بازار کلان داده روسیه در سال گذشته افزایش یافته است. پاسخ دهندگان به نمایندگی از 108 شرکت بزرگ از صنایع مختلف، میزان آگاهی بالاتری از این فناوری ها و همچنین درک پتانسیل چنین راه حل هایی برای تجارت خود نشان دادند.
از سال 2014، طبق IDC، روسیه 155 اگزابایت اطلاعات جمع آوری کرده است که تنها 1.8 درصد از داده های جهان است. حجم اطلاعات تا سال 2020 به 980 اگزابایت خواهد رسید و 2.2 درصد را اشغال خواهد کرد. بدین ترتیب میانگین نرخ رشد حجم اطلاعات 36 درصد در سال خواهد بود.
IDC بازار روسیه را 340 میلیون دلار تخمین می زند که 100 میلیون دلار آن راه حل های SAP است، تقریباً 240 میلیون دلار راه حل های مشابه اوراکل، IBM، SAS، مایکروسافت و غیره است.
نرخ رشد بازار کلان داده روسیه حداقل 50 درصد در سال است.
پیش‌بینی می‌شود که پویایی مثبت در این بخش از بازار فناوری اطلاعات روسیه، حتی در شرایط رکود عمومی اقتصاد، ادامه یابد. این به دلیل این واقعیت است که مشاغل همچنان به دنبال راه حل هایی هستند که کارایی کار را بهبود می بخشد و همچنین هزینه ها را بهینه می کند، دقت پیش بینی را بهبود می بخشد و خطرات احتمالی شرکت را به حداقل می رساند.
ارائه دهندگان اصلی خدمات در زمینه Big Data در بازار روسیه عبارتند از:
- اوراکل
- مایکروسافت
- کلودرا
- هورتون ورکز
- Teradata.
مروری بر بازار بر اساس صنعت و تجربه استفاده از داده های بزرگ در شرکت ها
به گزارش CNews، تنها 10 درصد از شرکت ها در روسیه استفاده از فناوری های Big Data را آغاز کرده اند، در حالی که سهم چنین شرکت هایی در جهان حدود 30 درصد است. بر اساس گزارش CNews Analytics و Oracle، آمادگی برای پروژه های Big Data در بسیاری از بخش های اقتصاد روسیه در حال رشد است. بیش از یک سوم شرکت‌های مورد بررسی (37 درصد) کار با فناوری‌های Big Data را آغاز کرده‌اند که در میان آنها 20 درصد در حال حاضر از چنین راه‌حل‌هایی استفاده می‌کنند و 17 درصد شروع به آزمایش با آنها کرده‌اند. یک سوم دوم پاسخ دهندگان در حال حاضر چنین امکانی را بررسی می کنند.
در روسیه، فناوری‌های Big Data در بخش بانکداری و مخابرات محبوب‌تر هستند، اما در صنعت معدن، انرژی، خرده‌فروشی، شرکت‌های لجستیک و بخش عمومی نیز مورد تقاضا هستند.
در مرحله بعد، نمونه هایی از استفاده از داده های بزرگ در واقعیت های روسیه در نظر گرفته می شود.
مخابرات
اپراتورهای مخابراتی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
یکی از حوزه های کاربرد فناوری Big Data، مدیریت وفاداری مشترکین است.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند. مخابرات علاوه بر استفاده از اطلاعات برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی متقلبانه استفاده می کند.
Vimpelcom یکی از درخشان ترین نمونه های این صنعت است. این شرکت از داده های بزرگ برای بهبود کیفیت خدمات در سطح هر مشترک، گزارش، تجزیه و تحلیل داده ها برای توسعه شبکه، مبارزه با هرزنامه ها و شخصی سازی خدمات استفاده می کند.
بانک ها
بخش قابل توجهی از کاربران Big Data را متخصصان صنعت مالی اشغال می کنند. یکی از آزمایش های موفق در بانک بازسازی و توسعه اورال انجام شد، جایی که از پایگاه اطلاعاتی برای تجزیه و تحلیل مشتریان استفاده شد، این بانک شروع به ارائه پیشنهادات وام، سپرده ها و سایر خدمات تخصصی کرد. در طول سال استفاده از این فناوری ها، سبد وام خرده فروشی این شرکت 55 درصد رشد داشته است.
آلفا بانک اطلاعات شبکه های اجتماعی را تجزیه و تحلیل می کند، درخواست های وام را پردازش می کند، رفتار کاربران وب سایت شرکت را تجزیه و تحلیل می کند.
Sberbank همچنین پردازش یک آرایه داده را برای تقسیم بندی مشتریان، جلوگیری از تقلب، فروش متقابل و مدیریت ریسک آغاز کرده است. در آینده، برای بهبود خدمات و تجزیه و تحلیل اقدامات مشتریان در زمان واقعی برنامه ریزی شده است.
بانک توسعه منطقه ای همه روسیه رفتار دارندگان کارت های پلاستیکی را تجزیه و تحلیل می کند. این به شما امکان می دهد تراکنش هایی را که برای یک مشتری خاص غیرمعمول هستند شناسایی کنید و در نتیجه احتمال سرقت وجوه از کارت های پلاستیکی را افزایش دهید.
خرده فروشی
در روسیه، فناوری‌های Big Data توسط شرکت‌های تجاری آنلاین و آفلاین پیاده‌سازی شده‌اند. امروزه، طبق گزارش CNews Analytics، 20 درصد از خرده فروشان از داده های بزرگ استفاده می کنند. 75 درصد از متخصصان خرده‌فروشی، داده‌های بزرگ را برای توسعه یک استراتژی رقابتی برای ارتقای یک شرکت ضروری می‌دانند. طبق آمار هادوپ، پس از معرفی فناوری Big Data، سود در سازمان های تجاری بین 7 تا 10 درصد رشد می کند.
متخصصان M.Video از بهبود برنامه ریزی لجستیک پس از اجرای SAP HANA صحبت می کنند، همچنین در نتیجه اجرای آن، تهیه گزارش های سالانه از 10 روز به 3، سرعت بارگذاری روزانه داده ها از 3 کاهش یافت. ساعت تا 30 دقیقه
ویکی‌مارت از این فناوری‌ها برای ایجاد توصیه‌هایی برای بازدیدکنندگان سایت استفاده می‌کند.
یکی از اولین فروشگاه های آفلاین که تجزیه و تحلیل داده های بزرگ را در روسیه معرفی کرد Lenta بود. با کمک Big Data، خرده فروشی شروع به مطالعه اطلاعات مشتریان از رسیدهای نقدی کرد. خرده فروش اطلاعاتی را برای ایجاد مدل های رفتاری جمع آوری می کند که تصمیم گیری آگاهانه تری را در سطح عملیاتی و تجاری امکان پذیر می کند.
صنعت نفت و گاز
در این صنعت، دامنه داده های بزرگ بسیار گسترده است. فناوری های کلان داده را می توان در استخراج مواد معدنی از روده ها به کار برد. با کمک آنها می توانید فرآیند استخراج و موثرترین روش های استخراج آن را تجزیه و تحلیل کنید، فرآیند حفاری را ردیابی کنید، کیفیت مواد اولیه را تجزیه و تحلیل کنید و همچنین پردازش و بازاریابی محصولات نهایی را تجزیه و تحلیل کنید. در روسیه، این فناوری ها در حال حاضر توسط ترانس نفت و روس نفت استفاده می شود.
ارگان های دولتی
در کشورهایی مانند آلمان، استرالیا، اسپانیا، ژاپن، برزیل و پاکستان از فناوری‌های Big Data برای حل مشکلات ملی استفاده می‌شود. این فناوری‌ها به مقامات دولتی کمک می‌کنند تا خدمات مؤثرتری به مردم ارائه دهند، حمایت اجتماعی هدفمند را ارائه دهند.
در روسیه، این فناوری ها توسط نهادهای دولتی مانند صندوق بازنشستگی، خدمات مالیاتی فدرال و صندوق بیمه اجباری پزشکی تسلط یافتند. پتانسیل اجرای پروژه‌ها با استفاده از داده‌های بزرگ بسیار زیاد است؛ این فناوری‌ها می‌توانند به بهبود کیفیت خدمات، و در نتیجه، استاندارد زندگی مردم کمک کنند.
لجستیک و حمل و نقل
Big Data می تواند توسط شرکت های حمل و نقل نیز استفاده شود. با کمک فناوری‌های Big Data می‌توان ناوگان خودروها را ردیابی کرد، هزینه‌های سوخت را در نظر گرفت و درخواست‌های مشتریان را رصد کرد.
راه آهن روسیه فناوری های Big Data را همراه با SAP پیاده سازی کرد. این فناوری ها به کاهش 43.5 برابری زمان گزارش دهی (از 14.5 ساعت به 20 دقیقه) و بهبود دقت تخصیص هزینه تا 40 برابر کمک کردند. همچنین داده های بزرگ به فرآیندهای برنامه ریزی و تنظیم تعرفه وارد شد. در مجموع، شرکت ها از بیش از 300 سیستم مبتنی بر راه حل های SAP استفاده می کنند، 4 مرکز داده درگیر هستند و تعداد کاربران 220000 نفر است.
محرک ها و محدودیت های اصلی بازار
محرک های توسعه فناوری های داده های بزرگ در بازار روسیه عبارتند از:- افزایش علاقه کاربران به امکانات داده های بزرگ به عنوان راهی برای افزایش رقابت پذیری شرکت؛
- توسعه روش هایی برای پردازش فایل های رسانه ای در سطح جهانی؛
- انتقال سرورهایی که اطلاعات شخصی را پردازش می کنند به قلمرو روسیه مطابق با قانون تصویب شده در مورد ذخیره و پردازش داده های شخصی.
- اجرای طرح صنعت جایگزینی واردات نرم افزار. این طرح شامل حمایت دولتی از تولیدکنندگان نرم‌افزار داخلی و همچنین ارائه اولویت‌ها برای محصولات داخلی فناوری اطلاعات هنگام خرید با هزینه عمومی است.
- در شرایط جدید اقتصادی، زمانی که دلار تقریباً دو برابر شده است، تمایل به افزایش استفاده از خدمات ارائه دهندگان خدمات ابری روسی به جای خدمات خارجی وجود خواهد داشت.
- ایجاد پارک های فناوری که به توسعه بازار فناوری اطلاعات کمک می کند، از جمله بازار داده های بزرگ.
- برنامه ایالتی برای معرفی سیستم های شبکه ای که مبتنی بر فناوری های داده های بزرگ هستند.
موانع اصلی توسعه داده های بزرگ در بازار روسیه عبارتند از:
- تضمین امنیت و محرمانه بودن داده ها؛
- کمبود پرسنل واجد شرایط؛
- ناکافی بودن منابع اطلاعاتی انباشته تا سطح کلان داده در اکثر شرکت های روسی؛
- مشکلات در معرفی فن آوری های جدید در سیستم های اطلاعاتی مستقر شرکت ها؛
- هزینه بالای فناوری های کلان داده، که منجر به تعداد محدودی از شرکت ها می شود که فرصت اجرای این فناوری ها را دارند.
- عدم اطمینان سیاسی و اقتصادی که منجر به خروج سرمایه و انجماد پروژه های سرمایه گذاری در روسیه شد.
- به گفته IDC، افزایش قیمت محصولات وارداتی و افزایش تورم، مانع از توسعه کل بازار فناوری اطلاعات شده است.
پیش بینی بازار روسیه
از امروز، بازار کلان داده روسیه به اندازه کشورهای توسعه یافته محبوب نیست. اکثر شرکت های روسی به آن علاقه نشان می دهند، اما جرات استفاده از فرصت های خود را ندارند.نمونه‌هایی از شرکت‌های بزرگی که قبلاً از استفاده از فناوری‌های Big Data بهره‌مند شده‌اند، در حال افزایش آگاهی از امکانات این فناوری‌ها هستند.
تحلیلگران همچنین پیش بینی های کاملاً خوش بینانه ای برای بازار روسیه دارند. IDC بر این باور است که بر خلاف بازار آلمان و ژاپن، سهم بازار روسیه طی 5 سال آینده افزایش خواهد یافت.
تا سال 2020، حجم داده های بزرگ در روسیه از 1.8 درصد فعلی به 2.2 درصد از حجم داده های جهانی افزایش خواهد یافت. به گفته EMC، میزان اطلاعات از 155 اگزابایت فعلی به 980 اگزابایت در سال 2020 افزایش خواهد یافت.
در حال حاضر، روسیه به جمع آوری حجم اطلاعات تا سطح داده های بزرگ ادامه می دهد.
بر اساس یک نظرسنجی CNews Analytics، 44٪ از شرکت های مورد بررسی با داده های بزرگتر از 100 ترابایت* کار می کنند و تنها 13٪ با حجم های بالاتر از 500 ترابایت کار می کنند.
با این وجود، بازار روسیه با پیروی از روندهای جهانی افزایش خواهد یافت. از سال 2014، IDC اندازه بازار را 340 میلیون دلار تخمین زده است.
نرخ رشد بازار برای سال های گذشته 50 درصد در سال بود، اگر در همان سطح باقی بماند، در سال 2018 حجم بازار به 1.7 میلیارد دلار خواهد رسید. سهم بازار روسیه در بازار جهانی حدود 3 درصد خواهد بود که از 1.2 درصد فعلی افزایش یافته است.
پذیراترین صنایع برای استفاده از داده های بزرگ در روسیه عبارتند از:
- خرده فروشی و بانک ها، برای آنها، اول از همه، تجزیه و تحلیل پایگاه مشتری، ارزیابی اثر کمپین های بازاریابی مهم است.
- مخابرات - تقسیم‌بندی پایگاه مشتری و کسب درآمد از ترافیک؛
- بخش عمومی - گزارش، تجزیه و تحلیل برنامه های کاربردی از مردم و غیره؛
- شرکت های نفتی - نظارت بر کار و برنامه ریزی تولید و بازاریابی؛
- شرکت های انرژی - ایجاد سیستم های برق هوشمند، نظارت و پیش بینی عملیاتی.
در روسیه، و همچنین در جهان، در آینده نزدیک روندی به سمت تجسم داده ها، تجزیه و تحلیل فایل های رسانه ای و توسعه اینترنت اشیا وجود خواهد داشت.
علیرغم رکود عمومی اقتصاد، در سال‌های آینده، تحلیلگران رشد بیشتر در بازار کلان داده را پیش‌بینی می‌کنند، در درجه اول به این دلیل که استفاده از فناوری‌های کلان داده به کاربران خود مزیت رقابتی از نظر افزایش کارایی عملیاتی می‌دهد. کسب و کار، جذب جریان اضافی از مشتریان، به حداقل رساندن خطرات و اجرای فناوری های پیش بینی داده ها.
بنابراین، می‌توان نتیجه گرفت که بخش کلان داده در روسیه در مرحله شکل‌گیری است، اما تقاضا برای این فناوری‌ها هر سال در حال افزایش است.
نتایج اصلی تحلیل بازار
بازار جهانی
در پایان سال 2014، بازار کلان داده با پارامترهای زیر مشخص می شود:- حجم بازار به 28.5 میلیارد دلار آمریکا رسید که نسبت به سال قبل 45 درصد افزایش داشت.
- بیشتر درآمدهای بازار کلان داده از خدمات تشکیل شده بود، سهم آنها معادل 40٪ از کل درآمد بود.
- 36 درصد از درآمد از برنامه های کاربردی و تجزیه و تحلیل داده های بزرگ، 17 درصد از سخت افزار محاسباتی و 15 درصد از فناوری های ذخیره سازی به دست آمده است.
- پلتفرم های درون حافظه شرکت هایی مانند SAP، HANA و Oracle محبوب ترین ها برای حل مشکلات Big Data هستند.
- تعداد شرکت‌هایی که پروژه‌های اجرا شده در زمینه مدیریت کلان داده را 125 درصد افزایش دادند.
- در سال 2015 حجم بازار به 38.4 میلیارد دلار آمریکا خواهد رسید، در سال 2020 - 68.7 میلیارد دلار آمریکا.
- متوسط نرخ رشد سالانه 16% خواهد بود.
- میانگین هزینه شرکت در فناوری‌های Big Data 13.8 میلیون دلار برای شرکت‌های بزرگ و 1.6 میلیون دلار برای مشاغل کوچک و متوسط خواهد بود.
- فناوری‌ها بیشترین شیوع را در حوزه خدمات مشتری و بازاریابی هدفمند خواهند داشت.
- در سال 2017، ساختار بازار جهانی به سمت برتری شرکت های کاربر از کشورهای در حال توسعه تغییر خواهد کرد.
بازار روسیه
بازار کلان داده روسیه در مرحله شکل گیری است، نتایج سال 2014 به شرح زیر است:- حجم بازار به 340 میلیون دلار آمریکا رسید.
- متوسط نرخ رشد بازار در سال های گذشته 50 درصد سالانه بود.
- مجموع اطلاعات انباشته شده 155 اگزابایت بود.
- 10 درصد از شرکت‌های روسی استفاده از فناوری‌های Big Data را آغاز کرده‌اند.
- فناوری‌های کلان داده در بخش بانکداری، مخابرات، شرکت‌های اینترنتی و خرده‌فروشی محبوبیت بیشتری داشتند.
- حجم بازار روسیه در سال 2015 به 500 میلیون دلار آمریکا و در سال 2018 - 1.7 میلیارد دلار آمریکا خواهد رسید.
- سهم بازار روسیه در بازار جهانی در سال 2018 حدود 3٪ خواهد بود.
- مقدار داده های انباشته شده در سال 2020 980 اگزابایت خواهد بود.
- داده ها در سال 2020 به 2.2 درصد از داده های جهانی افزایش می یابد.
- فن آوری های تجسم داده ها، تجزیه و تحلیل فایل های رسانه ای و اینترنت اشیا بیشترین محبوبیت را به دست خواهند آورد.
از اینکه برای خواندن این اثر حجیم وقت گذاشتید متشکریم، در وبلاگ ما مشترک شوید - ما قول بسیاری از انتشارات جالب جدید را می دهیم!
آیا این جوک معروف را می شناسید؟ کلان داده مانند رابطه جنسی قبل از 18 سالگی است:
- همه به آن فکر می کنند؛
- همه در مورد آن صحبت می کنند؛
- همه فکر می کنند دوستانشان این کار را می کنند.
- تقریبا هیچ کس این کار را انجام نمی دهد.
- هر کس این کار را انجام دهد بد انجام می دهد.
- همه فکر می کنند دفعه بعد بهتر خواهد بود.
- هیچ کس اقدامات امنیتی را انجام نمی دهد.
- هر کسی شرم دارد اعتراف کند که چیزی نمی داند.
- اگر کسی موفق شود، همیشه سر و صدای زیادی از آن وجود دارد.
اما بیایید صادق باشیم، با هر تبلیغاتی، کنجکاوی معمول همیشه ادامه خواهد داشت: چه نوع هیاهویی وجود دارد و آیا واقعاً چیز مهمی وجود دارد؟ به طور خلاصه، بله، وجود دارد. جزئیات در زیر آمده است. ما شگفت‌انگیزترین و جالب‌ترین کاربردهای فناوری‌های Big Data را برای شما انتخاب کرده‌ایم. این مطالعه کوچک از بازار بر روی نمونه‌های واضح با یک واقعیت ساده روبرو می‌شود: آینده نمی‌آید، نیازی نیست «ن سال دیگر منتظر بمانید و جادو به واقعیت تبدیل خواهد شد». نه، قبلاً رسیده است، اما هنوز با چشم نامرئی است و بنابراین سوزاندن تکینگی هنوز نقطه خاصی در بازار کار را آنقدر نمی سوزاند. برو
1 چگونه فناوری‌های کلان داده در جایی که منشا گرفته‌اند به کار می‌روند
شرکت‌های بزرگ فناوری اطلاعات جایی هستند که علم داده متولد شده‌اند، بنابراین کارهای درونی آنها در این زمینه جالب‌ترین است. کمپین گوگل، زادگاه الگوی Map Reduce، که تنها هدف آن آموزش برنامه نویسان خود در زمینه تکنیک های یادگیری ماشین است. و مزیت رقابتی آنها در این است: پس از کسب دانش جدید، کارمندان روش های جدیدی را در پروژه های Google که دائماً در آن کار می کنند، پیاده سازی می کنند. تصور کنید فهرست حوزه‌هایی که کمپین می‌تواند در آنها انقلاب کند چقدر بزرگ است. یک مثال: از شبکه های عصبی استفاده می شود.
این شرکت در حال پیاده سازی یادگیری ماشینی در تمام محصولات خود است. مزیت آن وجود یک اکوسیستم بزرگ است که شامل تمام دستگاه های دیجیتال مورد استفاده در زندگی روزمره است. این به اپل اجازه می دهد تا به یک سطح غیرممکن برسد: این کمپین بیش از هر کمپین دیگری داده های کاربر دارد. در عین حال، سیاست حفظ حریم خصوصی بسیار سختگیرانه است: این شرکت همیشه به خود می بالد که از داده های مشتری برای اهداف تبلیغاتی استفاده نمی کند. بر این اساس، اطلاعات کاربر رمزگذاری شده است تا وکلای اپل یا حتی FBI دارای حکم قضایی نتوانند آن را بخوانند. در اینجا مروری عالی از پیشرفت‌های هوش مصنوعی اپل پیدا خواهید کرد.
2 بیگ دیتا روی 4 چرخ
یک ماشین مدرن یک فروشگاه اطلاعات است: تمام داده های مربوط به راننده، محیط، دستگاه های متصل و در مورد خودش را جمع آوری می کند. به زودی، خودرویی که به شبکه ای مانند این متصل است، حداکثر 25 گیگابایت داده در ساعت تولید می کند.
سال‌هاست که خودروسازان از تله‌ماتیک خودرو استفاده می‌کنند، اما اکنون روش پیچیده‌تری برای جمع‌آوری داده‌ها در حال لابی‌گری است که به طور کامل از Big Data استفاده می‌کند. این بدان معناست که اکنون فناوری می تواند با فعال کردن خودکار سیستم ترمز ضد قفل و کنترل کشش، راننده را از شرایط بد جاده آگاه کند.
نگرانی های دیگر، از جمله BMW، استفاده از فناوری Big Data، همراه با بینش نمونه های آزمایشی، سیستم های داخلی "حافظه خطا" و شکایات مشتریان، برای شناسایی نقاط ضعف در یک مدل در ابتدای تولید است. اکنون به جای ارزیابی دستی داده ها که ماه ها طول می کشد، از یک الگوریتم پیشرفته استفاده می شود. خطاها و هزینه‌های عیب‌یابی کاهش می‌یابد، و این امکان را فراهم می‌آورد که گردش کار تجزیه و تحلیل داده‌ها سریعتر در BMW انجام شود.
بر اساس برآوردهای کارشناسان، تا سال 2019 گردش مالی بازار متصل به یک شبکه واحد از خودروها به 130 میلیارد دلار خواهد رسید.
استفاده از داده های بزرگ به ایمن تر و کاربردی تر کردن دستگاه کمک می کند. بنابراین، تویوتا با تعبیه ماژول های ارتباطات اطلاعاتی (DCM) . این ابزار که برای Big Data استفاده می‌شود، داده‌های جمع‌آوری‌شده توسط DCM را پردازش و تجزیه و تحلیل می‌کند تا از آن بهره‌مند شود.
3 کاربرد داده های بزرگ در پزشکی
پیاده سازی فناوری های کلان داده در زمینه پزشکی به پزشکان اجازه می دهد تا بیماری را با دقت بیشتری مطالعه کنند و یک دوره درمانی موثر را برای یک مورد خاص انتخاب کنند. به لطف تجزیه و تحلیل اطلاعات، پیش بینی عود و انجام اقدامات پیشگیرانه برای کارکنان بهداشتی آسان تر می شود. نتیجه تشخیص دقیق تر و بهبود درمان است.
این تکنیک جدید امکان نگریستن به مشکلات بیماران را از زاویه دیگری فراهم کرد که منجر به کشف منابع ناشناخته قبلی این مشکل شد. به عنوان مثال، برخی نژادها از نظر ژنتیکی بیشتر از سایر گروه های قومی مستعد ابتلا به بیماری های قلبی هستند. اکنون، وقتی یک بیمار از بیماری خاصی شکایت می کند، پزشکان داده های مربوط به اعضای نژاد او را که از همان مشکل شکایت کرده اند، در نظر می گیرند. جمع آوری و تجزیه و تحلیل داده ها به شما امکان می دهد اطلاعات بیشتری در مورد بیماران کسب کنید: از ترجیحات غذایی و سبک زندگی گرفته تا ساختار ژنتیکی DNA و متابولیت های سلول ها، بافت ها، اندام ها. به عنوان مثال، مرکز طب ژنومیک کودکان در کانزاس سیتی از بیماران استفاده می کند و جهش های کد ژنتیکی را که باعث سرطان می شود، تجزیه و تحلیل می کند. رویکرد فردی به هر بیمار، با در نظر گرفتن DNA او، اثربخشی درمان را به سطح کیفی جدیدی ارتقا می دهد.
با درک نحوه استفاده از داده های بزرگ، اولین تغییر و بسیار مهم در حوزه پزشکی به دنبال دارد. هنگامی که یک بیمار تحت درمان است، یک بیمارستان یا سایر مراکز مراقبت های بهداشتی می توانند اطلاعات ارزشمند زیادی را در مورد فرد به دست آورند. اطلاعات جمع آوری شده برای پیش بینی عود بیماری ها با درجه خاصی از دقت استفاده می شود. به عنوان مثال، اگر یک بیمار سکته مغزی کرده باشد، پزشکان اطلاعات مربوط به زمان حادثه عروق مغزی را مطالعه می کنند، دوره میانی بین موارد قبلی (در صورت وجود) را تجزیه و تحلیل می کنند، توجه ویژه ای به موقعیت های استرس زا و فعالیت بدنی سنگین در زندگی بیمار دارند. بر اساس این داده ها، بیمارستان ها برای جلوگیری از احتمال سکته مغزی در آینده، برنامه عملی مشخصی را به بیمار ارائه می دهند.
ابزارهای پوشیدنی نیز نقش دارند و به شناسایی مشکلات سلامتی کمک می کنند، حتی اگر فرد علائم واضحی از یک بیماری خاص نداشته باشد. به جای ارزیابی وضعیت بیمار از طریق یک دوره طولانی معاینه، پزشک می تواند بر اساس اطلاعات جمع آوری شده توسط یک ردیاب تناسب اندام یا ساعت هوشمند نتیجه گیری کند.
یکی از آخرین نمونه ها این است. در حالی که بیمار در حال بررسی برای تشنج جدید ناشی از عدم مصرف دارو بود، پزشکان متوجه شدند که این مرد مشکل سلامتی بسیار جدی تری دارد. معلوم شد مشکل فیبریلاسیون دهلیزی است. این تشخیص به این دلیل انجام شد که کارکنان بخش به تلفن بیمار، یعنی به برنامه مرتبط با ردیاب تناسب اندام وی دسترسی پیدا کردند. معلوم شد که داده‌های این برنامه عامل کلیدی در تعیین تشخیص است، زیرا در زمان معاینه، هیچ ناهنجاری قلبی در مرد یافت نشد.
این تنها یکی از معدود مواردی است که نشان می دهد چرا از داده های بزرگ استفاده می کنیمامروزه در حوزه پزشکی نقش مهمی ایفا می کند.
4 تجزیه و تحلیل داده ها در حال حاضر در هسته خرده فروشی قرار دارد
درک پرسش‌های کاربر و هدف‌گیری یکی از بزرگترین و گسترده‌ترین حوزه‌های کاربردی ابزار Big Data است. Big Data به تجزیه و تحلیل عادات مشتری برای درک بهتر نیازهای مصرف کننده در آینده کمک می کند. شرکت‌ها به دنبال گسترش مجموعه داده‌های سنتی با اطلاعات رسانه‌های اجتماعی و تاریخچه جستجوی مرورگر هستند تا کامل‌ترین تصویر ممکن را برای مشتری ایجاد کنند. گاهی اوقات سازمان های بزرگ انتخاب می کنند که مدل پیش بینی خود را به عنوان یک هدف جهانی ایجاد کنند.
به عنوان مثال، فروشگاه های زنجیره ای Target با استفاده از تجزیه و تحلیل داده های عمیق و سیستم پیش بینی خود، می تواند با دقت بالا - را تعیین کند. به هر مشتری یک شناسه اختصاص داده می شود که به نوبه خود به کارت اعتباری، نام یا ایمیل گره خورده است. شناسه به عنوان نوعی سبد خرید عمل می کند، جایی که اطلاعات در مورد هر چیزی که شخص تا به حال خریداری کرده است ذخیره می شود. متخصصان شبکه دریافتند که زنان در این موقعیت به طور فعال محصولات بدون طعم را قبل از سه ماهه دوم بارداری خریداری می کنند و در طول 20 هفته اول از مکمل های کلسیم، روی و منیزیم استفاده می کنند. بر اساس داده های دریافتی، تارگت کوپن هایی را برای محصولات کودکان برای مشتریان ارسال می کند. تخفیف کالاها برای خود کودکان با کوپن برای سایر محصولات "رقیق" می شود تا پیشنهادات خرید تخت خواب یا پوشک خیلی مزاحم به نظر نرسد.
حتی ادارات دولتی راهی برای استفاده از فناوری‌های کلان داده برای بهینه‌سازی کمپین‌های انتخاباتی پیدا کرده‌اند. برخی بر این باورند که پیروزی بی اوباما در انتخابات ریاست جمهوری آمریکا در سال 2012 به دلیل کار عالی تیم تحلیلگران وی است که حجم عظیمی از داده ها را به روش صحیح پردازش کردند.
5 کلان داده در مورد نگهبان قانون و نظم
در چند سال گذشته، سازمان‌های مجری قانون نحوه و زمان استفاده از داده‌های بزرگ را کشف کرده‌اند. این یک واقعیت شناخته شده است که آژانس امنیت ملی از فناوری های داده های بزرگ برای جلوگیری از حملات تروریستی استفاده می کند. بخش‌های دیگر از روش‌های مترقی برای جلوگیری از جرایم کوچکتر استفاده می‌کنند.
اداره پلیس لس آنجلس استفاده می کند. این کاری را انجام می دهد که معمولاً به عنوان اجرای قانون پیشگیرانه از آن یاد می شود. این الگوریتم با استفاده از گزارش‌های جرم در یک دوره زمانی مشخص، مناطقی را که احتمال وقوع جرم در آنها بیشتر است، تعیین می‌کند. این سیستم چنین مناطقی را در نقشه شهر با مربع های قرمز کوچک مشخص می کند و این داده ها بلافاصله به ماشین های گشت منتقل می شود.
پلیس شیکاگو از فناوری های کلان داده استفاده کنیدبه روشی کمی متفاوت افسران اجرای قانون از شهر بادگیر نیز آن را دارند، اما هدف آن ترسیم یک "دایره خطر" متشکل از افرادی است که ممکن است قربانی یا شرکت کننده در یک حمله مسلحانه باشند. به گفته نیویورک تایمز، این الگوریتم بر اساس سابقه جنایی افراد (دستگیری و مشارکت در تیراندازی، متعلق به باندهای جنایتکار) امتیاز آسیب پذیری را به افراد اختصاص می دهد. توسعه‌دهنده سیستم ادعا می‌کند که در حالی که سیستم به مطالعه گذشته جنایی فرد می‌پردازد، عوامل ثانویه مانند نژاد، جنسیت، قومیت و موقعیت مکانی فرد را در نظر نمی‌گیرد.
6 چگونه فناوری‌های کلان داده به توسعه شهرها کمک می‌کنند
João Barros، مدیر عامل Veniam، نقشه ردیابی روترهای Wi-Fi در اتوبوس های شهر پورتو را نشان می دهد.
تجزیه و تحلیل داده ها همچنین برای بهبود تعدادی از جنبه های زندگی شهرها و کشورها استفاده می شود. برای مثال، دانستن دقیق چگونگی و زمان استفاده از فناوری‌های کلان داده می‌تواند جریان‌های حمل و نقل را بهینه کند. برای این کار، حرکت آنلاین خودروها در نظر گرفته می شود، رسانه های اجتماعی و داده های هواشناسی تجزیه و تحلیل می شوند. امروزه، تعدادی از شهرها در استفاده از تجزیه و تحلیل داده ها برای ترکیب زیرساخت های حمل و نقل با سایر انواع خدمات عمومی در یک کل واحد پیشگام شده اند. این مفهوم یک شهر هوشمند است که در آن اتوبوس‌ها منتظر قطار دیرهنگام هستند و چراغ‌های راهنمایی قادر به پیش‌بینی تراکم ترافیک برای به حداقل رساندن ترافیک هستند.
بر اساس فناوری‌های Big Data، شهر لانگ بیچ از کنتورهای هوشمند آب استفاده می‌کند که برای جلوگیری از آبیاری غیرقانونی استفاده می‌شود. قبلاً برای کاهش مصرف آب توسط خانوارهای خصوصی استفاده می شد (حداکثر نتیجه کاهش 80٪ است). صرفه جویی در آب شیرین همیشه موضوعی است. به خصوص زمانی که این ایالت بدترین خشکسالی ثبت شده را تجربه می کند.
نمایندگان اداره حمل و نقل شهر لس آنجلس به لیست کسانی که از داده های بزرگ استفاده می کنند پیوستند. بر اساس داده های دریافتی از سنسورهای دوربین ترافیک، مقامات عملکرد چراغ های راهنمایی را کنترل می کنند که به نوبه خود امکان تنظیم ترافیک را فراهم می کند. این سیستم کامپیوتری حدود 4500000 چراغ راهنمایی در سراسر شهر را کنترل می کند. طبق داده های رسمی، الگوریتم جدید به کاهش تراکم تا 16 درصد کمک کرد.
7 موتور پیشرفت در بازاریابی و فروش
در بازاریابی، ابزارهای کلان داده به شما این امکان را می‌دهند که شناسایی کنید کدام ایده‌ها برای تبلیغ در مرحله خاصی از چرخه فروش مؤثرتر هستند. تجزیه و تحلیل داده ها تعیین می کند که چگونه سرمایه گذاری ها می توانند مدیریت ارتباط با مشتری را بهبود بخشند، کدام استراتژی باید برای افزایش نرخ تبدیل انتخاب شود و چگونه چرخه عمر مشتری را بهینه کند. در کسب و کار ابری، الگوریتم های Big Data برای کشف چگونگی به حداقل رساندن هزینه جذب مشتری و افزایش چرخه عمر مشتری استفاده می شود.
تمایز استراتژی های قیمت گذاری بسته به سطح درون سیستمی مشتری، شاید اصلی ترین چیزی است که داده های بزرگ در زمینه بازاریابی برای آن استفاده می شود. مک کینزی دریافت که حدود 75 درصد از درآمد متوسط یک شرکت از محصولات اساسی حاصل می شود که 30 درصد آنها قیمت گذاری نادرست دارند. افزایش 1 درصدی قیمت منجر به افزایش 8.7 درصدی سود عملیاتی می شود.
تیم تحقیقاتی Forrester توانست تعیین کند که تجزیه و تحلیل داده‌ها به بازاریابان اجازه می‌دهد تا بر چگونگی موفقیت بیشتر در روابط با مشتری تمرکز کنند. با کاوش در جهت توسعه مشتری، متخصصان می توانند سطح وفاداری خود را ارزیابی کنند و همچنین چرخه عمر را در زمینه یک شرکت خاص گسترش دهند.
بهینه سازی استراتژی های فروش و مراحل ورود به بازارهای جدید با استفاده از تجزیه و تحلیل جغرافیایی در صنعت بیوداروسازی منعکس شده است. به گفته مک کینزی، شرکت های دارویی به طور متوسط 20 تا 30 درصد از سود خود را صرف مدیریت و فروش می کنند. اگر بنگاه ها فعال تر شوند از داده های بزرگ استفاده کنیدبرای شناسایی مقرون به صرفه ترین و سریع ترین بازارها، هزینه ها بلافاصله کاهش می یابد.
تجزیه و تحلیل داده ها ابزاری برای شرکت ها برای به دست آوردن تصویر کاملی از جنبه های کلیدی کسب و کارشان است. افزایش درآمد، کاهش هزینه ها و کاهش سرمایه در گردش سه وظیفه ای است که کسب و کار مدرن با کمک ابزارهای تحلیلی سعی در حل آنها دارد.
در نهایت، 58٪ از مدیران بازاریابی می گویند که پیاده سازی فناوری های داده های بزرگ را می توان در بهینه سازی موتورهای جستجو (SEO)، ایمیل و بازاریابی تلفن همراه ردیابی کرد، جایی که تجزیه و تحلیل داده ها مهمترین نقش را در شکل دادن به برنامه های بازاریابی ایفا می کند. و تنها 4٪ کمتر از پاسخ دهندگان مطمئن هستند که داده های بزرگ نقش مهمی در تمام استراتژی های بازاریابی برای سال های آینده ایفا خواهند کرد.
8 تجزیه و تحلیل داده های جهانی
کمتر کنجکاو این است. این امکان وجود دارد که یادگیری ماشین در نهایت تنها نیرویی باشد که قادر به حفظ تعادل ظریف است. موضوع تأثیر انسان بر گرمایش جهانی هنوز باعث بحث های زیادی می شود، بنابراین تنها مدل های پیش بینی قابل اعتماد مبتنی بر تجزیه و تحلیل حجم زیادی از داده ها می توانند پاسخ دقیقی ارائه دهند. در نهایت، کاهش انتشار گازهای گلخانه ای به همه ما کمک خواهد کرد: ما کمتر برای انرژی هزینه خواهیم کرد.
اکنون Big Data یک مفهوم انتزاعی نیست که شاید تا چند سال دیگر کاربرد خود را پیدا کند. این مجموعه ای کاملاً فعال از فناوری است که می تواند تقریباً در تمام زمینه های فعالیت انسانی مفید باشد: از پزشکی و نظم عمومی گرفته تا بازاریابی و فروش. مرحله ادغام فعال داده های بزرگ در زندگی روزمره ما به تازگی آغاز شده است و چه کسی می داند که نقش داده های بزرگ تا چند سال دیگر چه خواهد بود؟
