فقط تنبل در مورد داده های بزرگ صحبت نمی کند، اما به سختی می فهمد که چیست و چگونه کار می کند. بیایید با ساده ترین - اصطلاحات شروع کنیم. به زبان روسی، Big data ابزارها، رویکردها و روش‌های مختلفی برای پردازش داده‌های ساختاریافته و بدون ساختار به منظور استفاده از آنها برای وظایف و اهداف خاص است.
داده های بدون ساختار اطلاعاتی هستند که ساختار از پیش تعیین شده ای ندارند یا به ترتیب خاصی سازماندهی نشده اند.
اصطلاح "داده های بزرگ" توسط کلیفورد لینچ، سردبیر نیچر در سال 2008 در یک شماره ویژه درباره رشد انفجاری حجم اطلاعات جهان ابداع شد. اگرچه، البته، خود داده های بزرگ قبلا وجود داشته است. به گفته کارشناسان، اکثریت جریان داده های بیش از 100 گیگابایت در روز متعلق به دسته داده های بزرگ است.
همچنین بخوانید:
امروزه، این اصطلاح ساده تنها دو کلمه را پنهان می کند - ذخیره سازی و پردازش داده ها.
داده های بزرگ - به عبارت ساده
در دنیای مدرن، داده های بزرگ یک پدیده اجتماعی-اقتصادی است که با این واقعیت همراه است که فرصت های فناوری جدید برای تجزیه و تحلیل حجم عظیمی از داده ها ظاهر شده است.
همچنین بخوانید:
برای سهولت درک، سوپرمارکتی را تصور کنید که در آن همه کالاها به ترتیبی که شما به آن عادت کرده اید نیست. نان در کنار میوه، رب گوجه فرنگی در کنار پیتزای یخ زده، مایع فندکی در کنار قفسه ای از تامپون که آووکادو، توفو یا قارچ شیتاکه دارد و غیره. بیگ دیتا همه چیز را در جای خود قرار می دهد و به شما کمک می کند شیر آجیل را پیدا کنید، از هزینه و تاریخ انقضا مطلع شوید و همچنین چه کسی به جز شما چنین شیری را می خرد و چگونه بهتر از شیر گاو است.
کنت کوکیر: داده های بزرگ داده های بهتری هستند
فناوری داده های بزرگ
حجم عظیمی از داده‌ها پردازش می‌شوند تا فرد بتواند نتایج خاص و لازم را برای کاربرد مؤثر بیشتر آنها به دست آورد.
همچنین بخوانید:
در واقع، داده های بزرگ یک حل کننده مشکل و جایگزینی برای سیستم های مدیریت داده سنتی است.
تکنیک ها و روش های تجزیه و تحلیل قابل استفاده برای داده های بزرگ طبق مک کینزی:
جمع سپاری؛
ترکیب و یکپارچه سازی داده ها؛
فراگیری ماشین؛
شبکه های عصبی مصنوعی؛
تشخیص الگو؛
تجزیه و تحلیل پیش بینی کننده؛
مدل سازی شبیه سازی؛
تحلیل فضایی؛
تحلیل آماری؛
- بصری سازی داده های تحلیلی
مقیاس پذیری افقی که پردازش داده ها را امکان پذیر می کند، اصل اساسی پردازش کلان داده است. داده ها در گره های محاسباتی توزیع می شوند و پردازش بدون کاهش عملکرد انجام می شود. مک‌کینزی همچنین سیستم‌های مدیریت رابطه‌ای و هوش تجاری را در زمینه کاربردی گنجاند.
فن آوری:
- NoSQL;
- MapReduce;
- هادوپ
- راه حل های سخت افزاری
همچنین بخوانید:
برای کلان داده ها، مشخصه های تعریف کننده سنتی وجود دارد که توسط گروه متا در سال 2001 توسعه یافته است، که به نام " سه V»:
- جلد- مقدار حجم فیزیکی
- سرعت- نرخ رشد و نیاز به پردازش سریع داده ها برای به دست آوردن نتایج.
- تنوع- توانایی پردازش همزمان انواع مختلف داده ها.
کلان داده: کاربرد و فرصت ها
حجم اطلاعات دیجیتالی ناهمگن و به سرعت دریافتی را نمی توان با ابزارهای سنتی پردازش کرد. تجزیه و تحلیل داده ها به خودی خود به شما امکان می دهد الگوهای مشخص و نامحسوسی را ببینید که شخص نمی تواند آنها را ببیند. این به ما امکان می دهد تا تمام زمینه های زندگی خود را - از مدیریت دولتی گرفته تا تولید و مخابرات - بهینه کنیم.
به عنوان مثال، چند سال پیش برخی از شرکت ها از مشتریان خود در برابر کلاهبرداری محافظت کردند و مراقبت از پول مشتری مراقبت از پول خود است.
سوزان اتلیگر: داده های بزرگ چطور؟
راه حل های مبتنی بر داده های بزرگ: Sberbank، Beeline و سایر شرکت ها
Beeline اطلاعات زیادی در مورد مشترکین دارد که آنها نه تنها برای کار با آنها، بلکه برای ایجاد محصولات تحلیلی مانند مشاوره خارجی یا تجزیه و تحلیل IPTV از آنها استفاده می کنند. Beeline پایگاه داده را تقسیم بندی کرد و با استفاده از HDFS و Apache Spark برای ذخیره سازی و Rapidminer و Python برای پردازش داده ها، از مشتریان در برابر کلاهبرداری پول و ویروس ها محافظت کرد.
همچنین بخوانید:
یا Sberbank را با کیس قدیمی خود به نام AS SAFI به یاد بیاورید. این سیستمی است که عکس ها را برای شناسایی مشتریان بانک و جلوگیری از کلاهبرداری تجزیه و تحلیل می کند. این سیستم در سال 2014 معرفی شد، این سیستم مبتنی بر مقایسه عکس‌های پایگاه داده است که از وب‌کم‌های روی قفسه‌ها به لطف دید کامپیوتری به آنجا می‌رسند. اساس سیستم یک پلت فرم بیومتریک است. با تشکر از این، موارد کلاهبرداری 10 برابر کاهش یافت.
کلان داده در جهان
تا سال 2020، طبق پیش بینی ها، بشریت 40-44 زتابایت اطلاعات تشکیل خواهد داد. طبق گزارش The Data Age 2025 که توسط تحلیلگران IDC تهیه شده است، تا سال 2025 رشد 10 برابری خواهد داشت. این گزارش اشاره می‌کند که بیشتر داده‌ها توسط خود کسب‌وکارها تولید می‌شوند، نه مصرف‌کنندگان عادی.
تحلیلگران این مطالعه بر این باورند که داده ها به یک دارایی حیاتی تبدیل خواهند شد و امنیت - پایه ای حیاتی در زندگی است. همچنین، نویسندگان اثر مطمئن هستند که این فناوری چشم انداز اقتصادی را تغییر خواهد داد و کاربر معمولی حدود 4800 بار در روز با دستگاه های متصل ارتباط برقرار می کند.
بازار داده های بزرگ در روسیه
به طور معمول، کلان داده از سه منبع به دست می آید:
- اینترنت (شبکه های اجتماعی، انجمن ها، وبلاگ ها، رسانه ها و سایت های دیگر)؛
- آرشیو اسناد شرکتی؛
- نشانه های سنسورها، ابزارها و سایر دستگاه ها.
کلان داده در بانک ها
علاوه بر سیستم توضیح داده شده در بالا، در استراتژی Sberbank برای 2014-2018. در مورد اهمیت تجزیه و تحلیل مجموعه داده های فوق العاده برای خدمات مشتری با کیفیت، مدیریت ریسک و بهینه سازی هزینه صحبت می کند. این بانک اکنون از داده های بزرگ برای مدیریت ریسک ها، مبارزه با تقلب، تقسیم بندی و ارزیابی اعتبار مشتریان، مدیریت پرسنل، پیش بینی صف ها در شعب، محاسبه پاداش برای کارکنان و سایر وظایف استفاده می کند.
VTB24 از داده های بزرگ برای تقسیم بندی و مدیریت ریزش مشتری، تولید صورت های مالی و تجزیه و تحلیل بازخورد در شبکه های اجتماعی و انجمن ها استفاده می کند. برای این کار از Teradata، SAS Visual Analytics و SAS Marketing Optimizer استفاده می کند.
اطلاعات بزرگ- این نه تنها خود داده ها، بلکه فن آوری های پردازش و استفاده از آنها، روش هایی برای یافتن اطلاعات لازم در آرایه های بزرگ است. مشکل کلان داده هنوز برای هر سیستمی که چندین دهه است اطلاعات گسترده ای را جمع آوری کرده است باز و حیاتی است.
این اصطلاح با عبارت همراه است "حجم، سرعت، تنوع"- اصولی که کار با داده های بزرگ بر اساس آنها ساخته شده است. مستقیم است مقدار اطلاعات, سرعت پردازش آنو انواع اطلاعاتدر یک آرایه ذخیره می شود اخیراً یک مورد دیگر به سه اصل اساسی اضافه شده است - ارزش، که به معنی ارزش اطلاعات. یعنی باید از نظر نظری یا عملی مفید و ضروری باشد که هزینه های نگهداری و پردازش آن را توجیه کند.
شبکه‌های اجتماعی نمونه‌ای از یک منبع معمولی داده‌های بزرگ هستند - هر نمایه یا صفحه عمومی یک قطره کوچک در اقیانوس بدون ساختار اطلاعات است. علاوه بر این، صرف نظر از میزان اطلاعات ذخیره شده در یک پروفایل خاص، تعامل با هر یک از کاربران باید تا حد امکان سریع باشد.
کلان داده تقریباً در هر زمینه ای از زندگی انسان به طور مداوم در حال انباشته شدن است. این شامل هر صنعت مرتبط با تعاملات انسانی یا محاسبات می شود. اینها رسانه های اجتماعی، دارو، و بخش بانکی و همچنین سیستم های دستگاهی هستند که نتایج متعددی از محاسبات روزانه دریافت می کنند. به عنوان مثال، مشاهدات نجومی، اطلاعات هواشناسی و اطلاعات از دستگاه های صوتی زمین.
اطلاعات سیستم های ردیابی مختلف در زمان واقعی نیز به سرورهای یک شرکت خاص ارسال می شود. پخش تلویزیونی و رادیویی، پایگاه های تماس اپراتورهای تلفن همراه - تعامل هر فرد با آنها حداقل است، اما در مجموع، همه این اطلاعات به داده های بزرگ تبدیل می شوند.
فناوری‌های کلان داده به بخش تحقیق و توسعه و تجارت تبدیل شده‌اند. علاوه بر این، آنها شروع به تسخیر حوزه مدیریت دولتی کرده اند - و در همه جا به معرفی سیستم های بیشتر و کارآمدتر برای ذخیره و دستکاری اطلاعات نیاز است.
اصطلاح "داده های بزرگ" برای اولین بار در مطبوعات در سال 2008 ظاهر شد، زمانی که کلیفورد لینچ، سردبیر Nature مقاله ای در مورد چگونگی پیشرفت آینده علم با کمک فناوری های داده های بزرگ منتشر کرد. تا سال 2009، این اصطلاح فقط از نقطه نظر تحلیل علمی مورد توجه قرار می گرفت، اما پس از انتشار چندین مقاله دیگر، مطبوعات شروع به استفاده گسترده از مفهوم Big Data کردند - و در حال حاضر نیز از آن استفاده می کنند.
در سال 2010، اولین تلاش ها برای حل مشکل رو به رشد داده های بزرگ ظاهر شد. محصولات نرم افزاری منتشر شد که هدف آن به حداقل رساندن خطرات هنگام استفاده از آرایه های اطلاعاتی عظیم بود.
تا سال 2011، شرکت های بزرگی مانند مایکروسافت، اوراکل، EMC و IBM به داده های بزرگ علاقه مند شدند - آنها اولین کسانی بودند که از داده های بزرگ در استراتژی های توسعه خود استفاده کردند و کاملاً موفقیت آمیز بودند.
دانشگاه ها در سال 2013 شروع به مطالعه کلان داده ها به عنوان یک موضوع جداگانه کردند - اکنون نه تنها علوم داده، بلکه مهندسی، همراه با موضوعات محاسباتی، با مشکلاتی در این زمینه سروکار دارند.
روش های اصلی تجزیه و تحلیل و پردازش داده ها شامل موارد زیر است:
- روش های کلاس یا تحلیل عمیق (داده کاوی).
این روش ها بسیار زیاد هستند، اما با یک چیز متحد می شوند: ابزارهای ریاضی مورد استفاده در ارتباط با دستاوردهای حوزه فناوری اطلاعات.
- جمع سپاری.
این تکنیک به شما امکان می دهد داده ها را به طور همزمان از چندین منبع بدست آورید و تعداد آنها عملاً نامحدود است.
- تست A/B
از کل مقدار داده، یک مجموعه کنترلی از عناصر انتخاب می شود که به نوبه خود با سایر مجموعه های مشابه، که در آن یکی از عناصر تغییر کرده است، مقایسه می شود. انجام چنین آزمایشاتی به تعیین اینکه کدام نوسانات پارامتر بیشترین تأثیر را بر جمعیت کنترل دارد کمک می کند. به لطف حجم داده های بزرگ، می توان تعداد زیادی تکرار را انجام داد و هر یک از آنها به مطمئن ترین نتیجه نزدیک می شوند.
- تجزیه و تحلیل پیش بینی کننده
متخصصان در این زمینه سعی می کنند از قبل نحوه رفتار جسم کنترل شده را پیش بینی و برنامه ریزی کنند تا سودمندترین تصمیم را در این شرایط بگیرند.
- یادگیری ماشینی (هوش مصنوعی).
این مبتنی بر تجزیه و تحلیل تجربی اطلاعات و ساخت متعاقب آن الگوریتم های خودآموز برای سیستم ها است.
- تجزیه و تحلیل شبکه
رایج ترین روش برای مطالعه شبکه های اجتماعی - پس از دریافت داده های آماری، گره های ایجاد شده در شبکه تجزیه و تحلیل می شوند، یعنی تعاملات بین کاربران فردی و جوامع آنها.
در سال 2017 که داده های بزرگ دیگر چیز جدیدی و ناشناخته نیستند، اهمیت آن نه تنها کاهش نیافته، بلکه حتی افزایش یافته است. اکنون کارشناسان شرط بندی می کنند که تجزیه و تحلیل حجم زیادی از داده ها نه تنها برای سازمان های غول پیکر، بلکه برای مشاغل کوچک و متوسط نیز در دسترس خواهد بود. این رویکرد با استفاده از مؤلفه های زیر برنامه ریزی شده است:
- فضای ذخیره ابری.
ذخیره سازی و پردازش داده ها سریعتر و مقرون به صرفه تر می شود - در مقایسه با هزینه های نگهداری از مرکز داده خود و افزایش احتمالی کارکنان، به نظر می رسد اجاره ابر جایگزین بسیار ارزان تری باشد.
- استفاده از داده های تاریک
به اصطلاح "داده های تاریک" همه اطلاعات غیر دیجیتالی درباره یک شرکت است که نقش کلیدی در استفاده مستقیم از آن ایفا نمی کند، اما ممکن است دلیلی برای تغییر فرمت ذخیره سازی اطلاعات جدید باشد.
- هوش مصنوعی و یادگیری عمیق.
فناوری یادگیری هوش ماشینی، که ساختار و عملکرد مغز انسان را تقلید می کند، بهترین گزینه برای پردازش حجم زیادی از اطلاعات دائما در حال تغییر است. در این حالت، دستگاه هر کاری را که یک فرد باید انجام دهد انجام می دهد، اما احتمال خطا بسیار کاهش می یابد.
- بلاک چین
این فناوری به شما امکان می دهد تا تراکنش های اینترنتی متعدد از جمله تراکنش های بین المللی را سرعت بخشیده و ساده کنید. یکی دیگر از مزایای بلاک چین کاهش هزینه های تراکنش است.
- سلف سرویس و کاهش قیمت.
در سال 2017، برنامه ریزی شده است که "پلتفرم های سلف سرویس" معرفی شود - این پلتفرم های رایگان هستند که در آن نمایندگان مشاغل کوچک و متوسط می توانند به طور مستقل داده هایی را که ذخیره می کنند ارزیابی کرده و آنها را سیستماتیک کنند.
همه استراتژی های بازاریابی به نوعی مبتنی بر دستکاری اطلاعات و تجزیه و تحلیل داده های موجود هستند. به همین دلیل است که استفاده از داده های بزرگ می تواند پیش بینی کند و امکان تنظیم توسعه بیشتر شرکت را فراهم کند.
به عنوان مثال، یک حراج RTB ایجاد شده بر اساس داده های بزرگ به شما امکان می دهد از تبلیغات به طور موثرتری استفاده کنید - یک محصول خاص فقط به گروهی از کاربرانی که علاقه مند به خرید آن هستند نشان داده می شود.
مزیت استفاده از فناوری های کلان داده در بازاریابی و تجارت چیست؟
- با کمک آنها می توانید پروژه های جدید را بسیار سریعتر ایجاد کنید که احتمالاً در بین خریداران محبوب می شوند.
- آنها به ارتباط نیازهای مشتری با خدمات موجود یا پیش بینی شده کمک می کنند و بنابراین آنها را تنظیم می کنند.
- روش های کلان داده ارزیابی میزان رضایت فعلی همه کاربران و هر یک به صورت جداگانه را ممکن می سازد.
- افزایش وفاداری مشتری از طریق روش های پردازش کلان داده تضمین می شود.
- جذب مخاطب هدف در اینترنت به دلیل توانایی کنترل حجم عظیمی از داده ها آسان تر می شود.
به عنوان مثال، یکی از محبوب ترین سرویس ها برای پیش بینی محبوبیت احتمالی یک محصول خاص، Google.trends است. این به طور گسترده توسط بازاریابان و تحلیلگران مورد استفاده قرار می گیرد و به آنها امکان می دهد آماری در مورد استفاده از یک محصول معین در گذشته و پیش بینی فصل آینده بدست آورند. این به مدیران شرکت اجازه می دهد تا بودجه تبلیغاتی را به طور مؤثرتری توزیع کنند، و تعیین کنند که در کدام حوزه سرمایه گذاری بهتر است.
نمونه هایی از استفاده از داده های بزرگ
معرفی فعال فناوری‌های Big Data به بازار و زندگی مدرن درست پس از شروع استفاده از آنها توسط شرکت‌های مشهور جهانی که تقریباً در هر گوشه جهان مشتری دارند، آغاز شد.
اینها غول های اجتماعی مانند فیس بوک و گوگل، آی بی ام و همچنین ساختارهای مالی مانند مستر کارت، ویزا و بانک آمریکا هستند.
به عنوان مثال، IBM از تکنیک های کلان داده برای تراکنش های نقدی استفاده می کند. با کمک آنها، 15٪ تراکنش های کلاهبرداری بیشتر شناسایی شد که میزان وجوه محافظت شده را 60٪ افزایش داد. مشکلات مربوط به موارد مثبت کاذب سیستم نیز حل شد - تعداد آنها بیش از نصف کاهش یافت.
VISA به طور مشابه از Big Data برای ردیابی تلاش های جعلی برای انجام یک تراکنش خاص استفاده کرد. به لطف این، آنها سالانه بیش از 2 میلیارد دلار از نشت صرفه جویی می کنند.
وزارت کار آلمان با استقرار سیستم کلان داده در کار صدور مقرری بیکاری، توانسته است هزینه ها را 10 میلیارد یورو کاهش دهد. در همان زمان مشخص شد که یک پنجم شهروندان این مزایا را بدون توجیه دریافت می کنند.
Big Data صنعت بازی را نیز دور نگذاشته است. بنابراین، توسعه دهندگان World of Tanks مطالعه ای از اطلاعات مربوط به همه بازیکنان انجام دادند و شاخص های موجود فعالیت آنها را مقایسه کردند. این به پیش‌بینی ریزش احتمالی بازیکنان در آینده کمک کرد - بر اساس فرضیات ساخته شده، نمایندگان سازمان قادر به تعامل مؤثرتر با کاربران بودند.
سازمان‌های برجسته‌ای که از داده‌های بزرگ استفاده می‌کنند نیز شامل HSBC، نزدک، کوکاکولا، استارباکس و AT&T هستند.
بزرگترین مشکل کلان داده هزینه پردازش آن است. این می تواند شامل تجهیزات گران قیمت و هزینه دستمزد متخصصان واجد شرایطی باشد که قادر به ارائه اطلاعات زیادی هستند. بدیهی است که تجهیزات باید به طور مرتب به روز شوند تا با افزایش حجم داده، حداقل عملکرد خود را از دست ندهند.
مشکل دوم باز هم مربوط به حجم زیاد اطلاعاتی است که باید پردازش شوند. به عنوان مثال، اگر یک مطالعه نه 2-3، بلکه تعداد زیادی نتیجه را ارائه دهد، بسیار دشوار است که عینی باقی بمانیم و از جریان داده های عمومی فقط آنهایی را انتخاب کنیم که تأثیر واقعی بر وضعیت یک پدیده داشته باشند.
مشکل حفظ حریم خصوصی داده های بزرگ با توجه به انتقال بیشتر خدمات مشتری به سمت استفاده از داده های آنلاین، تبدیل شدن به هدف بعدی برای مجرمان سایبری بسیار آسان است. حتی صرفاً ذخیره اطلاعات شخصی بدون انجام هرگونه تراکنش آنلاین می تواند با عواقب نامطلوبی برای مشتریان ذخیره سازی ابری همراه باشد.
مشکل از دست دادن اطلاعات اقدامات احتیاطی مستلزم این است که به یک نسخه پشتیبان ساده از داده ها محدود نشوید، بلکه باید حداقل 2-3 نسخه پشتیبان از فضای ذخیره سازی تهیه کنید. با این حال، با افزایش حجم، پیچیدگی افزونگی افزایش می یابد - و متخصصان فناوری اطلاعات در تلاش هستند تا بهترین راه حل را برای این مشکل بیابند.
بازار فناوری های کلان داده در روسیه و جهان
از سال 2014، 40 درصد از بازار کلان داده را خدمات تشکیل می دهد. درآمد حاصل از استفاده از داده های بزرگ در تجهیزات کامپیوتری کمی کمتر (38٪) نسبت به این شاخص است. 22 درصد باقی مانده در نرم افزار است.
طبق آمار، مفیدترین محصولات در بخش جهانی برای حل مشکلات Big Data پلتفرم های تحلیلی In-memory و NoSQL هستند. 15 و 12 درصد از بازار به ترتیب در اختیار نرم افزارهای تحلیلی Log-file و پلتفرم های Columnar است. اما Hadoop/MapReduce در عمل مقابله با مشکلات کلان داده چندان موثر نیست.
نتایج پیاده‌سازی فناوری‌های کلان داده:
- بهبود کیفیت خدمات به مشتریان؛
- بهینه سازی ادغام در زنجیره تامین؛
- بهینه سازی برنامه ریزی سازمان؛
- تسریع در تعامل با مشتریان؛
- بهبود کارایی پردازش درخواست های مشتری؛
- کاهش هزینه های خدمات؛
- بهینه سازی پردازش درخواست های مشتری
بهترین کتاب های داده های بزرگ
مناسب برای مطالعه اولیه فناوری های پردازش کلان داده - به راحتی و به وضوح شما را به روز می کند. این نشان می‌دهد که چگونه فراوانی اطلاعات بر زندگی روزمره و همه حوزه‌های آن تأثیر گذاشته است: علم، تجارت، پزشکی و غیره. حاوی تصاویر متعددی است، بنابراین بدون تلاش زیاد درک می‌شود.
"مقدمه ای بر داده کاوی" نوشته پانگ نینگ تان، مایکل اشتاین باخ و ویپین کومار
همچنین یک کتاب مفید برای مبتدیان در Big Data که نحوه کار با داده های بزرگ را به شیوه ای "از ساده به پیچیده" توضیح می دهد. بسیاری از نکات مهم را در مرحله اولیه پوشش می دهد: آماده سازی برای پردازش، تجسم، OLAP، و همچنین برخی از روش های تجزیه و تحلیل داده ها و طبقه بندی.
راهنمای عملی استفاده و کار با داده های بزرگ با استفاده از زبان برنامه نویسی پایتون. هم برای دانشجویان مهندسی و هم برای متخصصانی که می خواهند دانش خود را عمیق تر کنند مناسب است.
"Hadoop for Dummies"، دیرک دروس، پل اس. زیکوپولس، رومن بی. ملنیک
Hadoop پروژه ای است که به طور خاص برای کار با برنامه های توزیع شده طراحی شده است که اجرای اقدامات را روی هزاران گره به طور همزمان سازماندهی می کند. آشنایی با آن به درک دقیق تر کاربرد عملی داده های بزرگ کمک می کند.
"اطلاعات بزرگ"- موضوعی که به طور فعال توسط شرکت های فناوری مورد بحث قرار می گیرد. برخی از آنها از داده های بزرگ ناامید شده اند، در حالی که برخی دیگر، برعکس، تا حد امکان از آن برای تجارت استفاده می کنند... . امیدواریم اطلاعات جالب و مفید باشد.
BIG DATA چیست؟
ویژگی های کلیدی
کلان داده در حال حاضر یکی از محرک های کلیدی توسعه فناوری اطلاعات است. این جهت که برای تجارت روسیه نسبتاً جدید است، در کشورهای غربی گسترده شده است. این امر به این دلیل است که در عصر فناوری اطلاعات، به ویژه پس از رونق شبکه های اجتماعی، حجم قابل توجهی از اطلاعات برای هر کاربر اینترنتی شروع به انباشته شدن کرد که در نهایت منجر به جهت گیری Big Data شد.اصطلاح Big Data باعث بحث و جدل های زیادی می شود، بسیاری معتقدند که این فقط به معنای مقدار اطلاعات انباشته شده است، اما جنبه فنی را فراموش نکنید، این حوزه شامل فناوری های ذخیره سازی، محاسبات و خدمات می شود.
لازم به ذکر است که این حوزه شامل پردازش حجم زیادی از اطلاعات است که پردازش آن با روش های سنتی مشکل است*.
در زیر جدول مقایسه پایگاه داده سنتی و کلان داده است. 
حوزه داده های بزرگ با ویژگی های زیر مشخص می شود:
جلد
- حجم، پایگاه داده انباشته شده حجم زیادی از اطلاعات است که پردازش و ذخیره آن به روش های سنتی پر زحمت است، آنها به یک رویکرد جدید و ابزارهای بهبود یافته نیاز دارند.
سرعت
- سرعت، این ویژگی هم سرعت فزاینده انباشت داده ها را نشان می دهد (90 درصد اطلاعات در 2 سال گذشته جمع آوری شده است) و هم سرعت پردازش داده ها؛ اخیراً فناوری های پردازش داده های بلادرنگ تقاضای بیشتری پیدا کرده اند.
تنوع
- تنوع، یعنی امکان پردازش همزمان اطلاعات ساختاریافته و بدون ساختار با فرمت های مختلف. تفاوت اصلی بین اطلاعات ساختاریافته این است که می توان آنها را طبقه بندی کرد. نمونه ای از این اطلاعات، اطلاعات مربوط به معاملات مشتری است.
اطلاعات بدون ساختار شامل ویدئو، فایل های صوتی، متن رایگان، اطلاعاتی است که از شبکه های اجتماعی می آید. تا به امروز 80 درصد اطلاعات در گروه بدون ساختار قرار می گیرد. این اطلاعات به تجزیه و تحلیل پیچیده نیاز دارد تا برای پردازش بیشتر مفید باشد.
صحت
- قابلیت اطمینان داده ها، کاربران شروع به اهمیت دادن به قابلیت اطمینان داده های موجود کردند. بنابراین شرکت‌های اینترنتی در تفکیک اقدامات انجام شده توسط یک ربات و یک شخص در وب‌سایت شرکت دچار مشکل می‌شوند که در نهایت منجر به دشواری تجزیه و تحلیل داده‌ها می‌شود.
ارزش
- ارزش اطلاعات انباشته شده Big Data باید برای شرکت مفید باشد و ارزشی برای آن به ارمغان بیاورد. به عنوان مثال، به بهبود فرآیندهای تجاری، گزارش دهی یا بهینه سازی هزینه کمک کنید.
در صورت رعایت 5 شرط بالا، حجم انباشته داده ها را می توان به عنوان بزرگ طبقه بندی کرد.
کاربردهای داده های بزرگ
دامنه فناوری های کلان داده گسترده است. بنابراین، با کمک داده های بزرگ، می توانید در مورد ترجیحات مشتری، اثربخشی کمپین های بازاریابی یا تجزیه و تحلیل ریسک اطلاعات کسب کنید. در زیر نتایج یک نظرسنجی موسسه IBM در مورد جهت گیری استفاده از داده های بزرگ در شرکت ها آورده شده است.
همانطور که از نمودار مشخص است، اکثر شرکت ها از داده های بزرگ در زمینه خدمات به مشتریان استفاده می کنند، دومین جهت محبوب، بهره وری عملیاتی است، در زمینه مدیریت ریسک، داده های بزرگ در حال حاضر کمتر رایج است.
همچنین لازم به ذکر است که Big Data یکی از سریع ترین حوزه های فناوری اطلاعات در حال رشد است، طبق آمار، مجموع داده های دریافتی و ذخیره شده هر 1.2 سال دو برابر می شود.
بین سال‌های 2012 تا 2014، میزان داده‌های ارسالی ماهانه توسط شبکه‌های تلفن همراه 81 درصد افزایش یافته است. سیسکو تخمین می زند که حجم ترافیک موبایل در سال 2014 2.5 اگزابایت (واحد اندازه گیری مقدار اطلاعات برابر با 10 ^ 18 بایت استاندارد) در ماه بوده و در سال 2019 معادل 24.3 اگزابایت خواهد بود.
بنابراین، Big Data حتی با وجود سن نسبتاً جوان آن، در حال حاضر یک حوزه فناوری جا افتاده است که در بسیاری از زمینه‌های کسب و کار گسترده شده است و نقش مهمی در توسعه شرکت‌ها ایفا می‌کند.
فناوری های کلان داده
فن آوری های مورد استفاده برای جمع آوری و پردازش داده های بزرگ را می توان به 3 گروه تقسیم کرد:- نرم افزار؛
- تجهیزات؛
- سرویس.
رایج ترین رویکردهای پردازش داده (PD) عبارتند از:
SQL
- یک زبان پرس و جو ساختار یافته که به شما امکان می دهد با پایگاه های داده کار کنید. با استفاده از SQL می توانید داده ها را ایجاد و اصلاح کنید و آرایه داده ها توسط سیستم مدیریت پایگاه داده مناسب مدیریت می شود.
NoSQL
- این اصطلاح مخفف Not Only SQL (نه فقط SQL) است. این شامل تعدادی رویکرد با هدف پیاده سازی پایگاه داده است که با مدل های مورد استفاده در DBMS های سنتی و رابطه ای متفاوت است. استفاده از آنها با ساختار داده دائماً در حال تغییر است. به عنوان مثال برای جمع آوری و ذخیره اطلاعات در شبکه های اجتماعی.
MapReduce
- مدل توزیع محاسباتی برای محاسبات موازی در مجموعه داده های بسیار بزرگ (پتابایت* یا بیشتر) استفاده می شود. در رابط برنامه نویسی، داده ها برای پردازش به برنامه منتقل نمی شوند، بلکه برنامه به داده ها منتقل می شود. بنابراین، پرس و جو یک برنامه جداگانه است. اصل عملیات پردازش متوالی داده ها با دو روش Map و Reduce است. Map داده های اولیه را انتخاب می کند، Reduce آنها را جمع می کند.
هادوپ
- برای پیاده‌سازی مکانیسم‌های جستجو و زمینه‌ای برای سایت‌های با بارگذاری بالا - فیس‌بوک، eBay، آمازون و غیره استفاده می‌شود. یک ویژگی متمایز این است که سیستم از شکست هر یک از گره‌های خوشه محافظت می‌شود، زیرا هر بلوک حداقل یک کپی از داده‌ها دارد. در گره دیگر
SAP HANA
یک پلت فرم NewSQL با کارایی بالا برای ذخیره سازی و پردازش داده ها است. پردازش درخواست با سرعت بالا را ارائه می دهد. تمایز دیگر این است که SAP HANA چشم انداز سیستم را با کاهش هزینه پشتیبانی از سیستم های تحلیلی ساده می کند.
تجهیزات تکنولوژیکی شامل:
- سرورها؛
- تجهیزات زیرساختی
تجهیزات زیرساخت شامل ابزارهای شتاب دهنده پلت فرم، منابع تغذیه بدون وقفه، مجموعه های کنسول سرور و غیره است.
سرویس.
خدمات شامل معماری سیستم پایگاه داده، توسعه و بهینه سازی زیرساخت و امنیت ذخیره سازی داده ها است.
نرم‌افزار، سخت‌افزار و خدمات با هم ترکیب می‌شوند تا پلتفرم‌های سرتاسری برای ذخیره‌سازی و تجزیه و تحلیل داده‌ها را تشکیل دهند. شرکت هایی مانند مایکروسافت، اچ پی، EMC خدماتی را برای توسعه، استقرار و مدیریت راه حل های Big Data ارائه می دهند.
کاربرد در صنایع
داده های بزرگ در بسیاری از بخش های تجاری گسترش یافته است. آنها در مراقبت های بهداشتی، مخابرات، تجارت، تدارکات، شرکت های مالی و همچنین در مدیریت دولتی استفاده می شوند.در زیر چند نمونه از کاربردهای کلان داده در برخی از صنایع آورده شده است.
خرده فروشی
پایگاه‌های اطلاعاتی فروشگاه‌های خرده‌فروشی می‌توانند اطلاعات زیادی در مورد مشتریان، سیستم مدیریت موجودی، عرضه محصولات قابل عرضه در بازار جمع‌آوری کنند. این اطلاعات می تواند در تمام زمینه های فعالیت فروشگاه مفید باشد.
بنابراین با کمک اطلاعات انباشته شده می توانید عرضه کالاها، نگهداری و فروش آنها را مدیریت کنید. بر اساس اطلاعات انباشته شده می توان تقاضا و عرضه کالا را پیش بینی کرد. همچنین سیستم پردازش و تجزیه و تحلیل داده ها می تواند سایر مشکلات خرده فروش را حل کند، مثلاً هزینه ها را بهینه کند یا گزارش تهیه کند.
خدمات مالی
Big Data تجزیه و تحلیل اعتبار وام گیرنده را ممکن می کند و همچنین برای امتیازدهی اعتبار* و پذیره نویسی** مفید است. معرفی فناوری های Big Data زمان بررسی درخواست های وام را کاهش می دهد. با کمک بیگ دیتا می توان عملیات یک مشتری خاص را تحلیل کرد و خدمات بانکی مناسب او را ارائه داد.
مخابرات
در صنعت ارتباطات از راه دور، Big Data به طور گسترده توسط اپراتورهای تلفن همراه استفاده می شود.
اپراتورهای تلفن همراه همراه با موسسات مالی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند.
علاوه بر استفاده از داده های بزرگ برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی تقلبی استفاده می شود.
معدن و صنعت نفت
داده های بزرگ هم در استخراج مواد معدنی و هم در پردازش و بازاریابی آنها استفاده می شود. بر اساس اطلاعات دریافتی، شرکت ها می توانند در مورد کارایی توسعه میدان نتیجه گیری کنند، برنامه تعمیرات اساسی و وضعیت تجهیزات را پیگیری کنند و تقاضا و قیمت محصول را پیش بینی کنند.
بر اساس یک نظرسنجی توسط Tech Pro Research، داده های بزرگ در صنعت ارتباطات راه دور و همچنین در شرکت های مهندسی، فناوری اطلاعات، مالی و دولتی گسترده ترین است. بر اساس نتایج این نظرسنجی، داده های بزرگ در آموزش و مراقبت های بهداشتی از محبوبیت کمتری برخوردار است. نتایج نظرسنجی در زیر ارائه شده است:
نمونه هایی از استفاده از داده های بزرگ در شرکت ها
امروزه Big Data به طور فعال در شرکت های خارجی پیاده سازی می شود. شرکت‌هایی مانند نزدک، فیس‌بوک، گوگل، آی‌بی‌ام، ویزا، مستر کارت، بانک آمریکا، اچ‌اس‌بی‌سی، AT&T، کوکا کولا، استارباکس و نتفلیکس در حال حاضر از منابع Big Data استفاده می‌کنند.حوزه های کاربرد اطلاعات پردازش شده متنوع است و بسته به صنعت و وظایفی که باید انجام شود متفاوت است.
در ادامه، نمونه هایی از کاربرد فناوری های کلان داده در عمل ارائه خواهد شد.
HSBC از فناوری های Big Data برای مقابله با تراکنش های جعلی با کارت های پلاستیکی استفاده می کند. این شرکت با کمک بیگ دیتا، کارایی سرویس امنیتی را 3 برابر و تشخیص حوادث کلاهبرداری را 10 برابر افزایش داد. تاثیر اقتصادی معرفی این فناوری ها از 10 میلیون دلار آمریکا فراتر رفت.
ضد تقلب* ویزا به شما امکان می دهد تا به طور خودکار معاملات با ماهیت جعلی را محاسبه کنید، این سیستم در حال حاضر به جلوگیری از پرداخت های جعلی به مبلغ 2 میلیارد دلار در سال کمک می کند.
شرکت سوپر کامپیوتر واتسون IBM در زمان واقعی جریان داده ها در مورد معاملات پول را تجزیه و تحلیل می کند. بر اساس گزارش IBM، واتسون تعداد تراکنش‌های جعلی کشف‌شده را 15 درصد افزایش داد، موارد مثبت کاذب سیستم را تا 50 درصد کاهش داد و میزان وجوه محافظت شده از تراکنش‌های این ماهیت را 60 درصد افزایش داد.
پراکتر اند گمبل
آنها با کمک بیگ دیتا محصولات جدید طراحی می کنند و کمپین های بازاریابی جهانی ایجاد می کنند. P&G دفاتر اختصاصی Business Spheres را ایجاد کرده است که در آن می توانید اطلاعات را در زمان واقعی مشاهده کنید.
بنابراین، مدیریت شرکت این فرصت را دارد که فوراً فرضیه ها را آزمایش کند و آزمایش هایی را انجام دهد. P&G معتقد است که داده های بزرگ به پیش بینی عملکرد شرکت کمک می کند.
خرده فروش لوازم اداری officemax آنها با کمک فناوری های Big Data رفتار مشتریان را تجزیه و تحلیل می کنند. تجزیه و تحلیل کلان داده اجازه می دهد تا درآمد B2B را تا 13 درصد افزایش دهد، هزینه ها را تا 400000 دلار در سال کاهش دهد.
مطابق با کرم ابریشم ، توزیع کنندگان آن سالانه 9 تا 18 میلیارد دلار درآمد را از دست می دهند فقط به این دلیل که فناوری Big Data را پیاده سازی نمی کنند. Big Data به مشتریان این امکان را می دهد تا با تجزیه و تحلیل اطلاعات از حسگرهای نصب شده روی ماشین ها، ناوگان خود را به طور موثرتری مدیریت کنند.
تا به امروز، امکان تجزیه و تحلیل وضعیت اجزای کلیدی، درجه سایش، مدیریت هزینه های سوخت و نگهداری وجود دارد.
گروه لوکسوتیکا تولید کننده عینک های ورزشی با برندهایی مانند Ray-Ban، Persol و Oakley است. این شرکت از فناوری های Big Data برای تجزیه و تحلیل رفتار مشتریان بالقوه و بازاریابی پیامکی «هوشمند» استفاده می کند. در نتیجه، گروه Big Data Luxottica بیش از 100 میلیون مشتری با ارزش را شناسایی کرد و اثربخشی کمپین بازاریابی را 10٪ افزایش داد.
با کمک Yandex Data Factory، توسعه دهندگان بازی دنیای تانک ها تحلیل رفتار بازیکنان فناوری های Big Data امکان تجزیه و تحلیل رفتار 100 هزار بازیکن World of Tanks را با استفاده از بیش از 100 پارامتر (اطلاعات در مورد خرید، بازی، تجربه و غیره) فراهم می کند. در نتیجه تجزیه و تحلیل، پیش بینی ریزش کاربر به دست آمد. این اطلاعات به شما امکان می دهد مراقبت از کاربر را کاهش دهید و به طور هدفمند با شرکت کنندگان در بازی کار کنید. مدل توسعه‌یافته ۲۰ تا ۳۰ درصد کارآمدتر از ابزارهای استاندارد آنالیز صنعت بازی است.
وزارت کار آلمان از داده های بزرگ برای تجزیه و تحلیل ادعاهای بیکاری دریافتی استفاده می کند. بنابراین، پس از تجزیه و تحلیل اطلاعات، مشخص شد که 20 درصد از مزایای بدون استحقاق پرداخت شده است. وزارت کار با کمک بیگ دیتا هزینه ها را 10 میلیارد یورو کاهش داده است.
بیمارستان کودکان تورنتو پروژه پروژه آرتمیس را اجرا کرد. این یک سیستم اطلاعاتی است که داده های مربوط به نوزادان را در زمان واقعی جمع آوری و تجزیه و تحلیل می کند. این سیستم در هر ثانیه 1260 شاخص از وضعیت هر کودک را کنترل می کند. پروژه آرتمیس به شما امکان می دهد وضعیت ناپایدار کودک را پیش بینی کنید و پیشگیری از بیماری ها را در کودکان آغاز کنید.
مروری بر بازار جهانی داده های بزرگ
وضعیت فعلی بازار جهانی
در سال 2014، داده های بزرگ، به گفته Data Collective، به یکی از حوزه های اولویت برای سرمایه گذاری در صنعت سرمایه گذاری تبدیل شده است. به گزارش پورتال اطلاعاتی Computerra، این به این دلیل است که تحولات در این زمینه شروع به نتایج قابل توجهی برای کاربران خود کرده است. طی سال گذشته تعداد شرکت‌های دارای پروژه‌های اجرا شده در حوزه مدیریت کلان داده‌ها 125 درصد افزایش یافته است، حجم بازار نسبت به سال 2013 رشد 45 درصدی داشته است.
طبق ویکی‌بون، بیشترین درآمد بازار داده‌های بزرگ در سال 2014 از خدمات تشکیل شده است که سهم آنها معادل 40 درصد از کل درآمد بوده است (نمودار زیر را ببینید):
اگر داده های بزرگ را برای سال 2014 بر اساس زیرگروه ها در نظر بگیریم، بازار به این صورت خواهد بود:
بر اساس Wikibon، اپلیکیشن‌ها و تجزیه و تحلیل‌ها 36 درصد از درآمد کلان داده در سال 2014 را از برنامه‌های Big Data و تجزیه و تحلیل، 17 درصد از سخت‌افزار محاسباتی و 15 درصد از فناوری ذخیره‌سازی را به خود اختصاص دادند. کمترین درآمد حاصل از فناوری NoSQL، تجهیزات زیرساختی و ارائه شبکه ای از شرکت ها (شبکه های شرکتی) بوده است.
محبوب ترین فناوری های Big Data پلتفرم های درون حافظه SAP، HANA، Oracle و غیره هستند. نتایج نظرسنجی T-Systems نشان داد که 30 درصد از شرکت های مورد بررسی آن ها را انتخاب کرده اند. دومین محبوب ترین پلتفرم های NoSQL (18٪ از کاربران) بودند، شرکت ها همچنین از پلتفرم های تحلیلی Splunk و Dell استفاده کردند، آنها توسط 15٪ از شرکت ها انتخاب شدند. طبق نتایج این نظرسنجی، کمترین کاربرد برای حل مشکلات Big Data، محصولات Hadoop/MapReduce بود.
بر اساس نظرسنجی Accenture، در بیش از 50 درصد از شرکت‌هایی که از فناوری‌های Big Data استفاده می‌کنند، هزینه‌های Big Data بین 21 تا 30 درصد متغیر است.
بر اساس تحلیل Accenture زیر، 76 درصد از شرکت ها معتقدند که این هزینه ها در سال 2015 افزایش می یابد و 24 درصد از شرکت ها بودجه خود را برای فناوری های Big Data تغییر نمی دهند. این نشان می دهد که در این شرکت ها Big Data در حال حاضر به یک منطقه تاسیس شده IT تبدیل شده است که به بخشی جدایی ناپذیر از توسعه شرکت تبدیل شده است.
نتایج نظرسنجی واحد اطلاعات اکونومیست تأثیر مثبت اجرای کلان داده را تأیید می کند. 46% از شرکت‌ها ادعا می‌کنند که با استفاده از فناوری‌های Big Data خدمات مشتریان را بیش از 10% بهبود داده‌اند، 33% از شرکت‌ها موجودی را بهینه کرده‌اند و بهره‌وری دارایی‌های کلیدی را بهبود بخشیده‌اند، 32% از شرکت‌ها فرآیندهای برنامه‌ریزی را بهبود بخشیده‌اند.
کلان داده در سراسر جهان
تا به امروز، فناوری‌های Big Data اغلب در شرکت‌های آمریکایی پیاده‌سازی می‌شوند، اما اکنون دیگر کشورهای جهان علاقه خود را نشان داده‌اند. در سال 2014، بر اساس IDC، کشورهای اروپا، خاورمیانه، آسیا (به استثنای ژاپن) و آفریقا 45 درصد از بازار نرم افزار، خدمات و تجهیزات Big Data را به خود اختصاص دادند.همچنین، طبق نظرسنجی CIO، شرکت های منطقه آسیا و اقیانوسیه به سرعت در حال تسلط بر راه حل های جدید در زمینه تجزیه و تحلیل داده های بزرگ، ذخیره سازی ایمن و فناوری های ابری هستند. آمریکای لاتین از نظر تعداد سرمایه گذاری در توسعه فناوری های داده های بزرگ، بالاتر از اروپا و ایالات متحده در رتبه دوم قرار دارد.
در ادامه، توضیحات و پیش‌بینی‌هایی از توسعه بازار کلان داده در چندین کشور ارائه خواهد شد.
چین
حجم اطلاعات در چین 909 اگزابایت است که معادل 10 درصد کل اطلاعات جهان است، تا سال 2020 حجم اطلاعات به 8060 اگزابایت خواهد رسید و سهم اطلاعات در آمارهای جهانی نیز افزایش خواهد یافت. 5 سال برابر با 18 درصد خواهد بود. رشد بالقوه داده های بزرگ چین یکی از سریع ترین پویایی های در حال رشد را دارد.
برزیل
تا پایان سال 2014، برزیل 212 اگزابایت اطلاعات جمع آوری کرده است که 3 درصد از حجم جهانی را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1600 اگزابایت خواهد رسید که 4 درصد از اطلاعات جهان را تشکیل می دهد.
هندوستان
بر اساس گزارش EMC، میزان داده های انباشته شده در هند در سال 2014، 326 اگزابایت است که 5 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 2800 اگزابایت خواهد رسید که 6 درصد از اطلاعات جهان را تشکیل می دهد.
ژاپن
مقدار داده های انباشته شده در ژاپن در پایان سال 2014، 495 اگزابایت است که 8 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020، حجم اطلاعات به 2200 اگزابایت افزایش می یابد، اما سهم بازار ژاپن کاهش می یابد و به 5 درصد از کل اطلاعات در کل جهان می رسد.
بدین ترتیب حجم بازار ژاپن بیش از 30 درصد کاهش خواهد یافت.
آلمان
بر اساس گزارش EMC، میزان داده های انباشته شده در آلمان در سال 2014، 230 اگزابایت است که 4 درصد از کل اطلاعات موجود در جهان را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1100 اگزابایت و 2 درصد خواهد رسید.
در بازار آلمان، طبق پیش‌بینی گروه اکسپرتون، سهم زیادی از درآمد توسط بخش خدمات ایجاد می‌شود که سهم آن در سال 2015 54 درصد خواهد بود و در سال 2019 به 59 درصد، سهم نرم‌افزار و سخت‌افزار افزایش می‌یابد. برعکس کاهش خواهد یافت.
به طور کلی، اندازه بازار از 1.345 میلیارد یورو در سال 2015 به 3.198 میلیارد یورو در سال 2019 با میانگین نرخ رشد 24 درصد خواهد رسید.
بنابراین، بر اساس تجزیه و تحلیل CIO و EMC، می‌توان نتیجه گرفت که کشورهای در حال توسعه جهان در سال‌های آینده به بازارهایی برای توسعه فعال فناوری‌های Big Data تبدیل خواهند شد.
روندهای اصلی بازار
طبق IDG Enterprise، شرکت‌ها در سال 2015 به‌طور متوسط 7.4 میلیون دلار برای هر شرکت در Big Data، شرکت‌های بزرگ حدود 13.8 میلیون دلار و شرکت‌های کوچک و متوسط 1.6 میلیون دلار هزینه خواهند کرد.بیشتر سرمایه گذاری در زمینه هایی مانند تجزیه و تحلیل داده ها، تجسم و جمع آوری داده ها خواهد بود.
با توجه به روندهای فعلی و تقاضای بازار، سرمایه گذاری در سال 2015 برای بهبود کیفیت داده ها، بهبود برنامه ریزی و پیش بینی و افزایش سرعت پردازش داده ها استفاده خواهد شد.
طبق تحلیل بینش شرکت باین، شرکت های بخش مالی سرمایه گذاری های قابل توجهی انجام خواهند داد، بنابراین در سال 2015 برنامه ریزی شده است که 6.4 میلیارد دلار آمریکا برای فناوری های Big Data هزینه شود، متوسط نرخ رشد سرمایه گذاری تا سال 2020 22 درصد خواهد بود. شرکت های اینترنتی قصد دارند 2.8 میلیارد دلار با نرخ رشد متوسط 26 درصدی در مخارج کلان داده هزینه کنند.
طی بررسی واحد اطلاعات اکونومیست، حوزه های اولویت برای توسعه داده های بزرگ در سال 2014 و در 3 سال آینده مشخص شد، توزیع پاسخ ها به شرح زیر است:
بر اساس پیش بینی IDC، روند بازار به شرح زیر است:
- طی 5 سال آینده، هزینه راه حل های کلان داده مبتنی بر ابر 3 برابر سریعتر از هزینه راه حل های داخلی رشد خواهد کرد. پلتفرم های ذخیره سازی هیبریدی محبوب خواهند شد.
- رشد برنامه‌های کاربردی با استفاده از تحلیل‌های پیچیده و پیش‌بینی‌کننده، از جمله یادگیری ماشین، در سال 2015 شتاب می‌گیرد، بازار چنین برنامه‌هایی 65 درصد سریعتر از برنامه‌های بدون آنالیز پیش‌بینی رشد خواهد کرد.
- تجزیه و تحلیل رسانه ها در سال 2015 سه برابر خواهد شد و به یک محرک رشد کلیدی برای بازار فناوری داده های بزرگ تبدیل خواهد شد.
- روند پیاده سازی راه حل هایی برای تجزیه و تحلیل جریان ثابت اطلاعاتی که در اینترنت اشیا قابل استفاده است، شتاب خواهد گرفت.
- تا سال 2018، 50 درصد از کاربران با خدمات مبتنی بر محاسبات شناختی تعامل خواهند داشت.
محرک ها و محدود کننده های بازار
کارشناسان IDC 3 محرک بازار کلان داده را در سال 2015 شناسایی کردند:طبق نظرسنجی Accenture، مسائل امنیتی داده ها در حال حاضر مانع اصلی پذیرش فناوری های Big Data هستند، بیش از 51٪ از پاسخ دهندگان تأیید کردند که نگران حفاظت از داده ها و حریم خصوصی هستند. 47% از شرکت‌ها عدم امکان پیاده‌سازی Big Data را به دلیل محدودیت بودجه گزارش کرده‌اند، 41% از شرکت‌ها کمبود پرسنل واجد شرایط را مشکل می‌دانند.
ویکی‌بون پیش‌بینی می‌کند که بازار کلان داده در سال 2015 به 38.4 میلیارد دلار افزایش می‌یابد که 36 درصد نسبت به سال گذشته افزایش خواهد یافت. در سال های آینده، کاهش نرخ رشد به 10 درصد در سال 2017 وجود خواهد داشت. با در نظر گرفتن این پیش بینی ها، اندازه بازار در سال 2020 برابر با 68.7 میلیارد دلار آمریکا خواهد بود.
توزیع بازار جهانی داده های بزرگ بر اساس دسته بندی کسب و کار به این صورت خواهد بود:
همانطور که از نمودار می بینید، بیشتر بازار توسط فناوری های حوزه بهبود خدمات مشتری اشغال خواهد شد. بازاریابی نقطه ای تا سال 2019 دومین اولویت برای شرکت ها خواهد بود، طبق گفته Heavy Reading در سال 2020 راه حل هایی برای بهبود کارایی عملیاتی خواهد داد.
بخش «بهبود خدمات به مشتریان» نیز با 49 درصد افزایش سالانه بالاترین نرخ رشد را خواهد داشت.
پیش‌بینی بازار برای زیرشاخه‌های Big Data به این صورت خواهد بود:
همانطور که از نمودار مشخص است، سهم بازار غالب در اختیار خدمات حرفه‌ای است، اپلیکیشن‌های دارای تجزیه و تحلیل بالاترین نرخ رشد را خواهند داشت، سهم آنها از 12% فعلی به 18% در سال 2020 افزایش می‌یابد و حجم این بخش خواهد بود. معادل 12.3 میلیارد دلار آمریکا باشد، برعکس، سهم تجهیزات محاسباتی از 20 درصد به 14 درصد کاهش می یابد و در سال 2020 به حدود 9.3 میلیارد دلار می رسد، بازار فناوری های ابری به تدریج افزایش می یابد و در سال 2020 به 6.3 میلیارد دلار، سهم بازار راه حل های ذخیره سازی داده ها، برعکس، از 15 درصد در سال 2014 به 13 درصد در سال 2020 و از نظر پولی معادل 8.9 میلیارد دلار آمریکا خواهد بود.
بر اساس پیش‌بینی تحلیل بینش Bain & Company، توزیع بازار کلان داده بر اساس صنعت در سال 2020 به این صورت خواهد بود:
- صنعت مالی 6.4 میلیارد دلار برای کلان داده با میانگین نرخ رشد 22 درصد در سال هزینه خواهد کرد.
- شرکت‌های اینترنتی برای 2.8 میلیارد دلار هزینه و نرخ رشد متوسط هزینه‌ها 26 درصد طی 5 سال آینده.
- هزینه های بخش دولتی متناسب با هزینه های شرکت های اینترنتی خواهد بود، اما نرخ رشد کمتر خواهد بود - 22٪.
- بخش مخابرات با نرخ رشد متوسط 40 درصد رشد خواهد کرد و در سال 2020 به 1.2 میلیارد دلار خواهد رسید.
شرکت های انرژی مقدار نسبتا کمی در این فناوری ها سرمایه گذاری خواهند کرد - 800 میلیون دلار آمریکا، اما نرخ رشد یکی از بالاترین ها - 54٪ در سال خواهد بود.
بنابراین، شرکت‌های صنعت مالی در سال 2020 سهم بزرگی از بازار کلان داده را در اختیار خواهند گرفت و انرژی سریع‌ترین بخش در حال رشد را خواهد داشت.
بر اساس پیش بینی های تحلیلگران، حجم کل بازار در سال های آینده افزایش خواهد یافت. رشد بازار با معرفی فناوری‌های Big Data در کشورهای در حال توسعه جهان تضمین می‌شود، همانطور که از نمودار زیر قابل مشاهده است.
اندازه بازار پیش‌بینی‌شده به این بستگی دارد که کشورهای در حال توسعه چگونه فناوری‌های کلان داده را درک می‌کنند، آیا آنها به اندازه کشورهای توسعه‌یافته محبوب خواهند بود. در سال 2014، کشورهای در حال توسعه جهان 40 درصد از اطلاعات انباشته شده را به خود اختصاص داده اند. بر اساس پیش‌بینی EMC، ساختار بازار فعلی که تحت سلطه کشورهای توسعه‌یافته است، از اوایل سال 2017 تغییر خواهد کرد. بر اساس تحلیل EMC، در سال 2020 سهم کشورهای در حال توسعه بیش از 60 درصد خواهد بود.
طبق گفته سیسکو و EMC، کشورهای در حال توسعه جهان به طور فعال با داده های بزرگ کار خواهند کرد، از بسیاری جهات این به دلیل در دسترس بودن فناوری ها و انباشت اطلاعات کافی در سطح کلان داده خواهد بود. نقشه جهان در صفحه بعدی پیش بینی رشد و نرخ رشد Big Data را بر اساس منطقه نشان می دهد.
تجزیه و تحلیل بازار روسیه
وضعیت فعلی بازار روسیه
بر اساس نتایج مطالعه CNews Analytics و Oracle، سطح بلوغ بازار کلان داده روسیه در سال گذشته افزایش یافته است. پاسخ دهندگان به نمایندگی از 108 شرکت بزرگ از صنایع مختلف، میزان آگاهی بالاتری از این فناوری ها و همچنین درک پتانسیل چنین راه حل هایی برای تجارت خود نشان دادند.
از سال 2014، طبق IDC، روسیه 155 اگزابایت اطلاعات جمع آوری کرده است که تنها 1.8 درصد از داده های جهان است. حجم اطلاعات تا سال 2020 به 980 اگزابایت خواهد رسید و 2.2 درصد را اشغال خواهد کرد. بدین ترتیب میانگین نرخ رشد حجم اطلاعات 36 درصد در سال خواهد بود.
IDC بازار روسیه را 340 میلیون دلار تخمین می زند که 100 میلیون دلار آن راه حل های SAP است، تقریباً 240 میلیون دلار راه حل های مشابه اوراکل، IBM، SAS، مایکروسافت و غیره است.
نرخ رشد بازار کلان داده روسیه حداقل 50 درصد در سال است.
پیش‌بینی می‌شود که پویایی مثبت در این بخش از بازار فناوری اطلاعات روسیه، حتی در شرایط رکود عمومی اقتصاد، ادامه یابد. این به دلیل این واقعیت است که مشاغل همچنان به دنبال راه حل هایی هستند که کارایی کار را بهبود می بخشد و همچنین هزینه ها را بهینه می کند، دقت پیش بینی را بهبود می بخشد و خطرات احتمالی شرکت را به حداقل می رساند.
ارائه دهندگان اصلی خدمات در زمینه Big Data در بازار روسیه عبارتند از:
- اوراکل
- مایکروسافت
- کلودرا
- هورتون ورکز
- Teradata.
مروری بر بازار بر اساس صنعت و تجربه استفاده از داده های بزرگ در شرکت ها
به گزارش CNews، تنها 10 درصد از شرکت ها در روسیه استفاده از فناوری های Big Data را آغاز کرده اند، در حالی که سهم چنین شرکت هایی در جهان حدود 30 درصد است. بر اساس گزارش CNews Analytics و Oracle، آمادگی برای پروژه های Big Data در بسیاری از بخش های اقتصاد روسیه در حال رشد است. بیش از یک سوم شرکت‌های مورد بررسی (37 درصد) کار با فناوری‌های Big Data را آغاز کرده‌اند که در میان آنها 20 درصد در حال حاضر از چنین راه‌حل‌هایی استفاده می‌کنند و 17 درصد شروع به آزمایش با آنها کرده‌اند. یک سوم دوم پاسخ دهندگان در حال حاضر چنین امکانی را بررسی می کنند.
در روسیه، فناوری‌های Big Data در بخش بانکداری و مخابرات محبوب‌تر هستند، اما در صنعت معدن، انرژی، خرده‌فروشی، شرکت‌های لجستیک و بخش عمومی نیز مورد تقاضا هستند.
در مرحله بعد، نمونه هایی از استفاده از داده های بزرگ در واقعیت های روسیه در نظر گرفته می شود.
مخابرات
اپراتورهای مخابراتی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
یکی از حوزه های کاربرد فناوری Big Data، مدیریت وفاداری مشترکین است.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند. مخابرات علاوه بر استفاده از اطلاعات برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی متقلبانه استفاده می کند.
Vimpelcom یکی از درخشان ترین نمونه های این صنعت است. این شرکت از داده های بزرگ برای بهبود کیفیت خدمات در سطح هر مشترک، گزارش، تجزیه و تحلیل داده ها برای توسعه شبکه، مبارزه با هرزنامه ها و شخصی سازی خدمات استفاده می کند.
بانک ها
بخش قابل توجهی از کاربران Big Data را متخصصان صنعت مالی اشغال می کنند. یکی از آزمایش های موفق در بانک بازسازی و توسعه اورال انجام شد، جایی که از پایگاه اطلاعاتی برای تجزیه و تحلیل مشتریان استفاده شد، این بانک شروع به ارائه پیشنهادات وام، سپرده ها و سایر خدمات تخصصی کرد. در طول سال استفاده از این فناوری ها، سبد وام خرده فروشی این شرکت 55 درصد رشد داشته است.
آلفا بانک اطلاعات شبکه های اجتماعی را تجزیه و تحلیل می کند، درخواست های وام را پردازش می کند، رفتار کاربران وب سایت شرکت را تجزیه و تحلیل می کند.
Sberbank همچنین پردازش یک آرایه داده را برای تقسیم بندی مشتریان، جلوگیری از تقلب، فروش متقابل و مدیریت ریسک آغاز کرده است. در آینده، برای بهبود خدمات و تجزیه و تحلیل اقدامات مشتریان در زمان واقعی برنامه ریزی شده است.
بانک توسعه منطقه ای همه روسیه رفتار دارندگان کارت های پلاستیکی را تجزیه و تحلیل می کند. این به شما امکان می دهد تراکنش هایی را که برای یک مشتری خاص غیرمعمول هستند شناسایی کنید و در نتیجه احتمال سرقت وجوه از کارت های پلاستیکی را افزایش دهید.
خرده فروشی
در روسیه، فناوری‌های Big Data توسط شرکت‌های تجاری آنلاین و آفلاین پیاده‌سازی شده‌اند. امروزه، طبق گزارش CNews Analytics، 20 درصد از خرده فروشان از داده های بزرگ استفاده می کنند. 75 درصد از متخصصان خرده‌فروشی، داده‌های بزرگ را برای توسعه یک استراتژی رقابتی برای ارتقای یک شرکت ضروری می‌دانند. طبق آمار هادوپ، پس از معرفی فناوری Big Data، سود در سازمان های تجاری بین 7 تا 10 درصد رشد می کند.
متخصصان M.Video از بهبود برنامه ریزی لجستیک پس از اجرای SAP HANA صحبت می کنند، همچنین در نتیجه اجرای آن، تهیه گزارش های سالانه از 10 روز به 3، سرعت بارگذاری روزانه داده ها از 3 کاهش یافت. ساعت تا 30 دقیقه
ویکی‌مارت از این فناوری‌ها برای ایجاد توصیه‌هایی برای بازدیدکنندگان سایت استفاده می‌کند.
یکی از اولین فروشگاه های آفلاین که تجزیه و تحلیل داده های بزرگ را در روسیه معرفی کرد Lenta بود. با کمک Big Data، خرده فروشی شروع به مطالعه اطلاعات مشتریان از رسیدهای نقدی کرد. خرده فروش اطلاعاتی را برای ایجاد مدل های رفتاری جمع آوری می کند که تصمیم گیری آگاهانه تری را در سطح عملیاتی و تجاری امکان پذیر می کند.
صنعت نفت و گاز
در این صنعت، دامنه داده های بزرگ بسیار گسترده است. فناوری های کلان داده را می توان در استخراج مواد معدنی از روده ها به کار برد. با کمک آنها می توانید فرآیند استخراج و موثرترین روش های استخراج آن را تجزیه و تحلیل کنید، فرآیند حفاری را ردیابی کنید، کیفیت مواد اولیه را تجزیه و تحلیل کنید و همچنین پردازش و بازاریابی محصولات نهایی را تجزیه و تحلیل کنید. در روسیه، این فناوری ها در حال حاضر توسط ترانس نفت و روس نفت استفاده می شود.
ارگان های دولتی
در کشورهایی مانند آلمان، استرالیا، اسپانیا، ژاپن، برزیل و پاکستان از فناوری‌های Big Data برای حل مشکلات ملی استفاده می‌شود. این فناوری‌ها به مقامات دولتی کمک می‌کنند تا خدمات مؤثرتری به مردم ارائه دهند، حمایت اجتماعی هدفمند را ارائه دهند.
در روسیه، این فناوری ها توسط نهادهای دولتی مانند صندوق بازنشستگی، خدمات مالیاتی فدرال و صندوق بیمه اجباری پزشکی تسلط یافتند. پتانسیل اجرای پروژه‌ها با استفاده از داده‌های بزرگ بسیار زیاد است؛ این فناوری‌ها می‌توانند به بهبود کیفیت خدمات، و در نتیجه، استاندارد زندگی مردم کمک کنند.
لجستیک و حمل و نقل
Big Data می تواند توسط شرکت های حمل و نقل نیز استفاده شود. با کمک فناوری‌های Big Data می‌توان ناوگان خودروها را ردیابی کرد، هزینه‌های سوخت را در نظر گرفت و درخواست‌های مشتریان را رصد کرد.
راه آهن روسیه فناوری های Big Data را همراه با SAP پیاده سازی کرد. این فناوری ها به کاهش 43.5 برابری زمان گزارش دهی (از 14.5 ساعت به 20 دقیقه) و بهبود دقت تخصیص هزینه تا 40 برابر کمک کردند. همچنین داده های بزرگ به فرآیندهای برنامه ریزی و تنظیم تعرفه وارد شد. در مجموع، شرکت ها از بیش از 300 سیستم مبتنی بر راه حل های SAP استفاده می کنند، 4 مرکز داده درگیر هستند و تعداد کاربران 220000 نفر است.
محرک ها و محدودیت های اصلی بازار
محرک های توسعه فناوری های داده های بزرگ در بازار روسیه عبارتند از:- افزایش علاقه کاربران به امکانات داده های بزرگ به عنوان راهی برای افزایش رقابت پذیری شرکت؛
- توسعه روش هایی برای پردازش فایل های رسانه ای در سطح جهانی؛
- انتقال سرورهایی که اطلاعات شخصی را پردازش می کنند به قلمرو روسیه مطابق با قانون تصویب شده در مورد ذخیره و پردازش داده های شخصی.
- اجرای طرح صنعت جایگزینی واردات نرم افزار. این طرح شامل حمایت دولتی از تولیدکنندگان نرم‌افزار داخلی و همچنین ارائه اولویت‌ها برای محصولات داخلی فناوری اطلاعات هنگام خرید با هزینه عمومی است.
- در شرایط جدید اقتصادی، زمانی که دلار تقریباً دو برابر شده است، تمایل به افزایش استفاده از خدمات ارائه دهندگان خدمات ابری روسی به جای خدمات خارجی وجود خواهد داشت.
- ایجاد پارک های فناوری که به توسعه بازار فناوری اطلاعات کمک می کند، از جمله بازار داده های بزرگ.
- برنامه ایالتی برای معرفی سیستم های شبکه ای که مبتنی بر فناوری های داده های بزرگ هستند.
موانع اصلی توسعه داده های بزرگ در بازار روسیه عبارتند از:
- تضمین امنیت و محرمانه بودن داده ها؛
- کمبود پرسنل واجد شرایط؛
- ناکافی بودن منابع اطلاعاتی انباشته تا سطح کلان داده در اکثر شرکت های روسی؛
- مشکلات در معرفی فن آوری های جدید در سیستم های اطلاعاتی مستقر شرکت ها؛
- هزینه بالای فناوری های کلان داده، که منجر به تعداد محدودی از شرکت ها می شود که فرصت اجرای این فناوری ها را دارند.
- عدم اطمینان سیاسی و اقتصادی که منجر به خروج سرمایه و انجماد پروژه های سرمایه گذاری در روسیه شد.
- به گفته IDC، افزایش قیمت محصولات وارداتی و افزایش تورم، مانع از توسعه کل بازار فناوری اطلاعات شده است.
پیش بینی بازار روسیه
از امروز، بازار کلان داده روسیه به اندازه کشورهای توسعه یافته محبوب نیست. اکثر شرکت های روسی به آن علاقه نشان می دهند، اما جرات استفاده از فرصت های خود را ندارند.نمونه‌هایی از شرکت‌های بزرگی که قبلاً از استفاده از فناوری‌های Big Data بهره‌مند شده‌اند، در حال افزایش آگاهی از امکانات این فناوری‌ها هستند.
تحلیلگران همچنین پیش بینی های کاملاً خوش بینانه ای برای بازار روسیه دارند. IDC بر این باور است که بر خلاف بازار آلمان و ژاپن، سهم بازار روسیه طی 5 سال آینده افزایش خواهد یافت.
تا سال 2020، حجم داده های بزرگ در روسیه از 1.8 درصد فعلی به 2.2 درصد از حجم داده های جهانی افزایش خواهد یافت. به گفته EMC، میزان اطلاعات از 155 اگزابایت فعلی به 980 اگزابایت در سال 2020 افزایش خواهد یافت.
در حال حاضر، روسیه به جمع آوری حجم اطلاعات تا سطح داده های بزرگ ادامه می دهد.
بر اساس یک نظرسنجی CNews Analytics، 44٪ از شرکت های مورد بررسی با داده های بزرگتر از 100 ترابایت* کار می کنند و تنها 13٪ با حجم های بالاتر از 500 ترابایت کار می کنند.
با این وجود، بازار روسیه با پیروی از روندهای جهانی افزایش خواهد یافت. از سال 2014، IDC اندازه بازار را 340 میلیون دلار تخمین زده است.
نرخ رشد بازار برای سال های گذشته 50 درصد در سال بود، اگر در همان سطح باقی بماند، در سال 2018 حجم بازار به 1.7 میلیارد دلار خواهد رسید. سهم بازار روسیه در بازار جهانی حدود 3 درصد خواهد بود که از 1.2 درصد فعلی افزایش یافته است.
پذیراترین صنایع برای استفاده از داده های بزرگ در روسیه عبارتند از:
- خرده فروشی و بانک ها، برای آنها، اول از همه، تجزیه و تحلیل پایگاه مشتری، ارزیابی اثر کمپین های بازاریابی مهم است.
- مخابرات - تقسیم‌بندی پایگاه مشتری و کسب درآمد از ترافیک؛
- بخش عمومی - گزارش، تجزیه و تحلیل برنامه های کاربردی از مردم و غیره؛
- شرکت های نفتی - نظارت بر کار و برنامه ریزی تولید و بازاریابی؛
- شرکت های انرژی - ایجاد سیستم های برق هوشمند، نظارت و پیش بینی عملیاتی.
در روسیه، و همچنین در جهان، در آینده نزدیک روندی به سمت تجسم داده ها، تجزیه و تحلیل فایل های رسانه ای و توسعه اینترنت اشیا وجود خواهد داشت.
علیرغم رکود عمومی اقتصاد، در سال‌های آینده، تحلیلگران رشد بیشتر در بازار کلان داده را پیش‌بینی می‌کنند، در درجه اول به این دلیل که استفاده از فناوری‌های کلان داده به کاربران خود مزیت رقابتی از نظر افزایش کارایی عملیاتی می‌دهد. کسب و کار، جذب جریان اضافی از مشتریان، به حداقل رساندن خطرات و اجرای فناوری های پیش بینی داده ها.
بنابراین، می‌توان نتیجه گرفت که بخش کلان داده در روسیه در مرحله شکل‌گیری است، اما تقاضا برای این فناوری‌ها هر سال در حال افزایش است.
نتایج اصلی تحلیل بازار
بازار جهانی
در پایان سال 2014، بازار کلان داده با پارامترهای زیر مشخص می شود:- حجم بازار به 28.5 میلیارد دلار آمریکا رسید که نسبت به سال قبل 45 درصد افزایش داشت.
- بیشتر درآمدهای بازار کلان داده از خدمات تشکیل شده بود، سهم آنها معادل 40٪ از کل درآمد بود.
- 36 درصد از درآمد از برنامه های کاربردی و تجزیه و تحلیل داده های بزرگ، 17 درصد از سخت افزار محاسباتی و 15 درصد از فناوری های ذخیره سازی به دست آمده است.
- پلتفرم های درون حافظه شرکت هایی مانند SAP، HANA و Oracle محبوب ترین ها برای حل مشکلات Big Data هستند.
- تعداد شرکت‌هایی که پروژه‌های اجرا شده در زمینه مدیریت کلان داده را 125 درصد افزایش دادند.
- در سال 2015 حجم بازار به 38.4 میلیارد دلار آمریکا خواهد رسید، در سال 2020 - 68.7 میلیارد دلار آمریکا.
- متوسط نرخ رشد سالانه 16% خواهد بود.
- میانگین هزینه شرکت در فناوری‌های Big Data 13.8 میلیون دلار برای شرکت‌های بزرگ و 1.6 میلیون دلار برای مشاغل کوچک و متوسط خواهد بود.
- فناوری‌ها بیشترین شیوع را در حوزه خدمات مشتری و بازاریابی هدفمند خواهند داشت.
- در سال 2017، ساختار بازار جهانی به سمت برتری شرکت های کاربر از کشورهای در حال توسعه تغییر خواهد کرد.
بازار روسیه
بازار کلان داده روسیه در مرحله شکل گیری است، نتایج سال 2014 به شرح زیر است:- حجم بازار به 340 میلیون دلار آمریکا رسید.
- متوسط نرخ رشد بازار در سال های گذشته 50 درصد سالانه بود.
- مجموع اطلاعات انباشته شده 155 اگزابایت بود.
- 10 درصد از شرکت‌های روسی استفاده از فناوری‌های Big Data را آغاز کرده‌اند.
- فناوری‌های کلان داده در بخش بانکداری، مخابرات، شرکت‌های اینترنتی و خرده‌فروشی محبوبیت بیشتری داشتند.
- حجم بازار روسیه در سال 2015 به 500 میلیون دلار آمریکا و در سال 2018 - 1.7 میلیارد دلار آمریکا خواهد رسید.
- سهم بازار روسیه در بازار جهانی در سال 2018 حدود 3٪ خواهد بود.
- مقدار داده های انباشته شده در سال 2020 980 اگزابایت خواهد بود.
- داده ها در سال 2020 به 2.2 درصد از داده های جهانی افزایش می یابد.
- فن آوری های تجسم داده ها، تجزیه و تحلیل فایل های رسانه ای و اینترنت اشیا بیشترین محبوبیت را به دست خواهند آورد.
از اینکه برای خواندن این اثر حجیم وقت گذاشتید متشکریم، در وبلاگ ما مشترک شوید - ما قول بسیاری از انتشارات جالب جدید را می دهیم!
Moscow_Exchange 6 می 2015 در 08:38 ب.ظ
بررسی تحلیلی بازار کلان داده
- وبلاگ شرکت بورس مسکو،
- اطلاعات بزرگ
"اطلاعات بزرگ"- موضوعی که به طور فعال توسط شرکت های فناوری مورد بحث قرار می گیرد. برخی از آنها از داده های بزرگ ناامید شده اند، در حالی که برخی دیگر، برعکس، تا حد امکان از آن برای تجارت استفاده می کنند... . امیدواریم اطلاعات جالب و مفید باشد.
BIG DATA چیست؟
ویژگی های کلیدی
کلان داده در حال حاضر یکی از محرک های کلیدی توسعه فناوری اطلاعات است. این جهت که برای تجارت روسیه نسبتاً جدید است، در کشورهای غربی گسترده شده است. این امر به این دلیل است که در عصر فناوری اطلاعات، به ویژه پس از رونق شبکه های اجتماعی، حجم قابل توجهی از اطلاعات برای هر کاربر اینترنتی شروع به انباشته شدن کرد که در نهایت منجر به جهت گیری Big Data شد.اصطلاح Big Data باعث بحث و جدل های زیادی می شود، بسیاری معتقدند که این فقط به معنای مقدار اطلاعات انباشته شده است، اما جنبه فنی را فراموش نکنید، این حوزه شامل فناوری های ذخیره سازی، محاسبات و خدمات می شود.
لازم به ذکر است که این حوزه شامل پردازش حجم زیادی از اطلاعات است که پردازش آن با روش های سنتی مشکل است*.
در زیر جدول مقایسه پایگاه داده سنتی و کلان داده است.
حوزه داده های بزرگ با ویژگی های زیر مشخص می شود:
جلد
- حجم، پایگاه داده انباشته شده حجم زیادی از اطلاعات است که پردازش و ذخیره آن به روش های سنتی پر زحمت است، آنها به یک رویکرد جدید و ابزارهای بهبود یافته نیاز دارند.
سرعت
- سرعت، این ویژگی هم سرعت فزاینده انباشت داده ها را نشان می دهد (90 درصد اطلاعات در 2 سال گذشته جمع آوری شده است) و هم سرعت پردازش داده ها؛ اخیراً فناوری های پردازش داده های بلادرنگ تقاضای بیشتری پیدا کرده اند.
تنوع
- تنوع، یعنی امکان پردازش همزمان اطلاعات ساختاریافته و بدون ساختار با فرمت های مختلف. تفاوت اصلی بین اطلاعات ساختاریافته این است که می توان آنها را طبقه بندی کرد. نمونه ای از این اطلاعات، اطلاعات مربوط به معاملات مشتری است.
اطلاعات بدون ساختار شامل ویدئو، فایل های صوتی، متن رایگان، اطلاعاتی است که از شبکه های اجتماعی می آید. تا به امروز 80 درصد اطلاعات در گروه بدون ساختار قرار می گیرد. این اطلاعات به تجزیه و تحلیل پیچیده نیاز دارد تا برای پردازش بیشتر مفید باشد.
صحت
- قابلیت اطمینان داده ها، کاربران شروع به اهمیت دادن به قابلیت اطمینان داده های موجود کردند. بنابراین شرکت‌های اینترنتی در تفکیک اقدامات انجام شده توسط یک ربات و یک شخص در وب‌سایت شرکت دچار مشکل می‌شوند که در نهایت منجر به دشواری تجزیه و تحلیل داده‌ها می‌شود.
ارزش
- ارزش اطلاعات انباشته شده Big Data باید برای شرکت مفید باشد و ارزشی برای آن به ارمغان بیاورد. به عنوان مثال، به بهبود فرآیندهای تجاری، گزارش دهی یا بهینه سازی هزینه کمک کنید.
در صورت رعایت 5 شرط بالا، حجم انباشته داده ها را می توان به عنوان بزرگ طبقه بندی کرد.
کاربردهای داده های بزرگ
دامنه فناوری های کلان داده گسترده است. بنابراین، با کمک داده های بزرگ، می توانید در مورد ترجیحات مشتری، اثربخشی کمپین های بازاریابی یا تجزیه و تحلیل ریسک اطلاعات کسب کنید. در زیر نتایج یک نظرسنجی موسسه IBM در مورد جهت گیری استفاده از داده های بزرگ در شرکت ها آورده شده است.
همانطور که از نمودار مشخص است، اکثر شرکت ها از داده های بزرگ در زمینه خدمات به مشتریان استفاده می کنند، دومین جهت محبوب، بهره وری عملیاتی است، در زمینه مدیریت ریسک، داده های بزرگ در حال حاضر کمتر رایج است.
همچنین لازم به ذکر است که Big Data یکی از سریع ترین حوزه های فناوری اطلاعات در حال رشد است، طبق آمار، مجموع داده های دریافتی و ذخیره شده هر 1.2 سال دو برابر می شود.
بین سال‌های 2012 تا 2014، میزان داده‌های ارسالی ماهانه توسط شبکه‌های تلفن همراه 81 درصد افزایش یافته است. سیسکو تخمین می زند که حجم ترافیک موبایل در سال 2014 2.5 اگزابایت (واحد اندازه گیری مقدار اطلاعات برابر با 10 ^ 18 بایت استاندارد) در ماه بوده و در سال 2019 معادل 24.3 اگزابایت خواهد بود.
بنابراین، Big Data حتی با وجود سن نسبتاً جوان آن، در حال حاضر یک حوزه فناوری جا افتاده است که در بسیاری از زمینه‌های کسب و کار گسترده شده است و نقش مهمی در توسعه شرکت‌ها ایفا می‌کند.
فناوری های کلان داده
فن آوری های مورد استفاده برای جمع آوری و پردازش داده های بزرگ را می توان به 3 گروه تقسیم کرد:- نرم افزار؛
- تجهیزات؛
- سرویس.
رایج ترین رویکردهای پردازش داده (PD) عبارتند از:
SQL
- یک زبان پرس و جو ساختار یافته که به شما امکان می دهد با پایگاه های داده کار کنید. با استفاده از SQL می توانید داده ها را ایجاد و اصلاح کنید و آرایه داده ها توسط سیستم مدیریت پایگاه داده مناسب مدیریت می شود.
NoSQL
- این اصطلاح مخفف Not Only SQL (نه فقط SQL) است. این شامل تعدادی رویکرد با هدف پیاده سازی پایگاه داده است که با مدل های مورد استفاده در DBMS های سنتی و رابطه ای متفاوت است. استفاده از آنها با ساختار داده دائماً در حال تغییر است. به عنوان مثال برای جمع آوری و ذخیره اطلاعات در شبکه های اجتماعی.
MapReduce
- مدل توزیع محاسباتی برای محاسبات موازی در مجموعه داده های بسیار بزرگ (پتابایت* یا بیشتر) استفاده می شود. در رابط برنامه نویسی، داده ها برای پردازش به برنامه منتقل نمی شوند، بلکه برنامه به داده ها منتقل می شود. بنابراین، پرس و جو یک برنامه جداگانه است. اصل عملیات پردازش متوالی داده ها با دو روش Map و Reduce است. Map داده های اولیه را انتخاب می کند، Reduce آنها را جمع می کند.
هادوپ
- برای پیاده‌سازی مکانیسم‌های جستجو و زمینه‌ای برای سایت‌های با بارگذاری بالا - فیس‌بوک، eBay، آمازون و غیره استفاده می‌شود. یک ویژگی متمایز این است که سیستم از شکست هر یک از گره‌های خوشه محافظت می‌شود، زیرا هر بلوک حداقل یک کپی از داده‌ها دارد. در گره دیگر
SAP HANA
یک پلت فرم NewSQL با کارایی بالا برای ذخیره سازی و پردازش داده ها است. پردازش درخواست با سرعت بالا را ارائه می دهد. تمایز دیگر این است که SAP HANA چشم انداز سیستم را با کاهش هزینه پشتیبانی از سیستم های تحلیلی ساده می کند.
تجهیزات تکنولوژیکی شامل:
- سرورها؛
- تجهیزات زیرساختی
تجهیزات زیرساخت شامل ابزارهای شتاب دهنده پلت فرم، منابع تغذیه بدون وقفه، مجموعه های کنسول سرور و غیره است.
سرویس.
خدمات شامل معماری سیستم پایگاه داده، توسعه و بهینه سازی زیرساخت و امنیت ذخیره سازی داده ها است.
نرم‌افزار، سخت‌افزار و خدمات با هم ترکیب می‌شوند تا پلتفرم‌های سرتاسری برای ذخیره‌سازی و تجزیه و تحلیل داده‌ها را تشکیل دهند. شرکت هایی مانند مایکروسافت، اچ پی، EMC خدماتی را برای توسعه، استقرار و مدیریت راه حل های Big Data ارائه می دهند.
کاربرد در صنایع
داده های بزرگ در بسیاری از بخش های تجاری گسترش یافته است. آنها در مراقبت های بهداشتی، مخابرات، تجارت، تدارکات، شرکت های مالی و همچنین در مدیریت دولتی استفاده می شوند.در زیر چند نمونه از کاربردهای کلان داده در برخی از صنایع آورده شده است.
خرده فروشی
پایگاه‌های اطلاعاتی فروشگاه‌های خرده‌فروشی می‌توانند اطلاعات زیادی در مورد مشتریان، سیستم مدیریت موجودی، عرضه محصولات قابل عرضه در بازار جمع‌آوری کنند. این اطلاعات می تواند در تمام زمینه های فعالیت فروشگاه مفید باشد.
بنابراین با کمک اطلاعات انباشته شده می توانید عرضه کالاها، نگهداری و فروش آنها را مدیریت کنید. بر اساس اطلاعات انباشته شده می توان تقاضا و عرضه کالا را پیش بینی کرد. همچنین سیستم پردازش و تجزیه و تحلیل داده ها می تواند سایر مشکلات خرده فروش را حل کند، مثلاً هزینه ها را بهینه کند یا گزارش تهیه کند.
خدمات مالی
Big Data تجزیه و تحلیل اعتبار وام گیرنده را ممکن می کند و همچنین برای امتیازدهی اعتبار* و پذیره نویسی** مفید است. معرفی فناوری های Big Data زمان بررسی درخواست های وام را کاهش می دهد. با کمک بیگ دیتا می توان عملیات یک مشتری خاص را تحلیل کرد و خدمات بانکی مناسب او را ارائه داد.
مخابرات
در صنعت ارتباطات از راه دور، Big Data به طور گسترده توسط اپراتورهای تلفن همراه استفاده می شود.
اپراتورهای تلفن همراه همراه با موسسات مالی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند.
علاوه بر استفاده از داده های بزرگ برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی تقلبی استفاده می شود.
معدن و صنعت نفت
داده های بزرگ هم در استخراج مواد معدنی و هم در پردازش و بازاریابی آنها استفاده می شود. بر اساس اطلاعات دریافتی، شرکت ها می توانند در مورد کارایی توسعه میدان نتیجه گیری کنند، برنامه تعمیرات اساسی و وضعیت تجهیزات را پیگیری کنند و تقاضا و قیمت محصول را پیش بینی کنند.
بر اساس یک نظرسنجی توسط Tech Pro Research، داده های بزرگ در صنعت ارتباطات راه دور و همچنین در شرکت های مهندسی، فناوری اطلاعات، مالی و دولتی گسترده ترین است. بر اساس نتایج این نظرسنجی، داده های بزرگ در آموزش و مراقبت های بهداشتی از محبوبیت کمتری برخوردار است. نتایج نظرسنجی در زیر ارائه شده است:
نمونه هایی از استفاده از داده های بزرگ در شرکت ها
امروزه Big Data به طور فعال در شرکت های خارجی پیاده سازی می شود. شرکت‌هایی مانند نزدک، فیس‌بوک، گوگل، آی‌بی‌ام، ویزا، مستر کارت، بانک آمریکا، اچ‌اس‌بی‌سی، AT&T، کوکا کولا، استارباکس و نتفلیکس در حال حاضر از منابع Big Data استفاده می‌کنند.حوزه های کاربرد اطلاعات پردازش شده متنوع است و بسته به صنعت و وظایفی که باید انجام شود متفاوت است.
در ادامه، نمونه هایی از کاربرد فناوری های کلان داده در عمل ارائه خواهد شد.
HSBC از فناوری های Big Data برای مقابله با تراکنش های جعلی با کارت های پلاستیکی استفاده می کند. این شرکت با کمک بیگ دیتا، کارایی سرویس امنیتی را 3 برابر و تشخیص حوادث کلاهبرداری را 10 برابر افزایش داد. تاثیر اقتصادی معرفی این فناوری ها از 10 میلیون دلار آمریکا فراتر رفت.
ضد تقلب* ویزا به شما امکان می دهد تا به طور خودکار معاملات با ماهیت جعلی را محاسبه کنید، این سیستم در حال حاضر به جلوگیری از پرداخت های جعلی به مبلغ 2 میلیارد دلار در سال کمک می کند.
شرکت سوپر کامپیوتر واتسون IBM در زمان واقعی جریان داده ها در مورد معاملات پول را تجزیه و تحلیل می کند. بر اساس گزارش IBM، واتسون تعداد تراکنش‌های جعلی کشف‌شده را 15 درصد افزایش داد، موارد مثبت کاذب سیستم را تا 50 درصد کاهش داد و میزان وجوه محافظت شده از تراکنش‌های این ماهیت را 60 درصد افزایش داد.
پراکتر اند گمبل
آنها با کمک بیگ دیتا محصولات جدید طراحی می کنند و کمپین های بازاریابی جهانی ایجاد می کنند. P&G دفاتر اختصاصی Business Spheres را ایجاد کرده است که در آن می توانید اطلاعات را در زمان واقعی مشاهده کنید.
بنابراین، مدیریت شرکت این فرصت را دارد که فوراً فرضیه ها را آزمایش کند و آزمایش هایی را انجام دهد. P&G معتقد است که داده های بزرگ به پیش بینی عملکرد شرکت کمک می کند.
خرده فروش لوازم اداری officemax آنها با کمک فناوری های Big Data رفتار مشتریان را تجزیه و تحلیل می کنند. تجزیه و تحلیل کلان داده اجازه می دهد تا درآمد B2B را تا 13 درصد افزایش دهد، هزینه ها را تا 400000 دلار در سال کاهش دهد.
مطابق با کرم ابریشم ، توزیع کنندگان آن سالانه 9 تا 18 میلیارد دلار درآمد را از دست می دهند فقط به این دلیل که فناوری Big Data را پیاده سازی نمی کنند. Big Data به مشتریان این امکان را می دهد تا با تجزیه و تحلیل اطلاعات از حسگرهای نصب شده روی ماشین ها، ناوگان خود را به طور موثرتری مدیریت کنند.
تا به امروز، امکان تجزیه و تحلیل وضعیت اجزای کلیدی، درجه سایش، مدیریت هزینه های سوخت و نگهداری وجود دارد.
گروه لوکسوتیکا تولید کننده عینک های ورزشی با برندهایی مانند Ray-Ban، Persol و Oakley است. این شرکت از فناوری های Big Data برای تجزیه و تحلیل رفتار مشتریان بالقوه و بازاریابی پیامکی «هوشمند» استفاده می کند. در نتیجه، گروه Big Data Luxottica بیش از 100 میلیون مشتری با ارزش را شناسایی کرد و اثربخشی کمپین بازاریابی را 10٪ افزایش داد.
با کمک Yandex Data Factory، توسعه دهندگان بازی دنیای تانک ها تحلیل رفتار بازیکنان فناوری های Big Data امکان تجزیه و تحلیل رفتار 100 هزار بازیکن World of Tanks را با استفاده از بیش از 100 پارامتر (اطلاعات در مورد خرید، بازی، تجربه و غیره) فراهم می کند. در نتیجه تجزیه و تحلیل، پیش بینی ریزش کاربر به دست آمد. این اطلاعات به شما امکان می دهد مراقبت از کاربر را کاهش دهید و به طور هدفمند با شرکت کنندگان در بازی کار کنید. مدل توسعه‌یافته ۲۰ تا ۳۰ درصد کارآمدتر از ابزارهای استاندارد آنالیز صنعت بازی است.
وزارت کار آلمان از داده های بزرگ برای تجزیه و تحلیل ادعاهای بیکاری دریافتی استفاده می کند. بنابراین، پس از تجزیه و تحلیل اطلاعات، مشخص شد که 20 درصد از مزایای بدون استحقاق پرداخت شده است. وزارت کار با کمک بیگ دیتا هزینه ها را 10 میلیارد یورو کاهش داده است.
بیمارستان کودکان تورنتو پروژه پروژه آرتمیس را اجرا کرد. این یک سیستم اطلاعاتی است که داده های مربوط به نوزادان را در زمان واقعی جمع آوری و تجزیه و تحلیل می کند. این سیستم در هر ثانیه 1260 شاخص از وضعیت هر کودک را کنترل می کند. پروژه آرتمیس به شما امکان می دهد وضعیت ناپایدار کودک را پیش بینی کنید و پیشگیری از بیماری ها را در کودکان آغاز کنید.
مروری بر بازار جهانی داده های بزرگ
وضعیت فعلی بازار جهانی
در سال 2014، داده های بزرگ، به گفته Data Collective، به یکی از حوزه های اولویت برای سرمایه گذاری در صنعت سرمایه گذاری تبدیل شده است. به گزارش پورتال اطلاعاتی Computerra، این به این دلیل است که تحولات در این زمینه شروع به نتایج قابل توجهی برای کاربران خود کرده است. طی سال گذشته تعداد شرکت‌های دارای پروژه‌های اجرا شده در حوزه مدیریت کلان داده‌ها 125 درصد افزایش یافته است، حجم بازار نسبت به سال 2013 رشد 45 درصدی داشته است.
طبق ویکی‌بون، بیشترین درآمد بازار داده‌های بزرگ در سال 2014 از خدمات تشکیل شده است که سهم آنها معادل 40 درصد از کل درآمد بوده است (نمودار زیر را ببینید):
اگر داده های بزرگ را برای سال 2014 بر اساس زیرگروه ها در نظر بگیریم، بازار به این صورت خواهد بود:
بر اساس Wikibon، اپلیکیشن‌ها و تجزیه و تحلیل‌ها 36 درصد از درآمد کلان داده در سال 2014 را از برنامه‌های Big Data و تجزیه و تحلیل، 17 درصد از سخت‌افزار محاسباتی و 15 درصد از فناوری ذخیره‌سازی را به خود اختصاص دادند. کمترین درآمد حاصل از فناوری NoSQL، تجهیزات زیرساختی و ارائه شبکه ای از شرکت ها (شبکه های شرکتی) بوده است.
محبوب ترین فناوری های Big Data پلتفرم های درون حافظه SAP، HANA، Oracle و غیره هستند. نتایج نظرسنجی T-Systems نشان داد که 30 درصد از شرکت های مورد بررسی آن ها را انتخاب کرده اند. دومین محبوب ترین پلتفرم های NoSQL (18٪ از کاربران) بودند، شرکت ها همچنین از پلتفرم های تحلیلی Splunk و Dell استفاده کردند، آنها توسط 15٪ از شرکت ها انتخاب شدند. طبق نتایج این نظرسنجی، کمترین کاربرد برای حل مشکلات Big Data، محصولات Hadoop/MapReduce بود.
بر اساس نظرسنجی Accenture، در بیش از 50 درصد از شرکت‌هایی که از فناوری‌های Big Data استفاده می‌کنند، هزینه‌های Big Data بین 21 تا 30 درصد متغیر است.
بر اساس تحلیل Accenture زیر، 76 درصد از شرکت ها معتقدند که این هزینه ها در سال 2015 افزایش می یابد و 24 درصد از شرکت ها بودجه خود را برای فناوری های Big Data تغییر نمی دهند. این نشان می دهد که در این شرکت ها Big Data در حال حاضر به یک منطقه تاسیس شده IT تبدیل شده است که به بخشی جدایی ناپذیر از توسعه شرکت تبدیل شده است.
نتایج نظرسنجی واحد اطلاعات اکونومیست تأثیر مثبت اجرای کلان داده را تأیید می کند. 46% از شرکت‌ها ادعا می‌کنند که با استفاده از فناوری‌های Big Data خدمات مشتریان را بیش از 10% بهبود داده‌اند، 33% از شرکت‌ها موجودی را بهینه کرده‌اند و بهره‌وری دارایی‌های کلیدی را بهبود بخشیده‌اند، 32% از شرکت‌ها فرآیندهای برنامه‌ریزی را بهبود بخشیده‌اند.
کلان داده در سراسر جهان
تا به امروز، فناوری‌های Big Data اغلب در شرکت‌های آمریکایی پیاده‌سازی می‌شوند، اما اکنون دیگر کشورهای جهان علاقه خود را نشان داده‌اند. در سال 2014، بر اساس IDC، کشورهای اروپا، خاورمیانه، آسیا (به استثنای ژاپن) و آفریقا 45 درصد از بازار نرم افزار، خدمات و تجهیزات Big Data را به خود اختصاص دادند.همچنین، طبق نظرسنجی CIO، شرکت های منطقه آسیا و اقیانوسیه به سرعت در حال تسلط بر راه حل های جدید در زمینه تجزیه و تحلیل داده های بزرگ، ذخیره سازی ایمن و فناوری های ابری هستند. آمریکای لاتین از نظر تعداد سرمایه گذاری در توسعه فناوری های داده های بزرگ، بالاتر از اروپا و ایالات متحده در رتبه دوم قرار دارد.
در ادامه، توضیحات و پیش‌بینی‌هایی از توسعه بازار کلان داده در چندین کشور ارائه خواهد شد.
چین
حجم اطلاعات در چین 909 اگزابایت است که معادل 10 درصد کل اطلاعات جهان است، تا سال 2020 حجم اطلاعات به 8060 اگزابایت خواهد رسید و سهم اطلاعات در آمارهای جهانی نیز افزایش خواهد یافت. 5 سال برابر با 18 درصد خواهد بود. رشد بالقوه داده های بزرگ چین یکی از سریع ترین پویایی های در حال رشد را دارد.
برزیل
تا پایان سال 2014، برزیل 212 اگزابایت اطلاعات جمع آوری کرده است که 3 درصد از حجم جهانی را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1600 اگزابایت خواهد رسید که 4 درصد از اطلاعات جهان را تشکیل می دهد.
هندوستان
بر اساس گزارش EMC، میزان داده های انباشته شده در هند در سال 2014، 326 اگزابایت است که 5 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 2800 اگزابایت خواهد رسید که 6 درصد از اطلاعات جهان را تشکیل می دهد.
ژاپن
مقدار داده های انباشته شده در ژاپن در پایان سال 2014، 495 اگزابایت است که 8 درصد از کل اطلاعات را تشکیل می دهد. تا سال 2020، حجم اطلاعات به 2200 اگزابایت افزایش می یابد، اما سهم بازار ژاپن کاهش می یابد و به 5 درصد از کل اطلاعات در کل جهان می رسد.
بدین ترتیب حجم بازار ژاپن بیش از 30 درصد کاهش خواهد یافت.
آلمان
بر اساس گزارش EMC، میزان داده های انباشته شده در آلمان در سال 2014، 230 اگزابایت است که 4 درصد از کل اطلاعات موجود در جهان را تشکیل می دهد. تا سال 2020 حجم اطلاعات به 1100 اگزابایت و 2 درصد خواهد رسید.
در بازار آلمان، طبق پیش‌بینی گروه اکسپرتون، سهم زیادی از درآمد توسط بخش خدمات ایجاد می‌شود که سهم آن در سال 2015 54 درصد خواهد بود و در سال 2019 به 59 درصد، سهم نرم‌افزار و سخت‌افزار افزایش می‌یابد. برعکس کاهش خواهد یافت.
به طور کلی، اندازه بازار از 1.345 میلیارد یورو در سال 2015 به 3.198 میلیارد یورو در سال 2019 با میانگین نرخ رشد 24 درصد خواهد رسید.
بنابراین، بر اساس تجزیه و تحلیل CIO و EMC، می‌توان نتیجه گرفت که کشورهای در حال توسعه جهان در سال‌های آینده به بازارهایی برای توسعه فعال فناوری‌های Big Data تبدیل خواهند شد.
روندهای اصلی بازار
طبق IDG Enterprise، شرکت‌ها در سال 2015 به‌طور متوسط 7.4 میلیون دلار برای هر شرکت در Big Data، شرکت‌های بزرگ حدود 13.8 میلیون دلار و شرکت‌های کوچک و متوسط 1.6 میلیون دلار هزینه خواهند کرد.بیشتر سرمایه گذاری در زمینه هایی مانند تجزیه و تحلیل داده ها، تجسم و جمع آوری داده ها خواهد بود.
با توجه به روندهای فعلی و تقاضای بازار، سرمایه گذاری در سال 2015 برای بهبود کیفیت داده ها، بهبود برنامه ریزی و پیش بینی و افزایش سرعت پردازش داده ها استفاده خواهد شد.
طبق تحلیل بینش شرکت باین، شرکت های بخش مالی سرمایه گذاری های قابل توجهی انجام خواهند داد، بنابراین در سال 2015 برنامه ریزی شده است که 6.4 میلیارد دلار آمریکا برای فناوری های Big Data هزینه شود، متوسط نرخ رشد سرمایه گذاری تا سال 2020 22 درصد خواهد بود. شرکت های اینترنتی قصد دارند 2.8 میلیارد دلار با نرخ رشد متوسط 26 درصدی در مخارج کلان داده هزینه کنند.
طی بررسی واحد اطلاعات اکونومیست، حوزه های اولویت برای توسعه داده های بزرگ در سال 2014 و در 3 سال آینده مشخص شد، توزیع پاسخ ها به شرح زیر است:
بر اساس پیش بینی IDC، روند بازار به شرح زیر است:
- طی 5 سال آینده، هزینه راه حل های کلان داده مبتنی بر ابر 3 برابر سریعتر از هزینه راه حل های داخلی رشد خواهد کرد. پلتفرم های ذخیره سازی هیبریدی محبوب خواهند شد.
- رشد برنامه‌های کاربردی با استفاده از تحلیل‌های پیچیده و پیش‌بینی‌کننده، از جمله یادگیری ماشین، در سال 2015 شتاب می‌گیرد، بازار چنین برنامه‌هایی 65 درصد سریعتر از برنامه‌های بدون آنالیز پیش‌بینی رشد خواهد کرد.
- تجزیه و تحلیل رسانه ها در سال 2015 سه برابر خواهد شد و به یک محرک رشد کلیدی برای بازار فناوری داده های بزرگ تبدیل خواهد شد.
- روند پیاده سازی راه حل هایی برای تجزیه و تحلیل جریان ثابت اطلاعاتی که در اینترنت اشیا قابل استفاده است، شتاب خواهد گرفت.
- تا سال 2018، 50 درصد از کاربران با خدمات مبتنی بر محاسبات شناختی تعامل خواهند داشت.
محرک ها و محدود کننده های بازار
کارشناسان IDC 3 محرک بازار کلان داده را در سال 2015 شناسایی کردند:طبق نظرسنجی Accenture، مسائل امنیتی داده ها در حال حاضر مانع اصلی پذیرش فناوری های Big Data هستند، بیش از 51٪ از پاسخ دهندگان تأیید کردند که نگران حفاظت از داده ها و حریم خصوصی هستند. 47% از شرکت‌ها عدم امکان پیاده‌سازی Big Data را به دلیل محدودیت بودجه گزارش کرده‌اند، 41% از شرکت‌ها کمبود پرسنل واجد شرایط را مشکل می‌دانند.
ویکی‌بون پیش‌بینی می‌کند که بازار کلان داده در سال 2015 به 38.4 میلیارد دلار افزایش می‌یابد که 36 درصد نسبت به سال گذشته افزایش خواهد یافت. در سال های آینده، کاهش نرخ رشد به 10 درصد در سال 2017 وجود خواهد داشت. با در نظر گرفتن این پیش بینی ها، اندازه بازار در سال 2020 برابر با 68.7 میلیارد دلار آمریکا خواهد بود.
توزیع بازار جهانی داده های بزرگ بر اساس دسته بندی کسب و کار به این صورت خواهد بود:
همانطور که از نمودار می بینید، بیشتر بازار توسط فناوری های حوزه بهبود خدمات مشتری اشغال خواهد شد. بازاریابی نقطه ای تا سال 2019 دومین اولویت برای شرکت ها خواهد بود، طبق گفته Heavy Reading در سال 2020 راه حل هایی برای بهبود کارایی عملیاتی خواهد داد.
بخش «بهبود خدمات به مشتریان» نیز با 49 درصد افزایش سالانه بالاترین نرخ رشد را خواهد داشت.
پیش‌بینی بازار برای زیرشاخه‌های Big Data به این صورت خواهد بود:
همانطور که از نمودار مشخص است، سهم بازار غالب در اختیار خدمات حرفه‌ای است، اپلیکیشن‌های دارای تجزیه و تحلیل بالاترین نرخ رشد را خواهند داشت، سهم آنها از 12% فعلی به 18% در سال 2020 افزایش می‌یابد و حجم این بخش خواهد بود. معادل 12.3 میلیارد دلار آمریکا باشد، برعکس، سهم تجهیزات محاسباتی از 20 درصد به 14 درصد کاهش می یابد و در سال 2020 به حدود 9.3 میلیارد دلار می رسد، بازار فناوری های ابری به تدریج افزایش می یابد و در سال 2020 به 6.3 میلیارد دلار، سهم بازار راه حل های ذخیره سازی داده ها، برعکس، از 15 درصد در سال 2014 به 13 درصد در سال 2020 و از نظر پولی معادل 8.9 میلیارد دلار آمریکا خواهد بود.
بر اساس پیش‌بینی تحلیل بینش Bain & Company، توزیع بازار کلان داده بر اساس صنعت در سال 2020 به این صورت خواهد بود:
- صنعت مالی 6.4 میلیارد دلار برای کلان داده با میانگین نرخ رشد 22 درصد در سال هزینه خواهد کرد.
- شرکت‌های اینترنتی برای 2.8 میلیارد دلار هزینه و نرخ رشد متوسط هزینه‌ها 26 درصد طی 5 سال آینده.
- هزینه های بخش دولتی متناسب با هزینه های شرکت های اینترنتی خواهد بود، اما نرخ رشد کمتر خواهد بود - 22٪.
- بخش مخابرات با نرخ رشد متوسط 40 درصد رشد خواهد کرد و در سال 2020 به 1.2 میلیارد دلار خواهد رسید.
شرکت های انرژی مقدار نسبتا کمی در این فناوری ها سرمایه گذاری خواهند کرد - 800 میلیون دلار آمریکا، اما نرخ رشد یکی از بالاترین ها - 54٪ در سال خواهد بود.
بنابراین، شرکت‌های صنعت مالی در سال 2020 سهم بزرگی از بازار کلان داده را در اختیار خواهند گرفت و انرژی سریع‌ترین بخش در حال رشد را خواهد داشت.
بر اساس پیش بینی های تحلیلگران، حجم کل بازار در سال های آینده افزایش خواهد یافت. رشد بازار با معرفی فناوری‌های Big Data در کشورهای در حال توسعه جهان تضمین می‌شود، همانطور که از نمودار زیر قابل مشاهده است.
اندازه بازار پیش‌بینی‌شده به این بستگی دارد که کشورهای در حال توسعه چگونه فناوری‌های کلان داده را درک می‌کنند، آیا آنها به اندازه کشورهای توسعه‌یافته محبوب خواهند بود. در سال 2014، کشورهای در حال توسعه جهان 40 درصد از اطلاعات انباشته شده را به خود اختصاص داده اند. بر اساس پیش‌بینی EMC، ساختار بازار فعلی که تحت سلطه کشورهای توسعه‌یافته است، از اوایل سال 2017 تغییر خواهد کرد. بر اساس تحلیل EMC، در سال 2020 سهم کشورهای در حال توسعه بیش از 60 درصد خواهد بود.
طبق گفته سیسکو و EMC، کشورهای در حال توسعه جهان به طور فعال با داده های بزرگ کار خواهند کرد، از بسیاری جهات این به دلیل در دسترس بودن فناوری ها و انباشت اطلاعات کافی در سطح کلان داده خواهد بود. نقشه جهان در صفحه بعدی پیش بینی رشد و نرخ رشد Big Data را بر اساس منطقه نشان می دهد.
تجزیه و تحلیل بازار روسیه
وضعیت فعلی بازار روسیه
بر اساس نتایج مطالعه CNews Analytics و Oracle، سطح بلوغ بازار کلان داده روسیه در سال گذشته افزایش یافته است. پاسخ دهندگان به نمایندگی از 108 شرکت بزرگ از صنایع مختلف، میزان آگاهی بالاتری از این فناوری ها و همچنین درک پتانسیل چنین راه حل هایی برای تجارت خود نشان دادند.
از سال 2014، طبق IDC، روسیه 155 اگزابایت اطلاعات جمع آوری کرده است که تنها 1.8 درصد از داده های جهان است. حجم اطلاعات تا سال 2020 به 980 اگزابایت خواهد رسید و 2.2 درصد را اشغال خواهد کرد. بدین ترتیب میانگین نرخ رشد حجم اطلاعات 36 درصد در سال خواهد بود.
IDC بازار روسیه را 340 میلیون دلار تخمین می زند که 100 میلیون دلار آن راه حل های SAP است، تقریباً 240 میلیون دلار راه حل های مشابه اوراکل، IBM، SAS، مایکروسافت و غیره است.
نرخ رشد بازار کلان داده روسیه حداقل 50 درصد در سال است.
پیش‌بینی می‌شود که پویایی مثبت در این بخش از بازار فناوری اطلاعات روسیه، حتی در شرایط رکود عمومی اقتصاد، ادامه یابد. این به دلیل این واقعیت است که مشاغل همچنان به دنبال راه حل هایی هستند که کارایی کار را بهبود می بخشد و همچنین هزینه ها را بهینه می کند، دقت پیش بینی را بهبود می بخشد و خطرات احتمالی شرکت را به حداقل می رساند.
ارائه دهندگان اصلی خدمات در زمینه Big Data در بازار روسیه عبارتند از:
- اوراکل
- مایکروسافت
- کلودرا
- هورتون ورکز
- Teradata.
مروری بر بازار بر اساس صنعت و تجربه استفاده از داده های بزرگ در شرکت ها
به گزارش CNews، تنها 10 درصد از شرکت ها در روسیه استفاده از فناوری های Big Data را آغاز کرده اند، در حالی که سهم چنین شرکت هایی در جهان حدود 30 درصد است. بر اساس گزارش CNews Analytics و Oracle، آمادگی برای پروژه های Big Data در بسیاری از بخش های اقتصاد روسیه در حال رشد است. بیش از یک سوم شرکت‌های مورد بررسی (37 درصد) کار با فناوری‌های Big Data را آغاز کرده‌اند که در میان آنها 20 درصد در حال حاضر از چنین راه‌حل‌هایی استفاده می‌کنند و 17 درصد شروع به آزمایش با آنها کرده‌اند. یک سوم دوم پاسخ دهندگان در حال حاضر چنین امکانی را بررسی می کنند.
در روسیه، فناوری‌های Big Data در بخش بانکداری و مخابرات محبوب‌تر هستند، اما در صنعت معدن، انرژی، خرده‌فروشی، شرکت‌های لجستیک و بخش عمومی نیز مورد تقاضا هستند.
در مرحله بعد، نمونه هایی از استفاده از داده های بزرگ در واقعیت های روسیه در نظر گرفته می شود.
مخابرات
اپراتورهای مخابراتی یکی از بزرگترین پایگاه های داده را دارند که به آنها امکان می دهد عمیق ترین تجزیه و تحلیل اطلاعات انباشته شده را انجام دهند.
یکی از حوزه های کاربرد فناوری Big Data، مدیریت وفاداری مشترکین است.
هدف اصلی تجزیه و تحلیل داده ها حفظ مشتریان فعلی و جذب مشتریان جدید است. برای انجام این کار، شرکت ها مشتریان را تقسیم بندی می کنند، ترافیک آنها را تجزیه و تحلیل می کنند و وابستگی اجتماعی مشترک را تعیین می کنند. مخابرات علاوه بر استفاده از اطلاعات برای اهداف بازاریابی، از فناوری برای جلوگیری از تراکنش های مالی متقلبانه استفاده می کند.
Vimpelcom یکی از درخشان ترین نمونه های این صنعت است. این شرکت از داده های بزرگ برای بهبود کیفیت خدمات در سطح هر مشترک، گزارش، تجزیه و تحلیل داده ها برای توسعه شبکه، مبارزه با هرزنامه ها و شخصی سازی خدمات استفاده می کند.
بانک ها
بخش قابل توجهی از کاربران Big Data را متخصصان صنعت مالی اشغال می کنند. یکی از آزمایش های موفق در بانک بازسازی و توسعه اورال انجام شد، جایی که از پایگاه اطلاعاتی برای تجزیه و تحلیل مشتریان استفاده شد، این بانک شروع به ارائه پیشنهادات وام، سپرده ها و سایر خدمات تخصصی کرد. در طول سال استفاده از این فناوری ها، سبد وام خرده فروشی این شرکت 55 درصد رشد داشته است.
آلفا بانک اطلاعات شبکه های اجتماعی را تجزیه و تحلیل می کند، درخواست های وام را پردازش می کند، رفتار کاربران وب سایت شرکت را تجزیه و تحلیل می کند.
Sberbank همچنین پردازش یک آرایه داده را برای تقسیم بندی مشتریان، جلوگیری از تقلب، فروش متقابل و مدیریت ریسک آغاز کرده است. در آینده، برای بهبود خدمات و تجزیه و تحلیل اقدامات مشتریان در زمان واقعی برنامه ریزی شده است.
بانک توسعه منطقه ای همه روسیه رفتار دارندگان کارت های پلاستیکی را تجزیه و تحلیل می کند. این به شما امکان می دهد تراکنش هایی را که برای یک مشتری خاص غیرمعمول هستند شناسایی کنید و در نتیجه احتمال سرقت وجوه از کارت های پلاستیکی را افزایش دهید.
خرده فروشی
در روسیه، فناوری‌های Big Data توسط شرکت‌های تجاری آنلاین و آفلاین پیاده‌سازی شده‌اند. امروزه، طبق گزارش CNews Analytics، 20 درصد از خرده فروشان از داده های بزرگ استفاده می کنند. 75 درصد از متخصصان خرده‌فروشی، داده‌های بزرگ را برای توسعه یک استراتژی رقابتی برای ارتقای یک شرکت ضروری می‌دانند. طبق آمار هادوپ، پس از معرفی فناوری Big Data، سود در سازمان های تجاری بین 7 تا 10 درصد رشد می کند.
متخصصان M.Video از بهبود برنامه ریزی لجستیک پس از اجرای SAP HANA صحبت می کنند، همچنین در نتیجه اجرای آن، تهیه گزارش های سالانه از 10 روز به 3، سرعت بارگذاری روزانه داده ها از 3 کاهش یافت. ساعت تا 30 دقیقه
ویکی‌مارت از این فناوری‌ها برای ایجاد توصیه‌هایی برای بازدیدکنندگان سایت استفاده می‌کند.
یکی از اولین فروشگاه های آفلاین که تجزیه و تحلیل داده های بزرگ را در روسیه معرفی کرد Lenta بود. با کمک Big Data، خرده فروشی شروع به مطالعه اطلاعات مشتریان از رسیدهای نقدی کرد. خرده فروش اطلاعاتی را برای ایجاد مدل های رفتاری جمع آوری می کند که تصمیم گیری آگاهانه تری را در سطح عملیاتی و تجاری امکان پذیر می کند.
صنعت نفت و گاز
در این صنعت، دامنه داده های بزرگ بسیار گسترده است. فناوری های کلان داده را می توان در استخراج مواد معدنی از روده ها به کار برد. با کمک آنها می توانید فرآیند استخراج و موثرترین روش های استخراج آن را تجزیه و تحلیل کنید، فرآیند حفاری را ردیابی کنید، کیفیت مواد اولیه را تجزیه و تحلیل کنید و همچنین پردازش و بازاریابی محصولات نهایی را تجزیه و تحلیل کنید. در روسیه، این فناوری ها در حال حاضر توسط ترانس نفت و روس نفت استفاده می شود.
ارگان های دولتی
در کشورهایی مانند آلمان، استرالیا، اسپانیا، ژاپن، برزیل و پاکستان از فناوری‌های Big Data برای حل مشکلات ملی استفاده می‌شود. این فناوری‌ها به مقامات دولتی کمک می‌کنند تا خدمات مؤثرتری به مردم ارائه دهند، حمایت اجتماعی هدفمند را ارائه دهند.
در روسیه، این فناوری ها توسط نهادهای دولتی مانند صندوق بازنشستگی، خدمات مالیاتی فدرال و صندوق بیمه اجباری پزشکی تسلط یافتند. پتانسیل اجرای پروژه‌ها با استفاده از داده‌های بزرگ بسیار زیاد است؛ این فناوری‌ها می‌توانند به بهبود کیفیت خدمات، و در نتیجه، استاندارد زندگی مردم کمک کنند.
لجستیک و حمل و نقل
Big Data می تواند توسط شرکت های حمل و نقل نیز استفاده شود. با کمک فناوری‌های Big Data می‌توان ناوگان خودروها را ردیابی کرد، هزینه‌های سوخت را در نظر گرفت و درخواست‌های مشتریان را رصد کرد.
راه آهن روسیه فناوری های Big Data را همراه با SAP پیاده سازی کرد. این فناوری ها به کاهش 43.5 برابری زمان گزارش دهی (از 14.5 ساعت به 20 دقیقه) و بهبود دقت تخصیص هزینه تا 40 برابر کمک کردند. همچنین داده های بزرگ به فرآیندهای برنامه ریزی و تنظیم تعرفه وارد شد. در مجموع، شرکت ها از بیش از 300 سیستم مبتنی بر راه حل های SAP استفاده می کنند، 4 مرکز داده درگیر هستند و تعداد کاربران 220000 نفر است.
محرک ها و محدودیت های اصلی بازار
محرک های توسعه فناوری های داده های بزرگ در بازار روسیه عبارتند از:- افزایش علاقه کاربران به امکانات داده های بزرگ به عنوان راهی برای افزایش رقابت پذیری شرکت؛
- توسعه روش هایی برای پردازش فایل های رسانه ای در سطح جهانی؛
- انتقال سرورهایی که اطلاعات شخصی را پردازش می کنند به قلمرو روسیه مطابق با قانون تصویب شده در مورد ذخیره و پردازش داده های شخصی.
- اجرای طرح صنعت جایگزینی واردات نرم افزار. این طرح شامل حمایت دولتی از تولیدکنندگان نرم‌افزار داخلی و همچنین ارائه اولویت‌ها برای محصولات داخلی فناوری اطلاعات هنگام خرید با هزینه عمومی است.
- در شرایط جدید اقتصادی، زمانی که دلار تقریباً دو برابر شده است، تمایل به افزایش استفاده از خدمات ارائه دهندگان خدمات ابری روسی به جای خدمات خارجی وجود خواهد داشت.
- ایجاد پارک های فناوری که به توسعه بازار فناوری اطلاعات کمک می کند، از جمله بازار داده های بزرگ.
- برنامه ایالتی برای معرفی سیستم های شبکه ای که مبتنی بر فناوری های داده های بزرگ هستند.
موانع اصلی توسعه داده های بزرگ در بازار روسیه عبارتند از:
- تضمین امنیت و محرمانه بودن داده ها؛
- کمبود پرسنل واجد شرایط؛
- ناکافی بودن منابع اطلاعاتی انباشته تا سطح کلان داده در اکثر شرکت های روسی؛
- مشکلات در معرفی فن آوری های جدید در سیستم های اطلاعاتی مستقر شرکت ها؛
- هزینه بالای فناوری های کلان داده، که منجر به تعداد محدودی از شرکت ها می شود که فرصت اجرای این فناوری ها را دارند.
- عدم اطمینان سیاسی و اقتصادی که منجر به خروج سرمایه و انجماد پروژه های سرمایه گذاری در روسیه شد.
- به گفته IDC، افزایش قیمت محصولات وارداتی و افزایش تورم، مانع از توسعه کل بازار فناوری اطلاعات شده است.
پیش بینی بازار روسیه
از امروز، بازار کلان داده روسیه به اندازه کشورهای توسعه یافته محبوب نیست. اکثر شرکت های روسی به آن علاقه نشان می دهند، اما جرات استفاده از فرصت های خود را ندارند.نمونه‌هایی از شرکت‌های بزرگی که قبلاً از استفاده از فناوری‌های Big Data بهره‌مند شده‌اند، در حال افزایش آگاهی از امکانات این فناوری‌ها هستند.
تحلیلگران همچنین پیش بینی های کاملاً خوش بینانه ای برای بازار روسیه دارند. IDC بر این باور است که بر خلاف بازار آلمان و ژاپن، سهم بازار روسیه طی 5 سال آینده افزایش خواهد یافت.
تا سال 2020، حجم داده های بزرگ در روسیه از 1.8 درصد فعلی به 2.2 درصد از حجم داده های جهانی افزایش خواهد یافت. به گفته EMC، میزان اطلاعات از 155 اگزابایت فعلی به 980 اگزابایت در سال 2020 افزایش خواهد یافت.
در حال حاضر، روسیه به جمع آوری حجم اطلاعات تا سطح داده های بزرگ ادامه می دهد.
بر اساس یک نظرسنجی CNews Analytics، 44٪ از شرکت های مورد بررسی با داده های بزرگتر از 100 ترابایت* کار می کنند و تنها 13٪ با حجم های بالاتر از 500 ترابایت کار می کنند.
با این وجود، بازار روسیه با پیروی از روندهای جهانی افزایش خواهد یافت. از سال 2014، IDC اندازه بازار را 340 میلیون دلار تخمین زده است.
نرخ رشد بازار برای سال های گذشته 50 درصد در سال بود، اگر در همان سطح باقی بماند، در سال 2018 حجم بازار به 1.7 میلیارد دلار خواهد رسید. سهم بازار روسیه در بازار جهانی حدود 3 درصد خواهد بود که از 1.2 درصد فعلی افزایش یافته است.
پذیراترین صنایع برای استفاده از داده های بزرگ در روسیه عبارتند از:
- خرده فروشی و بانک ها، برای آنها، اول از همه، تجزیه و تحلیل پایگاه مشتری، ارزیابی اثر کمپین های بازاریابی مهم است.
- مخابرات - تقسیم‌بندی پایگاه مشتری و کسب درآمد از ترافیک؛
- بخش عمومی - گزارش، تجزیه و تحلیل برنامه های کاربردی از مردم و غیره؛
- شرکت های نفتی - نظارت بر کار و برنامه ریزی تولید و بازاریابی؛
- شرکت های انرژی - ایجاد سیستم های برق هوشمند، نظارت و پیش بینی عملیاتی.
در روسیه، و همچنین در جهان، در آینده نزدیک روندی به سمت تجسم داده ها، تجزیه و تحلیل فایل های رسانه ای و توسعه اینترنت اشیا وجود خواهد داشت.
علیرغم رکود عمومی اقتصاد، در سال‌های آینده، تحلیلگران رشد بیشتر در بازار کلان داده را پیش‌بینی می‌کنند، در درجه اول به این دلیل که استفاده از فناوری‌های کلان داده به کاربران خود مزیت رقابتی از نظر افزایش کارایی عملیاتی می‌دهد. کسب و کار، جذب جریان اضافی از مشتریان، به حداقل رساندن خطرات و اجرای فناوری های پیش بینی داده ها.
بنابراین، می‌توان نتیجه گرفت که بخش کلان داده در روسیه در مرحله شکل‌گیری است، اما تقاضا برای این فناوری‌ها هر سال در حال افزایش است.
نتایج اصلی تحلیل بازار
بازار جهانی
در پایان سال 2014، بازار کلان داده با پارامترهای زیر مشخص می شود:- حجم بازار به 28.5 میلیارد دلار آمریکا رسید که نسبت به سال قبل 45 درصد افزایش داشت.
- بیشتر درآمدهای بازار کلان داده از خدمات تشکیل شده بود، سهم آنها معادل 40٪ از کل درآمد بود.
- 36 درصد از درآمد از برنامه های کاربردی و تجزیه و تحلیل داده های بزرگ، 17 درصد از سخت افزار محاسباتی و 15 درصد از فناوری های ذخیره سازی به دست آمده است.
- پلتفرم های درون حافظه شرکت هایی مانند SAP، HANA و Oracle محبوب ترین ها برای حل مشکلات Big Data هستند.
- تعداد شرکت‌هایی که پروژه‌های اجرا شده در زمینه مدیریت کلان داده را 125 درصد افزایش دادند.
- در سال 2015 حجم بازار به 38.4 میلیارد دلار آمریکا خواهد رسید، در سال 2020 - 68.7 میلیارد دلار آمریکا.
- متوسط نرخ رشد سالانه 16% خواهد بود.
- میانگین هزینه شرکت در فناوری‌های Big Data 13.8 میلیون دلار برای شرکت‌های بزرگ و 1.6 میلیون دلار برای مشاغل کوچک و متوسط خواهد بود.
- فناوری‌ها بیشترین شیوع را در حوزه خدمات مشتری و بازاریابی هدفمند خواهند داشت.
- در سال 2017، ساختار بازار جهانی به سمت برتری شرکت های کاربر از کشورهای در حال توسعه تغییر خواهد کرد.
بازار روسیه
بازار کلان داده روسیه در مرحله شکل گیری است، نتایج سال 2014 به شرح زیر است:- حجم بازار به 340 میلیون دلار آمریکا رسید.
- متوسط نرخ رشد بازار در سال های گذشته 50 درصد سالانه بود.
- مجموع اطلاعات انباشته شده 155 اگزابایت بود.
- 10 درصد از شرکت‌های روسی استفاده از فناوری‌های Big Data را آغاز کرده‌اند.
- فناوری‌های کلان داده در بخش بانکداری، مخابرات، شرکت‌های اینترنتی و خرده‌فروشی محبوبیت بیشتری داشتند.
- حجم بازار روسیه در سال 2015 به 500 میلیون دلار آمریکا و در سال 2018 - 1.7 میلیارد دلار آمریکا خواهد رسید.
- سهم بازار روسیه در بازار جهانی در سال 2018 حدود 3٪ خواهد بود.
- مقدار داده های انباشته شده در سال 2020 980 اگزابایت خواهد بود.
- داده ها در سال 2020 به 2.2 درصد از داده های جهانی افزایش می یابد.
- فن آوری های تجسم داده ها، تجزیه و تحلیل فایل های رسانه ای و اینترنت اشیا بیشترین محبوبیت را به دست خواهند آورد.
از اینکه برای خواندن این اثر حجیم وقت گذاشتید متشکریم، در وبلاگ ما مشترک شوید - ما قول بسیاری از انتشارات جالب جدید را می دهیم!
ستون معلمان HSE درباره افسانه ها و موارد کار با داده های بزرگ
به نشانک ها
کنستانتین رومانوف و الکساندر پیاتیگورسکی، مدرسان دانشکده رسانه های جدید HSE، که همچنین مدیر تحول دیجیتال در Beeline است، ستونی را در مورد تصورات غلط اصلی در مورد کلان داده - نمونه هایی از استفاده از فناوری و ابزارها - نوشتند. نویسندگان پیشنهاد می کنند که این نشریه به رهبران شرکت کمک می کند تا این مفهوم را درک کنند.
افسانه ها و باورهای غلط در مورد داده های بزرگ
کلان داده بازاریابی نیست
اصطلاح Big Data بسیار مد شده است - در میلیون ها موقعیت و در صدها تفسیر مختلف استفاده می شود که اغلب به آنچه که هست مربوط نمی شود. اغلب در ذهن مردم جایگزینی مفاهیم وجود دارد و داده های بزرگ با یک محصول بازاریابی اشتباه گرفته می شود. علاوه بر این، در برخی از شرکت ها، داده های بزرگ بخشی از بخش بازاریابی است. نتیجه تجزیه و تحلیل کلان داده در واقع می تواند منبعی برای فعالیت بازاریابی باشد، اما نه چیزی بیشتر. بیایید ببینیم چگونه کار می کند.
اگر ما لیستی از کسانی که دو ماه پیش در فروشگاه ما کالاهایی به ارزش بیش از سه هزار روبل خریدند شناسایی کردیم و سپس نوعی پیشنهاد برای این کاربران ارسال کردیم، این یک بازاریابی معمولی است. ما یک الگوی واضح از داده های ساختاری استخراج می کنیم و از آن برای افزایش فروش استفاده می کنیم.
با این حال، اگر داده‌های CRM را با اطلاعات پخش جریانی، مثلاً از اینستاگرام، ترکیب کنیم و آنها را تجزیه و تحلیل کنیم، الگویی پیدا می‌کنیم: فردی که فعالیت خود را در عصر چهارشنبه کاهش داده است و آخرین عکسش بچه گربه‌ها را نشان می‌دهد، باید پیشنهاد خاصی ارائه دهد. از قبل بیگ دیتا خواهد بود. ما محرک را پیدا کردیم، آن را به بازاریابان دادیم و آنها از آن برای اهداف خود استفاده کردند.
از این نتیجه می‌شود که این فناوری معمولاً با داده‌های بدون ساختار کار می‌کند و اگر داده‌ها ساختاری داشته باشند، سیستم همچنان به جستجوی الگوهای پنهان در آنها ادامه می‌دهد، که بازاریابی انجام نمی‌دهد.
کلان داده IT نیست
مرحله دوم این داستان: کلان داده اغلب با فناوری اطلاعات اشتباه گرفته می شود. این به این دلیل است که در شرکت های روسی، به عنوان یک قاعده، متخصصان فناوری اطلاعات محرک همه فناوری ها، از جمله داده های بزرگ هستند. بنابراین، اگر همه چیز در این بخش اتفاق بیفتد، برای کل شرکت به نظر می رسد که این نوعی فعالیت فناوری اطلاعات است.
در واقع، یک تفاوت اساسی در اینجا وجود دارد: Big Data فعالیتی با هدف به دست آوردن یک محصول خاص است که به هیچ وجه در مورد IT صدق نمی کند، اگرچه فناوری بدون آنها نمی تواند وجود داشته باشد.
کلان داده همیشه جمع آوری و تجزیه و تحلیل اطلاعات نیست
تصور نادرست دیگری درباره کلان داده وجود دارد. همه می‌دانند که این فناوری با حجم زیادی از داده‌ها مرتبط است، اما همیشه مشخص نیست که منظور از چه نوع داده‌ای است. همه می توانند اطلاعات را جمع آوری و استفاده کنند، اکنون نه تنها در فیلم های مربوط به آن، بلکه در هر شرکت، حتی یک شرکت بسیار کوچک، امکان پذیر است. تنها سوال این است که دقیقاً چه چیزی را جمع آوری کنید و چگونه از آن به نفع خود استفاده کنید.
اما باید درک کرد که فناوری Big Data جمع آوری و تجزیه و تحلیل مطلقاً هیچ اطلاعاتی نخواهد بود. به عنوان مثال، اگر داده‌های مربوط به یک فرد خاص را در شبکه‌های اجتماعی جمع‌آوری کنید، داده‌های بزرگ نخواهد بود.
Big Data واقعا چیست
کلان داده از سه عنصر تشکیل شده است:
- داده ها؛
- تجزیه و تحلیل؛
- فن آوری.
Big Data تنها یکی از این اجزا نیست، بلکه ترکیبی از هر سه عنصر است. اغلب مردم مفاهیم را جایگزین می کنند: کسی فکر می کند که کلان داده فقط داده است، کسی فکر می کند که فناوری است. اما در واقع، مهم نیست که چقدر داده جمع آوری می کنید، بدون فناوری و تجزیه و تحلیل مناسب نمی توانید کاری با آن انجام دهید. اگر تجزیه و تحلیل خوبی وجود داشته باشد، اما داده ای وجود نداشته باشد، بدتر است.
اگر در مورد داده ها صحبت کنیم، پس این فقط متن ها نیست، بلکه تمام عکس های ارسال شده در اینستاگرام و به طور کلی همه چیزهایی است که می توان آن ها را تجزیه و تحلیل کرد و برای اهداف و کارهای مختلف استفاده کرد. به عبارت دیگر داده به حجم عظیمی از داده های داخلی و خارجی ساختارهای مختلف اطلاق می شود.
تجزیه و تحلیل نیز مورد نیاز است، زیرا وظیفه Big Data ایجاد برخی الگوها است. یعنی تجزیه و تحلیل شناسایی وابستگی های پنهان و جستجوی پرسش ها و پاسخ های جدید بر اساس تجزیه و تحلیل کل حجم داده های ناهمگن است. علاوه بر این، داده های بزرگ سوالاتی را مطرح می کند که مستقیماً از این داده ها مشتق نمی شوند.
وقتی صحبت از تصاویر می شود، این واقعیت که شما عکسی از خود در یک تی شرت آبی ارسال کرده اید چیزی نمی گوید. اما اگر از یک عکس برای مدل سازی Big Data استفاده می کنید، ممکن است معلوم شود که در حال حاضر باید وام ارائه دهید، زیرا در گروه اجتماعی شما این رفتار نشان دهنده پدیده خاصی در اقدامات است. بنابراین، داده های "لخت" بدون تجزیه و تحلیل، بدون آشکار کردن وابستگی های پنهان و غیر آشکار، داده های بزرگ نیستند.
بنابراین ما داده های بزرگ داریم. آرایه آنها بسیار زیاد است. یک تحلیلگر هم داریم. اما چگونه می توانیم مطمئن شویم که یک راه حل خاص از این داده های خام متولد شده است؟ برای انجام این کار، ما به فناوری هایی نیاز داریم که به ما امکان می دهد نه تنها آنها را ذخیره کنیم (و این قبلا غیرممکن بود)، بلکه آنها را تجزیه و تحلیل کنیم.
به بیان ساده، اگر داده های زیادی دارید، به فناوری هایی مانند Hadoop نیاز خواهید داشت که امکان ذخیره تمام اطلاعات را به شکل اصلی برای تجزیه و تحلیل بعدی فراهم می کند. چنین فناوری هایی در غول های اینترنتی به وجود آمدند، زیرا آنها اولین کسانی بودند که با مشکل ذخیره حجم زیادی از داده ها و تجزیه و تحلیل آن برای کسب درآمد بعدی مواجه شدند.
علاوه بر ابزارهایی برای ذخیره سازی داده ها بهینه و ارزان، به ابزارهای تحلیلی و همچنین افزونه هایی برای پلتفرم مورد استفاده نیاز است. به عنوان مثال، یک اکوسیستم کامل از پروژه‌ها و فناوری‌های مرتبط در اطراف Hadoop شکل گرفته است. در اینجا برخی از آنها آورده شده است:
- Pig یک زبان تجزیه و تحلیل داده های اعلامی است.
- Hive - تجزیه و تحلیل داده ها با استفاده از زبانی نزدیک به SQL.
- Oozie یک گردش کار در Hadoop است.
- Hbase - پایگاه داده (غیر رابطه ای)، آنالوگ Google Big Table.
- ماهوت - یادگیری ماشینی.
- Sqoop - انتقال داده از RSDDB به Hadoop و بالعکس.
- فلوم - انتقال لاگ ها به HDFS.
- Zookeeper، MRUnit، Avro، Giraph، Ambari، Cassandra، HCatalog، Fuse-DFS و غیره.
همه این ابزارها به صورت رایگان در دسترس همه هستند، اما مجموعه ای از افزونه های پولی نیز وجود دارد.
علاوه بر این، متخصصان مورد نیاز هستند: این یک توسعه دهنده و یک تحلیلگر است (به اصطلاح دانشمند داده). شما همچنین به مدیری نیاز دارید که بتواند درک کند که چگونه این تجزیه و تحلیل را برای یک کار خاص اعمال کند، زیرا به خودی خود کاملاً بی معنی است اگر در فرآیندهای تجاری تعبیه نشده باشد.
هر سه کارمند باید به صورت تیمی کار کنند. مدیری که به یک دانشمند داده وظیفه پیدا کردن یک الگوی خاص را می‌دهد باید بفهمد که همیشه نمی‌توان دقیقاً آنچه را که او نیاز دارد پیدا کرد. در این مورد، مدیر باید به دقت به آنچه دانشمند داده یافته است گوش دهد، زیرا اغلب یافته های او برای تجارت جالب تر و مفیدتر می شود. وظیفه شما این است که آن را در تجارت اعمال کنید و از آن محصولی بسازید.
با وجود این واقعیت که در حال حاضر انواع مختلفی از ماشین‌ها و فناوری‌ها وجود دارد، تصمیم نهایی همیشه با خود شخص است. برای انجام این کار، اطلاعات باید به نحوی تجسم شوند. ابزارهای زیادی برای این کار وجود دارد.
گویاترین مثال گزارش های زمین تحلیلی است. شرکت Beeline با دولت های شهرها و مناطق مختلف بسیار کار می کند. اغلب، این سازمان ها گزارش هایی مانند "بار ترافیک در یک مکان خاص" را سفارش می دهند.
واضح است که چنین گزارشی باید به شکلی ساده و قابل فهم به دست سازمان های دولتی برسد. اگر جدول عظیم و کاملاً نامفهومی را در اختیار آنها قرار دهیم (یعنی اطلاعاتی به شکلی که آن را دریافت می کنیم)، بعید است که چنین گزارشی را بخرند - کاملاً بی فایده خواهد بود، آنها دانش را از آن خارج نخواهند کرد. که می خواستند دریافت کنند.
بنابراین، مهم نیست که دانشمندان داده چقدر خوب باشند و مهم نیست که چه الگوهایی پیدا می کنند، شما نمی توانید بدون ابزار تجسم با کیفیت با این داده ها کار کنید.
منابع داده
آرایه داده های دریافتی بسیار بزرگ است، بنابراین می توان آنها را به چند گروه تقسیم کرد.
داده های داخلی شرکت
اگرچه 80 درصد از داده های جمع آوری شده متعلق به این گروه است، اما همیشه از این منبع استفاده نمی شود. اغلب این داده‌هایی است که به نظر می‌رسد هیچ کس اصلاً به آنها نیاز ندارد، مثلاً لاگ. اما اگر از زاویه دیگری به آنها نگاه کنید، گاهی اوقات می توانید الگوهای غیرمنتظره ای را در آنها پیدا کنید.
منابع اشتراک‌افزار
این شامل داده‌های شبکه‌های اجتماعی، اینترنت و هر چیزی است که می‌توان به صورت رایگان به آن نفوذ کرد. چرا اشتراک افزار؟ از یک طرف، این داده ها در دسترس همه هستند، اما اگر شرکت بزرگی هستید، دریافت آن به اندازه یک پایگاه مشترک ده ها هزار، صدها یا میلیون ها مشتری دیگر کار آسانی نیست. بنابراین، خدمات پولی در بازار برای ارائه این داده ها وجود دارد.
منابع پولی
این شامل شرکت هایی می شود که داده ها را برای پول می فروشند. اینها می توانند مخابرات، DMP ها، شرکت های اینترنتی، دفاتر اعتباری و تجمیع کننده ها باشند. در روسیه، مخابرات داده نمی فروشد. اولاً از نظر اقتصادی زیان آور است و ثانیاً قانوناً ممنوع است. بنابراین، آنها نتایج پردازش خود را می فروشند، به عنوان مثال، گزارش های geoanalytical.
باز کردن داده ها
ایالت نیازهای کسب و کار را برآورده می کند و استفاده از داده هایی را که آنها جمع آوری می کنند ممکن می سازد. این امر تا حد زیادی در غرب توسعه یافته است، اما روسیه نیز در این زمینه همگام با زمانه پیش می رود. به عنوان مثال، پورتال داده های باز دولت مسکو وجود دارد که اطلاعاتی را در مورد اشیاء مختلف زیرساخت های شهری منتشر می کند.
برای ساکنان و مهمانان مسکو، داده ها به صورت جدولی و نقشه برداری و برای توسعه دهندگان - در قالب های ویژه قابل خواندن توسط ماشین ارائه می شود. در حالی که پروژه در حالت محدود کار می کند، اما در حال توسعه است، به این معنی که منبع داده ای است که می توانید برای کارهای تجاری خود از آن استفاده کنید.
پژوهش
همانطور که قبلا ذکر شد، وظیفه Big Data پیدا کردن یک الگو است. اغلب، مطالعات در سرتاسر جهان می تواند به نقطه مرجعی برای یافتن یک الگوی خاص تبدیل شود - می توانید یک نتیجه خاص بگیرید و سعی کنید منطق مشابهی را برای اهداف خود اعمال کنید.
کلان داده حوزه ای است که همه قوانین ریاضی در آن کار نمی کنند. به عنوان مثال، "1" + "1" "2" نیست، بلکه بسیار بیشتر است، زیرا هنگام مخلوط کردن منابع داده، اثر را می توان تا حد زیادی افزایش داد.
نمونه های محصول
بسیاری از افراد با سرویس انتخاب موسیقی Spotify آشنا هستند. زیبایی آن این است که از کاربران نمی پرسد حال و هوای امروز آنها چیست، بلکه آن را بر اساس منابع موجود محاسبه می کند. او همیشه می داند که اکنون به چه چیزی نیاز دارید - جاز یا هارد راک. این تفاوت کلیدی است که برای او طرفدارانی فراهم می کند و او را از سایر خدمات متمایز می کند.
چنین محصولاتی معمولاً محصولات حسی نامیده می شوند - آنهایی که مشتری خود را احساس می کنند.
فناوری Big Data در صنعت خودروسازی نیز مورد استفاده قرار می گیرد. به عنوان مثال، تسلا این کار را انجام می دهد - آخرین مدل آنها دارای خلبان خودکار است. این شرکت در تلاش است تا خودرویی بسازد که مسافر را به جایی که باید برود ببرد. بدون Big Data، این غیرممکن است، زیرا اگر ما فقط از داده‌هایی استفاده کنیم که مستقیماً دریافت می‌کنیم، همانطور که یک شخص انجام می‌دهد، خودرو نمی‌تواند پیشرفت کند.
وقتی خودمان ماشین می‌رانیم، از نورون‌هایمان برای تصمیم‌گیری بر اساس عوامل زیادی استفاده می‌کنیم که حتی متوجه آنها هم نمی‌شویم. به عنوان مثال، ممکن است متوجه نشویم که چرا تصمیم گرفتیم فوراً چراغ سبز را روشن نکنیم، و سپس معلوم شود که تصمیم درست بوده است - خودرویی با سرعت سرسام‌آور از کنار شما گذشت و از تصادف جلوگیری کردید.
همچنین می توانید مثالی از استفاده از Big Data در ورزش بیاورید. در سال 2002، مدیر کل تیم بیسبال Oakland Athletics، بیلی بین، تصمیم گرفت تا پارادایم نحوه جستجوی ورزشکاران را بشکند - او بازیکنان را "بر اساس اعداد" انتخاب و آموزش داد.
معمولاً مدیران به موفقیت بازیکنان نگاه می کنند ، اما در این مورد متفاوت بود - برای به دست آوردن نتیجه ، مدیر با توجه به ویژگی های فردی به چه ترکیبی از ورزشکاران نیاز داشت. علاوه بر این ، او ورزشکارانی را انتخاب کرد که به خودی خود پتانسیل بالایی نداشتند ، اما تیم به طور کلی آنقدر موفق بود که بیست مسابقه متوالی را برد.
کارگردان بنت میلر متعاقباً فیلمی را به این داستان اختصاص داد - "مردی که همه چیز را تغییر داد" با بازی برد پیت.
فناوری Big Data در بخش مالی نیز مفید است. حتی یک نفر در جهان نمی تواند به طور مستقل و دقیق تعیین کند که آیا ارزش وام دادن به کسی را دارد یا خیر. برای تصمیم گیری، نمره گذاری انجام می شود، یعنی یک مدل احتمالی ساخته می شود که با آن می توان فهمید که آیا این شخص پول را پس می دهد یا خیر. علاوه بر این، امتیازدهی در تمام مراحل اعمال می شود: به عنوان مثال، می توانید محاسبه کنید که در یک لحظه مشخص، شخص پرداخت را متوقف می کند.
داده های بزرگ نه تنها به کسب درآمد، بلکه ذخیره آنها نیز اجازه می دهد. به طور خاص، این فناوری به وزارت کار آلمان کمک کرد تا هزینه مزایای بیکاری را 10 میلیارد یورو کاهش دهد، زیرا پس از تجزیه و تحلیل اطلاعات مشخص شد که 20٪ از مزایا به طور غیرمستقیم پرداخت شده است.
فن آوری ها همچنین در پزشکی استفاده می شود (این امر به ویژه در مورد اسرائیل صادق است). با کمک بیگ دیتا می توانید تحلیل بسیار دقیق تری نسبت به یک پزشک با سی سال تجربه انجام دهید.
هر پزشک هنگام تشخیص، فقط به تجربه خود متکی است. هنگامی که دستگاه این کار را انجام می دهد، از تجربه هزاران پزشک از این قبیل و تمام سوابق پرونده موجود می آید. این در نظر می گیرد که خانه بیمار از چه موادی ساخته شده است، قربانی در چه منطقه ای زندگی می کند، چه دودی در آنجا وجود دارد و غیره. یعنی فاکتورهای زیادی را در نظر می گیرد که پزشکان در نظر نمی گیرند.
نمونه ای از استفاده از داده های بزرگ در مراقبت های بهداشتی، پروژه پروژه آرتمیس است که توسط بیمارستان کودکان تورنتو اجرا شد. این یک سیستم اطلاعاتی است که داده های مربوط به نوزادان را در زمان واقعی جمع آوری و تجزیه و تحلیل می کند. این دستگاه به شما امکان می دهد در هر ثانیه 1260 شاخص سلامتی هر کودک را تجزیه و تحلیل کنید. این پروژه با هدف پیش بینی وضعیت ناپایدار کودک و پیشگیری از بیماری در کودکان انجام می شود.
استفاده از داده های بزرگ در روسیه نیز آغاز شده است: به عنوان مثال، Yandex دارای یک بخش کلان داده است. این شرکت به همراه AstraZeneca و انجمن انکولوژی بالینی روسیه RUSSCO، پلتفرم RAY را برای متخصصان ژنتیک و زیست شناسان مولکولی راه اندازی کردند. این پروژه روش های تشخیص سرطان و شناسایی استعداد ابتلا به سرطان را بهبود می بخشد. این پلتفرم در دسامبر 2016 راه اندازی می شود.
