پروپوزال داده کاوی برای داده های بزرگ

پروپوزال آماده رشته کامپیوتر ارائه شده در این بخش پروپوزال داده کاوی برای داده های بزرگ می باشد.

پروپوزال داده کاوی برای داده های بزرگ

عصر داده های بزرگ آمده است. هر روز ۵/۲ کوینتیلیون بایت داده ایجاد می شود و ۹۰ درصد داده های جهان در مدت دو سال گذشته تولید شده اند. از زمان اختراع فناوری اطلاعات در اوایل قرن نوزدهم تا به امروزه توانایی بشر برای تولید داده ها هرگز این چنین قدرتمند و وسیع نبوده است، دکتر یان مو برنده ی جایزه ی نوبل ۲۰۱۲ در رشته ی ادبیات است.

این بحث برانگیزترین جایزه ی توبل گروه ادبیات است. اگر در گوگل جایزه ی نوبل یان مو را جستجو کنید؛ جستجوی شما منجر به ۱۰۵۰۰۰۰ اشاره گر وب در اینترنت می شود. دکتر یان مو در سال ۲۰۱۲ گفت: “به خاطر همه ی تحسین ها و انتقادات متشکرم” در حقیقت، می خواهیم بدانیم که دکتر یان مو در حرفه ۳۱ ساله ی نویسندگیش چه تشویق و انتقادی دریافت کرده است، وقتی هنوز اظهارنظرها در اینترنت و در چندین رسانه ی خبری مختلف ادامه دارند آیا می توان همه نوع نظری را در رسانه های مختلف به صورت بلادرنگ که شامل مباحث به روز شده باشد؛ خلاصه کرد؟

در واقع این نوع خلاصه کردن، یک مثال عالی برای پردازش داده های بزرگ است؛ چون اطلاعات از چندین منبع ناهمگن، مستقل با روابط پیچیده و در حال تغییر می آیند و افزایش می یابند.

یک مثال دیگر فلیکر است که یک وب گاه عمومی برای اشتراک تصاویر است که در هر روز به طور میانگین ۸/۱ میلیون تصویر دریافت می کند. با این فرض که حجم هر تصویر ۲ مگابایت باشد، فلیکر روزانه به ۶/۳ ترابایت (TB) فضای ذخیره سازی نیاز دارد.

در حقیقت، یک تصویر ارزش هزاران کلمه را دارد. میلیاردها تصویر در فلیکر مخزن گرانبهایی است. اگر قدرت مدیریت مقادیر زیاد داده را داشته باشیم میتوانیم اجتماع انسانی، رویدادهای اجتماعی، کارهای عمومی و فاجعه ها را از طریق فلیکر جستجو کنیم.

مثال های بالا ظهور کاربردهای داده های بزرگ را نشان می دهند؛ مجموعه ی داده ها به سرعت رشد می کنند. رشد داده ها از توانایی ابزارهای نرم افزاری موجود که برای ذخیره، پردازش و مدیریت داده ها استفاده می شود؛ بسیار سریع تر است. اصلی ترین چالش در داده کاوی برای داده های بزرگ، کاوش حجم زیاد داده ها است. در بسیاری از شرایط، داده کاوی برای داده های بزرگ باید بسیار کارا و نزدیک به بلادرنگ باشد چون ذخیره ی تمام داده های مشاهده شده تقریبا ناممکن است.

داده های بزرگ به یک سکوی پیش بینی، تجزیه و تحلیل داده ای مؤثر نیاز دارند تا بتوان پاسخ سریع و نزدیک به بلادرنگ را به دست آورد. نگاشت کاهش یک سکوی پردازش ابری از سرویس های داده های بزرگ برای عموم فراهم می سازد. نگاشت کاهش توسط گوگل مشهور شده است. امروزه نگاشت کاهش در بسیاری از پروژه های متن باز اجرا شده است که مهم ترینشان هادوپ است.

شهرت نگاشت کاهش به دلیل مقیاس پذیری، تحمل خطا، سادگی و عدم وابستگی به زبان برنامه نویسی با سیستم ذخیره داده ها است. نگاشت کاهش به عنوان یک روش فعال سازی اصلی برای داده های بزرگ در برآوردن تقاضاهای در حال افزایش منابع محاسباتی است. وقتی نگاشت کاهش با داده های بزرگ سروکار دارد با محدودیت هایی مواجه است.

داده کاوی

با ابداع سیستم های اطلاعاتی به شکل های مختلف، رویارویی با داده ها و به تبع آن اطلاعات، به مهم ترین دغدغه متخصصان در حوزه های مرتبط تبدیل شد، توسعه ی سیستم های مدیریت پرونده ها پس از بانک های اطلاعاتی به منظور ذخیره و مدیریت داده ها که به صورت روزافزون در حال تولید بودند، گواهی بر این ادعا است.

پس از عبور از این دوران اولیه و دستیابی به ثبات نسبی در توسعه و پذیرش استانداردهای تعیین شده در این حوزه، مسئله ای مهم تر پدید آمد و آن چگونگی بهره برداری بیشتر از داده های موجود و بایگانی شده به جهت استخراج دانش پنهان و اطلاعات سودمند از آنها بود، سال های پایانی دهه ی هشتاد و اوایل دهه ی نود، برابر با مطرح شدن نظریه های ابتدایی داده کاوی بود که به نوبهی خود، تحولی بزرگ را در زمینه ی مدیریت داده ها به وجود آورد. داده کاوی فرآیند آشکار کردن الگوهای هدف و دانش از میان حجم عظیمی از داده ها است .

در واقع داده کاوی، به عنوان یکی از مراحل فرآیند اکتشاف دانش با ارائه روش هایی در جهت استخراج اطلاعات پنهان در حجم زیاد داده ها، تسهیلات شایان و بی سابقه ای را در حوزه های مختلف کاری، از علوم زیستی تا تجارت و فراتر از آنها، پیش روی علاقه مندان قرار داد. یاری رساندن به مدیران در تصمیم گیری های بزرگ و تأثیرگذار، کشف علل بیماریها، تغییرات آب و هوایی و توسعه روش های نوین در علوم مهندسی تنها بخشی از کاربردهای روش های داده کاوی می باشد.

متا دانلود به عنوان مرجع پروژه های آماده کامپیوتر آماده پذیرش مشاوره انجام پروپوزال کامپیوتر در تمامی گرایش ها می باشد.