پایان نامه > کتابخانه مرکزی دانشگاه صنعتی شاهرود > مهندسی کامپیوتر > مقطع کارشناسی ارشد > سال 1397
پدیدآورندگان:
مجتبی اسداللهی [پدیدآور اصلی]، هدی مشایخی[استاد راهنما]
چکیده: در دنیای امروز، گسترش رسانه ها و شبکه های اجتماعی و همچنین افزایش تارنما های تحلیلی تجاری، خبری، باعث استقبال و حضور گسترده مردم در این مجموعه ها شده است. این امر موجب انتشار و اشتراک داده ها و نظرات بسیار زیادی می شود. با توجه به این حجم انبوه از داده، با تحلیل این داده ها، می توان اطلاعات بسیار ارزشمندی استخراج نمود. اما در کنار این مزیت، پردازش این حجم از اطلاعات خود یک معضل را پدید می-آورد. سرعت پردازش روش های گذشته و سنتی در مقابل رشد سریع جریان داده های ورودی کند می باشد. برای حل این مشکل، می توان از روش های مقیاس پذیر و همچنین ابزارهای نوین در حوزه پردازش کلان داده، برای تسریع روند پردازش استفاده نمود. پژوهش هایی در این حوزه انجام شده است اما همچنان این حوزه با توجه به پتانسیل بالای خود، نیازمند پژوهش های بیشتری می باشد. در پژوهش های گذشته علاوه بر کندی سرعت پردازش مشکلاتی از جمله پایین بودن دقت، استفاده از ساختار پیچیده روش پیشنهادی و وابستگی به دامنه موضوع وجود دارد.
اسپارک چارچوبی نسبتا نوین برای پردازش کلان داده ها می باشد که پردازش را در حافظه انجام می دهد و این موضوع باعث افزایش سرعت پردازش الگوریتم می شود. در این پژوهش از رده بند ماشین بردار پشتیبان (SVM) و ابزار اسپارک به صورت همزمان جهت ردهبندی نظرات کاربران استفاده شده است. روش پیشنهادی در کنار حفظ دقت مطلوب، وابسته به دامنه خاصی نمی باشد و در پیاده سازی نیز از پیچیدگی به-دور است. برای بهره مندی از توانایی اسپارک در پردازش توزیع شده از رده بند SVM موازی به صورت آبشاری، آبشاری بهبودیافته و گروهی و رأیگیری بین چند SVM بهره گرفته شده است. برای مقایسه کارایی روش-های فوق، SVM استاندارد نیز پیاده سازی شده است. برای ارزیابی از مجموعه داده IMDB استفاده شده است. این مجموعه داده شامل نظرات مربوط به فیلم است و به زبان انگلیسی می باشد. در نتایج بدست آمده برای ردهبندی، بهترین دقت حاصل شده 85.946٪ است. همچنین زمان سپری شده برای اجرای الگوریتم SVM استاندارد در محیط اسپارک در مقابل پژوهش دیگری که زمان را گزارش داده است، بیش از 8 مرتبه کاهش یافته است. زمان برای SVMهای موازی در مقابل SVM استاندارد نیز بهبود قابل توجهی داشته است. در بهترین حالت زمان آموزش روش پیشنهادی نسبت به زمان آموزش SVM استاندارد حدود 60 مرتبه کاهش یافته است.
کلید واژه ها (نمایه ها):
#نظرکاوی #ماشین بردار پشتیبان #پردازش موازی #اسپارک دانلود نسخه تمام متن (رایگان)
محل نگهداری: کتابخانه مرکزی دانشگاه صنعتی شاهرودیادداشت: حقوق مادی و معنوی متعلق به دانشگاه صنعتی شاهرود می باشد.
تعداد بازدید کننده: