چکیده: شبکه حافظه کوتاه و بلند مدت نوعی از معماری شبکه بازگشتی است که برای جلوگیری از مشکلات وابستگی های طولانی مدت در واحدهای لایه های مخفی (ناپدید شدن گرادیان) طراحی شده است. هر واحد در شبکه حافظه کوتاه و بلندمدت به صورت یک بلوک نمایش داده می شود. بلوک‌های شبکه حافظه کوتاه و بلندمدت به‌عنوان سلول‌های حافظه به صورت بازگشتی به هم متصل هستند. هر بلوک در لایه مخفی این شبکه شامل چندین دروازه با توابع فعالساز برای تنظیم اطلاعات درون آن است. توابع فعالساز مورد استفاده در اغلب شبکه‌های عصبی به‌خصوص در بلوک‌های شبکه حافظه کوتاه و بلندمدت، توابع سیگموئید و تانژانت هایپربولیک می‌باشند. توابع فعالساز دیگری نیز معرفی شده‌اند، اما در انتخاب تابع فعالساز مناسب در شبکه‌های حافظه کوتاه و بلندمدت پژوهش چندانی صورت نگرفته است. در این پایان‌نامه ابتدا به بررسی و جمع آوری توابع فعالساز مختلف قابل اعمال بر روی دروازه‌های سیگموئیدی بلوک‌های شبکه حافظه کوتاه و بلندمدت پرداخته شده، و 23 تابع فعالساز مختلف انتخاب شده است. سپس به بررسی دقت رده‌بندی شبکه با استفاده از این توابع فعالساز پرداخته شده است. بدین منظور از شبکه حافظه کوتاه و بلندمدت با یک‌لایه مخفی برای کلاسه‌بندی استفاده شده و ارزیابی بر روی دو مجموعه داده IMDB و Movie Review انجام شده است. علاوه بر بررسی عملکرد شبکه با توابع مختلف, تعداد بلوک های شبکه در لایه مخفی نیز برای دو مجموعه داده مورد نظر بررسی شده است. نتایج بدست‌آمده بر روی مجموعه داده نشان می‌دهد توابع فعالساز modified Elliott و cloglogm دارای بهترین نتایج روی هر دو مجموعه داده هستند. این در حالی است که تابع فعالساز سیگموئید، که به ‌طور معمول در دروازه‌های سیگموئیدی شبکه حافظه کوتاه و بلندمدت به کار می‌رود، عملکرد ضعیف‌تری از توابع فعالساز پیشنهادی دارد. نتایج نشان داد که بازه بزرگتر در تابع فعالساز لایه مخفی می تواند باعث بهبود عملکرد شبکه گردد. همچنین بررسی تعداد بلوک در لایه مخفی نشان داد که انتخاب تعداد بلوک ها در لایه مخفی ارتباط مستقیم با پیچیدگی و طول مجموعه داده مورد استفاده در شبکه دارد.