রেক্টিফায়েড লিনিয়ার ইউনিট

নিউরাল নেটওয়ার্কে, অ্যাক্টিভেশন ফাংশন গুলো নোড থেকে ওয়েট যুক্ত ইনপুটটিকে সেই ইনপুটটির নোড বা আউটপুট কে সক্রিয় করে রূপান্তরের জন্য দায়ী।

রেক্টিফায়েড লিনিয়ার ইউনিট(রেলু)হ’ল একটি লিনিয়ার ফাংশন যা ইনপুটটি ইতিবাচক হলে সরাসরি আউটপুট দেয়, অন্যথায়, এটি আউটপুট শূন্য দেয়। এটি অনেক ধরণের নিউরাল নেটওয়ার্কগুলির জন্য ডিফল্ট অ্যাক্টিভেশন ফাংশনে পরিণত হয়েছে কারণ এমন একটি মডেল যা এটি ব্যবহার করে তা প্রশিক্ষণ দেওয়া সহজ এবং প্রায়শই ভাল পারফরম্যান্স অর্জন করে।

একটি নিউরাল নেটওয়ার্ক নোডের স্তর নিয়ে গঠিত এটি ইনপুট থেকে আউটপুট গুলির ম্যাপ করতে শেখে। যেকোনো নোডের জন্য, ইনপুটগুলি নোডের ওয়েট দ্বারা গুণিত হয় এবং একসাথে যোগফল করা হয়। এই মানটি নোডের যোগকৃত অ্যাক্টিভেশন হিসাবে উল্লেখ করা হয়। সংক্ষিপ্ত অ্যাক্টিভেশনটি তখন একটি অ্যাক্টিভেশন ফাংশনের মাধ্যমে রূপান্তরিত হয় এবং নোডের নির্দিষ্ট আউটপুট বা অ্যাক্টিভেশন সংজ্ঞায়িত করে।

ডিপ নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণের জন্য ত্রুটিগুলির ব্যাকপ্রোপেশন সহ স্টোকাস্টিক গ্রেডিয়েন্ট ব্যবহার করার জন্য, একটি অ্যাক্টিভেশন ফাংশন প্রয়োজন যা লিনিয়ার ফাংশনের মতো দেখায় এবং কাজ করে, তবে এটি একটি ননলাইনারের ফাংশন যাতে ডেটাগুলিতে জটিল সম্পর্কগুলি শিখতে সাহায্য করে। ফাংশন অ্যাক্টিভেশনের সমষ্টি ইনপুট কে আরো সংবেদনশীলতা প্রদান এবং সহজ সম্পৃক্তি ব্যাপারে সতর্ক করে।

এই অ্যাক্টিভেশন ফাংশনটি কার্যকর করে এমন একটি নোড বা ইউনিট একটি রেক্টিফায়েড লিনিয়ার অ্যাক্টিভেশন ইউনিট হিসাবে পরিচিত। প্রায়শই, হিডেন স্তরগুলির জন্য রেক্টিফায়েড ফাংশন ব্যবহার করে এমন নেটওয়ার্কগুলিকে সংশোধনযোগ্য নেটওয়ার্ক হিসাবে উল্লেখ করা হয়।

f(x) = max(0,x)
এখানে x হল নিউরনের ইনপুট

রেক্টিফায়েড লিনিয়ার অ্যাক্টিভেশন ফাংশনের কোড:

যেহেতু আমরা রেক্টিফায়েড লিনিয়ার অ্যাক্টিভেশন ফাংশনটির সাথে পরিচিত, আমরা পাইথনে এটি কীভাবে প্রয়োগ করতে পারি সেদিকে নজর দেওয়া যাক।

উদাহরণস্বরূপ চলমান, আমরা দেখতে পাচ্ছি যে ধনাত্মক মানগুলি তাদের আকার নির্বিশেষে ফিরিয়ে আনে, যেখানে ঋণাত্মক মানগুলি 0.0 এর মানটিতে ছড়িয়ে যায়।

আমরা সিরিজ ইনপুট এবং গণনা করা আউটপুটগুলির প্লট করে ফাংশনটির ইনপুট এবং আউটপুটগুলির মধ্যে সম্পর্কের ধারণা পেতে পারি।

নীচের উদাহরণটি -10 থেকে 10 পর্যন্ত একটি পূর্ণসংখ্যা তৈরি করে এবং প্রতিটি ইনপুটটির জন্য রেক্টিফায়েড লিনিয়ার অ্যাক্টিভেশন গণনা করে, তারপরে ফলাফলটিকে প্লট করে।

উদাহরণটি চালানো একটি লাইন প্লট তৈরি করে যা দেখায় যে সমস্ত ঋণাত্মক মান এবং শূন্য ইনপুটগুলি 0.0 এ চলে গেছে, যেখানে ধনাত্মক আউটপুটগুলি ফিরে আসে, ফলস্বরূপ একটি রৈখিক বর্ধমান রেখায় রূপান্তরিত হয় যা প্রদত্ত ইতিবাচক মানগুলির একটি রৈখিক বর্ধনশীল সিরিজ তৈরি করেছি (যেমন1 থেকে 10)।

ঋণাত্মক এবং ধনাত্মক ইনপুটগুলির জন্য রেক্টিফায়েড লিনিয়ার সক্রিয়করণের লাইন প্লট