‘আ’ তে আর্টিফিশিয়াল ইন্টেলিজেন্স! 😎😎😎

Reyad Rahman
12 min readMay 26, 2017

--

Bangladesh should pay more attention than ever in Artificial Intelligence. While the world is moving with AI so fast we are doing almost nothing in this field, which is scary! Artificial Intelligent is the New Internet.

লেখা পড়া’র আগে আজকের কিছু আর্টিকেল পড়ে নিতে পারেন !

Why Small Business Should Be Paying Attention to Artificial Intelligence

Will artificial intelligence help us solve every problem?

How artificial intelligence is shaping online retail in 2017

কম্পিউটার সায়েন্স এর একটি জনপ্রিয় শাখা হচ্ছে আর্টিফিশিয়াল ইন্টেলিজেন্স । এর শুরু টা ১৯৪০ এ হলেও জনপ্রিয়তা পেয়েছে গত ৩-৫ বছরে । বিশেষ করে গত বছর আর এই বছর আর্টিফিশিয়াল ইন্টেলিজেন্স এর জনপ্রিয়তা তুঙ্গে । আমার আগের লেখায় আমি আর্টিফিশিয়াল ইন্টেলিজেন্স , মেশিন লার্নিং এবং ডিপ লার্নিং নিয়ে লিখেছিলাম এবং সেই সাথে কি শিখবেন , কই শিখবেন তার বিস্তারিত একটা লিস্ট দিয়ে দিয়েছিলাম । পড়তে পারেন এই লিঙ্ক এ ।

এই লেখা দিয়ে আর্টিফিশিয়াল ইন্টেলিজেন্স এর উপর মিডিয়ামে ধারাবাহিক সিরিজ শুরু করলাম ।

আর্টিফিশিয়াল ইন্টেলিজেন্স কি?

সহজ ভাষায় কম্পিউটার যাতে চিন্তা-ভাবনা করে নিজে নিজে কিছু করতে পারে , যে কোন ছবি দেখে চিনতে পারে এই জন্য যে বিজ্ঞান কাজ করে তার নাম আর্টিফিশিয়াল ইন্টেলিজেন্স ।

আর্টিফিশিয়াল ইন্টেলিজেন্স কত গুলো বিষয়ের সমষ্টি । তার মধ্যে Natural Language Processing, Knowledge Representation, Automated Reasoning, Machine Learning, Computer Vision, Robotics অন্যতম । আর্টিফিশিয়াল ইন্টেলিজেন্স এর উপর এই ধারাবাহিক সিরিজে উপরের সব কিছুই থাকবে । তার সাথে আর্টিফিশিয়াল ইন্টেলিজেন্স এ ব্যবহৃত নানা রকম এলগরিদম এর ধারাবাহিক বর্ণনা এবং প্রয়োগ ও থাকবে ।

The Fourth Industrial Revolution is here and AI is your key to become the part of it.

Industrial Revolution by 2020 and opportunities

আর্টিফিশিয়াল ইন্টেলিজেন্স সম্পর্কে আমাদের ধারণা আরেকটু স্বচ্ছ করে নেয়া যাক । আর্টিফিশিয়াল ইন্টেলিজেন্স কিভাবে কাজ করে ? ধরেন আপনি কৃষি কাজ করেন । এখন প্রথম দিন থেকেই তো আর আপনি সব শিখে আসেন নাই । আপনি আপনার বাবা কে দেখেছেন, দাদা কে দেখেছেন , তারা কিভাবে কাজ করে , একটা ধান ক্ষেতে কত টুকু পানি দিতে হয়, সার দিতে হয়ে , ধানের বিজ কিভাবে ছিটাতে হয়, ধানে পোকা ধরলে কি করতে হয় , কার কাছে যেতে হয় এরকম নানান কিছু আপনি সময়ের সাথে সাথে আপনার আশে পাশে’র মানুষ জনে’র থেকে শিখেছেন এবং তার পর নিজে নিজে ধান চাষ করার সময় আপনার পূর্ব অভিজ্ঞতা কাজে লাগিয়েছেন । কৃষি কাজ এক প্রকার সাধনা । আপনি যত সময় দিবেন , তত ভালো ফলন ঘরে তুলতে পারবেন । একই রকম আর্টিফিশিয়াল ইন্টেলিজেন্স । ধরেন আপনি জিমেইল এর মালিক বা এই রকম একটা সিস্টেম বানালেন এবং সময়ের সাথে সাথে দেখলেন আপনার সিস্টেম এ হাজার হাজার মেইল আসা শুরু করলো । সব কিন্তু কাজের মেইল না । আজাইরা , আপনি লটারিতে এতো টাকা জিতসেন , বিদেশি সুন্দরি কোন মহিলা’র ফেইক মেইল আপনাকে ডলার পাঠাবে এরকম হাজার রকম মেইল দিয়ে ভরে গেছে আপনার সিস্টেম । তকন কি করবেন ? এইসব স্পাম মেইল গুলার কারনে আপনার আসল মেইল গুলা হারাইয়া যাচ্ছে , আপনার প্রোডাক্টিভিটি নষ্ট হচ্ছে । এই সময় আপনাকে সাহায্য করবে আর্টিফিশিয়াল ইন্টেলিজেন্স । আপনি আনার সিস্টেমকে বলে দিবেন , ‘দেখো, আমার কাছে এই ১০,০০০ ইমেইল আছে যাদের সাবজেক্ট ঠিক নাই, “লটারি”, “জিতেছেন”, “আমি সখিনা” এরকম শব্দ আছে , তোমার কাজ হচ্ছে এরপর থেকে যত মেইল আসবে আমার সিস্টেম এ , তুমি এইরকম আজে বাজে মেইল গুলাকে চিহ্নিত করবা , তারপর স্পাম ফোল্ডার এ জমা করবা ।’

এই কাজ টা করার জন্য একটা এলগরিদম ব্যবহার করা হয় । এর নাম — Naive Bayes spam filtering

Naive Bayes Classifier Algorithm

খুব সহজে এই এলগরিদম এর ব্যবহার শিখতে এই লিঙ্ক এ ক্লিক করুন —

Naive Bayes Algorithm এর চারটি মেজর অ্যাপ্লিকেশন —

4 Application of Naive Bayes Algorithms

আবার ধরেন , আপনি পেপাল এর মত একটা কোম্পানি’র মালিক , প্রতিদিন আপনার সিস্টেম থেকে হাজার হাজার ডলার ট্রানজেকশন হয় । প্রতি ট্রানজেকশন এ আপনি কিছু ডলার কেটা রাখেন , যেটা আপনার খরচ বাদে লাভ । কিন্তু যদি দেখেন আপনার সিস্টেম থেকে হওয়া ট্রানজেকশন এর অধিকাংশই বাউন্স ব্যাক করতেসে । এর অর্থ হল ক্লায়েণ্ট আপনার সিস্টেম ব্যবহার করে ডলার পাঠিয়েছে আরেক ক্লায়েন্ট কে কিছু কেনার জন্য । হতে পারে সেটা একটা মোবাইল অ্যাপ্লিকেশন , নেটফ্লিক্স সাবস্ক্রিপ্সন কিংবা অন্য কোন ডিজিটাল পণ্য । কিন্তু কিছু ক্ষণ পরেই যেই ব্যক্তি এই ডিজিটাল পণ্য ক্রয় করেছে সে ডলার রিফান্ড চাইলো । এখন ডিজিটাল পণ্য আপনি একবার ডাউনলোড করে ফেললে তা তো আর একবারে রিমুভ করা সম্ভব না , কারণ আপনি চাইলেই আপনি কয়েকশো ফাইল কপি করে রেখে দিতে পারেন । আবার মাঝে মাঝে নাশকতাবাদী গণ বড় এমাউন্ট এর ডলার আপনার সিস্টেম এর মাধ্যমে আরেক ব্যক্তি থেকে হাতিয়ে নিতে পারে । তো এরকম নানা উপায়ে আপনার সিস্টেম এর ক্ষতি সাধণ হতে পারে, আপনি আর্থিক ক্ষতির সম্মুখীন হতে পারেন । এখন আপনি যদি এলন মাস্ক হন আর আপনার যদি পেপাল এর মত সার্ভিস থাকে আপনি নিশ্চয়ই চাইবেন না , আপনার সিস্টেম এর ক্ষতি হোক বা আপনি আর্থিক লসের সম্মুখীন হতে । আপনি তখন আর্টিফিশিয়াল ইন্টেলিজেন্স এবং মেশিন লার্নিং এর সাহায্য নিবেন এই ফ্রড ডিটেক্ট করতে!

How PayPal uses AI to prevent fraud

পেপাল ডায়নামিক কাস্টমার আইডেন্টিটি ব্যবহার করে যাতে করে পেপাল সিস্টেম এর ইউজার দেরকে চিনতে পারে যখনই কোন ট্রানজেকশন রিকুয়েস্ট আসে ।

তারা তাদের পুরো সিস্টেম জুড়ে হিউমেন-স্টোরি বেইজড ইন্টেলিজেন্স-ডাটা মাইনিং এবং মেশিন লার্নিং ব্যবহার করে যাতে করে কোন ফ্রড এক্টিভিটি না হয় । পেপাল সিস্টেম এমন ভাবে সাজানো যে , এর সন্দেহ হলে অটোমেটিক আপনার ট্রানজেকশন আটকিয়ে দিবে, আপনার প্রোফাইল ব্লক করে দিবে ।

Paypal uses AI and Machine Learning to prevent fraud

PayPal has been using machine learning technology for 10 years. In the beginning, the group used simple, linear models. Over the years it has migrated toward machine-learning technologies such as deep learning — software that uses so-called neural networks to mimic the workings of the human brain and recognize patterns in digital representations of sounds, images and other data.

পেপাল তাদের ডাটা সায়েন্টিস্ট দের কত বেতন দেয় বছরে ?

Paypal Data Scientist Salary

নরমালি কি হয় ? আপনি যেহেতু ইন্টারনেট ব্যবহার করেন সেটা মোবাইল দিয়ে হোক কি কম্পিউটার দিয়ে , আপনার একটা আইপি এড্রেস আছে । ট্রানজেকশন হয় এরকম সে কোন সাইট / সিস্টেম ট্রানজেকশন এর সময় আপনার আইপি এড্রেস এর সিস্টেম এ জমা করে রাখে । এখন আপনি তো আর সুপার মেন না যে এখন ঢাকায় আছেন কিছুক্ষণ পর চট্টগ্রাম চলে যাবেন কিংবা সিলেট । আপনার সময় লাগবে পুরো ব্যপারটাতে , আবার আপনি ঢাকায় বসে একটু আগে কেনাকাটা করলেন , একটু পড় সিস্টেম দেখলো আপনি চট্টগ্রাম থেকে অর্ডার দিচ্ছেন, তার কিছুক্ষণ পড় সিলেট থেকে । এরকম সময়ে সাধারণ এনালিটিক্স সফটওয়্যার আপনাকে ফ্রড বলে ধরে নিবে এবং সিস্টেম থেকে বল করে দিবে । সে ভাববে না যে আপনি একজন পাইলট হতে পারেন , আপনাকে আপনার কাজের জন্য নানা’ন জায়গায় ঘুরতে যেতে হতে পারে ।

Fraud Prevention at Paypal

পেপাল সিস্টেম এতোটাই ইন্টেলিজেন্ট ও আপনা’র প্রতিটা পদক্ষেপ অনুসরণ করে , দেখে আপনি সবসময় এদিক সেদিক ঘুরা ফেরা করেন কিনা, আপনার প্রফেশন কি । আর এগুলো সে চেক করে কয়েক সেকেন্ড এর ভিতরেই । আপনার বুঝারো উপায় নেই । এভাবে সে নির্ণয় করে আপনি কি ফ্রড নাকি না । যদি ফ্রড না হোন তবে সহজেই ট্রানজেকশন করে ফেলতা পারবেন , অন্যথা একাউন্ট হোল্ড, রেড ফ্ল্যাগ অথবা ব্লকড!

Uber uses AI to optimize route

তারপর ধরেন উবার । কখনো দুই বন্ধু একই জায়গা থেকে কোথাও যাবার রিকুয়েস্ট করে দেখেছেন কি? দেখে থাকেন যদি দেখবেন যে , আপনার দুই জন একই জায়গা থেকে একটা নির্দিষ্ট জায়গায় যাবার জন্য উবার কার রিকুয়েস্ট করেছেন । আপনাদের সব কিছু এক কিন্তু আপনাদের ড্রাইভার আর ভাড়া আলাদা :P , কিভাবে এটা ঘটে ? ড্রাইভার এর কথা বাদ দিলাম , একজন তো আর দুই গাড়ি এক সাথে চালাতে পারবে না! উবার সিস্টেম শুরু থেকেই আপনাকে জানে, অনুসরণ করে । ও জানে আপনি কোন একটা রাইডের জন্য কত টুকু খরচ করতে ইচ্ছুক এবং ও ওই অনুযায়ী ই আপনাকে চারজ করে । সেই জন্যই দুই বন্ধু একই জায়গা থেকে রওনা শুরু করলেও , কিংবা একই দূরত্বে ট্রিপ দিলেও দুই জনের জন্য আলাদা খরচ আসে । পুরোটাই মেশিন লার্নিং এর খেলা! আবার কোন রোড দিয়ে গেলে সহজে জ্যাম বিহিন ভাবে যেতে পারবেন কিংবা কোন রোড দিয়ে গেলে উবার আপনার থেকে বেশি চারজ করতে পারবে এটাও মেশিন লার্নিং এ করা!

Artificial Intelligence at Uber

আর্টিফিশিয়াল ইন্টেলিজেন্স আপনার সিস্টেম কে কোন কিছু চিনতে শেখায় [ এই বিষয় টার একটা আলাদা নাম আছে যেটাকে কম্পিউটার ভিশন কিংবা ডিপ ভিশন বলে । ] এই যেমন ধরেন ইউকে তে radiologists গণ 39,275,011 mammograms চেক করেন প্রতি বছর শুধু মাত্র breast tissue abnormalities চিহ্নিত করতে । ভাবেন এক বার এই অব্জারবেশন তারা যদি ম্যানুয়ালি করতো তাহলে কত সময় লাগতো । মেশিন লার্নিং এবং ডিপ ভিশন এলগরিদম ব্যবহার করে তারা খুব সহজেই তাদের পরীক্ষা নিরিক্ষা করে নিচ্ছে অল্প সময়ে ।

আরেকটা বিষয় হচ্ছে সেলফ ড্রাইভিং কার । বিখ্যাত Morgan Stanley একটা হিসেবে বলেছেন সেলফ ড্রাইভিং টেকনোলজি ব্যবহার করে বছরে ১৬৮ বিলিয়ন ডলার বাঁচান সম্ভব ।

Morgan Stanley predicts that self-driving truck technology could save the freight transportation industry $168 billion annually

Boston Consulting Group predicts that self driving cars could create a $42 billion market by 2025.

Demonstration of a self-driving Tesla, which relies partially on computer vision to detect objects on the road.

এরকম প্রায় প্রতি টা ক্ষেত্রেই আজকে আর্টিফিশিয়াল ইন্টেলিজেন্স, মেশিন লার্নিং, ডিপ ভিশন এর জয় জয়কার ।

আর্টিফিশিয়াল ইন্টেলিজেন্স শিখতে চান? UC Berkeley’র এই কোর্স টা জোশ!

বিরক্ত লাগতেসে? এই গান টা শুনে আসেন —

এবার আসেন আর্টিফিশিয়াল ইন্টেলিজেন্স এ ব্যবহার হয় এরকম কিছু অ্যালগরিদম নিয়ে কথা বলি!

Alpha-beta Algorithm — আলফা ম্যাক্স প্লাস বেটা মিন। এটা একটা বেসিক আলগরিদম । কম্পিউটার এ দাবা, মনোপলি গেম খেলতে বা বানাতে এই অ্যালগরিদম ব্যবহার করা হয় ।

স্যাম্পল কোড —

Alpha-beta

Ant-algorithms —

এই এলগরিদম পিঁপড়া থেকে অনুপ্রাণিত । দুই টা ভিন্ন ভিন্ন লোকেশন এর মাঝে সবচেয়ে ভালো কোন পথে সহজে এবং দ্রুত যাওয়া যাবে সেটা বের করতে এই এলগরিদম ব্যবহার করা হয় ।

Ant Algorithm

Ant Algorithm Sample Code

The Ant Colony Optimization (ACO) model

CLA —

Cortical Learning Algorithm : রোবটিক্স এ এই এলগরিদম ব্যবহার করা হয় । এই খানে তিনটা প্রোপার্টিজ ব্যবহার করা হয় । যথাক্রমে স্পারস ডিস্ট্রিবিউটেড রিপ্রেজেন্টেশন, টেম্পোরাল ইনফেরেন্স, অন-লাইনলার্নিং ।

Cortical Learning Algorithm

DE (Differential evolution) — Chebyshev polynomial fitting নামে একটা বিখ্যাত কম্পিউটার সায়েন্স প্রবলেম রয়েছে যেটা কিনা এই এই এলগরিদম দিয়ে সল্ভ করা যায় । Chebyshev polynomial fitting মূলত ইলেক্ট্রনিক ফিল্টারস এ ব্যবহার করা হয় । ইলেক্ট্রনিক ফিল্টারস এক প্রকার সার্কিট যেটি সিগন্যাল প্রসেসিং এ ব্যবহার করা হয় যার মাধ্যমে অপ্রয়োজনীয় ফ্রিকোয়েন্সি সিগন্যাল থেকে দূর করা হয়, সিগন্যাল শক্তিশালী করতে ব্যবহার করা হয় ।

DE (Differential evolution) Flowchart

DE (Differential evolution) Sample Algorithm Code:

DE (Differential evolution) Sample Algorithm

Chebyshev polynomial fitting diagram :

Chebyshev Polynomial Example

Electronic Filters Example :

Electronic Filters Example

Semi-Supervised Recognition of Sarcastic Sentences in Online Product Reviews —

এই এলগরিদম ব্যবহার করে টুইটার এ কিংবা অনলাইনে কোন প্রোডাক্ট এ সারকাজম করে কোন কমেন্ট করা হয়েছে কিনা সেটা বের করা হয়! কুল , তাই না! টুইটার এবং অ্যামাজন তাদের সিস্টেম এ এই অ্যালগরিদম ব্যবহার করে ।

Process of sarcasm detection:

Twitter and Amazon using Semi-Supervised Recognition of Sarcastic Sentences in Online Product Reviews.

Twitter যেভাবে তাদের সিস্টেম এ Semi-Supervised Recognition of Sarcastic Sentences অ্যালগরিদম প্রয়োগ করেছে ।

Twitter using Semi-Supervised Recognition of Sarcastic Sentences in Online Product Reviews.

Sentiment analysis —

এই অ্যালগরিদম টি , মূলত আরো বেশ কিছু অ্যালগরিদম এর সমষ্টি । যেমন নেইভ ভায়েস, মেক্সিমাম এন্ট্রপি, এসভিএম ( সাপোর্ট ভেক্টর মেশিন ক্লাসিফায়ের ) । এগুলো’র বিস্তারিত পরের কোন লেখায় থাকবে, মনে করায়ে দিয়েন!

Sentiment analysis algorithm
What is Sentiment analysis?

পাইথন ব্যবহার করে সেন্টিমেন্ট এনালাইসেস করার বেসিক কোড স্যাম্পল —

Sentiment Analyses using Python and NLTK

এরকম আরো অনেক এলগরিদম রয়েছে আর্টিফিশিয়াল ইন্টেলিজেন্স , মেশিন লার্নিং, ডিপ লার্নিং এর । পরবর্তীতে ধাপে ধাপে এগুলো নিয়ে লিখবো । আপনি আমার পরবর্তী লেখায় আর কি কি জানতে চান সেটা জানিয়ে আমাকে মেইল করতে পারেন এই ঠিকানায় — ireyadrahman@gmail.com

তবে আপনি নিজে নিজে শিখতে চাইলে নিজের লিঙ্ক গুলোতে ঘুরে আসতে পারেন —

আর্টিফিশিয়াল ইন্টেলিজেন্স এর উপর বই —

Introduction to Artificial Intelligence- pretty dated publication, but great introduction and many topics are still relevant

The Master Algorithm- Talks about how to make a “Master Algorithm” by combing the different tribes of AI- namely Symbolists, Connectionists, Evolutionaires, Bayesians, and Analogizers. Recommended read by Bill Gates.

How to Create a Mind: The Secret of Human Thought Revealed- Pretty deep read. Got kinda lost reading it. Would group this with Age of Spiritual Machines, which is also by Ray Kurzweil.

Algorithms to Live By- Personally haven’t read it, but I have heard it’s good. Plan to read it soon.

Superintelligence: Paths, Dangers, Strategies- Also haven’t read it, but if Bill Gates recommend it, you can’t go wrong.

Technical

Artificial Intelligence: A Modern Approach- Probably one of the best textbooks out there.

Python Machine Learning- Also a good book. Very hands-on.

Programming Collective Intelligence- Hands-on experience with programming smart applications. It’s a must-have for all aspiring AI programmers.

Neural Networks and Deep Learning- Free online book on neural networks/deep learning. Very good introduction.

Machine Learning for Hackers 🤗🤗🤗

আর্টিফিশিয়াল ইন্টেলিজেন্স এ প্রচুর গণিত এর কাজ থাকে । তাই গণিত এ ভালো হওয়া বাঞ্ছনীয় ।

Discrete Math — যে কোন প্রোগ্রাম্মিং এর জন্যই এটা জানা থাকা দরকার ।

Multivariable Calculus (Calc 3) — মেশিন অপ্টিমাইজেশন এ বেশ কাজে লাগে ।

Differential Equations (Calc 4) — রোবোটিক্স এ যাদের নেশা তাদের জন্য , বিশেষ করে মোশন কন্ট্রোল এ ম্যাথমেটিক্স এর এই পার্ট জরুরি ।

Linear Algebra — নিউরাল নেটওয়ার্ক , মিস দেয়ার উপায় নাই!

Probability and Statistics — ডাটা সায়েন্স!

Top 3 Deep Learning Courses:

1. Creative Applications of Deep Learning with TensorFlow by Kadenze
2. Neural Networks for Machine Learning by the University of Toronto (taught by Geoffrey Hinton) via Coursera
3. Deep Learning A-Z™: Hands-On Artificial Neural Networks by Kirill Eremenko, Hadelin de Ponteves, and the SuperDataScience Team via Udemy

Top Machine Learning Course:

1. Machine Learning by Stanford University via Coursera

Top Ivy League Intro to Machine Learning Course:

1. Machine Learning by Columbia University via edX

Top Intro in Python & R Course:

  1. Machine Learning A-Z: Hands-On Python & R In Data Science by Kirill Eremenko, Hadelin de Ponteves, and the SuperDataScience Team via Udemy
Artificial Intelligence Movie — Wall-E

Top 3 R Courses:

1. Analytics Edge by Massachusetts Institute of Technology/edX

2. Data Science and Machine Learning Bootcamp with R by Jose Portilla/Udemy

3. Implementing Predictive Analytics with Spark in Azure HDInsight by Microsoft/edX

Top 3 Python Courses:

1. Python for Data Science and Machine Learning Bootcamp by Jose Portilla/Udemy

2. Machine Learning Series by Lazy Programmer Inc./Udemy

3. Implementing Predictive Analytics with Spark in Azure HDInsight by Microsoft/edX

Top 3 Node.js course:

NodeSchool
  1. Learn Your Node — from NodeSchool
  2. Introduction to MongoDB using the MEAN Stack
  3. Node, npm, and MongoDB Foundation

জাভা প্রোগ্রাম্মিং শিখতে চাইলে বাংলায় মোশাররফ রুবেল ভাইয়ের এই বইটি দেখতে পারেন — 😎😎😎

মাস্টারিং জাভা — মোশাররফ রুবেল

রকমারি তে কিনতে এই লিঙ্ক

এতোক্ষণ কষ্ট করে এই লেখা টি পড়ার জন্য ধন্যবাদ । ❤ ❤ ❤

AI Powered Bagha is coming! 😎😎😎

Tiger Digital

আমি রিয়াদ রহমান , কাজ করি আর্টিফিশিয়াল ইন্টেলিজেন্স, ডাটা সায়েন্স নিয়ে । ফেইসবুক এ আমিলিঙ্কইডইন এ আমিটুইটার এ আমাকে টুইট করুন । আমার প্রতিষ্ঠান টাইগার ডিজিটাল আমাদের কাজ । আমাদের বাঘা প্রজেক্ট । আমাদের বাঘ.com এবং মুক্তিযুদ্ধ.com 😎😎😎

Tiger Digital — Your Uber For Digital Services

Email: ireyadrahman@gmail.com💘💘💘

--

--