Büyük Veri, Yapay Zeka ve Siber Güvenlik

Big data(büyük veri) ve yapay zeka yolculuğu beraber gelişmekte, bu yolculuğun nasıl başladığı ve nasıl geliştiğinin kısa bir özeti ile başlamak faydalı olacaktır. Big data 3v ile açıklanabilir. Velocity(Hız), Volume(Hacim), Variety(Değişkenlik). Verinin hızlı bir şekilde işleme ihtiyacının, büyüklüğünün ve çeşidinin artığı günümüzde ilgili konularda birçok farklı çözümler ortaya çıkmaya başlamıştır. Gündemde olan Chatbot yazılımları, robotik uygulamalar ile birleştiğinde gelecek bilimcilerin (futuristlerin) hayallerindeki dünyaya daha fazla yaklaşacağız.

Yapay zeka; analitik tabanlı çözümler, endüstriyel çözümler, ulaşım, havacılık ve uzay çalışmaları, finans, sağlık , hizmet ve tarım alanlarında önemli uygulama alanlarına sahiptir.

Kaynak: https://www.raconteur.net/business/the-rise-of-artificial-intelligence-in-6-charts

Yapay zeka ile beraber düşünülmesi gereken büyük veri ve güvenlik konularını içeren bir yolculuga başlıyoruz.

Yolculuğumuzu 10 ana başlıktan oluşturmayı planlıyorum.

1.Fundamentals (Temel Konular)

Matrix, Linear Matematik, CAP Teoremi, Sharding, NoSQL gibi konularla ilgileneceğiz.

2.Statistics (İstatistik)

Olasılık teoremi, Probability Density Functions(Olasılık Yoğunluk Fonksiyonu), Bayes Teoremi, Random Variables (Rastsal Değişkenler) gibi konular bu başlık altında çalışılacak.

3.Programming (Programlama)

R, Python, Scala, Java ile matrix, array işlemleri, online offline veri okumaca, veriler üzerinde performanslı manipülasyon işlemleri.

4.Machine Learning (Yapay Zeka)

Artificial Neural Networks(Yapay Sinir Ağları), Decision Trees(Karar Ağaçları), Sentiment Analysis (Duygu Analizi), Support Vector Machines gibi konularda yazılarımız olacak.

5.Natural Language Process, Text Mining (Doğal Dil İşleme ve Metin Madenciliği)

Kelime frekansı, pazar tabanlı analiz, özellik çıkarma gibi konular bu başlık altında olacak.

6.Visualization (Görselleştirme)

Veri üzerinde istediğimiz işlemleri yapabilecek seviyeye geldikten sonra, sonuçlarını görmek için görselleştirme araçlarına ihtiyacımız olacak. Bunun için bu konuyu ayrı bir başlık altında incelemekte fayda var. D3.js, Data Exploration in R bunlardan bazıları.

7.Big Data(Büyük Veri)

Hadoop ekosistemi içerisindeki HDFS, MapReduce, Sqoop, Flume, Hive, Pig, Manhout inceleyeceğiz. Spark tabiki unutmamak lazım. HortonWorks ve Cloudera da hadoop sistemleri kurmaya calışacağız.

8.Data Ingestion and Munging

Verinin sisteme formatsal değişikleri de yaparak sistemin istediği formata uygun olarak sisteme entegre edilmesi konuları üzerinde durulacaktır. Batch processing veya stream processing mimari yapıları kıyaslanarak mimari tasarımlar yapılacak.

9.Cyber Security (Siber Güvenlik)

Yapay zeka ile dağınık çalışan ve hata yapma toleransı olan bir sistem kurup veriyi sisteme entegre ettikten sonra, sıra anomaly detection (anormal durum farkındalığı) yapabilen güvenlik sistemlerine sıra gelecektir. Bu konuda Apache Mentor ve Apache Spot ilk akla gelen projeler…

10.Toolbox

Bazen sadece projelerde kullanılacak yazılımların sınırlarını zorlayıp, neler yapabileceğimizi görmeye çalışacağız. Mesala yapay zeka araçları olan (H2O, Mahout, MLib,TensorFlow, SAMOA gibi) veya genel veri araçları Nutch, NLTK, Rattle…Bazen de konumuz ile alakalı güzel bir kitabi hakkında yorumlarımız ve ornekleri denemelerimiz olacak. buradaki kitaplar gibi…

10 farklı ana başlığı bir birinden ayrı düşünmemek gerekir. Büyük resme hakim olarak her ana başlık altında yüzlerce alt başlık açabiliriz. Ilgili konu bazen bir kaç başlığı beraber içerebilecek. Kutlu yolculugumuz başlasın