PinnedKerem NOGAYAPI datasının Airflow ile Schedule edilerek Bigquery’de bulunan tabloya yazılması.Daha önce Bigquery de bulunan bir tablodan API olarak veriyi nasıl dağıtabileceğimiz konusunda bir çalışma yaparak şurada paylaşmıştım.Jun 18, 2023Jun 18, 2023
PinnedKerem NOGAYBigquery tablosundaki verinin Fastapi ile dağıtılması ve VM Instance içerisinde Docker ile deploy…Daha önceki bazı çalışmalar özelinde verinin çeşitli kaynaklardan ve cloud platformlardan nasıl yazdırılacağına dair dökümanlar…Jun 4, 2023Jun 4, 2023
PinnedKerem NOGAYKafka Topic’e Gelen Mesajın Spark İle Bigquery’e yazdırılıp Python — Streamlit, Pandas ve Plotly…Birkaç ay önce İstanbul Data Science Academy’nin düzenlediği Cloud & Data Engineering Bootcamp’e başlayarak DATA ENGINEER olma yolunda en…Nov 19, 2022Nov 19, 2022
Kerem NOGAYAzure Synapse Dedicated SQL Pool üzerinde Distribution’lara genel bakış.Synapse’de Dedicated Sql pool üzerinde kullanabileceğimiz Distribution’lar ile ilgili bir giriş yapacağız ve bu Distribution’ların…Feb 22, 2023Feb 22, 2023
Kerem NOGAYAzure Synapse’te Dedicated Sql Pool üzerinde External Table ve Regular SQL Table oluşturulması ve…Daha önceki anlatımlarımda Synapse üzerinde Serverless Sql Database üzerinde Storage account üzerinde bulunan Parquet dosyalarından çeşitli…Feb 20, 2023Feb 20, 2023
Kerem NOGAYAzure Synapse ‘te Spark ile Partitionladığımız Parquet dosyalarından filepath() kullanarak View…Daha önceki anlatımlarımda genel olarak Spark ile Partition yapmayı ve gene Synapse’te oluşturduğumuz View’leri Power BI’ya taşıma gibi…Feb 19, 2023Feb 19, 2023
Kerem NOGAYPostgreSql ‘deki tabloların Azure Storage Container’a Partitionlanarak Parquet formatında…Daha önce Azure üzerinde Spark kullanarak ve yüksek boyutlu dosyalardan faydalanarak çeşitli senaryolar üzerinde anlatımlar paylaşmıştım.Feb 15, 2023Feb 15, 2023
Kerem NOGAYSynapse Workspace’de Azure Storage Containerdaki 1.5milyarDaha önceki yazımda Azure Container üzerindeki Parquet dosyaları üzerinde Spark ile çeşitli işlemler yaparak Sql Pool’da bir tabloya…Feb 14, 2023Feb 14, 2023
Kerem NOGAYAzure Synapse Containerdaki Parquet Dosyasının Pyspark ile Partition ve Gruplanarak Sqlpool’a…Bu çalışmada Postgresql, Oracle gibi kaynaklardan Azure — Container’a yapılan aktarımlarla yüksek boyutlu tabloların Parquet dosyası…Feb 6, 2023Feb 6, 2023