Dosen Pengampu : Sabo Hermawan, S.Kom., M.Si.

Zahra Nindya Putri

Bisnis Digital

Universitas Negeri Jakarta

Data App Development & Deployment

Bab 8 : Dashboard Bisnis (Streamlit)

Streamlit adalah framework open-source Python untuk membangun aplikasi web interaktif tanpa perlu HTML, CSS, atau JavaScript. Cara kerjanya sederhana: tulis script Python, jalankan perintah streamlit run, aplikasi langsung muncul di browser dengan hot-reload otomatis. Arsitekturnya terdiri dari backend Python, server Streamlit (WebSocket), dan frontend browser yang bekerja reaktif — setiap perubahan input memicu rerun script dari atas ke bawah secara otomatis.

Untuk interaktivitas, Streamlit menyediakan berbagai widget seperti slider (nilai numerik), dropdown/selectbox (pilihan kategori), checkbox (boolean), multiselect, text input, date input, dan file uploader. Semua widget langsung memperbarui tampilan tanpa perlu tombol submit. Visualisasi data didukung penuh melalui integrasi library seperti Matplotlib, Plotly, Seaborn, Altair, Bokeh, dan PyDeck — mencakup line chart, bar chart, pie chart, scatter plot, hingga heatmap.

Dari sisi tata letak, Streamlit menyediakan columns, sidebar, expander, container, dan tabs untuk mengorganisir konten. Aplikasi juga mendukung multi-page dengan membuat folder pages berisi file Python terpisah, di mana navigasi dibuat otomatis oleh Streamlit. Kelemahan utamanya meliputi fleksibilitas UI terbatas, performa pada dataset sangat besar, dan tidak ada sistem autentikasi bawaan. Cara terbaik belajar Streamlit adalah langsung praktik membangun proyek nyata secara bertahap.

Bab 9 : Deployment dan Proyek Akhir

Manajemen versi kode merupakan sistem yang digunakan untuk melacak, mencatat, dan mengelola setiap perubahan pada kode program secara terstruktur sehingga memudahkan developer bekerja secara kolaboratif, aman, dan efisien. Git menjadi sistem version control paling populer karena mampu menyimpan riwayat perubahan, mendukung pengembangan paralel melalui branch, serta memungkinkan rollback ketika terjadi kesalahan. Sementara itu, GitHub berfungsi sebagai platform berbasis cloud untuk menyimpan repository dan mempermudah kolaborasi tim melalui fitur seperti pull request, code review, issue tracking, hingga integrasi CI/CD. Dalam praktiknya, workflow Git biasanya dimulai dengan membuat branch baru untuk fitur tertentu, melakukan perubahan kode, membuat commit secara berkala dengan pesan yang jelas, lalu melakukan testing dan merge ke branch utama setelah lolos review.

Penggunaan Git dan GitHub sangat penting terutama dalam proyek data science karena mendukung kolaborasi real-time, dokumentasi, reproducibility, dan deployment aplikasi secara profesional. Beberapa praktik terbaik dalam penggunaannya adalah membuat commit message yang deskriptif, menggunakan branch strategy yang konsisten, rutin melakukan pull dan sync dengan repository, memanfaatkan file .gitignore, serta menjaga keamanan data dengan tidak menyimpan API key atau credential di repository.

Deployment aplikasi menggunakan Streamlit Cloud memungkinkan aplikasi data science lokal diubah menjadi aplikasi web interaktif yang dapat diakses publik. Streamlit merupakan framework Python open-source yang dirancang khusus untuk membangun aplikasi web data science dengan sintaks sederhana tanpa perlu memahami HTML, CSS, atau JavaScript. Keunggulan Streamlit terletak pada kemampuannya mengubah script Python menjadi aplikasi interaktif secara cepat dengan fitur bawaan seperti chart, dataframe, input widget, dan visualisasi data. Streamlit Cloud memberikan kemudahan deployment gratis yang terintegrasi langsung dengan GitHub sehingga setiap perubahan kode dapat otomatis diperbarui di aplikasi online. Proses deployment dilakukan dengan menyiapkan aplikasi lokal, membuat requirements.txt untuk dependency, mengunggah kode ke GitHub, menghubungkan repository dengan Streamlit Cloud, lalu melakukan konfigurasi dan deploy hingga aplikasi mendapatkan URL publik.

Agar aplikasi berjalan optimal, developer perlu menerapkan virtual environment, caching untuk mempercepat performa, meminimalkan ukuran aplikasi, serta menambahkan error handling dan monitoring performa. Streamlit Cloud cocok digunakan untuk prototype, dashboard, dan aplikasi skala kecil hingga menengah, sedangkan platform seperti Google Cloud Run lebih cocok untuk aplikasi production berskala besar dengan traffic tinggi.

Kemampuan mempresentasikan produk data melalui Demo Day juga menjadi hal penting dalam pengembangan produk digital. Demo Day merupakan kegiatan presentasi produk kepada audiens dengan tujuan memperkenalkan solusi, mendapatkan feedback, validasi, maupun peluang kolaborasi. Presentasi yang baik harus dimulai dengan penjelasan masalah yang relevan, dilanjutkan dengan demonstrasi solusi secara langsung, menunjukkan dampak atau manfaat produk dengan data konkret, lalu ditutup dengan ajakan atau rencana pengembangan ke depan.

Dalam demo produk data, storytelling menjadi elemen penting karena audiens tidak hanya ingin melihat teknologi, tetapi juga memahami bagaimana solusi tersebut mampu menyelesaikan masalah nyata. Visualisasi data yang menarik, penggunaan live demo, serta kemampuan menjawab pertanyaan dengan percaya diri juga menjadi faktor penentu keberhasilan presentasi. Presenter dianjurkan menggunakan bahasa yang mudah dipahami, menyiapkan data pendukung, menjelaskan keterbatasan produk secara jujur, dan menunjukkan roadmap pengembangan ke depan.

Secara keseluruhan, penguasaan Git dan GitHub, kemampuan deployment aplikasi, serta keterampilan presentasi produk merupakan kemampuan penting yang harus dimiliki seorang data scientist agar mampu bekerja secara profesional, menghasilkan produk yang dapat digunakan publik, dan menyampaikan nilai produknya kepada masyarakat maupun stakeholder dengan efektif.

Zahra Nindya Putri

Digital Business

State University of Jakarta

From API to clean data for better insights

Chapter 4 : API Interaction Public Data

REST API is a data communication architecture based on HTTP that acts as a bridge between systems with characteristics that are standard, flexible, scalable, and platform independent. REST principles include stateless without storing context, separated client and server, and a uniform interface that ensures consistent communication.

HTTP GET is used to retrieve data without modifying it, it is idempotent and safe, with components such as endpoint, headers, and query parameters, and a flow where the client sends a request, the server processes it, then returns a response with status codes such as 200 success, 404 not found, 401 unauthorized, and 500 server error.

Public APIs are used to access real time data such as OpenWeatherMap for weather and Alpha Vantage for stock data, with parameters like city, stock symbol, and API key, and the process includes sending requests, receiving JSON responses, and processing the data.

Nested JSON is a hierarchical structure that contains objects and arrays within objects, it is structured and efficient but also complex, parsing is done by identifying structure, navigating keys, and extracting values such as temperature main temp, humidity main humidity, wind speed, and weather description at index zero, stock data is in time series form where each date is a key containing open, high, low, close, and volume, and is extracted by selecting dates and retrieving values.

Pandas DataFrame is a two dimensional tabular structure that supports analysis, manipulation, and visualization, with advantages in filtering, statistics, and machine learning integration, converting JSON to DataFrame involves parsing, identifying data, flattening structure, and building tables using json normalize for automatic flattening.

Weather case studies produce data such as city, temperature, humidity, condition, and wind, while stock case studies produce time series tables with dates as index and prices as columns, best practices include understanding API documentation, using testing tools, considering rate limits, securing API keys, and applying error handling and caching, with challenges such as complex JSON, incomplete data, API limits, and structural changes handled through systematic parsing and defensive programming.

Chapter 5 : Data Cleaning

Data cleaning is an important preprocessing step to ensure data quality before analysis, one main focus is missing values which are missing data such as NaN, NULL, or empty values that can cause bias and reduce model accuracy, types include MCAR random, MAR related to other variables, and MNAR related to the missing value itself, detection is done by identifying empty values or placeholders and checking patterns, handling can be done by deletion if small or imputation using mean, median, mode, and advanced methods such as regression, KNN, and MICE to maintain relationships between variables.

Duplicate data are rows that appear more than once either fully identical or partially similar, causes include input errors or data merging issues, impacts include bias, double counting, and reduced accuracy, detection is done by finding similarities across columns, handling includes identification, verification, removal, and validation to avoid losing important data.

Inconsistent data refers to differences in format or writing for the same data such as capitalization, date formats, or units, impacts include incorrect aggregation and analysis, handling is done through format standardization, applying business rules, and text cleaning to ensure consistency.

Data type conversion ensures data matches analysis needs, types include numeric, text, category, temporal, and boolean, common issues such as numbers stored as strings or dates as text can block analysis, the process involves identifying current types, determining correct types, cleaning data, and casting with validation, benefits include improved computational efficiency, compatibility, and analysis quality.

Regex or regular expression is used for cleaning and manipulating text based on patterns, it enables validation, extraction, and transformation efficiently, basic symbols include dot for any character, asterisk for repetition, plus for one or more, and shorthand like digit, word, and whitespace, applications include removing unwanted characters, extracting numbers or patterns, standardizing formats, and cleaning unstructured text so it is ready for analysis.

Zahra Nindya Putri

S-1 Bisnis Digital

Universitas Negeri Jakarta

Website ke Insight Menguasai Web Scraping dan Pandas sebagai Fondasi Analisis Data Modern

Bab : 2 Manipulasi Data Tabular

Pandas adalah library Python yang digunakan untuk mengolah dan menganalisis data secara cepat dan efisien. Library ini banyak dipakai karena mampu menangani data dalam bentuk tabel seperti spreadsheet atau database sehingga mudah digunakan.

Struktur data utama dalam Pandas adalah Series dan DataFrame. Series merupakan data satu dimensi seperti satu kolom yang memiliki indeks. DataFrame adalah data dua dimensi berupa tabel yang terdiri dari baris dan kolom. DataFrame menjadi struktur utama karena dapat menampung data yang lebih kompleks.

Pandas dapat membaca data dari berbagai sumber seperti CSV, Excel, SQL, JSON, dan file lainnya. Untuk mengambil data digunakan loc berdasarkan nama label dan iloc berdasarkan posisi angka. Data juga dapat difilter sesuai kebutuhan menggunakan kondisi tertentu.

Dalam pengolahan data sering ditemukan missing value atau data kosong. Pandas menyediakan fungsi untuk mendeteksi, menghapus, atau mengisi data kosong agar hasil analisis tetap akurat dan tidak menimbulkan kesalahan.

Pandas juga memiliki fitur untuk menambah atau menghapus kolom, mengurutkan data, menggabungkan tabel, serta mengubah bentuk data menggunakan pivot dan melt. Selain itu tersedia banyak fungsi statistik seperti mean, sum, min, max, dan groupby untuk menganalisis data berdasarkan kelompok tertentu.

Untuk visualisasi, Pandas dapat membuat grafik seperti garis, batang, histogram, dan scatter plot. Dari sisi performa, Pandas cepat karena dibangun di atas NumPy, tetapi untuk data yang sangat besar lebih cocok menggunakan Dask, Polars, atau PySpark.

Pandas adalah alat penting dalam pemrograman data karena memudahkan proses pengolahan, analisis, dan visualisasi data. Dengan memahami fitur dasarnya, seseorang memiliki fondasi kuat untuk belajar data science lebih lanjut.

Bab : 3 Akuisisi Data Wrap

Web scraping adalah proses mengambil data dari website secara otomatis untuk kebutuhan analisis atau pengolahan data. Agar dapat melakukan web scraping dengan baik, pengguna perlu memahami struktur halaman web yang tersusun dari HTML.

HTML merupakan bahasa markup yang digunakan untuk membuat halaman web. Di dalamnya terdapat tag, class, dan ID. Tag digunakan sebagai elemen dasar seperti paragraf, judul, atau tautan. Class dipakai untuk beberapa elemen yang memiliki ciri sama, sedangkan ID digunakan untuk satu elemen yang bersifat unik. Pemahaman ini penting karena data pada website dicari berdasarkan struktur tersebut.

Untuk memilih elemen tertentu digunakan CSS Selector. Selector dapat menargetkan tag, class, ID, atau gabungan beberapa elemen agar data yang diambil lebih tepat. Dengan selector, pengguna bisa menentukan lokasi data yang ingin diekstrak dari halaman web.

Browser menyediakan fitur Inspect Element yang berguna untuk melihat struktur HTML dan CSS secara langsung. Fitur ini membantu pengguna menemukan tag, class, atau ID dari data yang ingin diambil. Inspect Element juga memudahkan memahami susunan halaman dan menguji selector sebelum scraping dilakukan.

Dalam Python, salah satu library yang sering digunakan untuk web scraping adalah BeautifulSoup. Library ini berfungsi untuk membaca, mengurai, dan mencari data dari dokumen HTML atau XML. Proses kerjanya dimulai dari mengambil halaman web, memparsing HTML, mencari elemen target, lalu mengekstrak isi data yang dibutuhkan.

Web scraping statis memiliki kelebihan karena prosesnya cepat, sederhana, dan cocok untuk mengumpulkan data dalam jumlah besar. Namun, metode ini memiliki keterbatasan karena tidak dapat mengambil data yang dimuat melalui JavaScript atau halaman yang membutuhkan interaksi seperti klik dan scroll.

Selain aspek teknis, web scraping juga harus memperhatikan etika dan hukum. Pengguna harus menghormati aturan website, tidak membebani server dengan terlalu banyak request, menjaga privasi data, serta mematuhi ketentuan seperti robots.txt, Terms of Service, UU ITE, UU Perlindungan Data Pribadi, dan regulasi lain yang berlaku.

web scraping adalah keterampilan penting dalam pengumpulan data digital. Dengan memahami HTML, CSS Selector, Inspect Element, BeautifulSoup, serta etika penggunaannya, seseorang dapat mengambil data dari website secara efektif, aman, dan bertanggung jawab.

Dosen Pengampu : Sabo Hermawan, S.Kom., M.Si.

Nama : Zahra Nindya Putri

Prodi : Bisnis digital

Universitas : Universitas Negeri Jakarta

Dari Big Data ke Insight: Integrasi Python, Google Colab, dan Cloud Computing dalam Analisis Data Modern

BAB 1A

Di era digital, data telah menjadi aset strategis yang sangat penting karena menentukan keunggulan kompetitif bisnis. Big Data sendiri merujuk pada data yang berjumlah sangat besar, bergerak cepat, dan memiliki beragam bentuk, sehingga membutuhkan teknologi khusus untuk mengelolanya. Pemanfaatan Big Data memungkinkan perusahaan memahami pelanggan secara real-time, meningkatkan efisiensi operasional, serta mengambil keputusan yang lebih akurat dan berbasis data.

Big Data adalah enabler transformasi digital yang powerful ketika kelima dimensinya — Volume, Velocity, Variety, Veracity, dan Value — dikelola secara terintegrasi

dengan fokus pada hasil bisnis yang terukur dan sustainable.Untuk memahaminya, terdapat konsep 5V yaitu Volume (jumlah data yang besar), Velocity (kecepatan aliran data), Variety (ragam jenis data), Veracity (kualitas dan keakuratan data), serta Value (nilai bisnis yang dihasilkan). Kelima aspek ini harus dikelola secara seimbang agar data benar-benar menghasilkan insight yang bermanfaat bagi perusahaan.

Namun, implementasi Big Data tidak lepas dari tantangan seperti kebutuhan infrastruktur yang kompleks, keterbatasan tenaga ahli, serta isu privasi dan keamanan data. Meski begitu, perkembangan teknologi seperti Artificial Intelligence dan Machine Learning semakin mendorong pemanfaatan Big Data dalam transformasi digital. Pada akhirnya, keberhasilan bisnis tidak ditentukan oleh banyaknya data yang dimiliki, melainkan oleh kemampuan mengolah data tersebut menjadi nilai nyata bagi perusahaan.

BAB 1B

Google Colab adalah platform notebook berbasis cloud dari Google yang memungkinkan pengguna menulis dan menjalankan kode Python langsung melalui browser tanpa instalasi. Dengan akses gratis ke CPU, GPU, dan TPU, Colab sangat cocok untuk data science, machine learning, dan analisis data.

Keunggulannya terletak pada kemudahan akses, kolaborasi real-time, serta integrasi dengan Google Drive untuk penyimpanan file secara permanen. Namun, karena runtime Colab bersifat sementara, data yang disimpan di penyimpanan lokal akan hilang setelah sesi berakhir.

Untuk itu, Google Drive digunakan sebagai solusi penyimpanan tetap yang dapat diakses lintas sesi dan perangkat. Proses menghubungkannya disebut mounting, yang memungkinkan file di Drive digunakan seperti file lokal di Colab.

Secara keseluruhan, kombinasi Google Colab dan Google Drive memudahkan proses analisis data dan kolaborasi tanpa bergantung pada perangkat dengan spesifikasi tinggi.

BAB 1C

Struktur data dalam Python merupakan cara untuk mengorganisasi dan menyimpan data agar dapat digunakan secara efisien. Python menyediakan tiga struktur data utama yaitu list, dictionary, dan tuple yang menjadi dasar dalam pengolahan data. List bersifat terurut dan dapat diubah (mutable), cocok untuk data yang dinamis. Dictionary menyimpan data dalam pasangan key-value sehingga memudahkan pencarian berdasarkan kunci. Sedangkan tuple bersifat terurut namun tidak dapat diubah (immutable), sehingga lebih aman untuk data yang tetap.

Selain struktur data, dalam dunia industri juga dikenal format data seperti JSON dan CSV. JSON digunakan untuk data yang kompleks dan berstruktur (nested), sering dipakai dalam API dan konfigurasi aplikasi. Sementara CSV digunakan untuk data tabular sederhana seperti spreadsheet karena formatnya ringan, mudah dibaca, dan kompatibel dengan banyak tools.

Pemilihan struktur dan format data sangat penting karena memengaruhi efisiensi pengolahan dan pengembangan aplikasi. List dan tuple cocok untuk data berurutan, dictionary untuk data berbasis atribut, JSON untuk data kompleks, dan CSV untuk data sederhana. Dengan memahami hal ini, pengolahan data menjadi lebih cepat, terstruktur, dan mudah dikembangkan, serta menjadi fondasi penting dalam data science dan pemrograman modern.

BAB 1D

Import dan export data adalah proses memindahkan data antara file (CSV/Excel) dan sistem cloud, di mana CSV lebih sederhana dan ringan, sedangkan Excel lebih lengkap dengan fitur seperti formula dan grafik. Platform cloud seperti Google Cloud, Azure, dan AWS memungkinkan akses global, kolaborasi real-time, serta skalabilitas tinggi dalam pengelolaan data. Proses import meliputi pemilihan file, validasi format (header, delimiter, tipe data, encoding), transformasi, lalu penyimpanan ke sistem, sedangkan export mencakup seleksi data, pemilihan format, pembuatan file, dan penyimpanan atau download.

Dalam analisis data, filtering digunakan untuk menyeleksi data berdasarkan kondisi tertentu, slicing untuk mengambil bagian data berdasarkan baris atau kolom, dan sorting untuk mengurutkan data secara ascending atau descending guna menemukan pola. Selanjutnya, grouping berfungsi mengelompokkan data berdasarkan kategori tertentu dan menghitung agregat seperti total atau rata-rata, sementara pivot table menyajikan data secara ringkas dan interaktif dalam berbagai sudut pandang sehingga memudahkan analisis dan pengambilan keputusan bisnis.

kesimpulan dari materi ini kita dapat mengetahui bahwa Pengolahan data modern mencakup pemahaman struktur data Python, format data (JSON/CSV), serta pemanfaatan cloud untuk penyimpanan dan komputasi. Data diolah melalui proses import, manipulasi (filtering, slicing, sorting), dan diringkas dengan grouping serta pivot table hingga menghasilkan insight yang mendukung pengambilan keputusan.