TUGAS 4 DATA MINING SEMESTER 6

1. DATA CLEANING

Data cleaning merujuk pada proses mendeteksi dan memperbaiki (atau menghapus) data yang tidak akurat, tidak lengkap, atau tidak relevan dalam sebuah dataset. Ini merupakan langkah penting dalam pra-pemrosesan data sebelum analisis atau pemodelan, memastikan bahwa data tersebut akurat, konsisten, dan dapat digunakan untuk tugas-tugas lebih lanjut. Beberapa aspek utama dari data cleaning meliputi:

1. Penanganan Data yang Hilang: Mengatasi nilai-nilai yang hilang dengan cara menghapusnya, mengisi nilai (misalnya, rata-rata, median, modus), atau menggunakan teknik-teknik lanjutan seperti pemodelan prediktif.

2. Menghapus Duplikat: Mengidentifikasi dan menghapus catatan ganda untuk memastikan setiap titik data adalah unik dan representatif.

3. Normalisasi dan Standarisasi: Penskalaan data numerik ke rentang standar atau normalisasi untuk memfasilitasi perbandingan yang adil antara fitur-fitur yang berbeda.

4. Deteksi dan Penanganan Pencilan: Mengidentifikasi pencilan yang dapat memengaruhi analisis dan memutuskan apakah akan menghapus, menyesuaikan, atau mempertahankan berdasarkan pengetahuan domain.

5. Parsing dan Formatting: Memastikan format data yang konsisten di seluruh dataset, terutama untuk tanggal, waktu, mata uang, dan data terstruktur lainnya.

6. Penanganan Masalah Encoding: Mengatasi masalah dengan encoding karakter untuk memastikan data teks seragam dan dapat dibaca.

7. Penanganan Typo dan Inkonsistensi: Memperbaiki kesalahan ejaan, menyelesaikan inkonsistensi dalam label data kategori, dan memastikan data akurat dan koheren.

8. Feature Engineering: Membuat fitur-fitur baru atau mentransformasi yang sudah ada untuk meningkatkan kekuatan prediktif dari model machine learning.

9. Validasi dan Jaminan Kualitas: Memverifikasi integritas data setelah proses cleaning untuk memastikan memenuhi persyaratan dan tujuan proyek.

10. Dokumentasi: Mendokumentasikan semua langkah yang diambil selama proses cleaning, termasuk alasan keputusan yang diambil, untuk menjaga transparansi dan memfasilitasi reproduktibilitas.

Data cleaning yang efektif sangat penting untuk menghasilkan wawasan yang dapat diandalkan dan bermakna dari analisis data dan model machine learning, mengurangi kesalahan yang bisa timbul dari kualitas data yang buruk.

2. Data Transformation

Data transformation merupakan langkah dalam pra-pemrosesan data yang melibatkan manipulasi atau pengubahan struktur atau format data asli untuk mempersiapkannya agar sesuai dengan kebutuhan analisis atau pemodelan selanjutnya. Tujuan utama dari data transformation adalah untuk meningkatkan kualitas data, memudahkan interpretasi, dan memungkinkan penggunaan data tersebut dalam berbagai jenis analisis. Berikut beberapa teknik umum dalam data transformation:

1. Normalization: Mengubah nilai-nilai numerik ke dalam skala standar, seperti rentang 0 hingga 1, untuk memastikan perbandingan yang adil antara berbagai fitur atau variabel.

2. Standardization: Menyamakan skala atau dispersi dari variabel numerik agar memiliki mean 0 dan deviasi standar 1, memudahkan interpretasi dalam beberapa model statistik.

3. Encoding Categorical Variables: Mengubah data kategori menjadi bentuk numerik, misalnya dengan menggunakan teknik seperti one-hot encoding atau label encoding, agar dapat digunakan dalam model machine learning.

4. Feature Scaling: Mengubah skala dari variabel numerik untuk memastikan bahwa perbedaan dalam skala tidak mempengaruhi performa model. Teknik yang umum digunakan termasuk Min-Max scaling dan Z-score scaling.

5. Binning: Mengelompokkan nilai numerik ke dalam interval-interval atau "bin" untuk memudahkan analisis atau memperlancar proses pembuatan model.

6. Variable Transformation: Melakukan transformasi matematis pada variabel, seperti log transformasi atau square root transformasi, untuk memperbaiki distribusi data dan memenuhi asumsi model statistik tertentu.

7. Principal Component Analysis (PCA): Teknik untuk mengurangi dimensi dari dataset dengan mempertahankan sebagian besar variasi data, berguna dalam analisis data multivariat.

8. Aggregation: Menggabungkan beberapa data mentah menjadi bentuk yang lebih ringkas atau agregat, seperti menghitung rata-rata, jumlah, atau median dari serangkaian data.

9. Resampling: Mengubah frekuensi atau rentang waktu data untuk memenuhi kebutuhan analisis tertentu, misalnya mengubah data harian menjadi mingguan atau tahunan.

10. Date Parsing and Formatting: Mengubah format tanggal dan waktu ke dalam format yang standar atau memisahkan komponen-komponen tanggal (hari, bulan, tahun) untuk analisis lebih lanjut.

Setiap teknik data transformation memiliki tujuan dan aplikasi yang spesifik, tergantung pada jenis data, tujuan analisis, dan persyaratan model yang digunakan. Transformasi data yang tepat dapat meningkatkan keakuratan, interpretasi, dan kemudahan penggunaan data dalam proses analisis dan pengambilan keputusan.

3. Data Reduction

Data reduction merupakan proses untuk mengurangi jumlah data yang dimiliki tanpa mengorbankan informasi yang penting. Tujuan utama dari data reduction adalah untuk mempermudah analisis data, menghemat waktu komputasi, dan mengurangi kompleksitas dalam pemodelan data. Beberapa teknik umum dalam data reduction meliputi:

1. Sampling: Memilih subset acak dari data untuk mewakili populasi yang lebih besar. Teknik ini berguna untuk dataset yang sangat besar sehingga analisis dapat dilakukan pada sampel yang lebih kecil.

2. Feature Selection: Memilih subset fitur yang paling relevan atau penting dari dataset untuk analisis atau pemodelan lebih lanjut. Hal ini dapat mengurangi dimensi data dan mempercepat waktu komputasi.

3. Feature Extraction: Mengubah data dari ruang fitur yang lebih besar menjadi ruang fitur yang lebih kecil, biasanya dengan menggunakan teknik matematis seperti Principal Component Analysis (PCA) atau t-SNE. Teknik ini berguna untuk mengatasi masalah dengan dimensi yang tinggi.

4. Data Cube Aggregation: Menggabungkan data mentah menjadi bentuk yang lebih ringkas, seperti menggunakan konsep data cube dalam analisis OLAP (Online Analytical Processing).

5. Parametric Methods: Menggunakan model statistik untuk menggantikan data dengan parameter yang lebih kecil, misalnya menggunakan model regresi untuk merangkum tren dalam data waktu.

6. Clustering: Mengelompokkan data ke dalam cluster-cluster yang lebih kecil berdasarkan kemiripan karakteristik, sehingga mengurangi kompleksitas dalam analisis data.

Setiap teknik data reduction memiliki kelebihan dan kelemahan tergantung pada jenis data dan tujuan analisis yang ingin dicapai. Penggunaannya dapat membantu meningkatkan efisiensi dalam pemrosesan data besar dan kompleks, serta memungkinkan pengambilan keputusan yang lebih cepat dan akurat.