1. Tujuan Data Mining Repositories
- Tujuan Umum: Menyimpan data untuk pelaporan, analisis, dan pengambilan insight.
- Perbedaan: Tujuan, jenis data yang disimpan, dan cara mengakses data berbeda-beda tergantung jenis repositori.
2. Data Warehouse
- Definisi: Repositori pusat yang mengintegrasikan data dari berbagai sumber.
- Fitur:
- Menyimpan data saat ini dan historis yang telah dibersihkan, disesuaikan, dan dikategorikan.
- Data sudah dimodelkan dan terstruktur untuk tujuan analisis.
- Sering menyimpan data relasional dari sistem transaksional (CRM, ERP, HR, Finance).
- Arsitektur 3-Tier:
- Bottom Tier: Database server (relasional/non-relasional) untuk ekstraksi data.
- Middle Tier: OLAP Server untuk pemrosesan dan analisis data.
- Top Tier: Client front-end (tools untuk query, reporting, dan analisis).
- Cloud-Based Data Warehouse:
- Manfaat: Biaya lebih rendah, penyimpanan dan komputasi tak terbatas, skalabilitas pay-as-you-go, pemulihan bencana lebih cepat.
- Contoh: Amazon RedShift, Google BigQuery, Snowflake, IBM Db2 Warehouse.
- Use Case: Cocok untuk organisasi dengan data operasional besar yang perlu dianalisis secara cepat.
3. Data Mart
- Definisi: Sub-bagian dari data warehouse yang dibangun untuk fungsi bisnis tertentu atau kelompok pengguna.
- Contoh: Data mart untuk tim sales atau finance.
- Jenis Data Mart:
- Dependent Data Mart: Bagian dari data warehouse, data sudah dibersihkan dan ditransformasi.
- Independent Data Mart: Dibuat dari sumber selain data warehouse (sistem operasional internal atau data eksternal).
- Hybrid Data Mart: Menggabungkan input dari data warehouse, sistem operasional, dan sumber eksternal.
- Tujuan:
- Menyediakan data yang relevan untuk pengguna.
- Mempercepat proses bisnis dengan respons yang efisien.
- Menghemat biaya dan waktu dalam pengambilan keputusan berbasis data.
- Meningkatkan keamanan dan kontrol akses.
4. Data Lake
- Definisi: Repositori yang menyimpan data terstruktur, semi-terstruktur, dan tidak terstruktur dalam format aslinya.
- Perbedaan dengan Data Warehouse:
- Data warehouse: Data sudah dibersihkan dan dimodelkan untuk tujuan tertentu.
- Data lake: Data disimpan dalam format mentah, tanpa perlu mendefinisikan struktur atau skema sebelumnya.
- Fitur:
- Data diklasifikasikan, dilindungi, dan diatur dengan baik meskipun dalam format mentah.
- Menggabungkan berbagai teknologi untuk eksplorasi data yang agile.
- Dapat di-deploy menggunakan Cloud Object Storage (Amazon S3) atau sistem terdistribusi (Apache Hadoop).
- Manfaat:
- Menyimpan semua jenis data (unstructured, semi-structured, structured).
- Skalabilitas tinggi (dari terabyte ke petabyte).
- Menghemat waktu karena tidak perlu mendefinisikan struktur atau transformasi awal.
- Fleksibilitas untuk menggunakan data dalam berbagai use case di masa depan.
- Contoh Vendor: Amazon, Cloudera, Google, IBM, Microsoft, Snowflake.
5. Perbandingan Data Warehouse, Data Mart, dan Data Lake
| Aspek | Data Warehouse | Data Mart | Data Lake |
|---|---|---|---|
| Tujuan | Analisis data terstruktur | Analisis untuk fungsi bisnis tertentu | Penyimpanan data mentah untuk berbagai use case |
| Jenis Data | Terstruktur (relasional) | Terstruktur | Terstruktur, semi-terstruktur, tidak terstruktur |
| Skema | Sudah dimodelkan dan terstruktur | Sudah dimodelkan | Tanpa skema (schema-less) |
| Use Case | Pelaporan dan analisis bisnis | Analisis departemen tertentu | Eksplorasi data, analisis fleksibel |
| Contoh Tools | Amazon RedShift, Snowflake | Sub-bagian dari data warehouse | Amazon S3, Hadoop, Cloudera |
6. Kesimpulan
- Data Warehouse: Cocok untuk analisis data terstruktur dan terintegrasi.
- Data Mart: Fokus pada kebutuhan analisis departemen atau fungsi bisnis tertentu.
- Data Lake: Ideal untuk menyimpan data mentah dan eksplorasi data yang fleksibel.
- Pemilihan repositori tergantung pada kebutuhan bisnis, jenis data, dan infrastruktur teknologi.
Leave a Reply