Rekonstruksi Data Engineering Sweet Bonanza Menghasilkan Efisiensi Infrastruktur Berbasis Teknologi

Rekonstruksi Data Engineering Sweet Bonanza Menekan Biaya Infrastruktur Hingga 41 Persen

Di ruang server sebuah penyedia layanan streaming video di Surabaya, tim insinyur data kebingungan menghadapi lonjakan biaya penyimpanan yang naik 200 persen dalam enam bulan terakhir. Mereka lalu meminjam pendekatan dari dunia yang tidak terduga: data engineering di balik permainan Sweet Bonanza yang mengolah 2,3 juta transaksi harian. Rekonstruksi arsitektur data dari sistem tersebut berhasil menekan biaya infrastruktur hingga 41 persen.

Keberhasilan ini bukan karena perangkat keras baru, melainkan karena perubahan paradigma dalam cara data disimpan dan diakses. Tim menemukan bahwa Sweet Bonanza menggunakan teknik partisi dinamis berbasis waktu dan frekuensi akses, bukan sekadar partisi statis bulanan. Dengan mengadopsi metode serupa, waktu respons query data historis turun dari 4,2 detik menjadi 1,3 detik, tanpa menambah kapasitas server.

Membedah Arsitektur Data yang Tersembunyi

Rekonstruksi diawali dengan membongkar lapisan-lapisan data mentah yang selama ini dianggap sebagai "sampah digital". Dalam 2,3 juta data Sweet Bonanza, ternyata 68 persen di antaranya adalah data status perantara yang tidak pernah diakses lagi setelah 24 jam. Tim lalu memisahkan data panas, hangat, dan dingin berdasarkan usia dan frekuensi panggilan. Data dingin dipindahkan ke penyimpanan objek yang lebih murah.

Hasilnya, penggunaan memori cache berkurang 54 persen dan beban CPU untuk kompresi data turun 32 persen. Yang menarik, kecepatan agregasi data untuk laporan harian justru meningkat 2,7 kali lipat karena query hanya menyentuh partisi yang relevan. Arsitektur baru ini kemudian diadaptasi untuk sistem log aplikasi perbankan digital, menghemat sekitar Rp 1,2 miliar per tahun dari sisi operasional.

Transformasi Pipeline ETL Menjadi ELT yang Responsif

Pendekatan lama menggunakan Extract-Transform-Load (ETL) ternyata menjadi sumber inefisiensi karena transformasi data dilakukan sebelum penyimpanan. Sweet Bonanza justru menggunakan pola Extract-Load-Transform (ELT) dengan memanfaatkan kemampuan komputasi di sisi query. Tim rekonstruksi mengubah pipeline mereka, sehingga data mentah langsung disimpan dalam format kolumnar Parquet dan baru ditransformasi saat dibaca.

Perubahan ini memangkas waktu pemrosesan batch dari 45 menit menjadi hanya 12 menit untuk volume data yang sama. Selain itu, format kolumnar memungkinkan kompresi hingga 78 persen lebih baik dibandingkan baris. Dalam uji coba selama satu bulan pada sistem monitoring trafik jaringan, kebutuhan storage turun dari 4,2 TB menjadi 2,5 TB. Efisiensi ini langsung terasa pada tagihan cloud.

Otomatisasi Penjadwalan Berdasarkan Pola Beban

Dari rekonstruksi, ditemukan bahwa Sweet Bonanza tidak menjalankan semua job pada jam yang sama. Mereka menggunakan penjadwalan adaptif yang menyesuaikan dengan pola beban pengguna. Data menunjukkan puncak akses terjadi pada pukul 20.00-23.00 WIB, sehingga job berat dipindah ke dini hari. Tim meniru mekanisme ini dengan membuat orchestrator berbasis aturan yang memonitor metrik antrean secara real-time.

Hasilnya, waktu tunggu job batch turun 63 persen dan utilisasi sumber daya naik dari 42 persen menjadi 79 persen. Tidak ada lagi job yang saling berebut CPU pada jam sibuk. Penerapan di sistem logistik e-commerce berhasil mengurangi waktu pemrosesan data pengiriman dari 90 menit menjadi 25 menit, cukup signifikan untuk mempercepat pelacakan paket di hari besar seperti 12.12.

Tantangan Konsistensi dan Keandalan di Arsitektur Baru

Namun rekonstruksi tidak berjalan mulus tanpa hambatan. Salah satu masalah utama adalah konsistensi data saat partisi dipindahkan ke penyimpanan dingin. Dari 2,3 juta data, tim menemukan 0,3 persen data mengalami ketidakcocokan skema karena perbedaan format. Mereka lalu menambahkan lapisan validasi dengan schema registry dan alat pemeriksa kualitas data otomatis yang berjalan setiap 6 jam.

Masalah kedua adalah peningkatan latensi untuk query lintas partisi. Untuk mengatasinya, tim membuat indeks global yang disimpan di Redis dengan ukuran hanya 120 MB, jauh lebih kecil dari indeks sebelumnya yang mencapai 8 GB. Dengan indeks baru, query lintas partisi yang semula 6 detik kini menjadi 0,8 detik. Keandalan sistem tercatat naik ke 99,97 persen uptime selama tiga bulan berturut-turut.

Dampak Jangka Panjang pada Strategi Data Perusahaan

Keberhasilan ini mengubah cara perusahaan memandang infrastruktur data. Mereka tidak lagi membeli kapasitas berlebih sebagai jaring pengaman, melainkan merancang arsitektur yang tangkas dan hemat. Saat ini, tim sedang mengembangkan toolkit terbuka agar pola rekonstruksi ini bisa dipakai oleh perusahaan lain, terutama UKM yang tidak memiliki tim data besar. Proyek percontohan bersama dua koperasi digital sedang berjalan.

Ke depan, efisiensi infrastruktur bukan lagi tentang menambah server, tetapi tentang kecerdasan mengelola siklus hidup data. Rekonstruksi dari Sweet Bonanza membuktikan bahwa 2,3 juta catatan harian bisa menjadi laboratorium untuk menekan biaya tanpa mengorbankan kecepatan. Jika pola ini diadopsi luas, belanja infrastruktur TI nasional berpotensi turun 15-20 persen dalam tiga tahun, membebaskan dana untuk inovasi yang lebih berarti.