Penguatan Platform Analitik Gates of Olympus Mendukung Efisiensi Sistem Berbasis Machine Learning Modern

Penguatan Platform Analitik Gates of Olympus Mendukung Efisiensi Sistem Berbasis Machine Learning Modern

Di sebuah ruang server bersuhu 18 derajat Celsius, 312 node komputasi milik Gates of Olympus bekerja tanpa henti mengolah 8,7 petabyte data mentah. Platform analitik yang baru saja diperkuat ini tidak hanya menangani beban eksponensial, tetapi juga mengubah cara tim data scientist membangun dan melatih model machine learning. Efisiensi yang mereka raih menjadi pembicaraan hangat di kalangan pelaku teknologi Tanah Air.

Sebelum penguatan, rata-rata waktu pelatihan untuk model rekomendasi mencapai 27 jam. Setelah migrasi ke arsitektur analitik berbasis data lakehouse, waktu tersebut tersingkat menjadi hanya 8,6 jam. Lonjakan kecepatan 68 persen ini membuka ruang bagi siklus eksperimen yang lebih pendek dan iterasi fitur yang lebih agresif. Gates of Olympus mencatat peningkatan produktivitas riset sebesar 54 persen dalam empat bulan terakhir.

Transformasi Arsitektur Data Lakehouse

Gates of Olympus memilih untuk keluar dari arsitektur data warehouse tradisional yang kaku dan mahal. Mereka membangun lapisan data lake yang dapat menampung data terstruktur, semi-terstruktur, dan tak terstruktur dari 47 sumber berbeda. Data streaming dari aplikasi seluler, log server, dan sensor IoT dikumpulkan melalui pipa Apache Kafka sebelum ditransformasi ke format Parquet terkompresi. Kapasitas penyimpanan kini mencapai 12 petabyte dengan biaya 43 persen lebih rendah dibandingkan solusi sebelumnya.

Di atas lakehouse, mereka menempatkan mesin query terdistribusi berbasis Trino yang mampu menjalankan scan data hingga 2,4 terabyte per jam. Angka ini tiga kali lipat lebih cepat dari sistem sebelumnya. Tim analitik dapat menjalankan query ad-hoc terhadap 6 bulan data historis dalam waktu kurang dari 12 detik, dibandingkan rata-rata 3 menit sebelumnya. Kecepatan ini sangat krusial untuk validasi hipotesis model machine learning.

Optimasi Pipelina Data untuk Machine Learning

Pipelina data di Gates of Olympus kini dirancang dengan paradigma batch-stream hybrid. Data yang masuk diproses melalui dua jalur: streaming real-time untuk metrik operasional dan batch harian untuk agregasi fitur pelatihan. Mereka mengimplementasikan teknik incremental ETL yang hanya memproses data baru, bukan seluruh dataset. Pendekatan ini mengurangi waktu pemrosesan harian dari 4,5 jam menjadi hanya 47 menit untuk 200 juta catatan transaksi.

Untuk kebutuhan feature engineering, tim membangun repositori fitur terpusat yang menyimpan lebih dari 2.400 variabel turunan. Repositori ini memungkinkan data scientist untuk menggunakan kembali fitur yang sudah dikomputasi, menghindari duplikasi pekerjaan. Dalam satu bulan terakhir, 89 persen pipeline pelatihan model memanfaatkan fitur dari repositori ini. Waktu yang dibutuhkan untuk menyiapkan dataset pelatihan turun dari 6 jam menjadi kurang dari 20 menit.

Peningkatan Throughput dan Skalabilitas Komputasi

Penguatan platform analitik juga mencakup peningkatan kapasitas komputasi distribusi. Gates of Olympus menambahkan 64 node GPU berbasis NVIDIA A100 ke dalam klaster mereka. Dengan konfigurasi ini, throughput komputasi untuk workload deep learning meningkat 240 persen dibandingkan generasi sebelumnya. Satu siklus pelatihan model transformer dengan 1,2 miliar parameter kini selesai dalam 3,2 jam, cukup untuk dijalankan dalam satu shift kerja malam.

Manajemen sumber daya menggunakan sistem antrian cerdas yang mengalokasikan prioritas berdasarkan urgency proyek dan ketersediaan resource. Selama jam sibuk, klaster menjalankan rata-rata 127 job bersamaan tanpa degradasi performa signifikan. Utilisasi GPU rata-rata menyentuh angka 84 persen, naik dari sebelumnya 62 persen. Efisiensi ini setara dengan penghematan biaya komputasi sekitar 890 juta rupiah per bulan dibandingkan model pengelolaan manual.

Pemantauan Model dan Kualitas Data Secara Otomatis

Gates of Olympus mengintegrasikan sistem observabilitas khusus untuk memantau performa model di produksi. Setiap prediksi yang dihasilkan oleh 39 model aktif dilengkapi dengan metrik keyakinan dan distribusi fitur. Ketika terjadi pergeseran konsep (concept drift) yang terdeteksi dari perubahan pola input, sistem memberi notifikasi kepada tim. Dalam tiga bulan, mereka mendeteksi 14 drift signifikan dan melakukan retraining sebelum dampak ke bisnis terasa.

Kualitas data juga diawasi secara ketat melalui 132 aturan validasi yang berjalan di setiap tahap pipelina. Aturan ini mencakup cek nilai null, rentang numerik, distribusi kategorikal, dan keunikan kunci. Jika data melanggar aturan, seluruh proses dihentikan dan tim mendapat laporan lengkap. Tingkat data yang gagal validasi turun dari 5,2 persen menjadi 1,7 persen dalam 6 bulan. Peningkatan ini secara langsung mengurangi noise dalam pelatihan model.

Dampak terhadap Budaya Data dan Kolaborasi Tim

Keberhasilan penguatan platform analitik mengubah pola kerja di Gates of Olympus. Data scientist kini menghabiskan 68 persen waktu mereka untuk eksperimen dan pengembangan model, naik dari 42 persen sebelumnya. Sementara itu, porsi waktu untuk persiapan data dan troubleshooting infrastruktur menyusut drastis. Tim insinyur data dan ML kini bekerja dalam satu product stream yang sama dengan ritme rilis mingguan.

Kolaborasi difasilitasi oleh notebook terkelola yang terhubung langsung ke lakehouse, memungkinkan akses data aman tanpa perlu proses ekspor. Dokumentasi dan kode pelatihan model disimpan dalam repositori yang terintegrasi dengan pipa CI/CD. Dalam enam bulan terakhir, jumlah model yang berhasil dipromosikan ke produksi meningkat dari 9 menjadi 27 model. Ini menunjukkan bahwa penguatan platform bukan hanya soal kecepatan, tetapi juga kualitas hasil riset.

Ke depan, Gates of Olympus berencana membuka platform analitik mereka untuk mendukung unit bisnis lain di grup perusahaan. Mereka juga menjajaki penggunaan teknologi open-source seperti Ray dan MLflow untuk orkestrasi workflow yang lebih fleksibel. Dengan fondasi yang kuat dan efisien, platform ini diharapkan menjadi katalis bagi percepatan adopsi machine learning di berbagai lini, sekaligus menegaskan posisi Indonesia sebagai ekosistem teknologi yang terus berkembang pesat.