• Uncategorized
  • 0

Mengolah data jutaan row dengan SQL vs Excel

Sedikt share pengalama. Sebagai seorang system analyst sering kali saya berhadapan dengan data yang jumlahnya besar. Pada saat pembuatan sebuah report entah itu di SAP atau di Aplikasi lain pengujian data terhadap report yang dihasilkan adalah yang mutlak. Report yang dibuat harus menampilkan data yang valid. Cara yang umum dilakukan dalah dengan membandingkan data report dengan hasil olahan manual.

Sebagaimana kebanyakan orang saya melakukan analisa dengan Excel dengan berbagai rumus familiar seperi if, vlookup, sum if,dsb. Cara ini sangat efektif jika digunakan untuk analisa data yang jumlah row-nya sedikit. Ketika berhadapan dengan jutaan row excel will kill your laptop hahaha. Dengan sebuah laptop berprosesor Core I3 dan memory 4GB langsung load 100% bekerja.

Suatu saat saya memerika report journal satu tahun yang mana datanya terdiri dari 8 Juta row untuk satu tahun. Saya bagi menjadi per bulan dan diolah dengan excel yang kemudian saya buat dengan pivot untuk menjadikanya Trial Balance. Satu bulan kurang lebih ada sekitar 800rb row dan proses berjalan selama hampir 1 Jam hanya untuk satu bulan. Kebayang berapa lama yang harus saya habiskan jika saya mengolah 12 bulan.

Akhirnya seorang teman mengajari saya untuk menggunakan SQL. Nah baru ngeh ada Sql server di kantor. Karena memang sebelumnya tidak banyak berhubungan dengan yang mana sql. Teman saya yang memiliki akses sql server kemudian memberikan akses kepada saya. Mesin Sql server ini sudah usang dan hanya dipakai untuk testing saja bukan production. Tetapi ternyata sangat bermanfaat sekali.

Saya membuat satu table lalu export datanya ke SQL Server. Mulailah saya mengolah data dengan script SQL yang kebanyakan masih nyontek di W3 School hahaha. Dengan perintah select, group dan order by data satu tahun yang tadinya mungkin butuh waktu lebih dari 8 jam dapat diselesaikan dengan waktu kurang dari 5 menit. Kecepatan yang berbeda bagaikan langit dan bumi hehehe.

Sebenarnya kuncinya ada di mesin SQL Server dimana pastinya akan lebih cepat mengolah data dibanding sebuah laptop core i3. Walaupun demikian kalau kita coba dengan mesin yang sama mengolah dengan SQL tetap lebih cepat dibanding dengan Excel. Karena karakteristik sql yang mampu menangani data dalam jumlah banyak dibanding excel.

Sekian sharing dari saya yang mungkin terlihat bodoh mengolah data jutaan row dengan excel hahah

You may also like...

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Bitnami