KOMPAS.com – Chatbot AI populer seperti ChatGPT dan Microsoft Copilot ditopang oleh model bahasa besar (large language model/LLM) bernama “GPT-4”.
GPT-4 ini lebih cerdas dan canggih dibandingkan GPT-3.5 karena sudah memiliki 1,7 triliun parameter pembelajaran mesin, input multimodal (teks, gambar), pemahaman bahasa lebih baik, respons lebih ekspresif.
Di balik kecanggihannya, GPT-4 ini ternyata membutuhkan konsumsi listrik yang besar. Menurut laporan Towards Data Science, untuk melatih (training) model AI GPT-4 selama 90-100 hari, dibutuhkan listrik hingga sekitar 62.000 MWh. Ini setara dengan konsumsi energi dari 1.000 rumah tangga AS pada umumnya selama 5 hingga 6 tahun.
Pada bulan Januari, konsumsi listri per bulan ChatGPT dilaporkan kira-kira sebanyak 26.000 rumah tangga AS untuk inferensi (proses input dan output).
Baca juga: Chatbot AI ChatGPT Ditanamkan ke Otak lewat Sebuah Chip
Rincian konsumsi listri GPT-4
Kecanggihan GPT-4 dimungkinkan karena model AI ini dilatih menggunakan sekitar 25.000 GPU Nvidia A100 selama 90-100 hari. Biayanya training model ini dilaporkan mencapai 100 juta dollar AS.
Mari kita lihat rincian hitung-hitungan estimasi konsumsi listrik yang dibutuhan untuk melatih GPT-4 berdasarkan laporan Towards Data Science.
Misal, kita asumsikan GPU dipasang di server Nvidia HGX yang masing-masing dapat menampung 8 GPU. Berarti, GPT-4 membutuhkan 25.000/8 = 3.125 server.
Salah satu cara untuk memperkirakan konsumsi listrik dari informasi ini adalah dengan mempertimbangkan daya desain termal (TDP) server Nvidia HGX.
TDP, yang dilambangkan dalam watt, menyatakan konsumsi daya perangkat keras di bawah beban teoritis maksimum. Konsumsi daya aktual mungkin berbeda.
Nvidia tidak mengungkapkan informasi ini, jadi mari kita gunakan TDP dari server Nvidia DGX yang serupa, yaitu 6,5 kW. Jadi, jika server Nvidia DGX berjalan dengan daya penuh selama 1 jam, server tersebut akan mengonsumsi 6,5 KWh, berdasarkan perhitungan TDP.
Seperti disebut sebelumnya, model AI GPT-4 disebut membutuhkan diperlukan waktu 90–100 hari untuk melatih GPT-4. Itu berarti 90 x 24 jam= 2.160 jam per server atau 100 x 24 jam = 2.400 jam per server.
Jika kita berasumsi server beroperasi dengan daya penuh secara konstan, kita dapat mengalikan jumlah jam dengan 6,5 KWh. Dari situ, kita memperoleh bahwa selama pelatihan, setiap server mungkin telah mengonsumsi listrik sebesar 14.040 KWh hingga 15.600 KWh.
Karena butuh 3.125 server, maka 3.125 x 14.040 KWh = 43.875.000 KWh atau 3.125 x 15.600 = 48.750.000 KWh.
Saat menghitung konsumsi energi perangkat keras komputer, biasanya konsumsi energi perangkat keras dikalikan dengan apa yang disebut efektivitas penggunaan daya (PUE) pusat data tempat perangkat keras tersebut beroperasi.
Baca juga: Gandeng Broadcom, OpenAI Dikabarkan Bikin Chip AI Sendiri
PUE adalah rasio yang menggambarkan seberapa efisien pusat data komputer menggunakan energi.
GPT-4 kemungkinan besar dilatih di pusat data Microsoft Azure, mengingat adanya kemitraan antara OpenAI dengan Microsoft. Pusat data Microsoft Azure memiliki PUE rata-rata 1,18. Perlu dicatat bahwa ini dapat bervariasi di antara pusat data.
Jadi, jika mengalikan konsumsi listrik perangkat keras sebesar 43.875.000 hingga 48.750.000 KWh dengan 1,18, maka didapatkan hasil 51.772.500 KWh dan 57.525.000 KWh.
Jadi, estimasi konsumsi listrik untuk melatih GPT-4 selama 90-100 hari adalah antara 51.772 MWh dan 57.525 MWh. Ini setara dengan konsumsi energi selama 5 hingga 6 tahun dari 1.000 rumah tangga AS pada umumnya.
Angka tersebut 40 kali lebih tinggi dari estimasi konsumsi listrik yang dikonsumsi pendahulunya, GPT-3, sebagaimana dihimpun KompasTekno dari Towards Data Center, Senin (5/8/2024).
Konsumsi listrik Microsoft naik 2x lipat
Konsumsi listrik tahunan Microsoft meningkat lebih dari dua kali lipat dari 11 TWh (2020) menjadi 24 TWh (2023) dalam empat tahun.
Konsumsi listrik Microsoft ini lebih besar dibandingkan konsumsi listrik negara Yordania. Dalam setahun, Yordania yang punya 11 juta penduduk disebut menggunakan listrik 20 TWh.
Lonjakan penggunaan listrik Microsoft ini disertai dengan peningkatan total emisi karbon sebesar 42 persen.
Lonjakan konsumsi lisrik dan emisi karbon ini diyakini merupakan akibat dari penggunaan server Microsoft Azure untuk melatih dan menjalankan model AI, ChatGPT milik OpenAI, misalnya.
Baca juga: Sharp Pamer Prototipe TV AI Hemat Listrik