Biaya Pelatihan Model AI yang Jauh Lebih Rendah
Pengembang kecerdasan buatan (AI) asal Tiongkok, DeepSeek, mengungkapkan bahwa biaya pelatihan model R1-nya hanya sebesar USD 294.000 atau setara dengan Rp 4,8 miliar. Angka ini jauh lebih rendah dibandingkan biaya yang dikeluarkan oleh perusahaan-perusahaan pesaing di AS. Pengungkapan ini muncul dalam sebuah makalah yang dipublikasikan dalam jurnal akademis Nature, dan kemungkinan besar akan memicu kembali diskusi tentang posisi Tiongkok dalam persaingan pengembangan AI.
Makalah tersebut menyebutkan bahwa model R1 DeepSeek, yang fokus pada penalaran, menggunakan 512 chip Nvidia H800 selama proses pelatihan. Versi awal dari artikel yang diterbitkan pada Januari lalu tidak mencantumkan informasi mengenai biaya pelatihan. Dalam konteks industri AI, biaya pelatihan untuk model bahasa besar biasanya melibatkan penggunaan chip canggih selama berminggu-minggu atau berbulan-bulan untuk memproses teks dan kode dalam jumlah besar.
Sam Altman, CEO OpenAI, pernah menyatakan bahwa pelatihan model dasar bisa menghabiskan biaya jauh lebih besar dari USD 100 juta. Meskipun angka rinci untuk rilisan tertentu belum diberikan, hal ini menunjukkan betapa mahalnya proses pengembangan AI saat ini.
Perdebatan Mengenai Chip dan Metode Pelatihan
Beberapa pernyataan DeepSeek tentang teknologi dan biaya pengembangan telah dikritik oleh perusahaan dan pejabat AS. Chip H800 yang digunakan DeepSeek dirancang khusus untuk pasar Tiongkok setelah AS melarang ekspor chip H100 dan A100 yang lebih canggih ke negara tersebut pada Oktober 2022. Namun, para pejabat AS menyatakan bahwa DeepSeek memiliki akses ke banyak chip H100 setelah penerapan kontrol ekspor.
Meski begitu, Nvidia mengklaim bahwa DeepSeek menggunakan chip H800 secara sah, bukan H100. Dalam dokumen tambahan yang menyertai artikel Nature, DeepSeek untuk pertama kalinya mengakui memiliki chip A100 dan menyatakan bahwa mereka telah menggunakannya pada tahap awal pengembangan model.
Teknik Penyaringan dan Distilasi
DeepSeek juga menjawab pernyataan dari tokoh-tokoh AI AS, termasuk penasihat Gedung Putih, yang menyatakan bahwa mereka secara sengaja menyaring model OpenAI menjadi model sendiri. DeepSeek mengakui bahwa mereka melakukan penyaringan atau distilasi karena memberikan performa model yang lebih baik serta biaya pelatihan yang lebih murah.
Teknik ini memungkinkan model baru untuk belajar dari sistem AI lain tanpa harus menghabiskan biaya yang sama. Dengan demikian, model dapat memanfaatkan investasi waktu dan daya komputasi dari model sebelumnya. DeepSeek mengungkapkan bahwa mereka menggunakan model Llama, yang merupakan open source dari Meta, untuk beberapa versi model mereka.
Sumber Data Pelatihan
Dalam artikel Nature, DeepSeek menyatakan bahwa data pelatihan untuk model V3-nya berasal dari halaman web yang dijelajahi, termasuk jawaban-jawaban yang dihasilkan oleh model OpenAI. Hal ini bisa berarti bahwa model dasar memperoleh pengetahuan dari model canggih lainnya secara tidak langsung. Namun, DeepSeek menegaskan bahwa hal ini terjadi secara kebetulan, bukan disengaja.
