Pengujian Gemini Nano 4
Untuk membantu para pengembang memulai integrasi model ini dengan aplikasi Android mereka, Google telah merilis akses awal ke Gemini Nano 4 melalui AICore Developer Preview. Saya mencoba aplikasi ini di Google Pixel 10 Pro XL untuk melihat apa saja peningkatan yang ditawarkan saat Nano 4 akhirnya tersedia secara resmi.
Aplikasi AICore Developer Preview memberi akses ke Gemini Nano 3, Nano 4 Fast, dan Nano 4 Full. Saya melakukan perbandingan terhadap model mainstream yang ada untuk lebih memahami perubahan yang terjadi. Meskipun beberapa hal mungkin akan disesuaikan sebelum rilis penuh, saya tetap mencoba untuk mengeksplorasi.
Kinerja dalam Tugas Sehari-hari
Saya memulai dengan memeriksa seberapa baik ketiga model ini menjalankan tugas yang mungkin Anda lakukan dengan model AI di perangkat. Fokus saya adalah pada logika, matematika, dan ringkasan teks. Meskipun AI modern sangat cerdas, mereka masih rentan terhadap kesalahan-kesalahan kecil, terutama ketika dipadatkan dengan parameter yang sedikit. Saya mendapati semua model mengalami kesalahan pada pertanyaan klasik tentang huruf ‘r’ dalam kata ‘stroberi’. Namun, Nano 4 Full berhasil menjawab dengan benar jika saya menggunakan huruf kapital ‘R’. Ini menunjukkan keunikan yang sering terjadi pada model bahasa besar.
Meski mengalami beberapa kesalahan, ketiga model tersebut menghasilkan hasil yang cukup baik dalam hal logika dan ringkasan teks. Saya menemukan beberapa tema umum dan perbedaan antara model-model Google. Nano 4 lebih cenderung memberikan jawaban yang panjang dan menghabiskan lebih banyak waktu untuk berpikir, bahkan ketika diminta untuk tidak melakukannya. Meskipun ini dapat meningkatkan akurasi, hal ini juga dapat menyebabkan permintaan sederhana menghasilkan beberapa jawaban yang mungkin tidak diinginkan.
Kecepatan dan Efisiensi Energi
Dalam pengujian saya, saya mencatat waktu inferensi, yaitu berapa lama waktu yang dibutuhkan dari pengajuan permintaan hingga menghasilkan output. Saya memastikan model sudah dimuat terlebih dahulu untuk setiap tes, dan mencatat setiap hasil. Rata-rata, Gemini Nano 3 memiliki kecepatan yang dapat diterima dengan rata-rata 9.6 token per detik. Sementara itu, Gemini Nano 4 Fast bahkan lebih cepat, dengan rata-rata 19.14 token per detik, jauh lebih cepat daripada yang dapat dibaca oleh manusia.
Namun, ada catatan penting yang harus diperhatikan. Meskipun Nano 4 Fast terlihat memiliki keuntungan kecepatan, model ini cenderung lebih verbose dibandingkan dengan yang lain, sering kali menghasilkan 50% lebih banyak teks untuk permintaan yang sama. Hal ini berarti meskipun dapat memberikan jawaban yang lebih mendetail dalam waktu singkat, model ini tidak selalu menyelesaikan respon dengan cepat. Kecepatan output Nano 4 Full jauh lebih lambat, dengan rata-rata 5.3 token per detik, yang dapat menjadi masalah bagi beberapa pengguna.
Masa Depan AI dengan Gemini Nano 4
Walaupun pengujian terhadap Gemini Nano 4 belum menggambarkan sepenuhnya potensi produk akhir, ini memberikan gambaran mengenai kemampuan yang akan ditawarkan saat diintegrasikan ke dalam layanan Google dan aplikasi pihak ketiga. Meskipun tidak revolusioner, kombinasi antara jawaban cepat dari Nano 4 Fast dan akurasi yang lebih baik dari Nano 4 Full menjadikannya sebagai peningkatan yang berarti.
Penting untuk dicatat bahwa model dengan dua dan empat miliar parameter ini tidak akan bersaing dengan akurasi dan kemampuan model LLM dengan ratusan miliar parameter yang tersedia melalui infrastruktur cloud yang mahal. Namun, untuk menyelesaikan tugas-tugas kecil dan sederhana dengan latensi rendah dan privasi pemrosesan di perangkat, Nano 4 adalah langkah maju yang menjanjikan.
Sumber: https://www.androidauthority.com/gemini-nano-4-benchmarks-3655763/
