Delapan Tahun Chip AI di Smartphone: Mencari Potensi yang Terbuang
Sudah lebih dari delapan tahun sejak kita pertama kali mendengar tentang Neural Processing Units (NPU) dalam smartphone dan potensi AI yang ada di perangkat. Jika Anda ingat, prosesor Kirin 970 pada HUAWEI Mate 10 adalah yang pertama memperkenalkan ide ini, meskipun konsep yang serupa sudah ada sebelumnya, terutama dalam bidang pengolahan gambar.
Banyak yang telah berubah sejak saat itu. Apple akhirnya mengadopsi AI, meski hasilnya masih bervariasi. Sementara itu, Google telah mengandalkan Tensor Processing Unit (TPU) untuk berbagai fungsi, mulai dari pemrosesan gambar hingga terjemahan bahasa di perangkat. Semua perusahaan teknologi besar, mulai dari Arm, Qualcomm, hingga Apple dan Samsung, sepakat bahwa AI adalah masa depan perangkat keras dan perangkat lunak smartphone.
Apakah Smartphone Benar-Benar Membutuhkan NPU?
Meskipun demikian, perkembangan AI di perangkat mobile masih terasa terbatas. Kita hanya memiliki sedikit fitur AI yang tersedia di perangkat, dengan sebagian besar dikurasi oleh Google dan kurangnya lanskap pengembang yang kreatif. Hal ini menimbulkan pertanyaan: sebenarnya, seberapa bergunakah NPU yang ada di ponsel kita?
Sebelum kita membahas lebih lanjut, mari kita kenali apa sebenarnya fungsi NPU. Seperti halnya CPU yang digunakan untuk menjalankan aplikasi, GPU untuk merender game, dan ISP yang berfokus pada pemrosesan gambar dan video, NPU adalah prosesor yang dirancang khusus untuk menjalankan beban kerja AI dengan cepat dan efisien. NPU menangani ukuran data yang lebih kecil, pola memori tertentu, dan operasi matematika paralel yang kompleks.
Meskipun Anda tidak selalu memerlukan NPU untuk menjalankan machine learning, keberadaan NPU dapat membantu menjalankan model yang tidak dapat ditangani oleh CPU atau GPU dengan kecepatan yang sama. Pendekatan komputasi heterogen ini dapat mengorbankan kompleksitas dan ruang silikon, tetapi memperoleh kembali dalam hal daya dan kinerja yang sangat penting untuk smartphone. Tidak ada yang ingin alat AI di ponsel mereka menguras baterai.
Tantangan dalam Pengembangan AI Mobile
Penting untuk dicatat bahwa pengembangan perangkat lunak adalah aspek lain yang sama pentingnya. Arsitektur CUDA dari NVIDIA memungkinkan pengembang untuk melakukan optimasi mendalam saat menjalankan beban kerja AI. Namun, platform mobile kekurangan akses tingkat rendah yang setara, dan lebih bergantung pada abstraksi tingkat tinggi, yang sering kali spesifik untuk vendor.
Ini menyoroti masalah signifikan dalam lingkungan pengembangan AI mobile. Smartphone menggunakan berbagai arsitektur NPU, seperti Google Tensor, Snapdragon Hexagon, dan Apple Neural Engine, yang masing-masing memiliki kemampuan dan platform pengembangan yang berbeda. Meskipun chip smartphone yang mengklaim mendukung NPU dirancang untuk menangani nilai data yang lebih kecil, matematika kompleks, dan pola memori yang menantang, mereka memperkenalkan tantangan baru dalam pengembangan pihak ketiga.
Walaupun ada API dan SDK untuk chip Apple, Snapdragon, dan MediaTek, pengembang harus membangun dan mengoptimalkan aplikasi mereka secara terpisah untuk setiap platform. Google pun belum memberikan akses mudah bagi pengembang untuk ponsel Pixel-nya, sementara SDK Tensor ML masih dalam tahap akses eksperimental. Hal ini menciptakan labirin spesifikasi dan API yang ditinggalkan, menyulitkan pengembangan AI mobile pihak ketiga.
LiteRT: Solusi untuk Masa Depan AI Mobile
Beruntungnya, Google memperkenalkan LiteRT pada tahun 2024, yang berfungsi sebagai runtime tunggal di perangkat yang mendukung CPU, GPU, dan NPU vendor. LiteRT dirancang untuk memaksimalkan akselerasi perangkat keras saat runtime, yang mengatasi kelemahan NNAPI. Meskipun LiteRT mengabstraksi masalah NPU vendor, ada baiknya mempertanyakan apakah NPUs akan tetap menjadi fokus utama dalam perkembangan teknologi ini.
Dengan kemajuan dukungan instruksi yang kompleks pada CPU, mereka dapat menjadi alat yang lebih efisien untuk menjalankan beban kerja machine learning. Sementara itu, GPU dengan dukungan kuantisasi yang lebih baik mungkin akan menjadi akselerator default daripada NPU. LiteRT bisa menjadi jembatan transisi ini, memberikan kemudahan bagi pengembang untuk tidak terlalu khawatir tentang bagaimana pasar perangkat keras akan berkembang.
Walaupun NPUs mobile tidak akan segera hilang, pendekatan terkunci oleh vendor yang mendefinisikan gelombang pertama AI di perangkat jelas bukan akhir dari cerita. Untuk aplikasi pihak ketiga, CPU dan GPU akan terus menjalankan sebagian besar beban kerja praktis, terutama seiring mereka mendapatkan dukungan yang lebih efisien untuk operasi machine learning modern. Yang lebih penting daripada silikon mana pun adalah lapisan perangkat lunak yang menentukan bagaimana dan jika perangkat keras tersebut digunakan.
Sumber: https://www.androidauthority.com/do-phones-really-need-npu-3632115/
