Red Hat, Inc. (Red Hat) telah merilis sejumlah peningkatan penting pada Red Hat AI, yakni platform AI berbasis perusahaan yang dikembangkan guna mendorong percepatan dalam pembuatan dan implementasi teknologi kecerdasan buatan (AI) di infrastruktur campuran atau hybrid cloud.
Termasuk Red Hat OpenShift AI serta Red Hat Enterprise Linux AI (RHEL AI), paket Red Hat AI ini terdiri dari sejumlah produk dan jasa yang menyatu untuk melakukan pelatihan model dan inferensi dalam lingkungan yang sama. Kemampuannya menjalankan operasi tersebut baik itu di pusat data, cloud publik ataupun di tepi jaringan (edge) membuat solusi Red Hat AI mendukung bisnis agar dapat memaksimalkan penggunaan datanya, tidak peduli dimana letaknya, sehingga proses penerapan kecerdasan buatan menjadi lebih hemat waktu dan tetap terlindungi secara keseluruhan.
Pembaruan pada Red Hat Openshift AI
Rilisan teranyar dari Red Hat OpenShift AI yaitu versi 2.18 hadir dengan berbagai fitur penting didalamnya.
1. Layanan Terdistribusi lewat server inferensi vLLM yang membolehkan pemecahan tugas servis model LLM menjadi beberapa GPU secara bersama-sama. Kemampuan ini bakal mendongkrak percepatan pelatihan serta penyetelan model, mengecilkan bebannya pada server, dan merampingkan efisiensi konsumsi tenaga komputer.
2. Penyesuaian Model Akhir ke Awal dengan InstructLab, yakni penggabungan lengkap antara InstructLab dan pipa sains data, disertai panel manajemen pada OpenShift AI yang akan membantu tim sains data dalam perusahaan untuk menyetel ulang model dengan lebih terstruktur serta mudah diperiksa.
3. AI Guardrails (Teknologi Pratinjau), yang merupakan fasilitas keamanan untuk mengidentifikasi dan mencegah isi berbahaya (ucapan permusuhan, informasi pribadi, pembocor rahasia bisnis). Fasilitas ini
membantu mengurangi risiko pelanggaran terhadap kebijakan, mendukung bidang-bidang seperti perbankan dan pemerintahan, di mana aturan tentang data harus dipatuhi.
4. Penilaian Model (lm-eval), sebagai standar pengukuran kinerja LLM dalam berbagai jenis tugas seperti logika, matematika, dan bahkan penanganan bahasa lawan, dikenal juga oleh Red Hat. Ini membantu perusahaan menentukan model mana yang paling tepat sesuai dengan kebutuhan mereka.
Pembaruan pada RHEL AI
Red Hat Enterprise Linux AI (RHEL AI) versi terbarunya, yakni RHEL 1.4, sekarang sudah kompatibel dengan model Granite 3.18 yang mampu melakukan inferensi dalam berbagai bahasa, menawarkan fitur custom knowledge (dalam tahap pratinjau bagi pengembang), dan dilengkapi dengan jendela konteks 128.000 token untuk menyimpulkan dokumen panjang serta menjalankan tugas-tugas retrieval-augmented generation (RAG).
RHEL AI 1.4 meluncurkan tampilan grafis (GUI) terbaru untuk “Skills & Knowledge Contributions” yang sekarang dapat diakses dalam mode pra-rilisan pengembangan.
Melalui antarmuka pengguna ini, para pemakai dapat dengan lebih mudah mengonsumsi data—menyimpan data dari beragam sumber—dan kemudian mereduksinya menjadi sejumlah bagian (chunking) yang sudah siap untuk diolah oleh model tersebut. Tambahan “keterampilan” atau pengetahuan spesifik ke dalam model AI juga dapat diperkenalkan melalui tampilan visual tanpa harus membuat kode rumit, sehingga tim ilmuwan data dan pembuat aplikasi dapat fokus pada pendekatan terhadap model dibandingkan dengan aspek-aspek teknikal yang bertele-tele.
Di samping itu, terdapat pula fitur bernama Document Knowledge-bench (DK-bench), yang berfungsi untuk menggambarkan perbedaan kinerja antara model Artificial Intelligence (AI) yang telah dioptimalkan menggunakan dataset internal perusahaan serta model asli (model dasar) yang belum dimodifikasi. Melalui DK-bench, kelompok kerja bisa mendapatkan gambaran tentang peningkatan ketepatan, efisiensi, ataupun keserasian hasil keluaran setelah tahapan pengoptimalan tersebut dilakukan secara jelas dan tidak bias. Ini sangat bermanfaat bagi institusi dalam melakukan evaluasi manfaat pemakaian data spesifik sebelum merilis model ke sistem operasionalnya.
Red Hat OpenShift AI 2.18 serta Red Hat Enterprise Linux AI 1.4 sekarang sudah dapat diakses publik.
Red Hat juga menawarkan kursus online gratis tentang AI Foundations serta dua sertifikasi belajar AI yang dapat membantu dari pemula sampai para eksekutif dalam memperoleh pengetahuan mengenai pemanfaatan kecerdasan buatan dengan maksimal.
Selain itu, Red Hat AI InstructLab di IBM Cloud juga segera tersedia sebagai layanan terkelola, sehingga mempermudah proses scaling dan keamanan pelatihan model.
Joe Fernandes, Wakil Presiden & Manajer Umum Bidang Bisnis Kecerdasan Buatan (AI) di Red Hat, menyebutkan bahwa saat ini perusahaan dihadapi dengan peningkatan biaya implementasi teknologi AI generatif bersamaan dengan meningkatnya jumlah penggunaannya secara masif. Selain itu, mereka juga perlu memikirkan bagaimana merampingkan pemasukan model-model kecerdasan buatan dengan database internal serta mendeploy model tersebut dimanapun data disimpan.
“Red Hat AI menolong perusahaan menghadapi kesulitan tersebut dengan membolehkan penggunaan model yang lebih hemat sumber daya dan dirancang khusus, yang telah dipelajari melalui data milik mereka sendiri, selain itu juga menyokong proses inferensi dengan cara yang lentah di berbagai lingkungan seperti on-premises, cloud, dan edge,” katanya.
