Capai ROI Lebih Besar dengan AI di Pusat Data Anda
Saat organisasi ingin melakukan skala AI, infrastruktur on-premises menjadi kunci untuk mencapai nilai bisnis yang lebih baik.
AI kini bermigrasi dari komputer dan ponsel ke robot, mobil otonom, dan hampir semua ruang digital yang bisa dibayangkan. Bahkan CEO NVIDIA, Jensen Huang, menyoroti hal ini dalam konferensi GTC perusahaan pada bulan Maret lalu.
Generative AI berkembang pesat, dengan 75% pekerja pengetahuan menggunakannya untuk membuat konten seperti materi penjualan atau mengotomatiskan pengkodean, menurut Accenture.
Kunci dari hasil AI yang efektif adalah strategi AI terpusat yang mempertimbangkan berbagai faktor teknis dan operasional. Beragam use case membutuhkan model dan proses yang berbeda, serta akses terhadap data berkualitas tinggi untuk memaksimalkan produktivitas.
Produktivitas yang meningkat bukan satu-satunya pertimbangan. Saat organisasi mulai menjalankan proyek AI mereka, mereka juga harus memperhatikan anggaran dan melindungi data mereka. Dan seperti semua teknologi baru, AI memiliki tantangan dalam implementasinya.
Opsi Penerapan AI
Salah satu yang paling menonjol adalah model bahasa besar (LLM), yang memerlukan pelatihan, inferensi, penyempurnaan, dan teknik optimasi untuk mendasari Generative AI. Beberapa organisasi mengalami kesenjangan keterampilan dalam AI, yang membuat teknologi ini sulit digunakan secara efektif.
Untuk mengurangi beban tersebut, beberapa organisasi memilih menggunakan LLM yang dikelola oleh penyedia cloud publik, atau menjalankan LLM pilihan mereka di platform pihak ketiga tersebut.
Meskipun cloud publik menarik untuk mempercepat waktu peluncuran, ada beberapa kompromi. Biaya yang tidak tetap, latensi tinggi, serta masalah keamanan dan kedaulatan data bisa membuat beban kerja AI di cloud menjadi kurang menarik atau bahkan tidak memungkinkan.
Beban kerja AI juga menambahkan lebih banyak variabel bagi pengambil keputusan TI. Meskipun pilihan yang banyak terdengar menarik, itu juga dapat menambah kompleksitas.
Karena itu, menjalankan infrastruktur seperti komputasi, penyimpanan, dan GPU secara on-premises memberikan organisasi kendali penuh atas seluruh aspek penerapan. Misalnya, infrastruktur on-premises sangat bernilai untuk penerapan beban kerja AI yang besar dan dapat diprediksi, dengan jarak yang lebih dekat ke tempat data diproses, memungkinkan organisasi mengelola anggaran mereka dengan lebih baik.
Kendali organisasi yang kuat juga penting untuk melindungi model AI, input, dan output — yang bisa mencakup IP sensitif — dari ancaman dan kebocoran data.
Beberapa organisasi harus mematuhi mandat keamanan dan kedaulatan data yang mewajibkan data tetap berada di lokasi geografis tertentu demi kepatuhan terhadap regulasi lokal. Dengan menjalankan beban kerja AI di lokasi data berada, organisasi bisa tetap patuh dan menghindari transfer data yang berulang antar sistem dan lokasi.
Saat ini, banyak organisasi yang menyesuaikan LLM open-source dengan menggunakan teknik retrieval-augmented generation (RAG). Organisasi dapat menggunakan RAG untuk menyesuaikan chatbot agar merespons dengan cepat sesuai kebutuhan spesifik mereka.
Selain itu, seiring dengan mengecilnya ukuran LLM namun tetap mempertahankan performa dan keandalan tinggi, semakin banyak model yang dijalankan di komputer portabel seperti AI PC atau workstation secara on-premises dan di edge.
Faktor-faktor ini menjelaskan mengapa 73% organisasi lebih memilih menerapkan LLM secara mandiri menggunakan infrastruktur yang beroperasi di pusat data, perangkat, dan lokasi edge, menurut Enterprise Strategy Group.
AI On-Premises Bisa Lebih Hemat Biaya
Data empiris yang membandingkan nilai antara penerapan on-premises dan cloud publik memang jarang, namun baru-baru ini diteliti oleh ESG.
Firma riset ini membandingkan biaya perkiraan untuk menjalankan inferensi chatbot berbasis teks yang didukung oleh LLM open-source dengan 70 miliar parameter menggunakan RAG secara on-premises, dibandingkan dengan solusi serupa dari Amazon Web Services di cloud publik.
Analisis yang memperkirakan biaya infrastruktur dan administrasi sistem untuk 5.000 hingga 50.000 pengguna selama periode empat tahun menunjukkan bahwa menjalankan beban kerja secara on-premises bisa hingga 62% lebih hemat biaya dibandingkan dengan cloud publik.
Bahkan, penerapan on-premises yang sama bisa hingga 75% lebih hemat biaya dibandingkan dengan menjalankan layanan berbasis API dari OpenAI. Tentu saja, penghematan tiap organisasi akan bervariasi tergantung pada use case dan skenario model.
Solusi on-premises dalam studi ESG menggunakan Dell AI Factory, pendekatan modern yang dirancang untuk membantu organisasi menskalakan solusi AI mereka dan membangun hasil bisnis yang lebih baik.
Dell AI Factory menggabungkan infrastruktur dan layanan profesional dari Dell, dengan integrasi ke ekosistem terbuka yang mencakup vendor perangkat lunak dan mitra lainnya yang dapat mendukung use case AI Anda — sekarang dan di masa depan.
Merancang strategi terpusat untuk era AI yang ada di mana-mana ini memang penting, namun pekerjaan tidak berhenti di situ. Dell AI Factory dapat membantu membimbing Anda dalam perjalanan AI Anda.
Infrastruktur IT yang kuat adalah kunci produktivitas perusahaan. Dengan dell laptop indonesia, Anda bisa mendapatkan solusi IT lengkap yang sesuai dengan kebutuhan Anda. iLogo Indonesia sebagai mitra terpercaya siap mengintegrasikan semuanya agar bisnis Anda tetap berjalan lancar dan aman.
Hubungi kami sekarang atau kunjungi delllaptop.ilogoindonesia.id untuk informasi lebih lanjut!