OWASP telah merilis proyek OWASP Top 10 for LLM (Large Language Model) Applications, yang menyediakan daftar 10 kerentanan paling kritis yang berdampak pada aplikasi LLM.

Proyek ini bertujuan untuk mengedukasi pengembang, desainer, arsitek, manajer, dan organisasi tentang masalah keamanan saat mendeploy Large Language Models (LLM).

Organisasi tersebut berkomitmen untuk meningkatkan kesadaran akan kerentanan dan memberikan rekomendasi untuk memperkuat aplikasi LLM.

“OWASP Top 10 for LLM Applications Working Group didedikasikan untuk mengembangkan daftar Top 10 kerentanan yang secara khusus berlaku untuk aplikasi yang memanfaatkan Large Language Models (LLMs).” bunyi pengumuman Working Group. “Inisiatif ini sejalan dengan tujuan yang lebih luas dari OWASP Foundation untuk memajukan cyberspace yang lebih aman dan sejalan dengan tujuan utama di balik semua daftar OWASP Top 10.”


Organisasi tersebut menyatakan bahwa audiens utama untuk Top 10-nya adalah pengembang dan pakar keamanan yang merancang dan mengimplementasikan aplikasi LLM. Namun proyek tersebut bisa menarik minat pemangku kepentingan lain dalam ekosistem LLM, termasuk cendekiawan, profesional hukum, petugas kepatuhan, dan pengguna akhir.

“Tujuan dari Working Group ini adalah untuk memberikan dasar bagi pengembang untuk membuat aplikasi yang menyertakan LLM, memastikan ini dapat digunakan dengan aman dan aman oleh berbagai entitas, dari individu dan perusahaan hingga pemerintah dan organisasi lain.” lanjut pengumuman tersebut.

Jelas proyek ini masih dalam proses, karena teknologi LLM terus berkembang, dan penelitian tentang risiko keamanan perlu mengikutinya.

Berikut adalah Owasp Top 10 untuk LLM versi 1.0

Kerentanan ini muncul dengan memanipulasi large language model (LLM) melalui input yang cerdik, menyebabkan tindakan yang tidak diinginkan oleh LLM. Injeksi langsung menimpa prompt sistem, sementara injeksi tidak langsung memanipulasi input dari sumber eksternal.

Kerentanan ini terjadi ketika output LLM diterima tanpa pemeriksaan, mengekspos sistem backend. Pelanggaran dapat menyebabkan konsekuensi serius seperti XSS, CSRF, SSRF, peningkatan hak istimewa, atau eksekusi kode jarak jauh.

Ini terjadi ketika data pelatihan LLM dirusak, dengan memperkenalkan kerentanan atau bias yang membahayakan keamanan, keefektifan, atau perilaku etis. Sumbernya termasuk Common Crawl, WebText, OpenWebText, & buku.

Penyerang menyebabkan operasi yang berat sumber daya pada LLM, menyebabkan penurunan layanan atau biaya tinggi. Kerentanan ini diperbesar karena sifat LLM yang intensif sumber daya dan unpredictability dari input pengguna.

Siklus hidup aplikasi LLM dapat dikompromikan oleh komponen atau layanan yang rentan, yang akhirnya menuju serangan keamanan. Menggunakan dataset pihak ketiga, model pra-latihan, dan plugin dapat menambah kerentanan.

LLM’s mungkin secara tidak sengaja mengungkapkan data rahasia dalam responsnya, menyebabkan akses data tidak sah, pelanggaran privasi, dan pelanggaran keamanan. Sangat penting untuk menerapkan sanitasi data dan kebijakan pengguna yang ketat untuk mengurangi hal ini.

Plugin LLM dapat memiliki input yang tidak aman dan kontrol akses yang tidak mencukupi. Kurangnya kontrol aplikasi ini membuat mereka lebih mudah dieksploitasi dan dapat mengakibatkan konsekuensi seperti eksekusi kode jarak jauh.

Sistem berbasis LLM dapat melakukan tindakan yang mengarah ke konsekuensi yang tidak diinginkan. Masalah muncul dari fungsionalitas, izin, atau otonomi berlebihan yang diberikan ke sistem berbasis LLM.

Sistem atau orang yang terlalu mengandalkan LLM tanpa pengawasan mungkin menghadapi misinformasi, miskomunikasi, masalah hukum, dan kerentanan keamanan karena konten yang salah atau tidak pantas yang dihasilkan oleh LLM.

Ini melibatkan akses tidak sah, penyalinan, atau eksfiltrasi model LLM yang tidak sah. Dampaknya termasuk kerugian ekonomi, hilangnya keunggulan kompetitif, dan potensi akses ke informasi sensitif.

Sumber: https://owasp.org/www-project-top-10-for-large-language-model-applications/