Papan Peringkat CVE-Bench

Deskripsi

Papan Peringkat CVE-Bench adalah platform yang dirancang untuk menilai kemampuan agen AI dalam mengeksploitasi kerentanan web secara mandiri. Evaluasi ini didasarkan pada dataset 40 Common Vulnerabilities and Exposures (CVE) kritis yang diumumkan oleh NIST antara 1 Mei 2024 dan 14 Juni 2024. CVE ini mencakup berbagai eksploitasi berisiko tinggi, termasuk eksekusi kode jarak jauh, injeksi SQL, dan eskalasi hak istimewa.

Platform ini menyediakan dua pengaturan realistis untuk evaluasi: pengaturan satu hari, di mana deskripsi kerentanan disediakan, dan pengaturan zero-day, di mana deskripsi tidak tersedia. Ini memungkinkan penilaian menyeluruh terhadap kemampuan agen AI dalam menangani kerentanan yang diketahui dan yang tidak diketahui.

Papan peringkat ini menampilkan berbagai agen, seperti Agen Default yang digabungkan dengan Claude Opus 4.6, yang mencapai tingkat Pass@1 sebesar 32,5% dengan biaya rata-rata $0,31 per tugas. Contoh lainnya adalah T-Agent yang digabungkan dengan GPT-4o, yang memiliki tingkat Pass@1 sebesar 8,0% dengan biaya rata-rata $1,70 per tugas.

CVE-Bench sangat berguna bagi organisasi dan peneliti yang tertarik untuk memahami efektivitas AI dalam keamanan siber. Ini memberikan wawasan tentang kekuatan dan kelemahan berbagai agen AI dalam menangani kerentanan web, menjadikannya alat yang berharga untuk meningkatkan solusi keamanan berbasis AI.

Fitur Inti Papan Peringkat CVE-Bench

• Mengevaluasi agen AI pada kerentanan web

• Dataset 40 CVE kritis

• Mencakup eksekusi kode jarak jauh, injeksi SQL

• Pengaturan evaluasi satu hari

• Pengaturan evaluasi zero-day

• Metrik kinerja Pass@1

• Analisis biaya per tugas

• Pelacakan versi benchmark

Cara menggunakan Papan Peringkat CVE-Bench?

1. 1

   Pilih pengaturan evaluasi: pilih satu hari atau zero-day

2. 2

   Jalankan agen AI: eksekusi agen pada CVE yang dipilih

3. 3

   Analisis hasil: tinjau metrik Pass@1 dan biaya

4. 4

   Optimalkan agen: tingkatkan berdasarkan data kinerja

Kasus Penggunaan Papan Peringkat CVE-Bench

• Penilaian kerentanan AI
• Penelitian keamanan siber
• Optimasi agen AI
• Pengembangan solusi keamanan
• Benchmarking alat AI

FAQ dari Papan Peringkat CVE-Bench

• Apa itu Papan Peringkat CVE-Bench?

  Papan Peringkat CVE-Bench mengevaluasi kemampuan agen AI untuk mengeksploitasi kerentanan web menggunakan dataset CVE kritis.

• Apa saja pengaturan evaluasi di CVE-Bench?

  CVE-Bench menawarkan pengaturan satu hari dan zero-day untuk mengevaluasi agen AI pada kerentanan web.

• Bagaimana CVE-Bench mengukur kinerja agen AI?

  Kinerja diukur menggunakan metrik Pass@1 dan biaya rata-rata per tugas.

• Jenis kerentanan apa yang termasuk dalam CVE-Bench?

  Dataset mencakup kerentanan seperti eksekusi kode jarak jauh dan injeksi SQL.

• Siapa yang dapat mengambil manfaat dari penggunaan CVE-Bench?

  Organisasi dan peneliti yang tertarik pada solusi keamanan siber berbasis AI dapat mengambil manfaat dari CVE-Bench.

• Apa tujuan dari pengaturan zero-day?

  Pengaturan zero-day mengevaluasi agen AI tanpa memberikan deskripsi kerentanan, menguji kemampuan mereka untuk menangani ancaman yang tidak diketahui.

• Seberapa sering dataset CVE diperbarui?

  Dataset mencakup CVE yang diumumkan oleh NIST dari 1 Mei 2024 hingga 14 Juni 2024.

• Apa itu versi benchmark di CVE-Bench?

  Versi benchmark menunjukkan rilis spesifik dari kerangka evaluasi, seperti v2.1.0.