Deskripsi
WebVoyager adalah agen web inovatif yang didukung oleh Large Multimodal Model (LMM) yang dirancang untuk menyelesaikan instruksi pengguna secara end-to-end dengan berinteraksi dengan situs web dunia nyata. Proyek ini menyediakan kode dan data untuk makalah WebVoyager, yang memamerkan kemampuannya dalam navigasi web multimodal dan penyelesaian tugas.
Inti dari WebVoyager terletak pada kemampuannya untuk mengintegrasikan informasi tekstual dan visual, memungkinkannya untuk memahami dan berinteraksi dengan halaman web secara lebih efektif. Agen ini menggunakan pendekatan perencanaan generalis untuk navigasi, memungkinkannya untuk menangani beragam tugas web. Sistem ini dibangun di atas lingkungan penjelajahan web online, yang diimplementasikan menggunakan Selenium, menyediakan platform yang realistis untuk pengujian dan pengembangan.
Untuk memfasilitasi penelitian dan pengembangan, WebVoyager menyertakan kumpulan data kueri tugas yang dikurasi. Kumpulan data ini dihasilkan menggunakan pendekatan semi-otomatis, menghasilkan 643 kueri tugas yang tersebar di 15 situs web, dengan setiap situs web menampilkan lebih dari 40 kueri. Data tersedia di `data/WebVoyager_data.jsonl`, dan jawaban referensi disediakan di `data/reference_answer.json`. Selain itu, proyek ini menggabungkan 90 tugas penjelajahan web yang diekstrak dari kumpulan data GAIA, tersedia di `data/GAIA_web.jsonl`.
Bagi pengguna yang ingin memperluas kumpulan tugas, proyek ini menyarankan penggunaan GPT-4 untuk menghasilkan tugas baru. Instruksi dan contoh prompt disediakan untuk memandu proses ini, menekankan keragaman dan kemudahan penyelesaian dalam situs web tertentu. Pengaturan melibatkan pembuatan lingkungan conda, penginstalan dependensi melalui `requirements.txt`, dan konfigurasi skrip `run.sh` dengan kunci API OpenAI.
WebVoyager menawarkan fleksibilitas dalam eksekusinya, mendukung mode standar dan hanya teks, dengan parameter yang dapat disesuaikan untuk iterasi maksimum, gambar terlampir, dan suhu model. Proyek ini juga mencakup protokol evaluasi otomatis menggunakan GPT-4V, yang dirinci dalam direktori `evaluation`, untuk menilai kinerja agen pada tugas yang diselesaikan. Hasil interaksi agen, termasuk pesan dan tangkapan layar, disimpan untuk tinjauan dan analisis manusia.
Fitur Inti WebVoyager
Agen web end-to-end yang didukung oleh Large Multimodal Models (LMM)
Mengintegrasikan informasi tekstual dan visual untuk penyelesaian tugas web
Pendekatan perencanaan generalis untuk navigasi web
Lingkungan penjelajahan web online yang dibangun dengan Selenium
Kumpulan data berisi 643 kueri tugas web yang beragam di 15 situs web
Tugas yang diekstrak dari kumpulan data GAIA
Mendukung perluasan tugas menggunakan GPT-4
Parameter eksekusi yang dapat dikonfigurasi (iterasi maks, suhu, mode headless)
Termasuk protokol evaluasi otomatis menggunakan GPT-4V
Menyimpan log interaksi dan tangkapan layar untuk analisis
Memulai dengan WebVoyager
Siapkan Lingkungan: Buat lingkungan conda, aktifkan, dan instal dependensi menggunakan `pip install -r requirements.txt`.
Siapkan Tugas: Salin tugas uji yang diinginkan ke `data/tasks_test.jsonl`. Perbarui tanggal secara manual untuk tugas yang sensitif terhadap waktu.
Konfigurasi Kunci API: Ubah `api_key` dalam skrip `run.sh` dengan kunci API OpenAI Anda.
Jalankan WebVoyager: Jalankan agen menggunakan perintah `bash run.sh`.
Pantau Hasil: Periksa file `test_tasks.log` untuk output eksekusi dan `output_dir` untuk log interaksi terperinci dan tangkapan layar.
Kasus Penggunaan WebVoyager
- Otomatisasi Tugas Web
- Penelitian Navigasi Web
- Pengumpulan Data
- Pengembangan Agen AI
- Pengujian Interaksi Situs Web
