Voyager Embodied Agent

Deskripsi

Voyager mewakili kemajuan signifikan dalam AI terwujud (embodied AI), berfungsi sebagai agen pembelajaran seumur hidup pertama yang didukung oleh model bahasa besar (LLM) di lingkungan Minecraft. Agen ini dirancang untuk menjelajahi dunia game secara otonom, memperoleh beragam keterampilan, dan mengungkap penemuan baru tanpa memerlukan masukan manusia apa pun. Arsitektur Voyager dibangun di atas tiga komponen inti: kurikulum otomatis yang direkayasa untuk memaksimalkan eksplorasi, pustaka keterampilan yang terus berkembang yang menyimpan dan mengambil perilaku kompleks sebagai kode yang dapat dieksekusi, dan mekanisme prompting berulang yang inovatif. Mekanisme ini memungkinkan agen untuk menyempurnakan programnya dengan menggabungkan umpan balik dari lingkungan, belajar dari kesalahan eksekusi, dan menggunakan verifikasi mandiri.

Voyager berinteraksi dengan GPT-4 melalui kueri blackbox, sebuah metode yang menghindari kebutuhan untuk menyetel parameter model. Keterampilan yang dikembangkan oleh Voyager dicirikan oleh ekstensi temporal, interpretasi, dan komposabilitasnya. Desain ini memfasilitasi penguatan kemampuan agen yang cepat dan secara efektif mengurangi lupa katastropik (catastrophic forgetting), sebuah tantangan umum dalam pembelajaran AI. Secara empiris, Voyager menunjukkan kemampuan belajar seumur hidup dalam konteks yang kuat dan menunjukkan kemahiran luar biasa dalam bermain Minecraft. Agen ini terbukti memperoleh 3,3 kali lebih banyak item unik, menempuh jarak 2,3 kali lebih jauh, dan membuka tonggak teknologi penting hingga 15,3 kali lebih cepat daripada metode state-of-the-art sebelumnya.

Fitur utama Voyager adalah kemampuannya untuk memanfaatkan pustaka keterampilan yang dipelajarinya di dunia Minecraft baru untuk menyelesaikan tugas-tugas baru dari awal, sebuah kemampuan di mana teknik lain seringkali kesulitan untuk digeneralisasi. Repositori menyediakan kode Voyager di bawah Lisensi MIT. Instalasi memerlukan Python versi 3.9 atau lebih tinggi dan Node.js versi 16.13.0 atau lebih tinggi, dengan kompatibilitas yang telah diuji pada Ubuntu 20.04, Windows 11, dan macOS. Pengaturan melibatkan kloning repositori, menginstal dependensi Python, dan menginstal paket Node.js tertentu. Instance Minecraft dan mod Fabric yang diperlukan juga diperlukan. Untuk menjalankan Voyager, kunci API OpenAI diperlukan, karena ia menggunakan GPT-4 untuk model bahasanya. Agen dapat diinisialisasi untuk pembelajaran seumur hidup atau dikonfigurasi untuk melanjutkan dari checkpoint dan menjalankan tugas tertentu menggunakan pustaka keterampilan yang dipelajari.

Fitur Inti Voyager Embodied Agent

• Agen terwujud (embodied agent) terbuka untuk Minecraft

• Memanfaatkan model bahasa besar (LLM) untuk pengambilan keputusan

• Kemampuan belajar seumur hidup

• Kurikulum otomatis untuk memaksimalkan eksplorasi

• Pustaka keterampilan yang dapat dieksekusi untuk menyimpan dan mengambil perilaku

• Mekanisme prompting berulang dengan umpan balik lingkungan

• Verifikasi mandiri untuk peningkatan program

• Berinteraksi dengan GPT-4 melalui kueri blackbox

• Keterampilan yang diperluas secara temporal, dapat diinterpretasikan, dan dapat dikomposisikan

• Mengurangi lupa katastropik (catastrophic forgetting)

• Menunjukkan pembelajaran dalam konteks yang kuat

• Mencapai kinerja state-of-the-art dalam tugas-tugas Minecraft

• Menggeneralisasi keterampilan yang dipelajari ke lingkungan baru

Memulai dengan Voyager Embodied Agent

1. 1

   Kloning: Kloning repositori GitHub Voyager.

2. 2

   Instal dependensi Python: Jalankan `pip install -e .` di direktori proyek.

3. 3

   Instal dependensi Node.js: Navigasi ke `voyager/env/mineflayer` dan jalankan `npm install -g npx` dan `npm install`.

4. 4

   Konfigurasi Minecraft: Siapkan instance Minecraft dan instal mod Fabric yang diperlukan.

5. 5

   Dapatkan Kunci API: Dapatkan kunci API OpenAI untuk akses GPT-4.

6. 6

   Inisialisasi Voyager: Buat instance agen Voyager dengan detail login Azure dan kunci API.

7. 7

   Mulai Belajar: Jalankan `voyager.learn()` untuk memulai proses pembelajaran seumur hidup.

8. 8

   Lanjutkan Belajar: Buat instance Voyager dengan `ckpt_dir` dan `resume=True` untuk melanjutkan dari checkpoint.

Kasus Penggunaan Voyager Embodied Agent

• Eksplorasi Minecraft Otonom
• Akuisisi dan Komposisi Keterampilan
• Pembelajaran Seumur Hidup dalam AI Terwujud
• Dekomposisi dan Eksekusi Tugas
• Penelitian AI di Lingkungan Game
• Penemuan dan Inovasi Baru
• Generalisasi Kemampuan AI

FAQ dari Voyager Embodied Agent

• Apa itu Voyager dan apa fungsinya?

  Voyager adalah agen terwujud (embodied agent) terbuka untuk Minecraft yang menggunakan model bahasa besar untuk menjelajah, mempelajari keterampilan, dan membuat penemuan secara otonom tanpa campur tangan manusia.

• Apa saja komponen utama Voyager?

  Voyager terdiri dari kurikulum otomatis untuk eksplorasi, pustaka keterampilan yang terus berkembang berupa kode yang dapat dieksekusi, dan mekanisme prompting berulang untuk peningkatan program.

• Bagaimana Voyager berinteraksi dengan model bahasa?

  Voyager berinteraksi dengan GPT-4 melalui kueri blackbox, yang memungkinkannya memanfaatkan kemampuan model tanpa perlu menyetel parameternya.

• Apa keuntungan pustaka keterampilan Voyager?

  Pustaka keterampilan menyimpan keterampilan sebagai kode yang dapat dieksekusi, membuatnya diperluas secara temporal, dapat diinterpretasikan, dan dapat dikomposisikan, yang mengarah pada penguatan kemampuan yang cepat dan mengurangi lupa katastropik.

• Bagaimana kinerja Voyager di Minecraft dibandingkan dengan agen lain?

  Voyager menunjukkan pembelajaran seumur hidup yang kuat dan kemahiran yang luar biasa, memperoleh lebih banyak item unik, menempuh jarak lebih jauh, dan membuka tonggak pohon teknologi secara signifikan lebih cepat daripada metode state-of-the-art sebelumnya.

• Bisakah Voyager menggeneralisasi keterampilan yang dipelajarinya?

  Ya, Voyager dapat memanfaatkan pustaka keterampilan yang dipelajarinya di dunia Minecraft baru untuk menyelesaikan tugas-tugas baru dari awal, menunjukkan kemampuan generalisasi yang kuat.

• Apa saja persyaratan sistem untuk menginstal Voyager?

  Voyager memerlukan Python versi 3.9+ dan Node.js versi 16.13.0+. Agen ini telah diuji pada Ubuntu 20.04, Windows 11, dan macOS.

• Apakah saya memerlukan kunci API OpenAI untuk menggunakan Voyager?

  Ya, Voyager menggunakan GPT-4 OpenAI sebagai model bahasanya, jadi Anda memerlukan kunci API OpenAI untuk menjalankannya.

• Bagaimana cara menyiapkan instance Minecraft untuk Voyager?

  Anda perlu menginstal game Minecraft dan menyiapkan instance Minecraft, mengikuti instruksi yang diberikan dalam dokumentasi repositori, termasuk menginstal mod Fabric yang diperlukan.

• Bisakah saya melanjutkan proses pembelajaran Voyager dari titik yang disimpan?

  Ya, Anda dapat melanjutkan pembelajaran dari checkpoint dengan membuat instance Voyager dengan parameter `ckpt_dir` diatur ke direktori checkpoint Anda dan `resume=True`.

• Bagaimana cara menjalankan Voyager untuk tugas tertentu dengan pustaka keterampilan yang dipelajari?

  Anda dapat membuat instance Voyager dengan parameter `skill_library_dir` menunjuk ke keterampilan yang Anda pelajari, lalu gunakan metode `decompose_task` dan `inference` untuk menjalankan tugas tertentu.