SpanBERT

Deskripsi

SpanBERT adalah model AI canggih yang dikembangkan oleh Facebook Research, yang dirancang untuk meningkatkan teknik pra-pelatihan dengan berfokus pada representasi dan prediksi rentang teks. Repositori ini menyediakan kode dan model yang diperlukan bagi peneliti dan pengembang untuk memanfaatkan dan mengevaluasi kemampuan SpanBERT.

Proyek ini menawarkan model yang telah dilatih sebelumnya dalam versi dasar dan besar (cased). Model-model ini memiliki konfigurasi yang sama dengan BERT tetapi menggabungkan skema masking dan tujuan pelatihan yang berbeda, seperti yang dirinci dalam makalah terkait. Model SpanBERT (dasar & cased) memiliki arsitektur 12 lapis dengan 768 unit tersembunyi dan 12 kepala, dengan total 110 juta parameter. Model SpanBERT (besar & cased) yang lebih besar memiliki arsitektur 24 lapis, 1024 unit tersembunyi, 16 kepala, dan 340 juta parameter. Model-model ini dirancang untuk integrasi yang mulus, mengadopsi format model HuggingFace BERT, memungkinkan penggantian yang mudah.

Repositori ini mencakup kode komprehensif untuk fine-tuning SpanBERT pada berbagai tugas Pemrosesan Bahasa Alami (NLP). Skrip khusus disediakan untuk fine-tuning pada dataset tanya jawab SQuAD 1.1 dan SQuAD 2.0, TACRED untuk ekstraksi relasi, dan benchmark MRQA yang mencakup dataset seperti NewsQA, TriviaQA, SearchQA, HotpotQA, dan NaturalQuestions. Selain itu, kode untuk fine-tuning pada tugas GLUE, seperti RTE, juga tersedia. Untuk tugas resolusi ko-referensi, implementasi TensorFlow terpisah ditautkan.

Benchmark kinerja disajikan, menunjukkan hasil superior SpanBERT dibandingkan dengan BERT pada dataset SQuAD 1.1, SQuAD 2.0, Coref, dan TACRED. Misalnya, SpanBERT (besar) mencapai skor F1 sebesar 94,6 pada SQuAD 1.1 dan 88,7 pada SQuAD 2.0, mengungguli BERT (besar). Proyek ini juga memfasilitasi pengunduhan model yang telah di-fine-tune untuk tugas hilir, menyederhanakan proses adopsi bagi pengguna.

SpanBERT dirilis di bawah lisensi CC-BY-NC 4.0, yang berlaku untuk kode dan model yang telah dilatih sebelumnya. Hal ini membuatnya dapat diakses untuk penelitian dan pengembangan non-komersial. Repositori ini mendorong kontribusi dan menyediakan informasi kontak untuk pertanyaan dan dukungan.

Sorotan SpanBERT

• Model SpanBERT yang telah dilatih sebelumnya (dasar dan besar, cased)

• Kode untuk menggunakan dan mengevaluasi SpanBERT

• Skrip fine-tuning untuk SQuAD 1.1 dan SQuAD 2.0

• Skrip fine-tuning untuk ekstraksi relasi TACRED

• Skrip fine-tuning untuk dataset MRQA (NewsQA, TriviaQA, dll.)

• Skrip fine-tuning untuk tugas GLUE (RTE)

• Kompatibilitas dengan format model HuggingFace BERT

• Kode fine-tuning resolusi ko-referensi tersedia

• Benchmark kinerja terhadap BERT

• Model yang telah di-fine-tune dapat diunduh untuk tugas hilir

• Implementasi makalah SpanBERT: Meningkatkan Pra-pelatihan dengan Merepresentasikan dan Memprediksi Rentang

Memulai dengan SpanBERT

1. 1

   Akses kode: Kloning repositori GitHub SpanBERT.

2. 2

   Siapkan lingkungan: Instal dependensi yang diperlukan, termasuk Apex (komit tertentu direkomendasikan).

3. 3

   Muat model yang telah dilatih sebelumnya: Gunakan skrip yang disediakan untuk memuat model SpanBERT dasar atau besar (cased).

4. 4

   Fine-tune model: Jalankan skrip Python yang disediakan untuk tugas seperti SQuAD, TACRED, MRQA, atau GLUE.

5. 5

   Integrasikan melalui API: Adaptasi penggunaan model untuk aplikasi kustom, manfaatkan kompatibilitas HuggingFace.

6. 6

   Evaluasi kinerja: Jalankan skrip evaluasi untuk menilai kinerja model pada tugas NLP tertentu.

7. 7

   Unduh model yang telah di-fine-tune: Gunakan skrip yang disediakan untuk mendapatkan model yang telah dilatih sebelumnya untuk tugas hilir.

Kasus Penggunaan SpanBERT

• Tanya Jawab
• Ekstraksi Relasi
• Resolusi Ko-referensi
• Pemahaman Bahasa Alami
• Prediksi Rentang Teks
• Penelitian dan Pengembangan
• Evaluasi Benchmark

FAQ dari SpanBERT

• Apa itu SpanBERT dan bagaimana cara kerjanya meningkatkan pra-pelatihan?

  SpanBERT adalah model AI yang meningkatkan pra-pelatihan dengan berfokus pada representasi dan prediksi rentang teks, yang menghasilkan kinerja yang lebih baik pada berbagai tugas NLP dibandingkan dengan model BERT tradisional.

• Jenis model SpanBERT pra-pelatihan apa saja yang tersedia?

  Repositori ini menawarkan model SpanBERT pra-pelatihan dalam versi dasar dan besar (cased), dengan konfigurasi yang mirip dengan BERT tetapi dengan skema masking dan tujuan pelatihan yang berbeda.

• Bagaimana cara menggunakan SpanBERT untuk tanya jawab?

  Anda dapat menggunakan skrip Python yang disediakan untuk fine-tune SpanBERT pada dataset SQuAD 1.1 dan SQuAD 2.0 untuk tugas tanya jawab.

• Apakah SpanBERT kompatibel dengan model HuggingFace?

  Ya, model SpanBERT dirancang agar memiliki format yang sama dengan model HuggingFace BERT, memungkinkan integrasi dan penggantian yang mudah.

• Berapa jumlah parameter untuk model SpanBERT?

  SpanBERT (dasar & cased) memiliki 110 juta parameter, sedangkan SpanBERT (besar & cased) memiliki 340 juta parameter.

• Bisakah SpanBERT digunakan untuk ekstraksi relasi?

  Ya, repositori ini menyertakan kode untuk fine-tune SpanBERT pada dataset TACRED untuk tugas ekstraksi relasi.

• Apa lisensi untuk SpanBERT?

  SpanBERT dan model pra-pelatihannya dirilis di bawah lisensi CC-BY-NC 4.0, yang mengizinkan penggunaan non-komersial.

• Di mana saya dapat menemukan kode untuk resolusi ko-referensi dengan SpanBERT?

  Implementasi TensorFlow terpisah untuk resolusi ko-referensi tersedia di https://github.com/mandarjoshi90/coref.

• Bagaimana cara mengevaluasi kinerja SpanBERT pada tugas hilir?

  Anda dapat mengevaluasi model dengan mengatur '--do_train' ke false dan '--do_eval' ke true dalam skrip fine-tuning Python yang sesuai.

• Dataset apa saja yang dicakup oleh skrip fine-tuning MRQA?

  Skrip fine-tuning MRQA mendukung dataset seperti NewsQA, TriviaQA, SearchQA, HotpotQA, dan NaturalQuestions.

• Bisakah saya mengunduh model SpanBERT yang telah di-fine-tune?

  Ya, Anda dapat mengunduh model yang telah di-fine-tune untuk tugas seperti SQuAD 1.1/2.0 dan TACRED menggunakan skrip yang disediakan.

• Apa manfaat utama menggunakan SpanBERT dibandingkan BERT?

  SpanBERT menawarkan peningkatan kinerja pada berbagai tugas NLP karena pendekatan barunya dalam merepresentasikan dan memprediksi rentang selama pra-pelatihan.