SpanBERT

説明

SpanBERTは、Facebook Researchによって開発された高度なAIモデルであり、テキストスパンの表現と予測に焦点を当てることで、事前学習技術を強化するように設計されています。このリポジトリは、研究者や開発者がSpanBERTの能力を利用および評価するために必要なコードとモデルを提供します。

このプロジェクトでは、ベースモデルとラージモデルの両方の事前学習済みモデルを提供しています。これらのモデルはBERTと同じ設定を共有していますが、関連論文で詳述されているように、異なるマスキングスキームとトレーニング目標を組み込んでいます。SpanBERT（ベース＆ケーシング）モデルは、768の隠れユニットと12のヘッドを持つ12層のアーキテクチャを備え、合計1億1000万のパラメータを持ちます。より大きなSpanBERT（ラージ＆ケーシング）モデルは、24層のアーキテクチャ、1024の隠れユニット、16のヘッド、および3億4000万のパラメータを誇ります。これらのモデルは、HuggingFace BERTモデルの形式を採用し、シームレスな統合のために設計されており、簡単に置き換えることができます。

このリポジトリには、様々な自然言語処理（NLP）タスクでSpanBERTをファインチューニングするための包括的なコードが含まれています。SQuAD 1.1およびSQuAD 2.0質問応答データセット、関係抽出のためのTACRED、そしてNewsQA、TriviaQA、SearchQA、HotpotQA、NaturalQuestionsなどのデータセットを含むMRQAベンチマークでのファインチューニング用のスクリプトが提供されています。さらに、RTEなどのGLUEタスクでのファインチューニング用のコードも利用可能です。コアファレンス解決タスクについては、別のTensorFlow実装がリンクされています。

パフォーマンスベンチマークが提示されており、Coref、TACREDデータセットだけでなく、SQuAD 1.1、SQuAD 2.0でもBERTと比較してSpanBERTの優れた結果を示しています。例えば、SpanBERT（ラージ）はSQuAD 1.1で94.6、SQuAD 2.0で88.7のF1スコアを達成し、BERT（ラージ）を上回っています。このプロジェクトは、ダウンストリームタスク用のファインチューニング済みモデルのダウンロードも容易にし、ユーザーの採用プロセスを簡素化します。

SpanBERTはCC-BY-NC 4.0ライセンスの下でリリースされており、コードと事前学習済みモデルの両方に適用されます。これにより、非商用研究および開発で利用可能になります。リポジトリは貢献を奨励し、問い合わせやサポートのための連絡先情報を提供しています。

SpanBERTのハイライト

• 事前学習済みSpanBERTモデル（ベースおよびラージ、ケーシング対応）

• SpanBERTの使用および評価用コード

• SQuAD 1.1およびSQuAD 2.0用ファインチューニングスクリプト

• TACRED関係抽出用ファインチューニングスクリプト

• MRQAデータセット（NewsQA、TriviaQAなど）用ファインチューニングスクリプト

• GLUEタスク（RTE）用ファインチューニングスクリプト

• HuggingFace BERTモデルフォーマットとの互換性

• コアファレンス解決ファインチューニングコード利用可能

• BERTとのパフォーマンスベンチマーク

• ダウンストリームタスク用のダウンロード可能なファインチューニング済みモデル

• SpanBERT: スパンの表現と予測による事前学習の改善論文の実装

SpanBERTをはじめる

1. 1

   コードへのアクセス: SpanBERT GitHubリポジトリをクローンします。

2. 2

   環境設定: Apex（特定のコミットを推奨）を含む必要な依存関係をインストールします。

3. 3

   事前学習済みモデルのロード: 提供されているスクリプトを使用して、ベースまたはラージのケーシング対応SpanBERTモデルをロードします。

4. 4

   モデルのファインチューニング: SQuAD、TACRED、MRQA、またはGLUEなどのタスクについて、提供されているPythonスクリプトを実行します。

5. 5

   API経由での統合: HuggingFace互換性を活用して、カスタムアプリケーションでのモデル使用を適応させます。

6. 6

   パフォーマンスの評価: 評価スクリプトを実行して、特定のNLPタスクでのモデルパフォーマンスを評価します。

7. 7

   ファインチューニング済みモデルのダウンロード: 提供されているスクリプトを使用して、ダウンストリームタスク用の事前学習済みモデルを取得します。

SpanBERTの使用例

• 質問応答
• 関係抽出
• コアファレンス解決
• 自然言語理解
• テキストスパン予測
• 研究開発
• ベンチマーク評価

SpanBERTのFAQ

• SpanBERTとは何ですか？また、どのように事前学習を改善しますか？

  SpanBERTは、テキストスパンの表現と予測に焦点を当てることで事前学習を強化するAIモデルであり、従来のBERTモデルと比較して様々なNLPタスクでパフォーマンスが向上します。

• どのような種類の事前学習済みSpanBERTモデルが利用可能ですか？

  リポジトリでは、ベースモデルとラージモデルの両方の事前学習済みSpanBERTモデルを提供しており、BERTと同様の設定ですが、異なるマスキングとトレーニング目標を備えています。

• 質問応答にSpanBERTを使用するにはどうすればよいですか？

  提供されているPythonスクリプトを使用して、質問応答タスクのためにSQuAD 1.1およびSQuAD 2.0データセットでSpanBERTをファインチューニングできます。

• SpanBERTはHuggingFaceモデルと互換性がありますか？

  はい、SpanBERTモデルはHuggingFace BERTモデルと同じ形式を持つように設計されており、簡単な統合と置き換えが可能です。

• SpanBERTモデルのパラメータ数はいくつですか？

  SpanBERT（ベース＆ケーシング）は1億1000万パラメータ、SpanBERT（ラージ＆ケーシング）は3億4000万パラメータです。

• SpanBERTは関係抽出に使用できますか？

  はい、リポジトリには、関係抽出タスクのためにTACREDデータセットでSpanBERTをファインチューニングするためのコードが含まれています。

• SpanBERTのライセンスは何ですか？

  SpanBERTとその事前学習済みモデルは、非商用利用を許可するCC-BY-NC 4.0ライセンスの下でリリースされています。

• SpanBERTを使用したコアファレンス解決のコードはどこで見つけられますか？

  コアファレンス解決のための別のTensorFlow実装は、https://github.com/mandarjoshi90/coref で利用可能です。

• ダウンストリームタスクでのSpanBERTのパフォーマンスを評価するにはどうすればよいですか？

  関連するPythonファインチューニングスクリプトで'--do_train'をfalse、'--do_eval'をtrueに設定することで、モデルを評価できます。

• MRQAファインチューニングスクリプトはどのデータセットをカバーしていますか？

  MRQAファインチューニングスクリプトは、NewsQA、TriviaQA、SearchQA、HotpotQA、NaturalQuestionsなどのデータセットをサポートしています。

• ファインチューニング済みのSpanBERTモデルをダウンロードできますか？

  はい、提供されているスクリプトを使用して、SQuAD 1.1/2.0やTACREDなどのタスク用のファインチューニング済みモデルをダウンロードできます。

• BERTよりもSpanBERTを使用する主な利点は何ですか？

  SpanBERTは、事前学習中のスパンの表現と予測に関する新しいアプローチにより、様々なNLPタスクでパフォーマンスが向上します。