説明
BERT（Bidirectional Encoder Representations from Transformers）プロジェクトは、自然言語処理タスク向けの事前学習済みモデルを提供しています。その提供物の中には、幅広い言語に対応できるように設計された多言語モデルがあり、クロスリンガルな理解とアプリケーションを可能にします。現在、主に2つの多言語モデルが利用可能です：BERT-Base, Multilingual Cased（新規、推奨）とBERT-Base, Multilingual Uncased（旧、非推奨）。
BERT-Base, Multilingual Casedモデルは104言語をサポートし、12層のアーキテクチャ、768の隠れユニット、12のアテンションヘッド、1億1千万のパラメータを備えています。このモデルは、多くの言語、特にラテン文字以外のアルファベットを持つ言語に対する正規化が改善されているため推奨されます。このモデルを使用する際は、実行スクリプトで`--do_lower_case=false`を設定することが重要です。Multilingual Uncasedモデルは、同じアーキテクチャで102言語をサポートしますが、新規プロジェクトには推奨されません。
中国語タスク向けには、簡体字と繁体字中国語をサポートする専用のBERT-Base, Chineseモデルも利用可能です。多言語モデルには中国語が含まれていますが、中国語固有のファインチューニングでは、中国語専用モデルの方が優れた結果をもたらす可能性があります。これらのモデルのパフォーマンスは、クロスリンガル自然言語推論タスクであるXNLIデータセットで評価されています。結果は、高リソース言語においては単一言語モデルが多言語モデルを上回る可能性がある一方で、後者は多数の単一言語モデルを維持する必要なしに、広範な言語カバレッジのための実用的なソリューションを提供するということを示しています。
多言語BERTモデルのファインチューニングには、大幅なAPI変更は必要ありません。ただし、中国語文字のトークン化には`BasicTokenizer`の更新が必要になる場合があります。モデルは、XNLIのようなデータセットをサポートするように更新された`run_classifier.py`のような提供スクリプトを使用してワークフローに統合できます。事前学習のためのデータサンプリング戦略は、高リソース言語と低リソース言語のバランスを取るために、Wikipediaデータの指数平滑化重み付けを含み、すべての言語のより良い表現を保証しました。トークン化は共有WordPiece語彙を使用し、空白文字の欠如に対処するためにCJK言語に特別な処理を行います。多言語モデルは、ゼロショット学習機能を促進するために、意図的に言語マーカーを省略しています。
BERT 多言語モデルのハイライト
104言語をサポート（Multilingual Cased）
102言語をサポート（Multilingual Uncased）
12層トランスフォーマーアーキテクチャ
768隠れユニット
12アテンションヘッド
1億1千万パラメータ
正規化改善のためMultilingual Casedモデルを推奨
ゼロショット学習機能
特定タスク向けのファインチューニングサポート
Wikipediaデータで事前学習済み
共有WordPiece語彙
文字トークン化によるCJK言語の処理
オープンソースのTensorFlowコード利用可能
BERT 多言語モデルをはじめる
モデルへのアクセス：事前学習済み多言語BERTモデルをダウンロードします。
環境設定：TensorFlowおよび必要な依存関係をインストールします。
API経由での統合：提供されているライブラリを使用してモデルとトークナイザーをロードします。
データ準備：多言語テキストデータをトレーニングまたは推論用にフォーマットします。
ファインチューニング：分類や質問応答などの特定のダウンストリームタスクにモデルを適応させます。
推論の実行：ファインチューニングされたモデルを使用して新しいテキストデータを処理します。
パフォーマンス評価：関連する多言語ベンチマークでモデルの精度を評価します。
BERT 多言語モデルの使用例
- クロスリンガル分類
- 多言語感情分析
- ゼロショットクロスリンガル転移
- 機械翻訳評価
- 多言語質問応答
- クロスリンガル情報検索
- 自然言語推論
