WORD BOOK
頻出ワードを暗記する単語帳

自然言語処理において、入力テキストの一部をマスクして、その部分を予測するモデルで、特に事前学習に有効です。MLMは、文脈情報を学習し、テキストの意味を理解します。このモデルを●●●●●●●と言います。