DistilBERT に関する報道

従来の生物医学モデルは、「大規模な特殊モデルの導入コストが高い」と「ドメイン知識が不足している軽量の一般モデル」というジレンマに直面しています。 DRET は、優先埋め込み転送により、元のトレーニング コーパスに触れることなく知識の注入を実現します。これは、モデルの軽量化が「構造の調整」から「直接の知識の転送」に移行していることを意味します。