転移学習とは？ AIがドメイン間で知識を再利用する方法

転移学習は、大量のデータセットで既に訓練されたモデルを、新しいが関連するタスクに、はるかに少ないデータで適応させる機械学習手法です。この手法は、モデルが以前に学習したパターンを再利用し、ランダムな重みから始めるのではなく行います。

このアプローチが今重要である理由は、大規模モデルをゼロから訓練することが高コストになったためです。研究者やエンジニアは既存の成果を再利用する方法を探しており、転移学習はその直接的な手段の1つを提供します。MIT Technology Reviewの研究によると、事前訓練済みモデルの適応により、多くの分野で計算時間とラベル付きデータの必要量の両方を削減できることが示されています。

主なポイント

• 転移学習は、ソースタスクから得た知識を再利用してターゲットタスクでのパフォーマンスを向上させます。

• ImageNetによる事前訓練は、コンピュータビジョンモデルに強力な初期特徴を与え、後続のタスクがそれを基盤に構築できるようにしました。

• BERTは同じアイデアを言語に応用し、一度大量のテキストで訓練した後、多くの下流タスクにファインチューニングしました。

• 基盤モデルはテキスト、画像、音声、コードにわたってこのパターンを拡張します。

• 限界として、ドメインのミスマッチや新しいタスクが大きく乖離した場合の破壊的忘却が残ります。

• 個人向けツールがこれらのアイデアをどのように適用するかを探ってみませんか？ remioをご覧ください。

転移学習の定義

転移学習は、モデルを1つのタスクで訓練し、学習したパラメータを保存した後、それらのパラメータを2番目のタスクの出発点として使用します。ソースタスクは通常、豊富なデータを持っています。ターゲットタスクはしばしばはるかに少ないデータです。

転移学習を標準的な訓練と区別する3つの主要な属性があります。第一に、ソースタスクとターゲットタスクは視覚的特徴や言語パターンなど、ある程度の構造を共有します。第二に、モデルは以前のパラメータのほとんどをリセットせずに保持します。第三に、モデルがすでに有用な表現を知っているため、ターゲットドメインでのラベル付き例が少なくて済みます。

転移学習の仕組み

このプロセスは4つの主要な段階に従います。各段階は、ソースドメインからターゲットドメインへ知識を移すために前の段階に基づいて構築されます。

第1段階：ソースタスクの事前訓練

大規模モデルが、ビジョン用のImageNetや言語用のテキストコーパスなどの広範なデータセットで訓練されます。目標は、多くの例にわたって現れる一般的な特徴を学習することです。この段階が最も多くの計算を消費します。

第2段階：特徴抽出

事前訓練後、モデルはエッジ、テクスチャ、または単語関係を検出するレイヤーを保持します。これらのレイヤーは固定されるか、軽く更新されます。抽出された特徴はターゲットタスクの入力として機能します。

第3段階：ファインチューニング

小さなヘッドまたは上位の数レイヤーがターゲットデータセットで更新を受けます。ソースの有用な知識を破壊しないよう、学習率は低く保たれます。このプロセスは通常、ゼロから訓練する場合よりはるかに少ないエポックで収束します。

第4段階：評価と調整

適応されたモデルがターゲットの保留データで実行されます。パフォーマンスが遅れている場合、エンジニアはより多くのレイヤーを凍結解除するか、ドメイン固有のデータを追加する可能性があります。Nature Machine Intelligenceの2019年の論文では、タスクが大きく異なる場合に注意深いレイヤー選択が負の転移を防ぐことが示されました。

実世界での応用

コンピュータビジョンチームは、ImageNetの重みから始めて医療画像にラベルを付けるために転移学習を使用します。事前訓練済みモデルはすでに形状やテクスチャを認識しているため、医療データセットには数万ではなく数百の例しか必要ありません。

自然言語処理チームは、法的または金融テキストでBERTをファインチューニングします。モデルは元の訓練から一般的な言語理解を引き継ぎ、控えめな追加データでドメイン語彙を学習します。

音声認識システムは、英語のポッドキャストで訓練されたモデルを新しいアクセントや言語に適応させます。以前に学習した音響特徴により、新しい設定で必要な書き起こし音声の時間を削減できます。

ロボット工学研究者は、異なるロボットボディ間で視覚的ナビゲーションスキルを転移します。知覚レイヤーは類似したまま、制御レイヤーが新しいハードウェアに調整されます。

実践における転移学習 - remioの適用方法

個人向け知識ツールの中で、remioは転移学習に対して実践的な立場を取っています。このシステムはユーザーデータをローカルに保存し、会議、ファイル、閲覧履歴にわたって観察されたパターンを新しいクエリに回答する際に再利用します。この再利用は、ImageNetで訓練されたビジョンモデルが新しい物体を認識できるようにするのと同じ原理を反映しています。

remioは保存された表現を中央サーバーに送信するのではなく、デバイス上に保持します。ユーザーがフォローアップの質問をした場合、モデルは新しいコンテキストから始めるのではなく、以前のコンテキストを適応させます。このアプローチにより、レイテンシと個人イベントの繰り返しのラベル付けの必要性の両方を削減します。

remioが保存されたコンテキストをどのように管理するかについては、ホームページをご覧ください。

転移学習 AI explained に関するよくある質問

Q: 転移学習はファインチューニングと同じですか？

A: 転移学習は、事前訓練済みモデルを再利用する全体的な戦略を指します。ファインチューニングはその戦略内の特定のステップの1つで、モデルがターゲットタスクで更新を受けます。

Q: 転移学習は常に結果を改善しますか？

A: いいえ。ソースタスクとターゲットタスクが大きく異なる場合、パフォーマンスが低下することがあります。この負の転移は、自然写真で学習した視覚的特徴が顕微鏡画像の精度を損なう場合に現れます。

Q: ターゲットタスクにはまだどれだけのデータが必要ですか？

A: 量は異なりますが、報告されたほとんどのケースでは、ゼロから訓練する場合の10分の1から100分の1のラベル付きデータで成功しています。正確な数はタスクの類似性とモデルサイズに依存します。

Q: 転移学習は小さなモデルでも機能しますか？

A: はい。ImageNetや類似のデータセットで事前訓練された小さなモデルでも、有用な特徴を提供します。利得は大規模モデルほど大きくありませんが、エッジデバイスでは依然として実用的です。

Q: 新しいドメインが時間とともに変化するとどうなりますか？

A: モデルは破壊的忘却に苦しむ可能性があります。古い例の定期的なリプレイやレイヤーの段階的な凍結解除により、新しいパターンを取り入れつつ以前のパフォーマンスを維持するのに役立ちます。