ディープラーニング

ニューラルネットワークの一種で、中間層が多層の場合にディープラーニング(深層学習)とよばれます。ニューラルネットワーク同様にニューロンの結合強度を誤差逆伝播法で最適化するため、中間層の多いディープラーニングでは誤差の勾配が消失してしまい、結合強度を更新できなくなるという問題がありましたが、ニューロン間の伝達関数の工夫やオートエンコーダとよばれる事前学習を行うことで、多層での学習が可能になりました。中間層を経由するうちに、低~高次元の特徴量を自動的に抽出されるという特徴があります。

一方で、パラメータが多いことから、過学習(オーバーフィッティング)を避けるためドロップアウトという正則化項を入れたり、大量の学習データを投入したりといった工夫が必要になります。また、計算時間が長いという課題もありますが、GPU(グラフィックス処理ユニット)を利用した並列計算や、他の学習データで学習したモデルを初期値として利用するファインチューニングという手法が、学習時間短縮に有効だということが実証されています。

近年は特に、画像処理に特化した畳み込みニューラルネットワークや時系列データを扱うリカレントニューラルネットワークが注目されています。既に、顔認識や自動翻訳、自動運転や推薦システムなど多岐に渡る分野で実用化が始まっており、更なる革新を目指すべく産官学連携体制で研究開発が推進されています。

(2016年10月19日 初稿)

English

Deep learning

定義

ニューラルネットワークの一種で、中間層が多層の場合にディープラーニング(深層学習)とよばれます。多層になるとモデルの勾配が消失する、計算量が爆発的に増える、過学習が起こる、といった問題があり、長年実用化されていませんでしたが、アルゴリズムの改良やハードウェアの進化によってそういった課題が解決し、再評価されています。