2013/9/25

1

自己増殖型ニューラルネットワーク (SOINN) を用いたマルチモーダル・オンライン転移学習手法の構築

東京工業大学

長谷川修

「東工大 長谷川修」で検索！

デモビデオや更なる資料をご覧頂けます。

超・少子高齢化時代

• 決定的な労働力不足→ 国力の低下

• 大規模災害対応→ ロボットの投入

2

2013/9/25

2

3

誰もが、簡単に使いこなせる汎用知能ロボットの開発が急務

そのためのロボットには、人を含む実世界と相互作用するための、マルチモーダル・インタフェースが必須。

SOINN: Self-organizing Incremental

Neural Network長谷川修研で独自開発

コンピュータやロボットが「見て、聞いて、覚えて、考えて、行動する」ための脳をヒントにした知能情報処理技術

4

2013/9/25

3

経済産業省"Innovative Technologies 2013"

に選定

10月 Digital Content Expo

（日本科学未来館）にてデモ展示

5

SOINNのデモ

入力 出力Copyright (C) 2012 Hasegawa Research Laboratory LLC, All rights reserved

2013/9/25

4

SOINN Algorithm

7

SOINNのポイント

• SOINN はモデル不要

–一般的な統計手法と異なり、ユーザが事前にモデルを決める必要がない。

–従来法はモデルを決めるので、状況が変化しモデルからズレると性能が低下。

– SOINNは常に、状況の変化に合わせ、自らモデルを変化させ、性能を保つ。

–即ちSOINN は状況の変化に自ら即座に対応する

• SOINN にはあらゆる数値データが入力可

–テキストも数値化すれば入力可

2013/9/25

5

SOINNは多様な利用が可能

• アルゴリズムなので、処理言語を問わない。

– C, C++, C#, Java, GP-GPU, Matlab, etc..

• ハードウエアも問わない。

– スマホ、パソコン、スパコン、ロボット、家電、車、etc…

• ネットとの相性抜群

– 予報・防災、医療、セキュリティ、マーケティング etc…

SOINN の基本性能

1. IGMM との比較

– IGMM : Infinite Gaussian Mixture Model

2. 国際コンペ “M3-Competition”

データを用いた他手法との性能比較

– 3003 個の時系列データを用いた予測性能比較

2013/9/25

6

Estimation of Probability Density Distribution

SOINN vs

IGMMInfinite Gaussian Mixture Model

SOINN vs Infinite Gaussian mixture model (IGMM)

IGMM

SOINNInput

2013/9/25

7

SOINN vs Infinite Gaussian mixture model (IGMM)計算開始直後

Final state

2013/9/25

8

M3-Competition

Forecasting Time Series Data

SOINNvs

Others

M3-Competition : Forecasting Time Series Data

2013/9/25

9

M3-competitionデータを用いた他手法との性能比較（１）縦軸は予測誤差

year quart month other

0

0.05

0.1

0.15

0.2

0.25

LOESS+2SOIAM

ARARMA

AUTO-ANN

B-J auto

AutoBox1

AutoBox2

AutoBox3

NAIVE2

ROBUST-Trend

SINGLE

HOLT

DAMPEN

Category

MA

PE

SOINN

現在、予測精度において世界一

year quart month other

0

0.05

0.1

0.15

0.2

0.25

LOESS+2SOIAM

WINTER

COMB S-H-D

Flors-Pearc1

Flors-Pearc2

PP-Autocast

ForecastPro

SMARTFCS

THETAsm

THETA

RBF

ForcX

Category

MA

PE

SOINN

M3-competitionデータを用いた他手法との性能比較（２）縦軸は予測誤差

現在、予測精度において世界一

2013/9/25

10

Mathematical Background

of SOINN

19

SOINN の数理

目標：

1. ノイズを含む任意の確率分布に対するSOINN の近似誤差を、数学的に推定する。

2. 十分な時間経過後に、SOINN が上記の分

布を誤差０で近似可能なことを、数学的に証明する。

現状：

上記証明を2次元空間において構築中。

詳細は、次ページ以降を参照。20

2013/9/25

11

Error Estimation

Density estimation by SOINN, Mathematical Proof. （途中）

2013/9/25

12

Err

or

Number of SOINN Neurons

予測誤差の理論的最大値

数値実験結果

ノイズを含む任意の高次元分布を動的に捉えられるなら…

ベイズ統計学の肥沃な世界と、

実世界、電脳世界（ビッグデータ）とを

直結できる！

しかもパソコンで高速に！

2013/9/25

13

Bayes Theorem

目標：任意の事前確率分布の推定

25

マルコフ連鎖モンテカルロ法 (MCMC)

メトロポリス・ヘイスティングス法

メトロポリス法ギブス・

サンプリング

スライスサンプリング

従来法は莫大な演算が必要：理論は可、アルゴリズム（事実上）は不可SOINN で一気に解決！

26

2013/9/25

14

SOINN + インターネット

• その場で、直ちに賢くなる

–高速に、どんどん賢くなる。

• SOINNに、ネット上のデータ・情報から自動的に学習させる。

–ネットの情報は極めてノイジー

• SOINNのノイズ耐性を活用

例）

Copyright (C) 2013 Hasegawa Research Laboratory LLC, All rights reserved

Mate Tea Cup …??

28

2013/9/25

15

ネットからの学習・認識デモ

Transfer Learning (転移学習)

• 対象について学習するのではなく、基本的な概念（「属性」と呼ぶ）を学習

• 属性の組み合わせで新規物体も認識

箱

ダイヤルと窓がある箱型のもの＝電子レンジ

ボール 転移

窓 ダイヤル

電子レンジ

学習画像

人間が定義 30

2013/9/25

16

ネット画像の活用

Tomato Broccoli

Banana Cinnamon

31

異なる条件で２つのシステムを構成

• 農場ロボット ＆ オフィスロボット

人工物の画像を学習

Learn from: - Fruits and Vegetables

Training object classes: - Tomato, cinnamon, and broccoli

Testing object classes: - cucumber, lemon and watermelon

Attributes: - stick, sphere

Learn from: - Human objects

Training object classes: - soda-can, computer-keyboard,

shipping boxTesting object classes:

- Bottle, Tennis-ball, MicrowaveAttributes:

- cylinder, buttons, cubic

野菜や果物の画像を学習

2013/9/25

17

オフィスロボット ⇒ 農場ロボット「ロボットが、ロボットに教える」

Step Learnt Attributes Avg. Acc. (%)

1 sphere, stick 38.89

2 sphere, stick + red, green, brown,

yellow

56.51

3 sphere, stick, red, green, brown,

yellow +cylinder

70.11

人工物の知識を転移

人工物学習ロボット 野菜学習ロボット

Learn three attributes• ‘cylinder’, • ‘has buttons’ • and ‘cubic’

33

34

2013/9/25

18

Pressure

Sound

Image

Depth

Weight

Mate tea cup

SOINN robot also learn

Weight of attributes.

Wooden-attr

ImageDepthSoundPressureWeight

e.g.,

Attribute of “Wooden” is mostly understood

by Sound

35

HIRO マルチモーダル転移学習

• ヒューマノイドロボットの身体（センサ）を介した、オンライン・マルチモーダル転移学習

–グラス、紙を教える。

–未学習の紙コップを、握りつぶさずに持てることを確認。

–子供が遊びを通じて学ぶように、ロボットにも学ばせる。

–学習したデータは、ネットを通じて共有させる。

2013/9/25

19

SOINN + Robots

属性知識

インターネット

膨大な情報

獲得した属性知識を未知対象に適用し認識

物理的経験人の命令

「箱＋窓＋ダイヤル＋チン♪」⇒電子レンジ

オンラインで

超高速に学習

他のロボットの学習結果

学習データ準備不要

楽チン！

37

1. 自己転移

2. 他機への転移

近未来：コンピュータやロボットが互いに教えあう

Hi, I will tell you how to

make British tea.

Transfer

38