インタビューライフロング機械学習技術の研究開発について|長崎大学情報データ科学部

情報データ科学の「いま」がかわる！！プロのコトバ　～INTERVIEW～

最先端テーマに向き合うグローバル研究員

佐々木智丈（ササキトモタケ）さん

【会社名】	富士通株式会社
【所属部署名・役職】	研究本部人工知能研究所自律学習プロジェクト　シニアリサーチャー
【入社年】	2010年
【略歴】	大学の学部は理工学部物理学科に入学したが、応用物理学科に「制御工学」を研究している先生がいたことをきっかけに制御工学に興味を持ち、その先生のもとで卒業研究を行う。卒業研究のテーマは、ハイブリッドシステムのモデル予測制御における安定性保証について。学部卒業後、他大学大学院の情報理工学系研究科に入学し、制御工学の分野で博士課程まで進む。大学院では、量子力学系にフィードバック制御を行ったときの挙動を理論的に解析する研究を行い、2010年3月に博士号を取得した。博士号取得後、約半年間は出身研究室で勤務し、2010年10月に株式会社富士通研究所（当時）に入社。入社後4年半は、制御工学の知識を生かしながら主にエネルギー関係の研究に従事した。 2015年4月、富士通研究所内に人工知能を表看板とする部署が発足。その発足メンバーとなったことをきっかけに、人工知能関係の研究開発に携わる。2017年3月～翌3月までは米マサチューセッツ工科大学（MIT）の研究室に客員研究員として在籍し、同大学とは現在も共同研究を続けている。主な業務経験：・VM配置最適化によるデータセンタ省電力化の研究・サーバ用高効率・大容量電源用デジタル制御器の設計・デジタル制御電源向けモデルベース開発環境の構築・蓄電池を用いたエネルギーマネジメントシステムの研究（JST CREST「分散協調型エネルギー管理システム構築のための理論及び基盤技術の創出と融合展開」に参加）〈人工知能関係〉・強化学習アルゴリズムの研究開発と実問題への応用・神経科学の知見の人工知能への応用・ライフロング機械学習技術の研究開発

インタビュー
ライフロング機械学習技術の研究開発について

現在の仕事について

富士通株式会社の紹介

富士通は幅広い領域の製品、ソリューション、サービスを提供するICT企業です。約12万6千,000人の社員が世界180カ国でお客様をサポートしています。売上収益は3兆5,897億円、研究開発費は1,138億円です。ガートナーの調査では、ITサービスの分野で世界第8位／日本第1位と評価されています。
参考）https://www.fujitsu.com/jp/about/
参考）https://www.fujitsu.com/jp/about/facts/

研究開発の分野では、富士通が強みを持っており、デジタルイノベーションによってビジネスの変革と持続可能な社会を実現するために必要な技術「Key Technologies」として、下記5つの技術領域に力を入れています。
・Computing（スーパーコンピューター、HPC、量子）
・Network（クラウドネイティブ・ネットワーク、フォトニクス、光電融合）
・AI（説明可能なAI、信頼できるAI、ヒューマンセンシング）
・Data & Security（ブロックチェーン、データトラスト、デジタルアイデンティティ）
・Converging Technologies（最先端デジタルテクノロジー×人文・社会科学）
参考）https://www.fujitsu.com/jp/about/research/

このうち人工知能研究所が取り組むのは、社会やビジネスの変革につながる新しい価値を創出する最先端AIの研究開発や、AIが社会実装される際のリスクや障壁を解消して信頼されるAIを提供するための研究開発です。そして、私も所属する「自律学習プロジェクト」は、その名の通り、人工知能研究所の中でも特に「自律的に学習していけるAI」を実現するための研究開発を行っています。

富士通は、上記Key Technologiesに挙げたような幅広い技術領域をカバーすべく大きな研究本部を持っているのですが、会社として研究力を高め、維持するために、博士号保有者の積極的な採用も行っています。既存取得者の採用だけでなく、博士号を持たない社員に対する博士号の取得サポートにも力を入れており、博士号を保有する研究員の割合は研究本部所属者の30％ほどに上ります。これは他社と比べても高い比率だと思います。また、海外に研究員を派遣するなど、グローバルに活躍できる社員の育成にも力を入れています。

富士通株式会社に入社した理由

修士・博士課程の指導教員の先生が富士通研究所（当時）と共同研究を行っており、学生時代からその存在を知っていました。博士号を取得する少し前のタイミングで、指導教員の先生を通じて最初に所属となった部署が採用活動を行っていることを知り、これまで習得してきた知識・スキルが生かせるだろうと思って試験を受け、入社にいたりました。

現在の仕事と役割

ここでは、私が注力している研究テーマの中から「ライフロング機械学習」に関する研究についてご紹介します。

ライフロング機械学習（Lifelong Machine Learning）とは、継続学習（Continual Learning）とも呼ばれる分野で、AIが人や生物のように継続的に学習し、できることが増えていくよう成長させる技術です。画像認識AIを例にすると、画像の中から「人物」を判別することを学習したAIが、さらに「車」や「建物」を判別することを学ぶなどして、様々なことができるようになるイメージです。この技術が実現すれば、新たな機能ごとに個別のAIを開発するのではなく、もとのAIに新たな機能を追加していくことが可能になります。

ライフロング機械学習を実現するための課題は多岐に渡りますが、基本的かつ大きな課題の1つが「分布外汎化（Out-of-Distribution Generalization）」です。ちなみに機械学習の分野では、学習データを使って獲得したルールに基づいて、新規データの認識や分類を実現に応用することを「汎化（Ggeneralization）」と言います。
この分布外汎化についても、画像認識AIを例に挙げてご説明します。

参考／富士通で提供している画像認識ソリューション）
https://www.fujitsu.com/jp/solutions/business-technology/tc/sol/greenages-cs/

例えば監視カメラに写る車の車種を判別する画像認識AIであれば、AIは判別対象となる車が写った画像を学習データとして車種の判別ルールを学習します。ただ、この学習データを集めたカメラと実際にAIを運用するカメラが異なる場合、具体的には、学習データとは異なる角度で撮影された画像が与えられた場合などには、すでに学習した車種であっても正しく判別することができません。つまり、AIは運用時に扱うデータが学習データと同じ確率分布に従うものであれば高い精度で機能するものの、学習データの確率分布から外れたデータ（分布外データ）では精度が大幅に低下するわけです。

一般的な機械学習によるAIは、新規データも学習データと同じ確率分布に従うことを前提として機能するため、どのカメラでも機能するAIを作るためには、カメラの機種、撮影角度、撮影時間（明るさ）などの条件を変えた膨大な学習データが必要となります。しかし、それだけの学習データを用意するにはコストがかかりますし、あらゆる状況を網羅することは現実的に困難でしょう。そこで課題となっているのが学習データの範囲を大きく超えた汎化機能、分布外汎化なのです。

この分布外汎化という課題には、私も所属する自律学習プロジェクトの「Brain-Inspired Generalizationチーム」が中心となって取り組んでいるのですが、本チームは富士通の国内拠点とイギリス拠点の研究メンバーとの共同研究体制となっています。私はシニアリサーチャーというリーダー的立場なので、自分でコーディングなどをする機会はあまりなく、テーマごとに細分化された研究チーム全体に包括的に関わっています。

ライフロング機械学習の研究は、マサチューセッツ工科大学（MIT）など海外の研究者との共同研究でもあり、発表できる成果も増えてきました。海外との共同研究は時差もあり大変ですが、Web会議やセミナー（勉強会）をそれぞれ週1回の頻度で実施するほか、チャットツールを使って随時密にやりとりをしています。

ライフロング機械学習はまだまだ未来の技術かもしれませんが、分布外汎化に関しては学習データのバリエーションが増えるほど分布外のデータを与えたときの精度が高まることなどもわかってきましたし、機械は生物と違って加速度的な成長が可能です。AIによる社会変革・ビジネス変革を目指し、今後も「新しい価値を創出するAI」「自律学習AI」の研究開発に邁進していきます。
この研究についてご興味があれば、以下でも紹介していますのでご覧ください。

参考）MITおよびCenter for Brains, Minds and Machinesとの共同研究に関するページ（論文一覧）
https://cbmm.mit.edu/about/partners/fujitsu-laboratories-ltd

参考）TECH BLOG：富士通研究所の研究員がさまざまなテーマで語る技術ブログ）
https://blog.fltech.dev/entry/2021/12/09/neurips2021-ja

▼ 仕事に必要な知識・スキル

後段にある「情報データ科学部学生にむけて」で述べるような知識・スキルに加え、人と生産的な議論ができること、自分の考えを論文やプレゼンテーションで効果的に伝えられることはとても重要です。日本語だけでなく、それらを英語でできることも必要です。

▼ 仕事に対する考え（想いやこだわり）

良い成果を出すためには広い視野を持ち、かつ長期的な観点から仕事を進めるように心がけることが大切です。これは、私たちが人工知能（例えばAlphaGo）から学ぶべきことの1つだと思っています。

また、現在の仕事では、元々の専門分野や、大学・企業という立場が異なるメンバーが共同研究を行うことで、お互いに新たな気づきが生まれ、単独ではできなかったような新しい研究成果を生み出すことができています。加えて、国内に限らず、MITのような世界トップクラスの研究機関の研究者と協働することで、日常的に大変良い刺激を受けています。このように他者との関係を大切にし、生かしていくというのも、仕事においてとても重要だと考えています。

情報データ科学部生にオススメする学びとは？

情報データ科学部で開講している科目の中では、以下に挙げるようなものが役に立つと思います。

〈数学全般〉
現在の人工知能に関する仕事も、それ以前の仕事も、私の場合は多かれ少なかれほとんどいつも数学の知識を使って仕事を進めてきました。直接使わないにしても、数学を通じて培われる論理的な思考力は必ず役に立つはずです。

〈統計学〉
機械学習（深層学習）の研究では、最後は確率的な要素を含んだ計算機実験によって効果を確認することになります。どのような実験を行えばよいかを考え、また、出てきた結果を正しく解釈するために、統計学を学んでおくことは重要です（自分自身の反省からも来ているアドバイスです）。

〈機械学習、制御工学、最適化、情報理論、信号処理など、数理工学系科目〉
今、人工知能の研究に興味がある人は、機械学習の授業とそれに近接する授業は自発的に受講すると思いますが、それに限らず、数学に基づいて工学的な問題を解く様々な事例に触れておくことは、きっと役に立つと思います。

〈プログラミング〉
言語によらずに共通する基本的な概念・テクニックを身に着けていることが重要だと思います（これも自分自身の反省から来ているアドバイスです）。

〈神経科学、認知科学〉
これらは完全にオプショナルですが、興味がある人は勉強してみると良いと思います。

主なものを挙げてみましたが、勉強や研究を行い、業務経験を積み、長い時間をかけたのちに初めてわかることもたくさんあります。現時点で「自分が今学ぶべきものはこれだ」と狭く絞ってしまわず、勉強できる機会があるものは色々勉強しておくことをお薦めします。私の場合、他学科、他学部、他大学の授業やゼミから学んだこともたくさんあります。

学生へのメッセージ

勉強、研究に集中して取り組める時間はとても貴重なので、ぜひ最大限に生かしてほしいと思います。

（インタビュー日：2022年5月24日）