このページは，平成28年度～平成30年度科学研究費助成事業（基盤研究(C)，課題番号：16K04439，研究代表者：吉田弘司）の研究成果を紹介するものです。この研究は，私のゼミの学生たちとの共同研究でもあります（そのほとんどはゼミの卒論研究です）。ここに記して感謝します。

　本研究で開発したプログラムのうち，まだ本サイトに未掲載のプログラムを入手されたい場合は，直接吉田までご連絡ください。

概要（Abstract）

　本研究では，人の身体や視線をとらえるセンサを活用して，障害をもった子どもの認知機能を評価したり，発達を支援する試みを行いました。研究では，まず，(1) 身体の動きをとらえるセンサを活用した課題を開発して発達障害児の行動評価や身体運動制御の評価・訓練を行いました。また，(2) 視線をとらえるセンサを活用した課題を用いて重度障害児の認知機能を評価したり，文字や言葉学習を支援する試みも行いました。さらに，(3) 顔表情などのセンシングと次世代映像表現技術を応用することによって，コミュニケーション機能の評価等に使えるソフトウェアロボットの開発を行いました。

　In this study, we tried to evaluate the cognitive function of children with disabilities and to support their development, using sensors that capture human body and gaze. In the research, (1) First, we developed the tasks using sensors to detect the movement of the body to evaluate behavior and train physical movement control of children with developmental disorders. In addition, (2) using tasks which utilize sensors to capture eye gaze, we evaluated cognitive function of severely disabled children and tried to support character and word learning. (3) We developed a software robot that can be used for evaluation of communication functions, by applying facial expression sensing and next-generation visual expression technology.

キーワード：発達障害，重度心身障害，ヒューマンセンシング，認知機能評価，発達支援
Key words: developmental disorders, severe mentally and physically handicapped children, human sensing, cognitive evaluation, developmental support

本研究の学術的意義・社会的意義

　認知心理学などの実験系基礎心理学においては，情報技術の発展とともに，人の脳機能（認知機能）を調べるためのさまざまな実験課題や研究技法が開発され，多くの知見を得てきました。一方，近年の情報機器では，非接触に身体や視線などを測定するセンサ技術を利用することも可能になってきています。この技術は，障害児者にとっても有用な技術です。そこで，本研究では，実験系心理学がもつ心理測定のスキルを，新しいヒューマンセンシング技術と組み合わせることで，障害児の認知機能を評価・訓練したり，発達を支援する試みを行いました。この点において，本研究は現代における実験心理学の社会貢献のひとつのモデルを提案するものと考えています。

１．研究開始当初の背景

　認知心理学に代表されるような実験系基礎心理学においては，この半世紀における情報技術（コンピュータ技術）の発展とともに，人の脳機能（認知機能）を調べるためのさまざまな実験課題や研究技法が開発され，多くの知見を得てきました。しかしながら，そのような技術や知見が，医療や福祉，教育などの社会の現場においてどのように活かされているかという点から見れば，認知心理学の社会貢献はまだ十分とはいえないでしょう。

　その一方，現在市場に出回っているコンピュータやタブレット端末，スマートフォン，ゲーム機などでは，NUI（natural user interface）と呼ばれる新しいセンサ技術が取り込まれ，これまでにないアプリケーションが開発可能になってきています。NUIの代表格はスマートフォンに見られるタッチセンサでしょう。NUIでは，このタッチセンサに代表されるように，身体の一部（たとえば指先）を直接的にインタフェースとして利用します。そのため，知的障害を併せもつような障害児であっても，タブレット端末等は飛躍的に利用しやすくなっています。また，この１～２年の間に非接触型のNUI技術が大きく進歩しつつあり，CCDカメラや赤外線センサを用いて人の身体の動きや表情の変化，視線の動きをセンシングすることも可能になってきました。このヒューマンセンシングの技術を，仮想現実（virtual reality, VR）や拡張現実（augmented reality, AR）などの表現技術と組み合わせたゲームは，おそらく今後数年の間に，人々の娯楽のあり方を大きく変えるかもしれません。さらに考えれば，この技術は，使い方を工夫すれば，さまざまな障害を抱えた子どもたちにも有用なツールとして活用できる可能性も秘めています。

　特に近年では，およそ５万円以下と安価でありながら高性能なヒューマンセンサが手に入るようになってきました。これらのセンサと実験心理学がもつ心理測定のスキルを応用して，障害児が楽しんで遊ぶ過程を通してその認知機能を評価したり，成長・発達を支援できるようなゲーム様の課題を作成し，それをWeb上で無償公開すれば，限られたフィールドや障害種別にとどまらない多様な障害児者（知的障害児，重度心身障害児，発達障害児，学習障害児，高次脳機能障害者，認知症高齢者など）と，その保護者や関係する施設職員など多くの人々に役立つものになることが期待されます。

２．研究の目的

　筆者はこれまで，高齢者のワーキングメモリのスパンを測定することで軽度認知症の早期発見に寄与するプログラム（Maki, Yoshida & Yamaguchi, 2010）のように，脳の記憶や注意機能を測定する課題や，表情に対する感受性を測定することで，一般成人だけでなく高齢者や認知症患者，幼児や発達障害児，高次脳機能障害者等の感情コミュニケーション能力を評価するプログラム（橋本・宗澤・澤田・近藤・宮谷・吉田・丸石，2018；熊田・牧・山口・吉田，2011；熊田・吉田・橋本・澤田・丸石・宮谷，2011；Maki, Yoshida, Yamaguchi & Yamaguchi, 2013；柴崎・吉田，2016；吉田・熊田，2012）など，認知心理学を応用した医療・福祉の現場で使える実験課題を作成してきました。

　本研究では，これまでに開発してきた認知機能評価プログラムを，障害児者を支援する医療・福祉の現場で継続的に実践しながら一層の普及を図るとともに，非接触型のヒューマンセンシング技術を応用した新たな課題を開発することで，障害をもつ子どもたちの認知機能を評価するとともに，彼らの発達・成長を支援するためのアクションリサーチ（実践研究）を展開する試みを行いました。また，本研究で開発する課題はゲーム性をもった難度可変型の課題とすることで，障害児が楽しみながら，自己効力感をもつことができるように工夫しました。開発にあたっては，子どもたちが自分の身体や視線などを使って課題を直接操作できるNUI を積極的に活用し，重度な知的障害や身体障害があっても利用可能な課題にも挑戦しました。

３．研究の方法

　本研究では，障害児福祉の現場においてヒューマンセンシング技術を応用して子どもの認知機能を評価したり，その成長・発達を支援するために，次にあげる３つの技術的視点から，課題プログラムの開発と，それを用いた実践および評価を行いました。

(1) 身体センシング技術を応用した障害児の認知評価と発達支援

　Microsoft社のKinectセンサなどを使えば，２万円台という安価なコストで，人の身体や顔をセンサでとらえることが可能になります。そこで，Kinectセンサ（Kinect v2）を中心に，これを活用することでどのような障害児の認知評価や発達支援が障害児支援の現場において可能であるかについて実践研究を行いました。

(2) 視線センシング技術を応用した障害児の認知評価と発達支援

　Tobii社のEyetracker 4Cのような視線センサを使えば，これも約２万円で人の視線をとらえることが可能になります。この技術を使えば，重度の障害のために発話がなかったり，重複障害によって手指の運動が制限され，積み木で遊んだり絵本をめくったりできない子どもについても，遊びや教育を提供したり，その認知の様子を評価することが可能になります。そこで，本研究では，視線センサを使った障害児支援現場での実践についても研究を行いました。

(3) ヒューマンセンシングと次世代映像表現技術を応用した新たな実践のための技術開発

　自閉性の発達障害児などにおいて，表情や視線を使ったコミュニケーションがうまくできないケースがあることはよく知られています。視線や表情をとらえるヒューマンセンシング技術と，仮想現実や拡張現実などの次世代映像表現技術を組み合わせれば，人の視線や表情認知能力を実際のコミュニケーション場面に類した状況下で調べて評価したり，訓練することも可能になると考えられます。そこで，本研究においては，視線や表情を使ったコミュニケーションに関する障害児の評価や発達支援に応用可能な技術の開発も行いました。

４．研究成果

(1) 身体センシング技術を応用した障害児の認知評価と発達支援

①身体および顔の非接触センシング技術を応用した子どもの行動の自動観察と分析評価

　Kinectセンサを利用すれば，非接触に人の頭部の空間内位置や向きをデータとして記録することが可能になります。この機能を使って，本研究ではKinect Loggerという自動化された行動観察プログラムを作成しました。プログラムは人を検出すると，人ごとに識別IDを与え，頭部の空間座標，頭部の向き，笑顔かどうかの判別結果，口の開閉状態等について30 Hzでサンプリングを行います（ビデオ１）。

ビデオ１．NUIセンサ（Kinect）を使った行動分析例（先の報告で使用したものです）

　下の図１は，放課後教室において４人の発達障害児が先生の説明（３分間，15:12:30～15:15:30）を聞いているときに，先生への注目率を10秒間ごとにセンサでとらえた結果例です。このようにヒューマンセンシング技術を応用することで，日常の療育活動の中で療育スタッフが感覚として得ている子どもの行動に対する評価に対し，数値化されたエビデンスを提供することが可能になります。

図１．Kinect Loggerによってとらえた４人の発達障害児の注目行動評価

②身体センシングと拡張現実を応用した子どもの視覚運動協応動作に関する評価と訓練

　先の研究で，私たちは身体センシングと簡易的な拡張現実を組み合わせたゲームの開発を始めました（ビデオ２）。それは，自分が写った映像の中に現れる風船に手を伸ばすと割ることができる「Kinect風船割り」と称するゲームです。このゲームを用いることで，発達障害児の遊びを通して，視覚と対応させた身体運動制御の様相を評価したり，衝動性を評価できることがわかりました（図２）。この課題は，現在も複数の施設において継続実施中です。

ビデオ２．風船割りゲーム（先の報告で使用したものです）

図２．Kinect風船割りのイメージ図（左）と子どもの身体運動軌跡の例（右）

③身体センシングを用いたボディイメージの評価と訓練

　発達障害児の中に，他者の身体の動きを真似するのが不得意な子どもが多くいることが療育現場で話題になることがよくあります。そこで本研究では，身体センシングによって得られた子どもの身体運動をアニメのキャラクタに与えることで，アニメキャラになって遊ぶゲームも開発し，子どものボディイメージの評価を行っています（ビデオ３）。

ビデオ３．アニメキャラになって遊ぶ（Kinect Avatar）

　体操やダンスの見本を真似るときのように，人は対面した人の動きを模倣する際，鏡映（左右が逆になっている）関係にある方が模倣しやすいことは常識となっていますが，実験を行ってみると，健常成人であれば60度斜めから他者の身体を見る場合は，対面側から観察していても，右手と右手，左手と左手が対応している方が身体を動かしやすいことがわかりました（ビデオ４）。このような特性が，模倣が不得意な発達障害児ではどのように発達しているかを，今後は検討していく予定です。

ビデオ４．ボディイメージ評価のために開発したゲーム

(2) 視線センシング技術を応用した障害児の認知評価と発達支援

①視線センシングを応用した子どもの認知評価

　現在，安価なゲーム用センサでも高い精度で人の視線をとらえることができます。図３は，実際にTobii社のゲーム用センサ（4C，約２万円）でとらえたダウン症児と自閉症児の視線記録です。我々は人が写った写真を見ると，自動的に顔（特に目）に注意が向きますが，ダウン症児には同様の傾向が顕著に認められるのに対し，自閉症児にはそれが認められないことがわかります。認知心理学においてこれは常識的に知られることですが，一般の発達障害児の支援施設において，このような検査が日常的にできるかというとそうではありません。また，ゲーム用センサではデータの記録が利用規約によって禁止されているものもあり，Tobii社のセンサも，三十数万円を支払って特別なライセンスキーを購入して制限を解除した上で研究用の開発キットでプログラムを作成しなければ，この図のような記録は行うことができません（私が記録用に使うセンサはこの制限を解除しています）。そこで，本研究では，視線に反応する絵本や教材を開発することで，四肢の運動機能障害を併せもつ重度の重複障害児であってもその内面を理解したり，内面を表現できるような機会をつくる試みを行いました。


A) 知的障害児


B) 自閉性発達障害児

図３．コミュニケーション場面観察時の視線の違い（上：知的障害，下：自閉性障害）

②視線センシングを応用した重度障害児のための視線絵本の開発

　重い障害をもつ子どもであっても，その療育現場において絵本は必ず使用されています。しかしながら，反応性の低い重症児においては，読み聞かせをしてもどの程度それを理解しているのか，療育者側に不明なことも多くあります。そこで，私たちは絵本型の教材を電子化して，視線に反応するシステム（e-hon）を開発しました（ビデオ５）。これを用いれば，読み聞かせ時に子どもがどこを見ているのかがわかり，視線を向けるとキャラクタが反応することから，子どもの注意をより引きつけやすい効果が考えられます。本研究を通して，絵本教材をつくるための基本システムはできたので，今後は著作権の問題のないオリジナルの絵本教材を開発する予定です。

ビデオ５．視線に反応する絵本「e-hon」

③視線センシングによる重度障害児のための言葉や文字学習の支援

　ゲーム用視線センサを用いれば，視線文字盤のようなコミュニケーションツールは比較的容易に作成することができます（ビデオ６）。このシステムを応用して，重度の障害によって手指の運動ができない重症児が言葉を学習するための教材（ビデオ７）やゲーム（ビデオ８）を作成しました。これらを用いたことにより，本研究の対象児童において語彙の増加や文字学習の促進に大きな効果を認めており，今後も継続評価を行う予定です。

ビデオ６．視線文字盤「あいうえお」

ビデオ７．ことば学習教材「あひるうさぎ」

ビデオ８．文字学習ゲーム「もじもじレース」

(3) ヒューマンセンシングと次世代映像表現技術を応用した新たな実践のための技術開発

①視線と表情を制御可能なソフトウェアロボットの開発とそれを用いた仮想現実空間での実験

　自閉性の発達障害児においては，他者の視線や表情の理解が困難なケースがしばしばみられます。本研究では，最近の３次元コンピュータグラフィックスと仮想現実（VR）による映像表現技術を応用して，VR空間内に提示できるソフトウェアロボットを作成し，今後の研究のための技術開発を行っています。このロボットでは，視線や表情を自由に制御することが可能であり，顔を使ったさまざまな感情コミュニケーションについての実験や評価が可能になります。現時点では，このロボットを用いて，健常成人の視線に対する感受性と性格特性との関連などを調べる基礎研究を行っており，その有効性を検討中です。

ビデオ９．本研究で開発中のソフトウェアロボット

＜引用文献＞

５．主な発表論文等

〔学会発表〕（計10件）

〔その他〕

ホームページ等

http://maruhi.heteml.jp/