このページでは,平成25年度~平成27年度科学研究費助成事業(基盤研究(C),課題番号:25380995,研究代表者:吉田弘司)の研究成果を紹介しています。
本サイトではまだ,時間的制約のため,本研究で開発したプログラムのすべてを掲載できていません。公開されていないプログラムを入手されたい場合は,直接吉田までご連絡ください。
近年のコンピュータやゲーム機には,NUI(natural user interface)と呼ばれる新しいセンサ技術が取り込まれるようになってきました。本研究では,このNUIを応用することで,障害児者の認知機能を評価し,その成長・発達をとらえるゲーム的な課題を開発しました。タッチセンサを用いた課題では,(a) モグラたたきゲーム,(b) 電子版トレイルメイキングテスト,(c) 手指の協調運動課題,(d) 音声聞き取り課題を作成しました。また,非接触型センサの応用として,(e) 視覚運動協応を必要する風船割りゲーム,(f) 表情フィードバックを活用した笑顔メーター,(g) 視線センサを利用した視線行動記録やコミュニケーション支援ツールを開発しました。
Recently, a new sensor technology called NUI (natural user interface) came to be used in computers and game machines. In this study, game-like tasks applying NUIs were developed so that we can evaluate the cognitive function and visualize the growth of the people with disabilities. Using touch sensors, (a) a whac-a-mole game, (b) an electronic version of trail making test, (c) a finger-coordination task, and (d) a voice listening task were developed. In addition, applying the non-contact NUIs, I developed (e) a balloon breaking game requiring visuomotor coordination, (f) a smile meter which utilizes the feedback of facial emotion, and (g) tools recording gaze behavior and supporting communication.
キーワード:プログラム開発,認知機能の評価と可視化,発達障害,知的障害,ヒューマンセンシング
Key words: development of computer programs, evaluation and visualization of cognitive functions, developmental disorder, intellectual disability, human sensing
認知心理学に代表されるような基礎実験系の心理学では,この半世紀にわたるコンピュータの発展とともに,人の脳機能を調べるためのさまざまな実験課題や研究技法が開発され,多くの知見を得てきました。しかしながら,そのような技術や知見が,臨床現場や社会の場においてどのように活かされているかという点から見れば,認知心理学の社会貢献は未だ不十分であるといわざるを得ません。
その一方で,家庭用ゲーム機における体感型センサの利用や,iPadのようなタブレット型端末の普及に見られるように,近年の情報機器にはNUI(natural user interface,自然型ユーザ・インタフェース)と呼ばれる新しいセンサ技術が取り込まれるようになってきました。従来の情報機器では,マウスに代表されるようなGUI(graphical user interface)と呼ばれるポインティングデバイスを利用して,画面上のアイコンやボタンなどを間接的に操作することで,インタラクティブに情報機器を扱ってきましたが,それに対して,NUIではタッチセンサに代表されるように,身体の一部を直接的にインタフェースとして利用するのが特徴です。このようなNUIを応用することで,現在の情報機器は,知的障害を含むさまざまな障害児者にも飛躍的に利用しやすくなりました。実際,タッチパネルを用いれば,1歳代の幼児でもYouTubeで好きなビデオを自ら次々と選んで楽しむことさえ可能なのです。
さらに,この新たなインタフェースは,ゲームとの相性がよいという特徴をもちます。そこで,認知機能を測定・評価できるような実験課題をゲームにすれば,障害をもった方たちが楽しみながら,その認知機能を評価したり,複数回実施することで訓練にもなるようなプログラムを開発することができるのではないかと考えられます。
本研究では,これまでの認知心理学における知見と新しいインタフェースであるNUIを活用して,障害児者の認知機能を評価するとともにその成長・発達を可視化できるようなプログラムを開発することを目的としました。課題プログラムは,知能検査のような課題に比べればゲーム的な要素に富むものにするとともに,障害の程度にかかわらず達成が可能なレベル可変型のものにし,対象者の自己効力感を高められるよう工夫しました。また,開発においては,障害児者の認知的問題に対して,注意の制御やワーキングメモリの利用,感覚運動協応など,認知心理学的な視点を積極的に導入・活用しました。
これらの点を踏まえて,本研究は,学術的価値よりもむしろ現場における貢献を目的としたアクションリサーチとし,研究で開発したプログラムを障害福祉の現場において実践活用することで,対象者の理解促進に貢献することを目的に実施しました。
本研究は,認知心理学をいかに社会福祉の現場に役立てるかという視点に立ったアクションリサーチとして実施することから,以下に示すようなPDCAサイクルによる研究進行を行いました。
本研究で作成したプログラムは,大きく2種類にわかれます。
ひとつは,Microsoft Windows 10(あるいはWindows 8)をOSとするタブレットPCで動作するタッチセンサを活用した課題プログラムです。これらの課題では,障害児者がモグラたたきのような単純なゲームを楽しんでいるとき,プログラムが対象者の反応データを詳細に記録します。それを分析することで,我々は対象者の認知機能を評価することができます。
もうひとつは,非接触型センサを用いたプログラムです。タブレットPCほど普及はしていませんが,最近ではゲーム用の非接触型NUIセンサが市販され,人の身体の動きをリアルタイムにデータ化することができるようになってきました。たとえば,Microsoft社のKinectセンサは,市場価格2万円あまりのゲーム用でありながら,離れた場所から人の身体の各関節の位置を3次元座標として得ることができます。また,Kinectでは顔の認識も可能であり,表情を使ったゲームなども作ることができます。発達障害児の中には,視覚によって得られた他者の身体像と自己の対応づけに困難をもっていたり,協調運動障害をもっていたり,表情に乏しいなどのケースが少なからずいることから,本研究においては,このようなセンサを応用して,身体を動かしたり表情を使って遊ぶゲームを開発することを試みました。
下のビデオ1に,Kinectセンサによって人の行動をとらえるプログラムの画面動画を例として示します。これは,センサの前にいる人物をとらえて,その位置,顔の向いている角度,こちらに注意を払っているかどうか,笑顔かどうか,口の動きなどをリアルタイムにとらえてデータとして記録するシステムです。非接触型NUIセンサの可能性の一端を感じていただけるのではないでしょうか。
ビデオ1.NUIセンサ(Kinect)を使ったリアルタイムな人の行動分析の例
目の前にあるものに手でさわるという行為は,人においては反応の基本です。したがって,タッチセンサを応用したスマートフォンやタブレットのアプリは直観的に操作しやすく,習熟が必要とされる複雑な操作を要求しない認知機能評価課題を作ることができます。そこで本研究では,まず,タッチセンサを応用して,障害をもつ子どもや成人の認知機能を評価できる課題プログラムを開発しました。
本研究の研究フィールドのひとつである重度知的障害者の入所・通所施設において,利用者の方たちの認知機能を評価するためにどのようなゲーム的課題がほしいかを自由記述で回答を求めたところ,モグラたたきゲームがほしいという回答が特に多く寄せられました。
PCであってもタブレットであっても,インターネット上にはすでに多くのモグラたたきゲームが公開されていますが,そのほとんどはハイスコアが残る程度で,その結果を使って詳細に認知機能を評価するには機能が不足しています。また,難易度の調整等の機能ももたないものがほとんどです。
そこで,本研究で開発したモグラたたきゲーム(図1)は,対象者に合わせた高い設定自由度をもち,ゲーム中に出現するすべてのターゲットおよびディストラクタ(非ターゲット)に対する対象者のタッチ反応のミリ秒単位の反応時間やタッチ座標を,モグラの座標位置も含めてすべて記録することで,精密な分析を可能にするものにしました。
図1.モグラたたきゲームの画面例
このモグラたたきゲームを用いて,広汎性発達障害をもつ子ども7名(平均年齢6.1歳)と定型発達の子ども20名(平均年齢5.5歳)のパフォーマンスを比較したところ,ターゲットに対するヒット率と反応時間において,有意な差が認められました(吉田・白井・金丸,2014)。
また,モグラたたきゲームの開発を希望した施設においては,研究協力の同意が得られた重度知的障害者(平均年齢45.3歳,精神年齢3歳程度)を対象に定期的にゲームを実施して,その成績の推移を図2のようなフィードバックシートでフィードバックしました。さらに,平均7日の間隔で3回以上実施した14名のデータを調べたところ,注意制御を要するディストラクタありの条件において,ヒット率の有意な上昇が認められました(図3)。このことから,平均年齢45歳あまりという重度知的障害をもつ方たちにおいても,このようなゲームを繰り返すことで認知機能の向上が期待されることが示されました(吉田・上原,2014)。
図2.モグラたたきフィードバックシート
図3.継続実施によるヒット率の変化
トレイルメイキングテスト(TMT)とは,紙上に描かれている1~25の数字(Part A)や数字とアルファベット(あるいはかな,Part B)を順に鉛筆でなぞっていくもので,人の注意機能や視覚探索機能を評価することができる神経心理学検査のひとつです。
本研究では,ゲームとして楽しむことができる電子版TMTを作成しました(図4)。課題を開始すると,画面には25個の円が示され,“1”が表示されているもの以外は空欄となっていますが,1をタッチすると同時に他の円にも数字が(Part Bではかなも)表示されるので,対象者は,ルールにしたがってできるだけ早く順番に円をタッチしていきます。終了すると,全体の遂行時間がミリ秒単位の精度でフィードバックされ,過去の成績に対する順位が表示されるので,ゲームとして楽しめるようになっています。
図4.電子版トレイルメイキングテスト(Part A)の画面例
このTMTは電子版であるため,毎回ランダムに異なるパターンを提示することも可能です。石田・吉田(2014)は,Part AのTMTを用いて,大学生を対象に同一パターンを10回繰り返す際の遂行時間の変化と,毎回異なるパターンを繰り返す際の遂行時間の変化を調べました。その結果,同一パターンを繰り返す場合だけでなく,異なるパターンを繰り返しても遂行時間の短縮が生じることがわかりました(図5)。
図5.繰り返しによる遂行時間の変化
このことは,TMTを繰り返し実行することが,単に数字の配列パターンの記憶を形成するだけでなく,何らかの認知的技能の向上をもたらすことを示唆しています。この電子版TMTはゲームとして楽しく遊べることから,注意機能に問題をもつ児童が含まれる発達障害児の放課後教室で開かれるゲームコーナーなどにおいて,継続的に実施しているところです。
発達障害児の中には,ボール投げやキックができなかったり縄跳びができないというように,運動の苦手な子どもがいることが知られています。さらに,小さな字が書けなかったり筆圧の調整ができないなど,手指運動に問題がみられる子どももいます。そこで,手指運動の発達をとらえられないかと,タブレットPCの画面を指先でタップする競争ゲーム課題(50タップ競争)を作成しました(図6)。
図6.50タップ競争の画面
このゲームでは,“よーい,ドン!”の掛け声の後,画面を指でタップすることで犬のキャラクタが走るようになっています。50回のタップによりゴールしますが,複数の指でタップする場合は,先の指が画面を離れた後にタップしないと有効なタップとカウントされないようにプログラムされています。これにより,2本の指(人差し指と中指)で交互にタップするには,2指を協調的に動かす必要があります。
このゲームを1本指で行う場合と2本指で行う場合の2条件について,大学生20名および保育園の年少児17名,年長児21名に実施したところ,大学生では1本指でも2本指でもゴールにかかる時間は有意に変わらず,タップ間間隔時間はむしろ2本指の方が有意に短かったのに対し,幼児はどちらの群も2本指条件ではゴールするまでにかかる時間が大きく遅延し,タップ間間隔時間も有意に長いことがわかりました。これより,幼児においては,2指の協調運動が未発達であることが示唆されました。
発達障害児者の支援現場で,彼らが言葉による指示の聞き取りに問題をもつことはよく知られるところです。そこで,PC版の音声聞き取り検査を開発し,健常成人(大学生)における自閉症スペクトラム傾向や難聴傾向に関する自己評価との関連を検討しました。
課題は,3文字からなる有意味語と無意味語を,ノイズなし,ホワイトノイズ,環境ノイズ(日曜昼時のショッピングセンターのフードコートで採取した騒音)の3条件の下で聞き取り,タブレット画面で答える課題でした(図7)。
図7.音声聞き取り課題の画面
大学生31名の結果を分析したところ,有意味語はノイズの影響を受けませんでしたが,無意味語はホワイトノイズにも環境ノイズにも大きく影響を受けました(図8)。そこで,子音と母音に分けて正答率を求めたところ,ホワイトノイズは子音のみに影響していましたが,環境ノイズは母音の聞き取りも阻害していたことがわかりました。また,参加者の自閉症スペクトラム傾向(AQ)との関連を調べたところ,母音正答率がAQの総合得点(r = -.379)や下位尺度の“細部への注意”(r = -.409)と有意な相関をもつことがわかりました(吉田,2015a)。この結果から,自閉症傾向の高い人は,環境ノイズに含まれる人の声や物音などの細部に注意がひきつけられることにより,母音も含めた音声全体を聞き逃すのではないかと考えられました。
図8.音声聞き取り課題の正答率
NUIセンサの中には,離れたところから人の身体や顔の動きをとらえることができるものがあります。これらを応用すれば,障害児者の認知機能評価を身体運動や顔表情のコントロールという面からとらえられる可能性があります。発達障害児者の中には,協調運動が苦手であったり,表情がぎこちなかったりする者がいることが知られていますので,それらを評価したり,訓練することも期待されます。そこで,本研究では,これらの非接触センサを用いた課題の開発も試みました。しかしながら,3年間という研究期間は,新しい技術開発を行うのに十分とは言えず,課題プログラムはまだ試行段階で,現在も開発と並行してその有効性の評価を継続しているところです。
Microsoft社のKinectセンサは,同社のXboxというゲーム機用に開発されたNUIセンサであり,人の身体の動きをとらえることができます。同センサにはWindows PCへの接続キットも市販されているため,それを使えば,身体を動かすさまざまなゲーム課題を作成することができます。
近年,自閉症スペクトラム障害児の他者理解や協調運動障害の背景にミラーニューロンの機能不全がある可能性が示唆されていることから,本研究では,画面に写った自己像を使って身体を動かす課題(風船割りゲーム)を作成しました(図9,ビデオ2に動画を示します)。ゲームでは,鏡のような映像に写る自分の身体を動かして風船を割るだけでなく,鏡映関係を反転した条件や,風船にじゃんけんの手がでるので,それに勝つ手あるいは負ける手を出さなければ割れないようにした条件などを設け,現在,広島県内の複数の発達障害児支援施設と協働して開発と評価を行っているところです。
図9.風船割りゲームの画面(静止画)
ビデオ2.風船割りゲームの動画例
Microsoft Kinectは,非接触に人の顔パーツの座標変化もとらえることができます。特に2014年に市販されたv2センサ(第2版)では,機械学習データベースを用いた笑顔判定機能をもつことから,v1センサに比べて笑顔の検出精度が大きく向上しています。ポジティブな感情の表出は,日常における対人コミュニケーションを円滑に行う上で重要であることから,本研究では,人の笑顔度をフィードバックする“笑顔メーター”を開発しました。また,我々人間は,他者の笑顔に対して無意識に笑顔で応えてしまう情動伝染(emotional contagion)を起こすことから,笑顔をフィードバックするのに単に数値的にフィードバックするのでなく,アニメキャラクタが笑顔でフィードバックする仕組みを作りました(図10,ビデオ3に動画を示します)。
図10.キャラクタを使った笑顔メーター
ビデオ3.笑顔メーターの動作を示す動画
開発途上でv1センサを使って行った基礎実験では,笑顔度をセンサでとらえてフィードバックするのに,図11に示したメーターでフィードバックする条件とキャラクタでフィードバックする条件を用いて,大学生参加者の笑顔表出行動を調べました。その結果,フィードバック信号と笑顔度の相関でとらえたフィードバック効果は,キャラクタ条件で大きいことがわかりました(図12;吉田,2015b)。
図11.実験で使用した画像
図12.フィードバックの効果(相関値)
Kinectのような身体や顔をとらえるセンサのほかに,近年,急速に進歩しているセンサ技術として,非接触に人の視線をとらえる技術があります。従来は,人の視線行動をとらえる装置のほとんどは研究用途のものであり,価格も数百万円するものが多い状況でした。現在でも研究用機材の多くは百万円以上するものが多いのですが,その一方で,1~2万円程度のゲーム用視線入力センサも市場にあらわれてきました。たとえば,デンマークのThe Eye Tribe社が2014年に発表したセンサは$99であり(現時点ではPro版が$199),それに追随してスウェーデンのTobii社は$97でゲーム開発者用にセンサ(EyeX,現時点では€119)の提供を開始しました。
これらのゲーム用センサと研究用視線記録装置(Tobii社 X60)の精度を比較したところ,ゲーム用であっても研究用機材とほとんど変わらない精度をもつことがわかったので,障害をもつ方たちのためにどのように視線センサが利用可能かについての研究も行いました(ビデオ4にゲーム用センサでとらえた視線の動きの例を動画で示します)。
ビデオ4.ゲーム用センサでとらえた人の視線の動き
図13は,就学前の肢体不自由児に対して,このようなゲーム用視線センサを使って絵本の読み聞かせを行っているときの視線行動をとらえたものです。このような障害をもった幼児では,言葉発達も遅れていることが多く,四肢の障害のため積み木も持てないので,知能検査や発達検査が使えません。そのため,施設では彼らがどのような心理発達を遂げているかの十分な資料をもたずに養育・支援活動を行っているところが大きい状況です。しかし,絵本を読んでいるときの視線行動を調べると,子どもが絵本の内容に対してどの程度理解できているかの手がかりを得ることができます。また,それを保護者にフィードバックすることで,保護者の養育観にも影響を与えることが可能です。
図13.絵本読み聞かせ時の視線行動
安価な視線センサであれば,施設や個人でも比較的容易に導入可能であることから,本研究では,この他にもさまざまな視線活用の試みをフィールドで実践してきました。たとえば,図14は,筆者が本研究で用いているヒューマンセンシングに関する知見や技術をもとに専門家指導を行い,広島市内の企業ユニコーン社で製作した“miyasuku EyeCon”という視線による意思表示・コンピュータ操作プログラムです。“miyasuku”(みやすく)とは,広島弁で“容易・簡単”の意であり,同社は,私の研究室や複数の障害児者支援施設と共同で障害者支援活動を行っています。本プログラムは,2015年に発表・発売し,日本リハビリテーション工学協会の福祉機器コンテスト2015において優秀賞を受賞しました。miyasuku EyeConは,それまでの同等製品の5分の1以下の経費で視線入力の利用を可能にすることから,ALS(筋萎縮性側索硬化症)や筋ジストロフィー,SMA(脊髄性筋萎縮症),脳性麻痺などの疾患・障害をもつ患者の拡大・代替コミュニケーションツールとして広く活用され始めています(Yoshida, Ogawa, Kobayashi, & Nakashima, 2016;ビデオ5に視線操作中の動画を示します。プログラム起動後はすべて視線で操作しています)。
図14.視線による意思表示プログラム
ビデオ5.miyasuku EyeConの使用動画
このように,視線センサの活用には多くの可能性が感じられますが,正確な視線検出のためには事前に対象者にあわせてキャリブレーションという操作を行う必要があります。しかしながら,障害児の中には,視力が低い子どもや言語教示が困難である子どもも多く,センサに標準で添付されているキャリブレーションプログラムではうまく適用できないこともしばしばです。したがって,今後,そのような子どもに合わせたキャリブレーション・プログラムの開発が必要と考えています。
最後に,本研究で行ったようなNUIに代表されるヒューマンセンシング技術については,さまざまな視点から障害児者への応用を考えることができるでしょう。
本研究では,当初,障害児者の認知機能の“測定・評価”のためにこれらの技術の応用を考えました。本研究で開発したプログラムで評価できる障害児者の認知機能はごく限られた側面でしかありませんが,インタフェースを工夫することで,既存の知能検査や発達検査が使えない障害児者に対してもその認知機能に光をあてることができた点は重要と考えます。どのような認知機能も,数値的に測定することで科学的評価が可能になるし,子どもの発達・成長も見える形にする(可視化する)ことができます。したがって,“測定”と“評価”の視点は,障害児者を客観的に理解する上で重要な視点です。もちろん,発達は子どもだけにあてはまるものではありません。本研究においては,平均年齢45歳あまりの重度知的障害をもつ成人においても,モグラたたきゲームにおいて認知的技能の向上がみられました。3歳程度という本研究の参加者の精神年齢に関する記録のほとんどは十数年以上前のデータでした。すべての人間がそうであるように,成人した知的障害者もまた,さまざまな刺激を受けることによって適応・成長するのです。現在,社会の高齢化に伴い脳トレの必要性が重視されるようになっていますが,このような刺激は知的障害者にも効果があると考えるべきでしょう。
2つ目の視点は“訓練”,“リハビリ”の視点です。本研究の課題の多くはゲーム的な課題として開発しましたが,これも重要な意味をもつと考えています。モグラたたきゲームを使って発達障害児と定型発達児のパフォーマンスを比較したデータは,“たった1分間”のゲームによって得られたデータです。認知心理学や神経心理学の分野において,人の注意機能などを測る実験・検査課題は多くありますが,1分間で測定が終了する課題はこれまでにないのではないでしょうか。その一方で,発達障害児の支援施設や保育園の協力を得て研究を行ったとき,子どもたちはゲーム後に必ずもう一度やりたいとせがみ,決して1回の計測で終わらせてはくれませんでした。このように,楽しい認知評価課題を繰り返すことは,“訓練”や“リハビリ”の視点からは極めて重要といえるのではないでしょうか。
ヒューマンセンシング技術を応用する3つ目の重要な視点は“コミュニケーション”の視点です。フィールドにおける本研究の活動では,成果を広く知ってもらうために,miyasukuという障害者支援ネットワークとも協働しながら各地の福祉機器展や障害児者・高齢者対象のイベント,施設等の研修会での実演・実践を行ってきました。その中で,障害をもった方が視線による意思表示プログラムを試用する際,その方が我々の予想に反してコンピュータを上手に操作したり,視線による文字入力で予想に反していろいろな冗談を言って周囲を笑わせるような場面にしばしば遭遇しました。人というものは,コミュニケーションが成立して初めて相手の内面を知る・感じることができます。障害児者の場合は,障害によってコミュニケーション・チャンネルの多くが塞がれており,それが原因で,むしろ我々健常者側が対象者の重要な内面について見えなくなっていることが多いことに気づかされました。ヒューマンセンシング技術が,このようなコミュニケーションのチャンネルを確保するためにどのように活用できるかについて,今後,我々はさらに研究を進めるべきだと考えています。