に投稿

Azure Kinectを使ってみました

Azure Kinectを使って,簡単な遊びを作ってみました。

スケルトン(骨格)の座標取得はKinect v2よりも非常にスムーズです(ノイズレスという意味で)。特に頭部の回転(ピッチ,ヨー,ロール)の計測については,格段にいい!

しかもとてもうれしいことに,アームレストやライティングボードのついたイスに座っていたり,寝っ転がっていてもうまく検出してくれているので,障害児向けのソフトもいろいろ作れそうです。私のターゲットとするところから言えば,もうKinect v2には戻れません… (^^)。

こんなプログラムならいくらでも作れるので,ミラーシステムを楽しく訓練するのに使えそうです。

問題は…コロナ…。

に投稿

バーチャル三密

今学期は大学の授業もほとんどすべてが遠隔で,ゼミはビデオ会議も試したけど,これは(楽しいけど研究には)使えんわ~ということになって,普段はメールやLINEで情報交換しながら,必要なときに連絡を取り合って集まって…という感じやっています。

でも,遠隔の講義授業が忙しくて,どうしてもゼミ生たちの卒論研究は私の中でも後回しになっていて,かなり気がかり…。

そんな中,昨日,ちょうど一息ついていたところに,VR研究チームの4年生が就活報告を兼ねてやってきたので,ちょっと作ってみようや~と,新しいAzure Kinectのテストを兼ねてその場でできる範囲で簡単プログラミング。

学生が試しに遊んで?いるところです…前に行きたそうなのに,妙に腰が引けてるのがおわかりでしょうか… (^^;)

ゼミのLINEに流すと,すぐに喰いついて来るゼミ生たち… (^^)。

Kinectで学生の身体の動きをもらって,ミクミクダンス(MMD)のキャラが迫ってくる(このキャラのファンだそうな… ^^;)。

LINEでは,この後は,わいわいと学生たち同士でにぎやかなやりとり…いつもの光景は,今はオンラインになった。

三密回避で「新生活様式」が推奨されている昨今ですが,私たちは,VRをつかって何か新しい三密体験ができないかなぁ…なんて考え中。だって,三密は必要だと思うから。たとえば,「あの時,幸せだったなぁ~」という記憶を思い出してみたら,たぶん,それらは,ほとんどが三密体験ではないでしょうか?

人間って,三密の中でお互いがふれ合い,思いを交わし,共感しながら生きてきたはず。その三密を否定することは,私たち人間が本来もっている生き方自体を否定することのような気がします。

でも,三密実験をやるのは,現在の社会状況では難しいので…VRを使ってできないかというのが,学生たちと考えていること。

三密がもっているドキドキ・ワクワク・楽しさを,こんな社会状況の今だから見直してみよう!

大学には大学でしかできないことがある…さまざまな自粛の制約の中でも,それだけは大切にしながら…大したことはできないけど,今年もいろいろとやっております。

 

に投稿

日食@広島

今日は日食なのか~とネットニュースで見て,実験室から外を見たら薄曇り…。こりゃだめだな~と思っていたら,夕方には晴れてきて,日食を見ることができました。

実験室で減光フィルタ探しまくって写真にも撮りました。雲間の太陽ビスケット,かじられているくせにかっこいいわ~。サーフィンしてるみたい!(^^) 新型コロナとは関係のない,「元祖コロナ」の決してゆるがない世界がここにはある。

別の日に撮った写真ですが,社会臨床心理学科の実験室の自慢はこの眺望…基本暗室のような部屋が多い日本の心理実験室の中で別格だと思います (^^;)。

いつもなら土日はオープンキャンパスの準備で大忙しのこの時期ですが,今年はいつもと違う日常です。

に投稿

Kinect

心理学では,人の行動をとらえてデータ化し,それを分析します。その方法には,私がよく使う実験法のほかにも,観察法,調査法,検査法,面接法なんてものがあるのですが,もっとも古くからあって,行動計測の基本であるのに,今日までほとんど進歩してきていないのが観察法かもしれません。

私のゼミでは,そんな人間行動の観察を機械の目でやろうという研究も行ってきました。

…といっても,大げさな装置を使うのではなく,使うのはMicrosoftのKinectというゲーム用センサです。昨日アップした研究報告書の中でも紹介していますが,私たちはこれで子どもの行動をとらえて多動性の評価や協調運動の器用さの測定を試みています。単なるゲームデバイスとしてもおもしろいので,オープンキャンパスや大学祭の出し物でも人気です。

このセンサ,Xbox Oneというゲーム機用に販売されていましたが,残念ながら2017年10月で生産終了となりました。Kinect 1と2で合わせてなんと3500万台も売れたと聞きますが,ゲーム機の売り上げには貢献せず,買った人たちはロボティクス関連が多かったそうです。自動で人をとらえて,その人が立っている場所や注意している方向などを数値化できるので,ロボットの目としては最適なデバイス。


うちでは,毎週のように施設に持ち運んでいるからか,太いケーブルの付け根やマイクアレイと本体の接合部分が接触不良になることが多くて,まともに動くのがもう残り2台しかない…という状態でしたが(写真の後ろで裸になっているのが開発限定に使っている壊れかけのKinect v2),ようやく新しいKinect(“Azure Kinect”というらしい)を手に入れました(手前の小さなスタイリッシュなやつ)。

SDKをさらっと見ただけですが,顔をとらえるのはまだ簡単にはできそうにないですね(私には…)。でも,ボディスケルトン(骨格の動き)は十分にデータとして取ることができますから,とりあえずは従来の課題をこれに移植して…と考えています。

子どもが楽しく遊びながら,苦手な認知機能を伸ばせるような課題をつくれないか,この手のデバイス技術の応用には夢を感じます(Kinect v2は,v1センサに比べると車椅子の子どもの認識が弱かったので,そこがどうなのかが気がかりです)。

に投稿

研究報告を追加しました

昨年終了した科学研究費助成事業の研究報告を掲載しました。今日の情報技術を使ってどのようなことができるか,いろいろなフィールドをお借りして実践研究を行ってきました。

論文を書くのに時間を使うよりも,プログラムを書く方に時間を使うようになりました。作っているプログラムは大したものではないのですが,論文よりは少しは役に立っているかも?

この10年ほど同じような研究テーマを現在も続けていますので,途中経過報告のようなものですが,ご笑読いただければ幸いです。

ヒューマンセンシングによる障害児の認知評価と発達支援に関する実践研究

また,視線によるコミュニケーションボード(eTalk)のページに,実際に動かしているビデオを掲載しました。Tobii(4c / EyeX)をお持ちの方はよかったらお試しください(とても簡単に子どもの意思表示ができる画面を作れますので,生活や教育場面で活用できると思います)。

に投稿

ブログをつくってみました

比治山大学のホームページ更新に伴い,これまでゼミの活動などを投稿してきた学科ブログがなくなってしまったので,自前でブログをつくってみました。

…なのに,原因不明のエラーで苦労しています(汗)。

これはテスト投稿です。写真はキャンパスの桜。ゆっくり花見の気分にはなかなかなれないこの春ですが,いつものように卒業生を見送り,新入生を迎えてくれました。