Dynamic Effect ChangerBy using Kinect
CPSF新人B1 Shochan 親 kyopanさん
概要
ギターのエフェクトチェンジをジェスチャーで行うことができるシステムを作る
背景
ロックといえばダイナミックな演奏
コンパクトエフェクターの需要が常に高い
Kinectを用いた研究が盛ん
※コンパクト・エフェクター→後ほどイメージ有り
エフェクター
問題意識
・移動できる範囲が制限される→エフェクトボードの位置が固定されている
・エフェクトチェンジの動作が地味→足でボタンを押さなければいけないので、目線が落ちる
目的
エフェクトチェンジをかっこ良く
遠隔操作でのエフェクトチェンジ
機能要件
・体の動きを用いる
・エフェクトチェンジをコントロール
アプローチ
・動作解析モジュールKinectを用いてユーザーの動きを検知
・シリアル送受信モジュールKinectの情報を Arduinoに送信
Human Input & Robotic Operating Power ON System
動作解析モジュール
シリアル送受信モジュール
アクション検出:、ジャンプを検出
状態検出:エフェクターの状態を監視し、最適なスイッチングを実行
Arduino接続 : Kinectを用い、 processingでつま先と膝・肩の座標を取り、mac経由で Arduinoに情報を送る
使用するハードウェア
・動作読み込みのために使用する機材→Kinect
・エフェクターの電源の ON/OFFを制御する→Arduino
・ Kinectの情報を処理して Arduinoに送る→Mac
・ Kinectを用いて動作を読み取る→動作:ジャンプ
・Macから USBケーブルを介して Arduinoに転送することで、コンパクトエフェクターを ON/OFFさせる
詳細
・ハードウェア→Kinect/コンパクト・エフェクター
・使用言語Processing/Arduino
想定環境
評価
・想定環境→300人程度収容できるライブハウス
・システムの正確性を検証→誤作動を起こさないかどうかを、指定した動作に類似した動作(例えばジャンプとステップなど)をすることによって確認
実装結果
途中までだが、本システムのコアの部分ができた!
わかったこと
・ Kinectによってパフォーマンスが制限されてしまう
・ギターを持っているとセンシングが難しい
今後
・研究テーマを変更→dynamicから smartパフォーマンスでチェンジ→パフォーマンスがし易いシステム(遠隔操作)
・使用機材の吟味→Kinect以外のセンシング方法を再考人感センサー、光センサー
ご清聴ありがとうございました