2013.11.04りんご飴音楽祭@渋谷WWWでのAZUMA HITOMIさんのVJの技術的なことについて書きました。やっつけで作るとまとめが大変だとわかりました。書いてるうちに渋谷2.5Dでも少しVJしました。
まとめ
ハードからPCまで、雑ですが構造だけ書いた感じです。
- MIDI to OSC Deviceの試作とUnityを用いたVJについて
- AVR100円マイコンと小型LinuxボードによるMIDI→OSC変換 (前半)
- システム概要
- MIDI信号のBaudRate変換
- AVR100円マイコンと小型LinuxボードによるMIDI→OSC変換 (後半)
- BeagleBone BlackのセットアップとUART受信
- BeagleBone BlackによるOSCの送信
- MIDI→OSC変換基板の筐体製作と小型WiFiルータと組み合わせた遠隔操作
- 小型WiFiルータ周りのあれこれ
- BeagleBone Black遠隔操作のあれこれ
- 3DゲームエンジンUnityでのOSC受信処理とVJへの応用
- 3Dゲーム開発環境Unityについて
- Unityでマルチディスプレイを使用したVJについて
- UnityでのOSC受信
今後の課題
今のところ、VJソフトが付け焼き刃ですので、もっと色んなモデルやシェーダを作り、Unityを活かしたいと思っています。（Linuxの開発環境マジでおねがいします！）
また、操作性が非常に悪いので、そのへんも課題です。どうせなら操作もOSCかNIDでやりたいな。タブレットのマルチタッチをOSCで送るとかも便利そう。
また、デバイス側ですが、かなり処理能力的に余裕があると思っていて、様々な発展が可能と目論んでいます。BeagleBoneBlackはRaspberry PiやArduinoより遙かに重い処理が回せるはずです。
例えばKinect,XtionなどのNIDでモーションキャプチャしてOSCに乗せて飛ばすとか。実はUnityからOpenNIを呼んだVJはすでにやったことがあるのですが、OpenNIがARM対応したことですし、今後無線化してみたいと思います。
Demo
今回使用した1シーンをUnity Web Player向けにビルドしてみました。
キーボードの数字キーでなんか飛び出します。MIDIのNoteOnの代わりと思ってください。GUI領域のスライダで回転スピードが変わります。って全然MIDIのデモになりませんが、ご了承ください。。
[unity src=”33508″ width=”480″ height=”360″]