blog.keitap.com

この手の音と映像のリミックスをやる場合、Flashの場合、単に連続した映像データを次々に再生していくだけなので簡単にできるかと思います。
ただ問題となってくるのは、PC環境やFLVのビットレート、ロードするファイル数、タイミングなどによって再生がもたついたりして、音と映像がリアルタイムにうまく再生されない場合があります。音だけずれたりとか。処理落ちして部分的に音の再生がスキップされ次の箇所が再生されたり。

視覚(映像)のずれってのはある程度許容できますが、聴覚(音)のずれってのは結構気になるものです。って、かのyugopが始終言ってた。音のズレ気になるって。俺はどうしても気持ち良いもんがつくりたいんだ。って。そりゃ御大ももう国営放送が認めたプロフェッショナルですからこだわりが違いますよ。

で、今回、その音のズレとやらをスパッと解決すべくサクッとFlash内部で動く音声編集エンジンを開発しました。Flash内部で、複数の音源データをロードして、1つの音データ(Soundクラス)を生成してるわけです。そうすることによって、音源毎の間の切れ目が無くなり、ロード(この場合のロードはFlash Player内部の話)の遅延なども発生せずに、仮に映像が処理落ちしても音だけは途切れることの無くスムーズに再生ができるわけです。
音編集エンジンは、APIで提供して、UTLOOPのメインのFlashはtha新入社員の北田さんが超頑張ってました。

という経緯があって、実はUTLOOPのサイトは、この21世紀になってもWAVファイルをネットからロードしてるのでした。
最初は、元データをMP3で編集するエンジンを作っていたのですが、MP3の場合、デコードしないと、ミリ秒単位での正確な編集エンジンがつくれないんですね。で、一瞬、デコーダーつくるの？！とか思ったら、今回使う個々の音データはファイルが小さいからWAVで良いんじゃないってことで、WAVになりました。

エンジニアとしては、やっぱMP3のデコーダを開発する事が正攻法だったと思いますが、そもそも、MP3のデコーダを仮に作ってももし処理速度が出なかったら泣いてた事になってたと思うので、まあ、今回はWAVで良かったのかなと。ていうか、Flash Playerの内部でMP3のデコーダついてるんだから、そのAPIをオープンにして欲しいわ。

てか、スペクトラムのデータを逆FFTすれば元のデータになるのか？理論上はなるよね。でも、その場合、再生しないと駄目だしね。