先日読了 - takejin's blog

私には「絶対」に無い、「絶対音感」の話。

　高校時代の友人に、絶対音感のある女性がいて、楽譜が販売されていないレコード（当時はレコードだったのだ）を聞いて、楽譜を書いてくれた。それぞれの楽器別のスコアになっているのもすごいのだが、キーボードやギターが、和音の個々の音符に化けていてびっくりした覚えがある。
彼女には、はっきり聞こえるらしいが、経験の浅い我々には想像もつかない世界だった。

　そんな「特殊能力」を持った人たちの迫真のノンフィクション。

で、ふと思いついた。音の解析の話。
音の３要素は（息子が勉強中）「強弱」「高低」「音色」。

強弱は、誰でもわかる。純音であれば（ピーやブー）高低もたいていの人はわかる。でも、音色になると、結構難しい。これは、音の波形を見るとわかる。細かいギザギザがついた大きな山や谷がＣＲＴ上に描かれるのだ。
高低を判断するには、音の周波数を検出せねばならない。しかし、この描かれた波形のどこを計測すると「この音の高さ」になるのか、皆目検討がつかない。極小部分で判断してしまうと、ギザギザの部分の周波数になってしまうし、丸めて大きなうねりをとろうとすると、どう丸めるかによって、周波数が変動する。

この、「高低」と「音色」とを分離するには、「フーリエ変換」が必要なのだ。
http://homepage2.nifty.com/kirislab/chap5_mri/fourierConv.html
これで、この音の周波数強度の分布を解析し、非常に強い・主たる周波数を音の高さと判断する。しかも、時系列データとして「旋律」として認識するのであるな。

普通の人類であれば、この「高低」と「音色」の分離程度でしかないのだ。しかし、絶対音感を有する特殊人たちは、さらに個々の音源でこの行為を行う。その結果、いっぺんに鳴っている、ギターの弦それぞれの「高低」「音色」とピアノの個々の音とを周波数変換をかけられるのだ。しかも、ドラムがバカスカ鳴っている中で。

ＦＦＴ（高速フーリエ変換）でも、オーケストラの音源を全て分離して、個別の楽器ごとに逆フーリエ変換を掛けるなんて、たぶんリアルタイムにやれないのではないだろうか。
人の能力のすごさに、圧倒される本であった。

※　フーリエ変換って、何に使うのさ！こんなもん！と学生時代には思ってましたが（おかげで数学は・・・）結構繊細な事に使われておりました。
http://d.hatena.ne.jp/ut-tlounge/20071017/p1