ずいぶん前に音源復元ツールDe-limiterを用いてGUIアプリを作りましたが、海苔音源を改善する機器が出るらしいので諸々再検証してみることにしました。
なお、そうしたハードウェアが発売されるのは海苔波形な音源が蔓延している現状を考えると好ましいことであり、製品を否定する意図はありません。
ストリーミングならユーザーが事前に音源を加工することもできませんからね。
以前作ったツールはあくまでお試しなのでMPSにも対応させていませんし、公証も通してないので配布の予定はありません。
ちなみにこちらの派生バージョンのほうを使えばsubprocessで動かす必要もなく、ちょっとしたPythonの知識があれば簡単に動かすことができるはずです。
まずは対象となる海苔音源ですが、TENBLANKのMATRIXを対象にしてみました。
上からCD音源、De-limiterによる補正音源、そしていちばん下は擬似正解としてLPレコードからPCM-D100で録音した音源の各波形です。
波形だけで音質を語ることはできませんが、少なくとも擬似正解に近い形に補正できているように思われます。
実際に聴いてみるとレコードほど空間的な広がりを確保できていない印象はありますし、シビランスがほんの少し強くなっている感はあるものの、ノイズや違和感などはなく、十分に「改善」と呼んで良い結果になっていると思います。
スペクトル解析しても帯域バランスが変化している様子はほとんどありません。
De-limiterは、リミッターが「各サンプルごとに音量（ゲイン）を上げている」と仮定し、約96サンプル長・50%オーバーラップの短い時間区間ごとに、時間構造を持った多チャネルの特徴量から「元はどれくらいのゲインだったか」を推定します。
その推定結果を、窓関数を考慮した係数配列として元の波形に掛け合わせることで、潰れた音を“それらしく”補正する仕組みです。
#わかりやすさ重視の説明であり、厳密な実装や数式表現とは異なる部分があります。
さらに楽器やボーカルを分離するDemucsを用いて、主旋律に相当するボーカルとそれ以外を分け、それぞれにDe-limiterを掛けるというのも試してみました。
Demucsはかなり高精度に音源分離できますが、それでもコーラスなど微妙に分離できない部分もありますが、再度両者をミックスすることで違和感が出ることはありません。
またコンプによって犠牲になりやすく、聴者にとってはいちばん耳につきやすいボーカルを個別に補正できるので、一括で補正するよりも聴感上、こちらのほうが好ましい結果が得られた気がします。
さらにオールパスフィルタで海苔音源が改善できるという説も見かけたので、こちらも別途試してみました。
AudacityのNyquistプロンプトで実装可能ということで以下のプロンプトでの簡易的なものではありますが。
;version 4
;type process
;name “Simple Allpass”
;action “Apply Allpass Filter”
;author “Custom”
;control decay “Decay (sec)” real “” 0.5 0.1 2.0
;control freq “Frequency (Hz)” real “” 1000 100 10000
(defun allpass (s decay freq)
(alpass s decay freq))
(allpass *track* decay freq)
まずはCD音源にラウドネスノーマライズを-10.0LUFSでかけ、オールパスフィルタをDecay:200ms, 周波数:4000Hzで適用しました。
それをさきほどのDemucs後にDe-limiterして再ミックスしたものと波形を比べてみました。
ラウドネスノーマライズのほうが優位でオールパスフィルタによるピーク回復は少なめに感じますが、聴いた感じはかなりDe-limiterやレコード音源に近いものに仕上がっています。
ちなみに周波数やDecayを変更してみましたが、少なくとも周波数はある程度高めのほうが良いみたいで、ハイハットあたりに多少のエイリアスっぽさは出やすいようです。
De-limiterもシビランスにその傾向が出ることがありますが、おそらく学習モデルが海外のボーカル曲主体で構成されているはずですので、日本語のフォルマントとはどうしても差が出てしまうことによるものかもしれません。
また96サンプルという非常に短い時間窓で処理しているため、周期の長い低域（数百Hz以下）で発生する緩やかなコンプレッション成分については、そもそも推定の手がかりが少なく、効果は限定的になるはずです。
さきほどのオールパスもさらに帯域分割をして処理しない限りは同様ですけどね。
機材をつないで魔法のように解決とはいきませんが、オープンソースやフリーのツールを活用することでも結構「補正」はできるものです。
そもそも焦げてしまったパンケーキを元に戻すことはできないわけですから、最初から焦がさないのがいちばんではあるんですけどね。
