Multitrack visualization

Using all the separate stems of the sound simultaneously.

音のステムをすべて同時に使います。

Multitrack visualizer

All 8 stem tracks analyzed simultaneously while the master plays. Each horizontal strip shows one track: the left section is the running amplitude history (L and R channels), the right section is the FFT magnitude spectrum (bars, L and R channels side by side). A progress bar seeks to any point in the track.

マスターを再生しながら、8つのステムトラックを同時に解析します。各横帯が1つのトラックに対応し、左側にL/R各チャンネルの振幅推移、右側にL/RのFFT振幅スペクトラム（バー表示）を並べて表示します。プログレスバーでトラック内の任意の位置にシークできます。

Shape composer

open full size ↗

The view divides into 2, 3, or 4 panes. Each pane runs an independent shape renderer reacting to a chosen stem track, with its own shape family, deformation effect, and lighting. The master track always plays; the visual in each pane reacts to whichever stem is selected.

ビューは2、3、または4つの領域に分割されます。各領域では、選択したステムトラックに反応する独立したレンダラーが動作し、それぞれに固有のシェイプの種類、変形エフェクト、ライティングが割り当てられています。マスタートラックは常に再生され、各ペインのビジュアルは選択されたステムに反応します。

Starts at the 2-minute mark, with a gear icon in each pane for configuring it independently.

再生は2分の位置から始まり、各領域には個別に設定できる歯車アイコンがあります。

We could allocate different shapes, colors, and effects to different stems, but we don't want to draw all of them at once. How could we decide which stems are more important at the moment?

それぞれのステムに異なる形・色・エフェクトを割り当てることはできますが、すべてを同時に描画したくはありません。その瞬間にどのステムがより重要かは、どう判断すればよいでしょうか。

Track prominence

open full size ↗

Two hypotheses about what makes a stem feel prominent at any given moment. The first is direct: the louder a track is right now, the more it stands out. The second weights sudden increases — a drum hit that breaks the silence draws attention in a way that a pad sustaining at the same average level does not. Three columns show the pipeline: raw level, raw onset energy, and a combined prominence score — the softmax of their sum across active stems. Toggle stems on and off; the prominence scores redistribute among whatever remains active.

ある瞬間にステムが目立って感じられる理由について、2つの仮説があります。1つ目は単純で、トラックがその瞬間に大きいほど目立つというものです。2つ目は音量の急な増加に重みを置く仮説で、静寂を破るドラムの一撃は、同じ平均レベルで持続するパッドとは異なる形で注意を引きます。画面の3つの列はこの仕組みを示しており、生のレベル、生の立ち上がりエネルギー、そしてそれらを組み合わせた目立ち具合のスコア（アクティブなステム全体で合計をソフトマックス化したもの）を表示します。ステムはオン・オフを切り替えられ、目立ち具合のスコアは有効なステム間で再配分されます。

Level and onset — definitions

Level prominence

The simplest hypothesis: a louder track is more prominent. The Level column shows the instantaneous mono amplitude of each stem:

最もシンプルな仮説は、トラックがその瞬間に大きいほど目立つというものです。Level列は各ステムの瞬間的なモノラル振幅を示します：

P_i^{\text{lv}}(t) = \tfrac{1}{2}\bigl(A_i^L(t) + A_i^R(t)\bigr)

This captures sustained elements well — a dense pad or a driving bass line score high throughout the section — but it gives no extra weight to sudden events.

これは持続的な要素をうまく捉えられます。密なパッドや推進力のあるベースラインは、セクション全体を通して高いスコアを維持します。ただし、突発的な出来事には特別な重みを与えません。

Onset prominence

The second hypothesis is that a rapid increase in volume draws more attention than the same level held steady. Compute the positive amplitude flux at each frame:

2つ目の仮説は、音量の急激な増加は同じレベルを一定に保つ場合よりも注意を引きやすい、というものです。各フレームで振幅の増加量を計算します。

\delta_i(t) = \max\!\bigl(0,\; A_i(t) - A_i(t{-}1)\bigr)

Then apply a leaky peak-hold so the spike persists briefly before fading:

そして、得られたピーク値を徐々に減衰させる処理を適用し、スパイクが少しの間持続してから減衰するようにします：

P_i^{\text{on}}(t) = \max\!\bigl(\delta_i(t),\;\alpha \cdot P_i^{\text{on}}(t{-}1)\bigr)

With \(\alpha = 0.92\) at 60 fps the onset energy decays to half in roughly 8 frames (\(\approx\) 130 ms) — long enough to read, short enough to track fast rhythms.

60fpsでα = 0.92の場合、立ち上がりエネルギーはおよそ8フレーム（約130ミリ秒）で半減します。視認できる程度には長く、速いリズムを追える程度には短い時間です。

To reveal which track is relatively dominant among the active set \(\mathcal{A}\), the two scores are summed and softmax-normalised with temperature \(\beta = 5\):

アクティブな集合Aの中で、どのトラックが相対的に優勢かを示すために、2つのスコアを合計し、分布の鋭さを調整するパラメータβ = 5でソフトマックス正規化します。

\tilde{P}_i(t) = \frac{e^{\,\beta\,\bigl(P_i^{\text{lv}}(t)\,+\,P_i^{\text{on}}(t)\bigr)}}{\displaystyle\sum_{j \in \mathcal{A}} e^{\,\beta\,\bigl(P_j^{\text{lv}}(t)\,+\,P_j^{\text{on}}(t)\bigr)}}

A high \(\beta\) sharpens the distribution: when one track spikes, it claims most of the weight and the others collapse toward zero. The Prominence column shows \(\tilde{P}_i\); the Level and Onset columns show the raw inputs before combination.

βが高いほど分布は鋭くなります。あるトラックが急に突出すると、そのトラックが重みの大半を占め、他はほぼゼロに収束します。Prominence列は\(\tilde{P}_i\)を示し、Level列とOnset列は合成前の生の入力を示します。

Track prominence radar chart

open full size ↗

The same combined prominence score as a seven-pointed shape. Each axis represents one stem; the vertex travels outward in proportion to that stem's softmax prominence. When a stem dominates — a kick transient, a bass sustain — its axis extends toward the outer ring while the others retract inward.

同じ合成した目立ち具合スコアを、7つの頂点を持つ形として表示します。各軸が1つのステムを表し、頂点はそのステムのソフトマックスで正規化した目立ち具合に比例して外側へ移動します。キックの過渡音やベースの持続音など、あるステムが優勢なときは、その軸が外側のリングへ伸び、他の軸は内側へ引っ込みます。

Prominence composer

open full size ↗

One shape per stem. The most prominent stem at any moment takes the full canvas — its shape, lighting, and bloom filling the frame while everything else waits offscreen. When all stems are close in prominence or the signal is quiet, the last winner holds until something new breaks through.

各ステムに1つずつシェイプを割り当てます。ある瞬間に最も目立つステムがキャンバス全体を占め、そのシェイプやライティング、ブルーム（光のにじみエフェクト）がフレームを満たします。ほかのステムは描画されず、待機します。ステム同士の目立ち具合が拮抗しているとき、あるいは信号が静かなときは、直前の勝者を保ったまま、新しい要素が目立つのを待ちます。

Every stem is independently configurable: Settings assigns each one a shape type, deformation effect, lighting mode, and bloom parameters. A Solo control locks a single stem to audition its visual in isolation.

各ステムは個別に設定でき、それぞれにシェイプの種類、変形エフェクト、ライティングモード、ブルームのパラメータを割り当てられます。Solo を押すと1つのステムに固定して、ビジュアルを単独で確認できます。

Radar 3D history

open full size ↗

Orbit and history

The same prominence radar lifted into 3D: the seven-vertex shape lives on a plane that rotates independently on all three axes and can be dragged to orbit directly. Rather than showing only the current instant, it also redraws several recent frames at the same center, each rotated by exactly how far the shape had spun by that point in time. Count sets how many of these historical rings to draw, Span sets how many frames apart each one is sampled, and every ring fades with age.

同じ目立ち具合のレーダーを3Dに拡張したものです。7頂点のシェイプは3軸それぞれに独立して回転する平面上にあり、ドラッグして視点を直接回転できます。現在の瞬間だけでなく、直近の複数フレームも同じ中心を用い、その時点までの回転量だけ回転させて重ねて描画します。Count は履歴リングの描画数、Span は各リングのサンプリング間隔（何フレームおきか）を設定します。リングは時間の経過とともに薄くなっていきます。

Edge spectra

Each of the seven edges also carries hidden vertices driven by the two neighboring stems' FFT spectra — invisible at FFT = 0 (a plain heptagon), buckling further off the ring's original plane as it rises. Bins sets how many FFT bins get sampled per edge; Prominence sets how much a stem's own prominence moves its vertex at all, down to a fixed half-size septagon at 0.

7つの各辺に、隣接する2つのステムのFFTスペクトラムに反応する頂点を追加しました。FFT = 0では見えず（ただの七角形になり）、値が上がるにつれて、リング本来の平面からより大きくたわむようになります。Binsは各辺でサンプリングするFFTビンの数、Prominenceはステム自身の目立ち具合が頂点をどれだけ動かすかを設定します。Prominence = 0では、半分の大きさのまま動かない七角形になります。