Sound-reactive shapes
Amplitude
open full size ↗Shapes from previously discussed four parametric families — SDF, Platonic, scalar fields, moving scalar — deformed in real time by audio.
These effects read only the amplitude at the current frame — the reaction is immediate and tight on transients. Each sample point is displaced before the SDF or scalar field is evaluated, so normals are finite-differenced on the displaced geometry and interact directly with lighting.
Mode index
Mono amplitude shifts the scalar threshold — the marcher renders a different isosurface of the same field. For closed shapes (sphere, box, torus, Platonic solids) this expands the surface outward uniformly. For open surfaces (paraboloid, saddle, hyperboloid) it translates the surface along the field gradient — the sheet moves rather than inflates.
モノラルの振幅がスカラーの閾値をシフトさせ、マーチャーは同じ場の別の等位面を描画します。閉じたシェイプ(球、直方体、トーラス、プラトン立体)ではこれが表面を一様に外側へ膨らませます。開いた曲面(放物面、サドル、双曲面)では場の勾配に沿って表面を平行移動させます。シートは膨らむのではなく移動します。
Left channel compresses the Y axis; right channel expands X and Z. Width and height each have their own slider, so the effect can be made very drastic independently on each axis.
左チャンネルがY軸を圧縮し、右チャンネルがXとZを拡張します。幅と高さにはそれぞれ専用のスライダーがあり、各軸で独立して効果を大きく強めることができます。
A hash function assigns each surface point a fixed random displacement, creating a spiky silhouette that reacts to mono amplitude. Lighting uses the smooth base-surface normal rather than the displaced one: the rim term follows the original curvature, so the glowing corona tracks the clean outline of the shape while the spiky geometry defines its edge.
ハッシュ関数が各表面点に固定のランダムな変位を割り当て、モノラルの振幅に反応する棘状のシルエットを作り出します。ライティングは変位後ではなく、なめらかな元の表面法線を使用します。リム項は元の曲率に従うため、発光するコロナはシェイプのなめらかな輪郭をなぞり、棘状のジオメトリがその輪郭線を形作ります。
History
open full size ↗Instead of reacting only to the current instant, these modes keep a short memory of the sound — about four seconds — and paint that memory across the shape, so recent past and present are visible on the surface at once. Duration narrows the history window — at low values only the most recent frames are visible, compressing the timeline onto the surface. Soften applies a Gaussian blur across adjacent history frames, smoothing sharp transients into gradual waves.
Mode index
The bottom of the shape samples the current frame; the top samples the oldest. Amplitude pulses appear at the base and travel upward as time passes.
シェイプの底が現在のフレームをサンプリングし、頂点が最も古いフレームをサンプリングします。振幅のパルスは根元に現れ、時間が経つにつれて上へと移動していきます。
The centre samples the current amplitude; the outer surface samples the oldest. A beat inflates the centre first, then the effect spreads outward as a concentric pressure wave.
中心が現在の振幅をサンプリングし、外側の表面が最も古いものをサンプリングします。ビートはまず中心を膨らませ、その後、効果が同心円状の圧力波として外側へ広がっていきます。
Each horizontal slice rotates by the amplitude at the corresponding historical moment. The angle slider controls maximum rotation. The twist axis defaults to vertical but can be tilted in X and Z — tilting toward horizontal turns the corkscrew into a side-roll.
各水平スライスは、対応する過去の瞬間の振幅に応じて回転します。角度スライダーが最大回転量を制御します。ねじれの軸はデフォルトで垂直ですが、XとZ方向に傾けることができます。水平に近づけると、コークスクリュー状の回転が横回転へと変わります。
Frequency
open full size ↗The current frame's 128-bin mel-scale spectrum drives displacement. Different frequency ranges map to different spatial regions or axes.
Mode index
Vertical position on the shape maps continuously to a frequency bin. Each height level inflates laterally by the energy in that bin — sub-bass bows the equator out, high partials flare the top. The shape becomes a 3D equaliser display.
シェイプ上の垂直位置が連続的に周波数ビンにマッピングされます。各高さのレベルは、そのビンのエネルギーに応じて横方向に膨らみます。サブベースは赤道部分を膨らませ、高次倍音は頂上を広げます。シェイプは3Dのイコライザー表示になります。
N evenly-spaced frequency bands (2–8, set by the Bands slider) are mapped to N positions along the shape's height. A Catmull-Rom spline connects them, giving a smooth C1-continuous deformation curve. The curve value at each surface point drives a radial outward displacement along the surface normal. With 2 bands the bottom responds to sub-bass and the top to treble; adding more bands gives finer spectral resolution.
N個の等間隔な周波数帯域(2〜8、Bandsスライダーで設定)が、シェイプの高さに沿ったN個の位置にマッピングされます。それらをCatmull-Romスプラインで結ぶことで、なめらかなC1連続の変形カーブが得られます。各表面点でのカーブの値が、表面法線に沿った放射方向外向きの変位を駆動します。バンド数が2のときは底がサブベース、頂上がトレブルに反応します。バンド数を増やすほど、より細かい周波数分解能が得られます。
Two pairs of frequency bands drive opposing shear deformations on different axes: sub-bass vs. top treble tilt one axis, low-mid vs. upper-mid tilt the other. When spectral energy is balanced the shape stands upright; imbalance leans it. A heavy low end tilts the shape one way, a high-heavy mix the other. The shear axes rotate slowly over time so the lean direction changes rather than always pointing the same way.
2組の周波数帯域が、異なる軸で相反するせん断変形を駆動します:サブベース対トップトレブルが一方の軸を傾け、ローミッド対アッパーミッドがもう一方を傾けます。スペクトルエネルギーがバランスしているときシェイプは直立し、偏りがあると傾きます。低音の強いミックスは一方向に、高音の強いミックスは逆方向にシェイプを傾けます。せん断軸は時間とともにゆっくり回転するため、傾く方向が常に同じにならず変化していきます。
Form
open full size ↗Instead of deforming a base shape, these modes construct geometry directly from audio data.
Mode index
A cylinder whose cross-section at every height is the frequency spectrum in polar form — azimuthal angle maps to an FFT bin, radius equals that bin's energy. The spectrum is extruded vertically into a column.
あらゆる高さでの断面が極形式の周波数スペクトラムになっている円柱です。方位角がFFTビンに、半径がそのビンのエネルギーに対応します。スペクトラムが垂直方向に押し出され、柱状になります。
Eight FFT bands each weight a standing wave along a distinct 3D direction, distributed uniformly using a golden-angle spiral. The shape is the isosurface of their interference sum, restructuring as spectral content shifts.
8つのFFT帯域それぞれが、黄金角スパイラルを用いて均等に分布した固有の3D方向に沿った定在波の重みとなります。シェイプはそれらの干渉の総和の等位面であり、スペクトルの内容が変化するにつれて再構成されます。
A horizontal cylinder; position along its long axis maps to frequency, azimuthal angle around the cross-section maps to time. The full 2D spectrogram wraps around the drum surface. Rotates around its own axis.
水平な円柱です。長軸に沿った位置が周波数に、断面まわりの方位角が時間にマッピングされます。2Dスペクトログラム全体がドラムの表面に巻きついています。自身の軸を中心に回転します。
Two vertical tubes side by side — left carries the L-channel FFT, right carries the R-channel. Each tube's radius at a given height equals the energy at the corresponding frequency bin for that channel.
2本の垂直なチューブが並んでいます。左がLチャンネルのFFT、右がRチャンネルを担います。各チューブの、ある高さでの半径は、そのチャンネルの対応する周波数ビンのエネルギーに等しくなります。
Two surfaces of revolution side by side: left driven by the L-channel amplitude history, right by the R-channel. Height encodes time; a beat imprints a bulge that travels upward as the frame advances.
2つの回転体が並んでいます:左はLチャンネルの振幅履歴、右はRチャンネルによって駆動されます。高さが時間を表し、ビートはフレームが進むにつれて上へと移動する膨らみを刻み込みます。
Seven tori arranged horizontally, each tuned to one mel-band. The major radius of each ring scales with the energy in its band. Rotates around its own axis.
水平に並んだ7つのトーラスで、それぞれが1つのMel帯域に対応しています。各リングの主半径はその帯域のエネルギーに応じて変化します。自身の軸を中心に回転します。
Tip points toward the camera; the cone widens toward the back. Azimuthal angle encodes frequency, position along the cone's axis encodes time. A slow bilateral wiggle reveals different azimuthal slices.
先端がカメラの方を向いており、円錐は奥に向かって広がっていきます。方位角が周波数を、円錐の軸に沿った位置が時間を表します。ゆっくりとした左右の揺れによって、異なる方位角の断面が見えるようになります。
A height map tilted toward the camera: horizontal position encodes frequency, vertical position encodes time, and depth encodes spectral amplitude. The full spectrogram becomes a 3D landscape.
カメラの方向に傾いた高さマップです:横位置が周波数を、縦位置が時間を、奥行きがスペクトルの振幅を表します。スペクトログラム全体が3Dの地形になります。
A four-coil helix where each segment's tube radius equals the FFT amplitude at the corresponding frequency. Constant one-directional rotation creates the barber-pole illusion of a signal climbing endlessly upward.
4巻きのらせんで、各セグメントのチューブ半径が対応する周波数のFFT振幅に等しくなります。一定方向への回転が続くことで、信号が上へと際限なく登っていくような、理髪店のサインポールのような錯覚を生み出します。
A horizontally elongated box where the shell thickness at each position along its length equals the magnitude of spectral change between the current frame and 48 frames prior. Frequencies that shifted most protrude furthest from the surface.
横に長い箱で、その長さに沿った各位置での殻の厚みが、現在のフレームと48フレーム前との間のスペクトル変化の大きさに等しくなります。最も大きく変化した周波数が、表面から最も突き出します。