概要
ISSEはある音声を対話的に二つの音源に分離する機能を持つフリーソフトウェアです。モーター音の成分分離やノイズの除去などに応用が可能です。操作性にはやや癖がありますが、アドビリサーチやスタンフォード大学が関わった研究の一環として作られたアプリケーションであり、その性能は非常に高いです。
当記事では、ISSEの各機能を網羅的に列挙します。具体的な使い方に関しましては、ISSEの使い方にて紹介しています。当記事と併せてご覧ください。
各部機能解説
メニュー
File
ファイル操作やアプリの終了を行うには、あらかじめ処理を停止してしておく必要があります。
New
音声ファイルを読み込み、新規プロジェクトを作成します。
Open
保存済みのプロジェクトを開きます。
Save
プロジェクトを上書き保存します。
Save As
プロジェクトを名前を付けて保存します。
Export Audio
分離した音声をファイルとして出力します。
Audio Settings
オーディオデバイスなどの設定画面を表示します。
Quit
アプリケーションを終了します。
Edit
Undo
直前の操作をやり直します。
Redo
操作のやり直しを取り消します。
Process
Process
処理が有効化されているか否か。チェックされている時、編集操作の直後に音声分離処理が行われます。上のアイコンで処理を解除してもファイル操作が無効化されたままの場合、こちらのチェックが外れているかを確認してみてください。
Clear Paintings
全ての描画図形を消去します。
Process Settings
Separation Settingsタブを開きます。
View
Visualization Settings以外は上部のアイコンから行える操作のため説明を省略します。
Visualization Settings
スペクトログラムの表示設定ダイアログを開きます。
Clipはスペクトログラムに図示可能な周波数強度の上限をデシベル単位で指定します。「Color Map」の設定によっても異なりますが、一般に数値が大きくするほど暗くなります。Color Mapはスペクトログラムの色を指定します。
Transport
音声の再生に関する設定です。下部のアイコンで同じことが行えるため、説明は省略します。
Help
About
アプリケーションの概要を表示します。
タブ
Multi Paint View
三つのトラックを全て一つの画面に収めて表示します。
Single Paint View
単一のトラックを画面いっぱいに拡大して表示します。トラックの変更は、右端のスクロールバーを操作して行うことが可能です。
Separation Settings
スペクトログラム表示や音声分離処理に関する設定を行います。
FFT Size
Wave MasterのFFT設定の「サイズ」と同様で、大きくするほど周波数の解像度が大きくなりますが、一方で時間の解像度が小さくなります。この設定を変更すると、現在の描画状態が全て破棄され初期化されます。この設定を変更される際は、Hop Sizeも併せて変更されることをおすすめします。
以下の画像は、FFT SizeとHop Sizeの比を固定し、FFT Sizeを変えたときのスペクトログラムを比較したものです。
Hop Size
この数値が小さいほど、スペクトログラムの時間軸の解像度が高くなります。そのかわり、音声分離にかかる時間も増大することに注意してください。FFT Sizeの半分の値が設定可能な最大値です。デフォルトの値はデフォルトのFFt Sizeの1/8ですが、これよりも比率を小さくしても解像度はほとんど改善せず、処理が重くなるデメリットのみが際立ってきます。この設定を変更すると、現在の描画状態が全て破棄され初期化されます。
以下の画像は、FFT Sizeを固定し、Hop Sizeを変えたときのスペクトログラムを比較したものです。
Basis Vectors
この設定の変更による影響はよくわかっていませんが、少し設定を変えて試してみた限りでは、音声の分離の際の重みつけを表しているように考えられます。
Iterations
この数値を小さくすると、分離精度が悪くなる可能性がありますが、一方で処理時間が軽減されます。
上部コントロール
各項目名は、各部にマウスカーソルを置くと表示されるツールチップのテキストに準じています。
描画色設定
Source 1
この色を選択して描画した部分は、中段のトラック（Source 1）に分離されます。
Source 2
この色を選択して描画した部分は、下段のトラック（Source 2）に分離されます。
描画モード設定
Paint Mode
描画モード。有効化されているときに描画操作を行うと、図形を描画します。
Erase Mode
消去モード。有効化されているときに描画操作を行うと、その部分の図形を消去します。
ブラシ設定
Arrow Select
役割は不明です。
Spray Brush
スプレーブラシで図形を描画します。
Time Brush
縦軸方向の幅がいっぱいのブラシで描画を行います。
Frequency Brush
横軸方向の幅がいっぱいのブラシで描画を行います。
Box Brush
四角形の領域を描画します。
Training Brus
役割は不明です。
Brush Settings
役割は不明です。
表示設定
スペクトログラム表示の拡大と縮小を行うことができます。
Zoom In
拡大します。
Zoom Out
縮小します。
Zoom In Horizontal
水平方向に拡大します。
Zoom Out Horizontal
水平方向に縮小します。
Zoom In Vertical
垂直方向に拡大します。
Zoom Out Vertical
垂直方向に縮小します。
分離処理
アイコンをクリックして有効化すると音声分離処理が開始されます。有効化されている間は、描画操作の度に音声分離操作が行われます。もう一度クリックすると再度無効化できます。
音量
マスター音量をデシベル単位で指定します。
タイムライン
画面上部のタイムラインの上でクリックもしくはドラッグすると、再生カーソルを移動させることができます。
再生終了位置の左にある赤い四角、もしくは終了位置の右にある白い四角をドラッグすると、ループ再生の区間を変更できます。ループ区間の指定は画面上部のタイムラインの右クリックからでも行うことができます。Set Loop Start、Set Loop Endからはそれぞれクリック位置をループ開始点、ループ終了点とします。Reset Markersは区間指定を初期化します。
スペクトログラム
音声データを周波数解析し、横軸を時間、縦軸を周波数として音声データを図示します。スペクトログラム上での左ドラッグで、図形が描画されます。右クリックするとコンテキストメニューが表示され、「Multi Paint View」と「Single Paint View」の切り替えを行うことができますが、勝手に図形が描画されるという不具合があるため、右クリックの利用はおすすめしません。
トラック設定
ここで行える操作や設定は、基本的に各々のトラックにのみ影響を及ぼします。
Mute
現在のトラックをミュートします。「Auto Solo」が有効になっていれば操作の必要は原則としてありません。
Solo
現在のトラックのみを再生します。「Auto Solo」が有効になっていれば操作の必要は原則としてありません。
Gain(dB)
現在のトラックの音量をdB単位で指定します。
Zoom In Vertical
スペクトログラム表示を垂直方向に拡大します。
Zoom Out Vertical
スペクトログラム表示を垂直方向に縮小します。ツールチップには「Zoom In Vertical」と表示されますが、設定ミスと考えられます。
Show Visualization
スペクトログラムの表示/非表示を切り替えます。
Show Overlay 1
青色の図形の表示/非表示を切り替えます。
Show Overlay 2
赤色の図形の表示/非表示を切り替えます。
Add to Overlays
機能は不明です。
Clear Overlays
現在のトラックの図形を全て消去します。
下部コントロール
ここからは、音声再生に関する操作を行うことができます。
Stop
再生を終了します。
Play
再生を開始します。
Pause
再生を中断します。
Previous
カーソルを音声冒頭に移動します。
Rewind
カーソルを戻します。
Fast Forward
カーソルを進めます。
Next
カーソルを音声終端に移動します。ただし、ループ再生が有効化されているときは音声冒頭に移動します。
Loop
有効化されていると、音声終端に達しても再生が終了せずループ再生となります。
Auto Solo
有効化されていると、各トラックをクリックしてアクティブとなったとき、自動的に当該トラックがソロ再生状態になります。
ショートカットキー一覧
アプリ上に表記のあるショートカット
キーボードショートカットが併記されている、メニューのコマンド一覧です。ズーム操作に関するショートカットは、日本語キーボードではうまく動作しないようです。
| ショートカットキー | 機能 |
|---|---|
| Ctrl + N | プロジェクト新規作成 |
| Ctrl + O | プロジェクトを開く |
| Ctrl + S | プロジェクトを保存 |
| Ctrl + Shift + S | プロジェクトを名前を付けて保存 |
| Ctrl + Q | アプリの終了 |
| Ctrl + Z | 編集のやり直し |
| Ctrl + Shift + Z | やり直しの取り消し |
| Ctrl + P | 音声分離処理の有効/無効の切り替え |
| Ctrl + = | スペクトログラム表示の拡大 |
| Ctrl + - | スペクトログラム表示の縮小 |
| = | スペクトログラム表示の横軸拡大 |
| - | スペクトログラム表示の横軸縮小 |
| Shift + + | スペクトログラム表示の縦軸拡大 |
| Shift + _ | スペクトログラム表示の縦軸縮小 |
アプリ上で説明のないショートカット
アプリ上で説明が表示されないキー操作を一覧で紹介します。
| ショートカットキー | 機能 |
|---|---|
| Ctrl + E | 描画モードと消去モードの切り替え |
| Ctrl + 1 | 描画色を青色に |
| Ctrl + 2 | 描画色を赤色に |
| 1 | Arrow Selectを選択 |
| 2 | Spray Brushを選択 |
| 3 | Time Brushを選択 |
| 4 | Frequency Brushを選択 |
| 5 | Box Brushを選択 |
| 6 | Training Brushを選択 |
| Space | 音声の再生と一時停止の切り替え |