「 数学 」一覧

[備忘録] 異常検知モデルの意味論における自己符号化(Auto-encoder)の機能

[備忘録] 異常検知モデルの意味論における自己符号化(Auto-encoder)の機能

問題再設定:映像データを対象とした異常検知問題の枠組み 分類モデルの応用によって異常検知モデルを組み立てる発想はありふれている。しかし、監視対象が時系列的な信号データや映像データである場合、分類モデルの設計者は次の三つの問題と向き合わなければならなくなる。 1. 教師データのアノテーションコストが高まる。分類モデルでは、最低限「正常」と「異常」を区別できる教師データのアノテーションを用意し...

[備忘録] ヤニス・クセナキスにおける記号論的な音楽聴取の時間内外構造に関して

[備忘録] ヤニス・クセナキスにおける記号論的な音楽聴取の時間内外構造に関して

問題設定:音の聴取は如何にして可能になっているのか ヤニス・クセナキスの『形式の音楽(Musiques formelles)』の第6章では、「記号的音楽(MUSIQUE SYMBOLIQUE)」の思考実験が展開されている。ここでは論理学や代数学の観点による概念の抽象化によって作曲の形象が叙述されている。 「まずこの章では、突然記憶喪失になった自分を想像してみよう。記憶を失ったが故に...

量子/統計力学小史(1)アンサンブル概念を媒介とした非・熱力学的な統計力学

量子/統計力学小史(1)アンサンブル概念を媒介とした非・熱力学的な統計力学

この記事は『量子力学、統計力学、熱力学における天才物理学者たちの神学的な形象について』で、その他の小史と共に再記述している。 問題設定:前史としての古典力学 古典力学が物理現象を観察する場合、モデル化の対象物となる物体を質点として記述することによって、その複合性の縮減が敢行される。質点を前提とした場合の物理法則として、ニュートンの運動方程式は次のようになる。 $$F_i = m_...

[備忘録] LSTM再帰的時間的制限ボルツマンマシン(LSTM-RTRBM)の概念水準

[備忘録] LSTM再帰的時間的制限ボルツマンマシン(LSTM-RTRBM)の概念水準

『 時間的制限ボルツマンマシンと再帰的時間的制限ボルツマンマシンの差異』で言及したRTRBMにLSTMの構造を追加したLSTM再帰的時間的制限ボルツマンマシン(LSTM-RTRBM)の概念水準は、後述する参考文献にもあるように、専ら音楽の特徴抽出との関連から記述されている。 RTRBMを前提とするなら、前回の隠れ層のユニットが$$h^{t-1} (t > 1)$$として与えられる時、現在の隠...

[備忘録] 多重解像度アルゴリズムの機能的等価物としてのウェーブレットパケット分解

[備忘録] 多重解像度アルゴリズムの機能的等価物としてのウェーブレットパケット分解

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 離散ウェーブレット変換を一般化すると、時間-周波数平面をより柔軟に分轄する方法である「ウェーブレットパケット分解(Wavelet Packet Decomposition)」を導入することができる。ウェーブレットパケットはウェーブレットの...

[備忘録] フーリエ変換の不確定性関係

[備忘録] フーリエ変換の不確定性関係

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 短時間フーリエ変換は、短い時間間隔で区別された波形に対するフーリエ変換である。この方法は、短い時間内であれば、波形の性質は変異していないはずだという前提に基づいている。しかしこの方法では、ヴェルナー・カール・ハイゼンベルクが定式化した「不...

[備忘録] 双直交ウェーブレットの機能

[備忘録] 双直交ウェーブレットの機能

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 実数かつ対称なウェーブレットが必要になる場合、対称なウェーブレットを取得する方法となるのは、双直交ウェーブレットの二つの組み合わせを$$\psi_{m, n}$$と$$\hat{\psi}_{m, n}$$を構成することである。片方は信号...

[備忘録] 多重解像度アルゴリズムによる離散信号のウェーブレット分解

[備忘録] 多重解像度アルゴリズムによる離散信号のウェーブレット分解

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 離散ウェーブレット変換における多重解像度アルゴリズムは、離散信号のウェーブレット分解も可能にする。これに準じて、入力信号の解像度で信号の近似成分と詳細成分を離散的に表現することも可能になる。 離散信号$$x_i$$は、有限の長さNを...

[備忘録] 離散信号のウェーブレットパワースペクトル

[備忘録] 離散信号のウェーブレットパワースペクトル

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 離散ウェーブレット変換における分解アルゴリズムによって完全に分解された後で、それぞれのスケールの係数中に含まれるエネルギーは次のように与えられる。 $$E_m = \sum_{n=0}^{2^{M-m}-1}(T_{m,n})^2$...

[備忘録] 有限長離散信号に対する離散ウェーブレット変換の形式

[備忘録] 有限長離散信号に対する離散ウェーブレット変換の形式

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 連続信号x(t)の離散正規直交ウェーブレット変換は、連続信号が全てのスケールと位置におけるウェーブレット関数の級数展開、あるいはスケーリング関数とウェーブレット関数の組み合わせに対する級数展開によって表現できることを言い表している。一方、...

[備忘録] 高速ウェーブレット変換のアルゴリズム設計とその機能

[備忘録] 高速ウェーブレット変換のアルゴリズム設計とその機能

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 正規直交二進ウェーブレットにおける近似係数、スケーリング関数、そしてスケーリング方程式を組み合わせると、「高速ウェーブレット変換(fast wavelet transform)」のアルゴリズムを確認することができる。このアルゴリズムは、後...

[備忘録] 正規直交二進ウェーブレットにおけるスケーリング方程式の形式

[備忘録] 正規直交二進ウェーブレットにおけるスケーリング方程式の形式

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 正規直交二進ウェーブレットは「スケーリング方程式(scaling equation)」とも関連する。スケーリング方程式はスケーリング関数をそれ自体で縮小して平行移動した形式となる。 $$\phi(t) = \sum_{k}^{}c_...

[備忘録] 正規直交二進離散ウェーブレットにおけるスケーリング関数による多重解像度表現

[備忘録] 正規直交二進離散ウェーブレットにおけるスケーリング関数による多重解像度表現

フーリエ変換とウェーブレット変換に関わる意味論は、『深層強化学習のベイズ主義的な情報探索に駆動された自然言語処理の意味論』にて、導入を含め一式纏めている。 正規直交二進離散ウェーブレットは「スケーリング関数(scaling function)」と関連する。スケーリング関数の機能は、信号のスムージングであると考えられる。それはウェーブレット関数と同一の形式を有している。 $$\phi _...

ドロップアウトを適用したニューラルネットワーク

ドロップアウトを適用したニューラルネットワーク

問題設定:過学習 ニューロンの個数や隠れ層の個数を増やせば、ニューラルネットワークはより複合的なパターンを表現できるようになる。だが訓練データのみを複合的に表現すれば、実際のデータ分布とは異なるパターンを分類してしまうようになる。単純に誤差関数を最適化すれば良いという訳ではない。むしろ最適化の派生問題として過学習が伴う。 問題解決策:ドロップアウト ドロップアウト(dropout)は、ニュー...

LSTMの機能的等価物としてのGated recurrent unitのモデルとTensorFlow/TensorBoardでの実装例

LSTMの機能的等価物としてのGated recurrent unitのモデルとTensorFlow/TensorBoardでの実装例

問題設定:LSTMの構造的複合性 再帰的ニューラルネットワークにおける「長期記憶」と「短期記憶」の差異と「想起」と「忘却」の差異や TensorFlowによる深層LSTM RNNネットワークの実装水準で取り上げたように、「長期/短期記憶(Long Short-Term Memory; LSTM)」は主に時系列データ分析において、再帰的ニューラルネットワークの勾配消失問題の解決策として機能する。し...