Webクローラ、スクレイピング、自然言語処理、論理学、強化学習、深層学習による人工知能のブログ。
![[備忘録] 正則化問題、統計的機械学習問題、半教師あり学習問題における「敵対的生成ネットワーク（GAN）」と「敵対的自己符号化器」のネットワーク構造](https://media.accel-brain.com/wp-content/uploads/2019/02/supervised_adversarial_autoencoder.png)
問題設定：正則化問題 機械学習の主導的な参照問題の一つは、訓練データだけではなく、新しい観測データポイントの入力に対しても性能を発揮するアルゴリズムの設計が如何にして可能になるのかである。機械学習の多くのアルゴリズムは、訓練誤差が増加する可能性を代償として、テスト誤差が減少することを目指して設計される。こうした方法は、一般的に「正則化(Regularization)」と呼ばれている。 ...
![[備忘録] 異常検知モデルの意味論における自己符号化(Auto-encoder)の機能](https://media.accel-brain.com/wp-content/uploads/2016/04/シャーロックホームズのフリー素材2-150x150.png)
問題再設定：映像データを対象とした異常検知問題の枠組み 分類モデルの応用によって異常検知モデルを組み立てる発想はありふれている。しかし、監視対象が時系列的な信号データや映像データである場合、分類モデルの設計者は次の三つの問題と向き合わなければならなくなる。 1. 教師データのアノテーションコストが高まる。分類モデルでは、最低限「正常」と「異常」を区別できる教師データのアノテーションを用意し...
「量子ゼノン効果(quantum Zeno effect)」という概念は、ある量子系に対する反復的な状態の測定によって、状態遷移を引き起こされたその量子系の振る舞いを表している。その振る舞いは、観測、すなわち量子力学的な測定が波動関数の崩壊(collapse)、あるいは縮減(reduction)を引き起こすが故に生起する。 反復的な測定は、量子的な系の進化(evolution)を遅延させる。...
![[備忘録] 形状ボルツマンマシン(Shape-BM)による動物の身体のセグメンテーション](https://media.accel-brain.com/wp-content/uploads/2018/04/reconstructed_binary_horse099.gif)
『 形状ボルツマンマシン(Shape-BM)による画像のセグメンテーション』で取り上げた形状ボルツマンマシン(Shape Boltzmann Machine; Shape-BM)による画像のセグメンテーションを試行した。コードはGitHubのリポジトリに配置している。PyPIのpydbmにも追加した。 セグメンテーションの対象画像データ この画像はthe Weizmann horse ...
![[備忘録] 形状ボルツマンマシン(Shape-BM)による画像のセグメンテーション](https://media.accel-brain.com/wp-content/uploads/2018/04/shape-bm-3d.png)
問題設定：画像のセグメンテーションにおけるグラフ設計 制限ボルツマンマシン(Restricted Boltzmann Machine: RBM)や深層ボルツマンマシン(Deep Boltzmann Machine: DBM)は有力な生成モデルだが、大量の訓練データの学習を前提としたパラメタ設定を必要としている。しかし画像のセグメンテーションの場合、学習するデータは必ずしも大量ではない。何故ならセ...
この記事は『量子力学、統計力学、熱力学における天才物理学者たちの神学的な形象について』で、その他の小史と共に再記述している。 問題設定：前史としての古典力学 古典力学が物理現象を観察する場合、モデル化の対象物となる物体を質点として記述することによって、その複合性の縮減が敢行される。質点を前提とした場合の物理法則として、ニュートンの運動方程式は次のようになる。 $$F_i = m_...
再帰的時間的制限ボルツマンマシン(Recurrent Temporal Restricted Boltzmann Machine; RTRBM)のデモコードをGitHubに配置した。デモを実施するにあたり、簡単な自動作曲(Automatic Composition)を試みる。 自動作曲では、典型的な生成モデルの逐次学習の方式を採った。学習モデルの構成においては、midiファイルのノートの系列...
![[備忘録] MobileNetV2の設計思想、「深層学習のコモディティ化」以降の深層学習](https://media.accel-brain.com/wp-content/uploads/2018/02/standard_conv.png)
問題設定：「深層学習のコモディティ化」以降の深層学習 ニューラルネットワークは、多方面で活用され、とりわけ画像認識では高い精度を発揮している。しかし、その精度改善にはしばしば高いコストが必要になる。近年の「最先端(state of the art)」のネットワークは、多くのモバイルアプリケーションや組み込み系のシステムの性能を超えた計算リソースを要求している。したがって深層学習一般の参照問題...
![[備忘録] LSTM再帰的時間的制限ボルツマンマシン(LSTM-RTRBM)の概念水準](https://media.accel-brain.com/wp-content/uploads/2016/12/8分音符アイコン-1.png)
『 時間的制限ボルツマンマシンと再帰的時間的制限ボルツマンマシンの差異』で言及したRTRBMにLSTMの構造を追加したLSTM再帰的時間的制限ボルツマンマシン(LSTM-RTRBM)の概念水準は、後述する参考文献にもあるように、専ら音楽の特徴抽出との関連から記述されている。 RTRBMを前提とするなら、前回の隠れ層のユニットが$$h^{t-1} (t > 1)$$として与えられる時、現在の隠...
『Webクローラ型人工知能：キメラ・ネットワークの仕様』を更新した。 このシステムの概念と仕様が、以前の記事：『「人工知能」と「データ駆動型知能」の差異、人間の知能の「模倣」か、人間の知能の「補完」か』で取り上げたミシェル・ニールセンの「データ駆動型知能(data-driven intelligence)」に近付いていくという旨を追記した。 参考資料 Webクローラ型人工知能：キメ...
![[備忘録] 時間的制限ボルツマンマシンと再帰的時間的制限ボルツマンマシンの差異](https://media.accel-brain.com/wp-content/uploads/2016/01/アノニマスのフリーアイコン-150x150.png)
「時間的制限ボルツマンマシン(Temporal Restricted Boltzmann Machine: TRBM)」と「再帰的時間的制限ボルツマンマシン(Recurrent Temporal Restricted Boltzmann Machine)」は、共に制限ボルツマンマシンによって構成されている。制限ボルツマンマシンは次の二つのベクトルの組み合わせを前提とした確率分布として定義できる。 ...
更新履歴 当初キメラ・ネットワークは、主にTwitter上で活動していた。『Twitterの人工知能エージェント：キメラ・ネットワーク（@_chimera0）の仕様』の通り、私の「いいね」のログを学習することで、私の興味関心に合うツイートをリツイートしていく仕様であった。だがキメラ・ネットワークの逐次学習が進んだことで、本来の目的を果たす上で、「いいね」のログによる学習が不要になった。（厳密には...
問題設定：過学習 ニューロンの個数や隠れ層の個数を増やせば、ニューラルネットワークはより複合的なパターンを表現できるようになる。だが訓練データのみを複合的に表現すれば、実際のデータ分布とは異なるパターンを分類してしまうようになる。単純に誤差関数を最適化すれば良いという訳ではない。むしろ最適化の派生問題として過学習が伴う。 問題解決策：ドロップアウト ドロップアウト(dropout)は、ニュー...
問題設定：LSTMの構造的複合性 再帰的ニューラルネットワークにおける「長期記憶」と「短期記憶」の差異と「想起」と「忘却」の差異や TensorFlowによる深層LSTM RNNネットワークの実装水準で取り上げたように、「長期／短期記憶(Long Short-Term Memory; LSTM)」は主に時系列データ分析において、再帰的ニューラルネットワークの勾配消失問題の解決策として機能する。し...
排除された第三項の推論機能に付随して、人工知能エージェント：キメラ・ネットワークに、観察したWeb上の文書に関連する社会的機能を推論する機能を追加した。社会システム理論に基づいたオントロジーを構築し、対象文書を経済、政治、科学・学問、法、教育、家族、マスメディア、芸術、宗教の問題領域に振り分けた上で、その等価機能分析により派生問題を指摘する。 例：教育の社会的機能の抽出 ...