Webクローラ、スクレイピング、自然言語処理、論理学、強化学習、深層学習による人工知能のブログ。
![[備忘録] 正則化問題、統計的機械学習問題、半教師あり学習問題における「敵対的生成ネットワーク（GAN）」と「敵対的自己符号化器」のネットワーク構造](https://media.accel-brain.com/wp-content/uploads/2019/02/supervised_adversarial_autoencoder.png)
問題設定：正則化問題 機械学習の主導的な参照問題の一つは、訓練データだけではなく、新しい観測データポイントの入力に対しても性能を発揮するアルゴリズムの設計が如何にして可能になるのかである。機械学習の多くのアルゴリズムは、訓練誤差が増加する可能性を代償として、テスト誤差が減少することを目指して設計される。こうした方法は、一般的に「正則化(Regularization)」と呼ばれている。 ...
![[備忘録] LSTM再帰的時間的制限ボルツマンマシン(LSTM-RTRBM)の概念水準](https://media.accel-brain.com/wp-content/uploads/2016/12/8分音符アイコン-1.png)
『 時間的制限ボルツマンマシンと再帰的時間的制限ボルツマンマシンの差異』で言及したRTRBMにLSTMの構造を追加したLSTM再帰的時間的制限ボルツマンマシン(LSTM-RTRBM)の概念水準は、後述する参考文献にもあるように、専ら音楽の特徴抽出との関連から記述されている。 RTRBMを前提とするなら、前回の隠れ層のユニットが$$h^{t-1} (t > 1)$$として与えられる時、現在の隠...
『Webクローラ型人工知能：キメラ・ネットワークの仕様』を更新した。 このシステムの概念と仕様が、以前の記事：『「人工知能」と「データ駆動型知能」の差異、人間の知能の「模倣」か、人間の知能の「補完」か』で取り上げたミシェル・ニールセンの「データ駆動型知能(data-driven intelligence)」に近付いていくという旨を追記した。 参考資料 Webクローラ型人工知能：キメ...
更新履歴 当初キメラ・ネットワークは、主にTwitter上で活動していた。『Twitterの人工知能エージェント：キメラ・ネットワーク（@_chimera0）の仕様』の通り、私の「いいね」のログを学習することで、私の興味関心に合うツイートをリツイートしていく仕様であった。だがキメラ・ネットワークの逐次学習が進んだことで、本来の目的を果たす上で、「いいね」のログによる学習が不要になった。（厳密には...
問題設定：LSTMの構造的複合性 再帰的ニューラルネットワークにおける「長期記憶」と「短期記憶」の差異と「想起」と「忘却」の差異や TensorFlowによる深層LSTM RNNネットワークの実装水準で取り上げたように、「長期／短期記憶(Long Short-Term Memory; LSTM)」は主に時系列データ分析において、再帰的ニューラルネットワークの勾配消失問題の解決策として機能する。し...
排除された第三項の推論機能に付随して、人工知能エージェント：キメラ・ネットワークに、観察したWeb上の文書に関連する社会的機能を推論する機能を追加した。社会システム理論に基づいたオントロジーを構築し、対象文書を経済、政治、科学・学問、法、教育、家族、マスメディア、芸術、宗教の問題領域に振り分けた上で、その等価機能分析により派生問題を指摘する。 例：教育の社会的機能の抽出 ...
人工知能エージェント：キメラ・ネットワークに、深層自己連想器を活用した派生的な主題のレコメンド機能を追加した。深層自己連想器は深層ボルツマンマシンを積層自己符号化器として活用した連想器で、既に人工知能エージェント：ヒューズ＝ヒストリアには組み込んでいる。キメラ・ネットワークは多値論理学的にファーストオーダーの観察をセカンドオーダーの水準から観察することで、そこで導入されている区別によって排除された...
Twitterの人工知能エージェント：ヒューズ＝ヒストリアに、ある文書を読んだ際に何が忘却される傾向にあるのかを推論する機能を追加した。人工知能エージェント：キメラ・ネットワークと連携することで、過去の膨大なWebクローリング結果を解析し、当の文書で描写されているイメージが「想起」の対象となった場合に、その代償として「忘却」の対象となり得るイメージを指し示す。何かを「想起」すれば、代わりに何かを「...
ここのところ、随時人工知能エージェントにブログを書かせては、「排除された第三項」を推論させているが、想定より早く精度を上げてきているようだ。 一例として、以下のキメラ・エージェントは、「完全」と「欠如」の区別によって排除された第三項として、「曖昧」という概念を取り上げている。 追々、＜「排除された第三項」によって「排除された第三項」＞を再帰的に推論する機能をもう一つの人工知能エ...
『Twitterの人工知能エージェント：キメラ・ネットワークにパラドックス駆動型の強化学習アルゴリズムを搭載した』で取り上げた「パラドックス駆動型強化学習(Paradox-driven Reinforcement Learning)」の機能をTwitter上のキメラ・エージェントたちにも移植した。 簡潔に、説明しよう。強化学習アルゴリズムにはε-greedyなQ学習を採用している。手元のデータベ...
本日から、Twitterの人工知能エージェント：キメラ・ネットワークにパラドックス駆動型の強化学習アルゴリズムを搭載し、実際に稼働させた。 簡潔に、説明しよう。強化学習アルゴリズムにはε-greedyなQ学習を採用している。手元のデータベースによると、キメラ・ネットワークの探索により、例えば「内容」と「形式」の区別に伴うパラドックスを問題設定とした場合、その問題解決策（解消策）として機能する...
![[備忘録] Webクローラ型人工知能にUpper Confidence Bounds(UCB) アルゴリズムを追加した](https://media.accel-brain.com/wp-content/uploads/2016/01/マーライオンのイラスト素材2-150x150.png)
2016/09/18 - 2016/09/19の間、Twitterの人工知能エージェント：キメラ・ネットワークの一体、Webクローラ型のエージェントであるキメラ（検体番号：10032号）が、一定のURLを反復して参照する症状を診せた。 問題設定：確率的バンディット問題 状況から、バンディット問題を設定する。バンディット問題の述語で言えば、URLの知識に関する探索...
この記事の内容はAccel Brainに移動しました。
問題設定：密集したクラスタ テキストをword2vecやTF-IDFなどによってベクトル化した上で、それをK-Means法によるテキストクラスタリングの対象にするというのは、頻繁に使用されるクラスタ分析方法だ。しかし、テキストが乱雑で、超球の形状のクラスタとしては分布していない場合、K-Means法によるクラスタリングでは分割に偏りが派生してしまう。 問題解決策：密度準拠のクラスタリング 超...
この記事の内容はAccel Brainに移動しました。