Python 機械学習モデルを解釈する指標SHAPについて 今回は、機械学習モデルの解釈性に関する指標「SHAP」について書きます。 機械学習モデルを学習させた時に、実際にモデルはどの特徴量を見て予測をしているのかが知りたい時があります。 木構造アルゴリズムでは、特徴量の境界で切り分けた時のジニ係数を元にして、どの特徴量が効いているかを 2019-04-26 Python機械学習
Python WordCloudとpyLDAvisによるLDAの可視化について 潜在ディリクレ配分法(LDA; Latent Dirichlet Allocation)によるトピックモデルを学習させて、WordCloud・pyLDAvisで可視化までやってみます。 今回は日本語でやってみたかったので、以下のlivedoorニュースコーパスを利用させていただきました。 2018-12-29 Pythonデータビジュアライゼーションデータ分析機械学習自然言語処理
Python 因子分析でテニスのサーブ力・リターン力を定量化してみた 各選手には、サーブが得意な選手やリターンが得意な選手がいると思います。 そこで、今回は、各選手にサーブ力とリターン力の潜在変数があると仮定して、これを因子分析で推定し定量化をしてみました。 結構なサイズのファイルで、一気に読み込むことは不可能でした。 2018-11-11 Pythonデータ分析機械学習
Python 文書分散表現SCDVと他の分散表現を比較してみた 今回は、以下の論文の文章分散表現、SCDVについて書きます。 SCDVは、文章ベクトルを取得する方法の1つです。 文章ベクトルを取得する手法はDoc2Vecなど色々ありますが、論文において、取得した文章ベクトルを用いたマルチラベル分類では、他の方法よりも高い精度を出せているようです。 2018-10-12 Pythonデータ分析機械学習自然言語処理
Python クレジットカード不正利用予測モデルを作成・評価してみた 表題の通り、Kaggleデータセットに、クレジットカードの利用履歴データを主成分化したカラムが複数と、それが不正利用であったかどうかラベル付けされているデータがあります。 - 今回は普通に、このデータを用いてクレジット... 2018-09-24 Pythonデータ分析機械学習
Edward ベイジアンニューラルネットワークで毒キノコ分類を実装してみた 最近勉強中のEdwardを使って、ベイジアンニューラルネットワークを実装してみました。 公式ページには、ちょっとした参考程度にしかコードが書いてなくて、自信はありませんが、とりあえず学習はしてくれたようです。 ちなみに今回は、データをKaggleのデータセットで行い、実装もKaggleのkernelを使ってみました。 2017-12-30 EdwardPythonデータ分析ベイジアンモデル機械学習
Python TensorFlowでニューラルネットワーク、CNNを実装してみた 今回は、TensorFlowでニューラルネットワーク、<!-- 再帰的ニューラルネットワーク、 -->畳み込みニューラルネットワークの実装について記します。 以前にChainerやPyTorchでも各種ニューラルネットワークを実装していますので、今回も同様のタスクを実装してみます。 2017-10-24 PythonTensorFlow/Kerasディープラーニング機械学習
Python オンライン機械学習(CW、SCW)を実装してみた (adsbygoogle = window.adsbygoogle || []).push({}); 今回は、下記の論文で紹介されているオンライン機械学習のモデルをPythonで実装してみました。 Exact Soft Conf... 2017-09-19 Pythonデータ分析機械学習
Python PyTorchでニューラルネットワーク、RNN、CNNを実装してみた 今回は、PyTorchでニューラルネットワーク、再帰的ニューラルネットワーク、畳み込みニューラルネットワークの実装について記します。 以前にChainerの実装をまとめたときのものと同じタスクを実装してみて、比較しやすいようにしてみました。 2017-08-31 PythonPyTorchディープラーニング機械学習
Chainer Chainerでニューラルネットワーク、RNN、CNNを実装してみた (adsbygoogle = window.adsbygoogle || []).push({}); RNNの実装の勉強もしました。 今回は整理と備忘録も込めて、Chainerでニューラルネットワーク、リカレントニューラルネット... 2017-06-20 ChainerPythonディープラーニング機械学習
Chainer Chainerでニューラルネットワーク及び畳み込みニューラルネットワークを実装してみた (adsbygoogle = window.adsbygoogle || []).push({}); 追記(2017-06-20) 再帰的ニューラルネットワークも実装してみて、再度まとめました。 明けました。 本年もどうぞ、よ... 2017-01-11 ChainerPythonディープラーニング機械学習画像認識
Python Open AI GymのFrozenLakeを強化学習(Q学習)で解いてみた (adsbygoogle = window.adsbygoogle || []).push({}); Google子会社DeepMind社により開発された、人工知能を搭載したコンピューター囲碁プログラム「AlphaGo(アルフ... 2016-12-14 Python強化学習機械学習
R 性別、職業別、趣味別の行動者数データを対応分析してみた (adsbygoogle = window.adsbygoogle || []).push({}); 政府統計データのいろんな地域別のデータを眺めながら、先日のマップ可視化に乗せるだけでも面白いなぁとか考えていました。 今回は、... 2015-10-17 RRubyデータ分析機械学習