2019-06-01から1ヶ月間の記事一覧

単語分散表現(Skipgram, CBoW)のベクトル長について

word2vec skipgram CBoW 単語分散表現 DeepLearning

Skipgram など単語の分散表現のベクトル長について Skipgram, CBoW などの単語分散表現は、単語をベクトル空間に配置（埋め込む）するのですが、単語同士の類似度としてはコサイン類似度が用いられます。 言い換えると、単語ベクトル同士の角度が類似度とな…

XGBoost における単調性制約

decision tree machine-learning xgboost 機械学習 決定木 単調性制約

XGBoost の単調性制約 XGBoost などの Tree 系アルゴリズムは表現力が大きいため、容易に bias を小さくできます。 下の例では、増加するトレンドにある特徴量と目的変数がにノイズが乗ったデータに対して XGBoost でフィッティングすると、全体的には上昇ト…

BayesSearchCV で XGBoost の early stopping 機能を使う

bayesoptimization machine-learning scikit-optimize xgboost ベイズ最適化 early-stopping

BayesSearchCV で XGBoost の early stopping 機能を使う 先日の BayesSearchCV イントロダクションの続きです。 XGBoost には early stopping という、 学習データとは別に、テストデータの Validation error が少なくとも <early_stopping_rounds> 回数連続して減少しないと、学習</early_stopping_rounds>…

scikit-optimize の BayesSearchCV を用いたベイズ最適化によるハイパーパラメータ探索

機械学習 xgboost bayesoptimization ベイズ最適化 ハイパーパラメータ scikit-optimize machine-learning

ベイズ最適化でハイパーパラメータをチューニングする ハイパーパラメータのチューニングではパラメータを様々に振りながら学習を繰り返し、一番パフォーマンスが良いところを探し出します。 学習時間はモデルやデータサイズなどによって異なりますが、効率…