XGBoost における単調性制約 - 2 はじめに 前回 XGBoost での単調性制約を与える方法について紹介しましたが、そのメカニズムについて調べました。 線形モデルはデータと目的変数間の単調性（増加・減少）を捉えるモデルです。 非線形モデルを使うのは、単調…

XGBoost の単調性制約 XGBoost などの Tree 系アルゴリズムは表現力が大きいため、容易に bias を小さくできます。 下の例では、増加するトレンドにある特徴量と目的変数がにノイズが乗ったデータに対して XGBoost でフィッティングすると、全体的には上昇ト…

Decision Tree - ID3(Iterative Dichotomiser 3 - 1979 John Ross Quinlan) (注意) これは私の勉強・備忘録のために記したものであり、間違いがあるやもしれません。どうぞご容赦ください。 はじめに 決定木のアルゴリズムに ID3 というものがあります。 ID3…