| 同年の防御率の記述力 | |||
| TBF >= 100 / MLB 2002 - 2025 | |||
| n | R² | RMSE | |
|---|---|---|---|
| FIP | 11377 | 0.577 | 0.809 |
| tERA | 11377 | 0.571 | 0.815 |
| xERA | 5423 | 0.564 | 0.835 |
| xFIP_OFFB | 11377 | 0.401 | 0.962 |
| xFIP | 11377 | 0.387 | 0.974 |
| SIERA | 11377 | 0.373 | 0.984 |
| GBkwERA | 11377 | 0.372 | 0.985 |
| DRA | 11377 | 0.370 | 0.987 |
| kwERA | 11377 | 0.326 | 1.021 |
| cFIP | 11377 | 0.306 | 1.036 |
| ※RMSEは線形補正した後の誤差 | |||
今回はあくまでも簡易的に、Fangraphs や Baseball Prospectus のリーダーボードですぐに取得できる指標の性能をまとめておきます。
各指標の記述力、予測力
他でいくらでも確認できますが、各指標の記述力と予測力もおさらいしておきます。
目的変数は失点率としたいですが、MLB では防御率スケールが一般的であり、実際今回使用する指標のほとんどは防御率スケールなので防御率とします。
以下が今回対象とする指標です。
一部、リーダーボードに存在しないが容易に算出できるもの、そのままの値ではなく補正項の更新をしたものもあります。
StatCorner の「About tRA」を見ると平均への回帰を行う工程があるように解釈できますが、他文献から tRAr についての説明だと推測できます。少なくとも FanGraphs においては平均への回帰を盛り込んでいないことは明言しており、今回使用する tERA は FanGraphs の値を加工していません。
同年の記述力(左)と翌年の予測力(右)です。
xFIP_OFFB は 1.02 等で採用されている分母が外野フライのもの。
cFIP と DRA は防御率スケールではないので RMSE は防御率に線形補正したものを表示。
| 翌年の防御率の予測力 | |||
| TBF >= 100 / MLB 2002 - 2025 | |||
| n | R² | RMSE | |
|---|---|---|---|
| SIERA | 7587 | 0.145 | 1.097 |
| GBkwERA | 7587 | 0.139 | 1.101 |
| cFIP | 7587 | 0.135 | 1.104 |
| xFIP_OFFB | 7587 | 0.132 | 1.106 |
| xFIP | 7587 | 0.129 | 1.108 |
| kwERA | 7587 | 0.127 | 1.109 |
| DRA | 7587 | 0.125 | 1.111 |
| tERA | 7587 | 0.110 | 1.120 |
| FIP | 7587 | 0.103 | 1.124 |
| xERA | 3272 | 0.085 | 1.163 |
| ※RMSEは線形補正した後の誤差 | |||
記述力
いくつか触れておきます。
まず一つは FIP vs tERA でしょうか。よく tRA の解説で、「FIP が評価対象外としている BIP に関しても投手の責任範囲として~」というニュアンスの文言が並び、実際理論的には正しく思えます。ただ実態として防御率の記述力は FIP と比して高くなっていません。理由として挙げられるのは分母の違いでしょうか。FIP は実際のアウトあたりの得点価値、tERA は期待されるアウトあたりの得点価値を算出しています。得点価値部分の記述力の向上をアウト数部分で相殺している形になっていると言えそうです。
厳密には現行の FIP は BIP を評価対象外にはできていません。分母がイニング(取ったアウトの数)ですので間接的に BIP も評価されています。
もう一つ、cFIP にも触れておきます。この中ではかなり記述力が低くなっています。ただこれが悪いとは一概に言えません。防御率に含まれるノイズや外部要因を除いた結果であればむしろ正しい記述力とも言えます。cFIP は混合モデルによりノイズを平均へ縮小し、球場や捕手、審判といった外部要因の影響を投手自身の効果から分離することを意図しているので、防御率の記述力が FIP より低くなるのは自然な結果です。
予測力
先ほど述べたノイズや外部要因の除去が正しくできていれば予測力は上がります。実際に cFIP は FIP と順位が逆転しておりその意図は反映されていそうです。
FIP ↔︎️ xFIP や FIP ↔︎️ cFIP のような逆転が kwERA ↔︎️ GBkwERA には見られないところは要注目です。kwERA が拾わない打球部分を拾う GBkwERA は記述力だけでなく予測力も高くなっています。つまり kwERA が捨てている GB% という打球情報はノイズや外部要因以外にも投手に帰属すべき情報が含まれている可能性が高いと解釈できます。
開発の順序としては kwERA → GBkwERA ですので kwERA はノイズや外部要因が大きくなる打球結果や走者管理を捨てたという点で大きな誤差を修正している指標です。ただ kwERA をもってして、打球情報の有用性を低く見積もるのは早計でしょう。
DRA については記述力、予測力ともに中途半端な位置にいます。DRA の Value/PA モデルでやっているのは投手効果の記述ですので、他効果の分離を直接的に行わない他の指標より記述力が落ちたとしてもそれは「正しい」記述力の低下と同義になりません。ただ投手の効果を推定できているなら予測力に関しては上昇してほしいところです。同じく混合モデルを活用している cFIP の予測力が高いことを考えると打球部分の過剰適合が気になります。
2015 年以降の xERA については他指標と条件が揃っていないのでここでは言及しません。
各指標のバイアス
では主題であるバイアスについてまとめていきます。
年代
まずは年代から。打球データが公開管理された 2002 年と Statcast データが公開管理された 2015 年を区切りとした年代の比較です。
同年の記述力です。
| 同年 防御率の記述力 | |||
| TBF >= 100 / MLB 2002-2014 | |||
| n | R² | RMSE | |
|---|---|---|---|
| FIP | 5,954 | 0.577 | 0.799 |
| tERA | 5,954 | 0.560 | 0.814 |
| xFIP_OFFB | 5,954 | 0.412 | 0.941 |
| xFIP | 5,954 | 0.399 | 0.951 |
| SIERA | 5,954 | 0.388 | 0.961 |
| GBkwERA | 5,954 | 0.383 | 0.964 |
| DRA | 5,954 | 0.375 | 0.970 |
| kwERA | 5,954 | 0.337 | 0.999 |
| cFIP | 5,954 | 0.307 | 1.022 |
| xERA | 0 | NA | NA |
| ※RMSEは線形補正した後の誤差 | |||
| 同年 防御率の記述力 | |||
| TBF >= 100 / MLB 2015-2025 | |||
| n | R² | RMSE | |
|---|---|---|---|
| tERA | 5,423 | 0.585 | 0.814 |
| FIP | 5,423 | 0.577 | 0.822 |
| xERA | 5,423 | 0.564 | 0.835 |
| xFIP_OFFB | 5,423 | 0.388 | 0.989 |
| xFIP | 5,423 | 0.372 | 1.002 |
| DRA | 5,423 | 0.365 | 1.007 |
| GBkwERA | 5,423 | 0.359 | 1.012 |
| SIERA | 5,423 | 0.355 | 1.015 |
| kwERA | 5,423 | 0.312 | 1.048 |
| cFIP | 5,423 | 0.305 | 1.054 |
| ※RMSEは線形補正した後の誤差 | |||
翌年の予測力です。
| 翌年 防御率の予測力 | |||
| TBF >= 100 / MLB 2002-2014 | |||
| n | R² | RMSE | |
|---|---|---|---|
| SIERA | 4,315 | 0.169 | 1.065 |
| GBkwERA | 4,315 | 0.160 | 1.071 |
| xFIP_OFFB | 4,315 | 0.156 | 1.073 |
| cFIP | 4,315 | 0.155 | 1.074 |
| xFIP | 4,315 | 0.152 | 1.076 |
| kwERA | 4,315 | 0.150 | 1.078 |
| DRA | 4,315 | 0.140 | 1.084 |
| tERA | 4,315 | 0.130 | 1.090 |
| FIP | 4,315 | 0.130 | 1.090 |
| xERA | 0 | NA | NA |
| ※RMSEは線形補正した後の誤差 | |||
| 翌年 防御率の予測力 | |||
| TBF >= 100 / MLB 2015-2024 | |||
| n | R² | RMSE | |
|---|---|---|---|
| SIERA | 3,272 | 0.112 | 1.145 |
| GBkwERA | 3,272 | 0.112 | 1.145 |
| cFIP | 3,272 | 0.107 | 1.148 |
| DRA | 3,272 | 0.103 | 1.151 |
| xFIP_OFFB | 3,272 | 0.101 | 1.152 |
| xFIP | 3,272 | 0.100 | 1.153 |
| kwERA | 3,272 | 0.098 | 1.154 |
| tERA | 3,272 | 0.085 | 1.163 |
| xERA | 3,272 | 0.085 | 1.163 |
| FIP | 3,272 | 0.072 | 1.171 |
| ※RMSEは線形補正した後の誤差 | |||