Baseball Concrete Blog

主にプロ野球について、セイバーメトリクス的な考えを交えながら好きなことを書いています。

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

WARは何に有効か

ブログに広告も出てしまっていますし久しぶりに更新を。

近年MLBのセイバー系メディアでは応用的な話やpitch f/xなど新しい解析装置の話が多くなり、従来的な計算系の指標を主題とした記事は減っているような気もします。
そんな中でこないだはど真ん中の面白い記事が出ていたので軽くご紹介。

What is WAR good for? (The Hardball Times)

上の記事では、選手の貢献度を「リプレイスメントレベルが出る場合に比べて増やした勝利数」の形で評価するWARがどういったことに有効なのかが論じられています。
データ的に検証されているのは以下の2点。

(a)実際のチームの勝利数の説明
(b)将来のチームの勝利数の予測

(a)に関しては、チーム全体のWARを足し合わせていくとちゃんと実際の勝利数になるかという検証です。WARというのはリプレイスメントレベルを超えて稼いだ勝利数を表すように作られているわけですから「WAR+リプレイスメントレベルのチームに見込まれる勝利数」を計算すれば実際の勝利数に近くなるはずで、そうでなければWARというのは適切な指標ではないということが導かれます。

それで実際に計算してみるとWARから予測される勝利数と実際の勝利数は非常によく相関し(決定係数.83)、WARはチームの勝利を説明するのに優れた仕事を果たす、ということが結論付けられています。

続いて(b)の点ですが、チーム構成員の前年のWAR(+ちょっとした補正)でチームの勝利数が予測できるか、すなわち過去のWARが将来の予測に使えるかを検証しています。予測の精度については記事のグラフを参照していただきたいのですが、相関分析の決定係数では.35。やはり過去から将来を予測するというのは、単に過去に起きたことを説明するよりも難しいことが示されています。

記事の結論としては、WARは勝利を「予測」するものではなく「説明」するものであり、そこの意味を履き違えるなという主張が強く打ち出されています。
wOBAでもFIPでも同じですが、一般的な評価指標は選手の働きに関して「(過去に)何が起きたか」を説明するもので、選手の真の能力を示したり将来の予測をしたりすることを目的としたものではありません。
利用者は安易に「去年WAR 6.0だった選手が移籍してきたからチームの勝利は6増えるはずだ」などと考えてしまいがちですが、話はそれほど単純ではない。

これはWARの欠点ではなく、そもそも予測不能な要素も野球の一部でありWARが将来を完全に予測すべきとする理由もありません。
過去に起きたことの説明と将来の予測は分けて考えろ、というのが記事の著者であるGlenn DuPaulが強く訴える内容です。



と、以上が記事の紹介(雑ですみません。是非オリジナル読んで下さい)。
内容的にはWARに限らない話で、分析上実際に注意が必要なところなので指摘しすぎるくらい指摘してもいいポイントなのかなと思いました。
結果的に貢献度とされる評価と選手の真の能力が違うってどういうことなの、ということに関する私的な見解は以下の記事あたりで述べています。

指標は何を評価するのか~Part 1
指標は何を評価するのか~Part 2

そして記事に関してちょっと気になった点。
Tangotigerも早々に指摘しているのでちょっと二番煎じなんですが、WARと実際の勝利数の相関を見るというのは積極的な検証としては特に意味のない行為だと思います。
何故なら、WARはwOBAやUZR、FIPなどの方法を使って選手の貢献度を勝利に変換したもので、勝利と得失点差が相関するのは前もってわかっていることであり、得点とwOBAが相関するのもわかっていることだからです。失点に関してもFIPやUZRを使って理論上の失点を積み上げるのは、行為の基本的な意味としてXRで得点を予想するようなことと同じです。WARの計算方法は様々(実際の得点をベースにするもの、あくまでも推定によるもの等)で記事で使われているWARはwOBA・FIP・UZR方式じゃないですが、どの道を辿ってもこの辺の本質的な意味は変わりません。

従ってチーム全体のレベルでは、WARと実際の勝利が一致するのは当然です。そしてそれが確認できたからといってWARが選手の総合評価指標として適切な働きをしていることが確認できたわけではありません(命題の逆は真ではないということになります)。
WARの妥当性を考えるときに取り上げるべき本当の問題はそこではなくて、その勝利を選手個人の間でどのように分配しているかです。
チーム全体としてのWARが実際の勝利数と一致していても、個人間で適切な分配がなされているかどうか、すなわち個人評価が適切に行われているかどうかはわかりません。引用記事の検証ではWARは過去に何が起きたかを説明するには優れた働きをすると書かれていますが、個人評価について触れずにチーム全体の数字を見てWARの性格を論じてもほとんど意味がないのではないか、と私は思ってしまいました。
例えば被安打の責任を投手に帰しても守備者に帰してもチームとしての結果は同じですから引用記事で行われたような検証に大きな影響は与えないでしょうが、適切な個人評価を考える上ではどちらが妥当な選択か大きな問題になります。
WARは選手個人を評価できるから意味があるのであって、単にチームの実際の勝利数を求める式であったら存在意義はゼロです(チームの過去の勝利数は予測・推定するまでもなく明らかだからです)。
ボトムアップの視点で考えれば、選手個人が妥当に評価されているからこそそれらを合計したときにちゃんとチームの勝利数に一致するのではないかという見方もできます。しかし論理的な保証はありません。

そしてここまで話を進めるとわかるのですが、選手個人レベルで見るとWARが適切な働きをしているか(選手個人の貢献を適切に評価しているか)を直接に確認する方法はとりあえずのところありません。ですので、WARに関する検証というときにチームレベルでの話が出て来るのは仕方ないといえば仕方ないことであり、そういった検証はやれることの中でやれることをしっかりやっているという意味のものです。
それでわかった気になるのではなく、解決していない課題は解決していない課題として最低限認識しておく必要があります。

最後に予測に関してですが、決定係数.35をどう捉えるかは見解の分かれるところかと思いますが、個人的にはプロジェクションでもないのに.35はなかなか高いな、と感覚的に思いました。野球の勝敗は偶然的な要素で決まる割合が相当に多いことを考えると健闘と言えるのではないかと。




余談:
ちょっと前にTwitterはじめました。特に大したこと書いてるわけじゃないですが。


スポンサーサイト

 | HOME | 

プロフィール

管理者:クロスケ

野球全般好きで、プロ野球をよく見ますが特定の球団のファンではありません。
セイバーメトリクス(野球の統計的分析)の話題が多く、馴染みのない方にはわかりにくい内容があるかもしれませんがサイトに体系的にまとめています。

Baseball Concrete



RSSフィード

最近の記事

最近のコメント

カテゴリー

月別アーカイブ

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。