今回は、退職予測がどれだけ事業に利益をもたらすか考察するために
「退職予測の正解率はどれだけ意味があるのか？」
という課題について考えてみます。
※関連記事は「退職（予測）に関するデータ分析結果（まとめ） 」よりご覧ください。
退職予測「正解率80%」は意味がない！？
退職を80%予測できると聞いたことがあるのですが本当ですか？
正解率80%の予測はできます。ただ内容次第では事業への貢献はないかもしれません。
退職予測を弊社の成果につなげることはできますか？
はい、意味のある結果にできるか考えてみましょう。
人事戦略において、「離職率（退職率）低減」を１つのKPIとしている企業も多いかもしれません。
「退職率低減」のために、いろいろな手法があると感じていますが、その中で
退職しそうな人を事前に見つけ出し、フォローすることで退職を防ぐ
という方法があります。
この手法では、どれだけ
「”適切に”退職リスクがある人を事前に見つけ出せるか」
が重要になります。
一方で、この”適切に”という考え方が難しく、共通的な指標や見解がないことも事実としてあります。
そこで今回は、退職予測に対する考え方を整理してみます。
- 退職予測「正解率80%」は意味がない！？
- 0．（参考）未来予測に関する予測精度とは？
- １．退職予測「正解率80%」に意味がない場合
- ２．なぜ企業は予測結果のすべてを公表しないのか？
- ３．退職予測はどうすれば意味があるのか？
- ４．まとめ
0．（参考）未来予測に関する予測精度とは？
未来予測では、以下の表のように「予測結果」と「実際の結果」を比較して、予測精度の評価を行います。
ここでは、
・「正解率」は、表の「左上」と「右下」の合計割合であること
をご理解いただければと思います。
※予測精度の詳細は、「未来予測における予測精度のいろいろな算出方法」の記事をご参考ください。
１．退職予測「正解率80%」に意味がない場合
まずはじめに、退職予測の「正解率80%」がどのような場合には、事業として効果的な数字でないのかを確認します。
1-1．退職率が低い場合
例えば、以下のような退職予測モデルがあったとします。
この場合、「正解率」は、
・「退職」と予測して、実際に「退職」だった「1人」
・「在職」と予測して、実際に「在職」だった「100人」
の合計割合になるため、
（1人 + 100人）／ 121人 ≒ 約83% ＝ 正解率
となります。
一方、表をよく見てみると
・「実際に退職した人」は「11人」
・「実際に退職した」「11人」のうち、「退職を予測できた」のは「1人」
となっており、
正解率83%でもほとんど意味のある予測ができていない
ことがわかります。
ちなみに、「実際の退職率」と「ランダムに退職を予測したときの正解率」の関係をまとめると以下のようになります。
※「ランダムに予測」とは、すべての情報を加味せず「適当に」予測した結果です。
表を見ると
・退職率10%の場合、ランダムに予測しても正解率82%
・退職率5%の場合、ランダムに予測しても正解率90%
・退職率2%の場合、ランダムに予測しても正解率96%
であることがわかります。
※仮に「年」ではなく「月」で予測していると、「年間退職率24%≒月間退職率2%」になるため、ほとんどの企業で正解率96%以上になることもわかります。
そのため、
退職率によっては「正解率80%」だけでは、よい予測ができているのかわからない
という問題があることがわかりました。
1-2．データに不備がある場合
「機械学習」で予測を行う場合、
使用するデータによっては、予測精度と関係なく「正解率が高くなる」
可能性があります。
詳細は割愛しますが、以下のような場合には注意が必要になります。
・「学習データ」と「検証データ」が同じ期間である場合
・「休職データ」など「退職」につながるデータが含まれている場合
・退職直近で変化するデータ（勤務時間、評価など）が含まれている場合
２．なぜ企業は予測結果のすべてを公表しないのか？
「１．退職予測「正解率80%」に意味がない場合」を見ていくと、
「正解率80%」の意義は、「詳細内容」を明らかにして初めてわかる
と言えるかと思います。
一方で、過去の様々な企業の発表では、「詳細内容」が明らかにされていない場合がほとんどです。
理由の１つとしては、
退職予測の結果をある程度示してしまうと、退職率が予測できてしまう
という問題があるかなと感じます。
難しい部分ですが、うまく課題をクリアして、各社の知見を共有していけるとよいなと個人的には感じています。
３．退職予測はどうすれば意味があるのか？
一方、「正解率」ではなく、別の観点で考えると、「退職予測」の有用性が見えてきます。
例えば、以下のような「退職予測」ができたとします。
このモデルでは、正解率85%（=（5人＋80人）／ 100人）ですが、
退職と予測した10人のうち、5人が実際に退職しています（50%）。
全体での退職率は、20%（＝20人／ 100人）であるため、
退職予測モデルが予測した従業員に優先的にすると、
従来の2.5倍（50% / 20%）の効率で退職リスクへのサポートができる
ということがわかります。
このように、退職予測は、
その予測結果をどのように使うのか？
まで含めて設計できると、事業成果につながる分析になる可能性があると考えています。
４．まとめ
今回、
「退職予測の正解率はどれだけ意味があるのか？」
という疑問を検証し、
「正解率80%」以外の条件がわからないと、意味のない予測の可能性がある
ということを確認しました。
一方で、
予測した結果を適切に用いることで、正解率が低くても事業貢献できる可能性がある
ことも考えられる結果になりました。
次回以降の記事では、実データを用いて「どれくらい退職を予測できるのか？」ということに挑戦していきます。
※関連記事は「退職（予測）に関するデータ分析結果（まとめ）」よりご覧ください。
もし具体的に「退職予測」をされている方がいらっしゃいましたら、ぜひご意見いただけますと嬉しく思います。
※執筆者：塚本鋭
東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所にコンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。
