本記事は、前回記事
「適性検査だけで入社後の評価をどれだけ予測できるのか?」
の分析詳細です。
今回のテーマは
「機械学習(AI)を使って「高評価の人材」を見分けられるか?」
という課題について深掘ります。
※関連記事は「適性検査に対するデータ分析(まとめ) 」よりご覧ください。
「機械学習(AI)」は万能か?
役員に「AI」をうまく使って優秀な人材を確保できないの?と聞かれました。
「どう使うか」次第かとは思います。。
なんとか役員が納得する結果を出せないでしょうか?
「AIを使って…」というフレーズが色々なところで使われています。特に「目的が定まったビックデータがある領域」においては「AI」は大変な力を発揮します。
一方、一般企業の人事領域で、「AI」を活用できる場面はあるのでしょうか?
今回は、「人材採用において、適性検査に機械学習を用いた結果詳細」を紹介します。
「適性検査結果」から「入社後評価」を予測する
「ディープ・ラーニング」を使って予測する
実は(?)機械学習のアルゴリズムには様々な種類があります。今回まずは「AI」と言われる元となっている「Deep Learing(ディープ・ラーニング)」のアルゴリズムを用いてみます。
機械学習では基本的に
- サンプルデータから予測の計算式を作る
- 予測の計算式を使って、テストデータを予測する
- テストデータの「予測した結果」と「実際の結果」を比較する
という流れで分析が進みます。「予測した結果」と「実際の結果」が近ければ、作った「計算式」によって、未来が予測できることになります。
それでは早速、実際の一般企業のHRデータに対して、「ディープ・ラーニング 」を使って予測してみます。予測はプログラムが行うので、いきなり結果です。
上記の表の見方としては、横軸に「予測した結果」、縦軸に「実際の結果」が表示されています。例えば、「実際の結果」は「高評価」なのに、「予測」では「低評価」になってしまった場合が、4%(右上のセル)というように読み解きます。
「予測」と「実際の結果」が一致したのは、「高評価」で14%、「普通(評価)」で14%、「低評価」で5%の合計33%(=正解率)でした。すなわち、「性格判断」に「ディープ・ラーニング」を用いることで、33%は正解することがわかります。
ただ、なんとなく表をみるだけでもわかるのですが、正解率は決して高くありません。実はランダムに予測した場合でも、今回のケースだと平均35%の正解率になるため、33%の正解率はランダム(=適当)に予測した場合よりも、予測できていないことになります。
そのため、今回の結果では
「ディープ・ラーニング」では、「適性検査」から「入社後の評価」をほぼ予測できない
ということになりました。
※もちろんアルゴリズムの調整を行うことで、意味のある結果が得られる可能性は大いにあります。
「それでは役員に説明がつかないじゃないか!」
というお叱りの声が聞こえてきそうですが、
「ディープ・ラーニング」はデータ数が少ないと使用してもあまり意味がない
ため、今回の結果はある意味、順当な結果なのかもしれません。
その他の「機械学習」を使って予測する
「機械学習」は「ディープ・ラーニング」以外にもアルゴリズムがあるので、念のため、他の機械学習アルゴリズムを使って、「適性検査」から「入社後のパフォーマンス」を予測してみます。
以下のグラフは、「各アルゴリズム」ごとに、予測した評価の「正解率」を示しています。
上記のグラフは、個人的にはあまり想定していなかった結果なのですが、一般的にもっとも精度が高いとされている「Deep Learing(ディープ・ラーニング)」が、今回は「最も正解率が低く」、逆に機械学習の中では比較的シンプルなアルゴリズムである「Decision Tree(決定木)」が「最も正解率が高い」という結果になりました。
「決定木」を用いて予測すると、正解率59%とかなり高い精度になりました。これは、
「適性検査」だけで「入社後の評価」の「6割」を予測できる(可能性がある)
ことを示しています。
先ほどと同様に「Decision Tree(決定木)」でも予測の内訳を見てみます。
全体的に予測があっている割合が高まっていますが、特に「高評価」⇆「低評価」の予測ミスが減っていることは特徴的で、実利用する際にも使いやすいポイントです。
「決定木(Decision Tree)」は、機械学習の中でも、数少ない「計算式が単純=分類された理由がわかりやすい」アルゴリズムであるため、予測した理由を人間が説明しやすいという特徴があります。
今回も適性検査結果において「「敏捷性」が54未満・「内向性」が47以上・「懐疑性」が53未満・「活動性」が52以上」という4つの特徴を満たす人は、この会社では約9割の確率で高評価を受けていることがわかりました。
※むしろ、「ディープ・ラーニング」より「決定木(Decision Tree)」の方がわかりやすいため、役員に受け入れてもらいやすいかもしれません。
まとめ
「機械学習」を使って、「適性検査の結果」から「入社後評価」を予測したところ
・「ディープ・ラーニング(AI)」は効果的な結果は出せなかった
・よりシンプルなアルゴリズムを用いると予測の精度が高まった
という結果になりました。
最近注目を浴びている「ディープ・ラーニング」ですが、これまでは様々な領域で、シンプルな機械学習“すら”使われていないことがほとんどでした。(「機械学習」もうまく使えば非常に強力なツールです。)
そのため、比較的データ数が少ない領域では、「ディープ・ラーニング」よりも「シンプルな機械学習」を適切に用いることで、効果的な成果を生むことができるかもしれません。
ちなみに今回の「適性検査」を用いて「入社後の評価」の「6割」を予測できるという結果は、普通に面接すると14%しか入社後評価を予測できない?の記事で紹介した過去研究の「一般認識能力テスト」や「構造化面談」よりも高い予測精度を示しています。
今回の結果で、既存のデータをうまく活用することで、より良い人材採用に繋げられる可能性があると感じています。HRデータ分析のご研究をされている方がいらっしゃいましたら、是非お話をさせていただけますと幸いです。
※執筆者:塚本鋭
東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所にコンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。