01 · 測定ツール
職務がテストを作ります。
私たちのアセスメントは、固定の項目バンクではなく職務から始まります。 職務記述書から責任、意思決定の条件、リスクへの曝露、コンピテンシーの 優先順位を読み取り、その職務のための状況判断シナリオを新たに生成します。 既成の項目バンクは使いません。
Theta AI™ は職務を大規模コホート向けの5択の状況に変え、 Titan AI™ は少人数のグループに自由記述でインタビューし、 各回答の背後にある推論を掘り下げます。2つのエンジン、出発点は1つ、 職務です。右の状況が、候補者が次に答えるその状況です。
02 · 回答 · Theta AI™
2つの選択。2つの独立したシグナル。
すべての Theta AI™ の状況で、候補者は同じ尺度の5つの選択肢から、 最も効果的だと判断する行動(Best)と、最も有害だと判断する行動(Worst)という、 2つの異なる選択を行います。
効果的な行動を選ぶことと、有害な行動を見抜くことは異なる能力です。 だからレポートは両者を分けます。効果的な行動の根拠と有害な行動の根拠は それぞれ別々に採点・表示され、コンピテンシーのパネルも、1つの不透明な 総合値に黙って統合されることなく、区別されたまま保たれます。 この2つの選択こそが、04の測定が採点する対象です。
03 · 行動アンカーの根拠 · Titan AI™
印象ではなく、行動アンカーのスコア。
Titan AI™ は自由記述の推論を4つの独立した軸、つまり根拠、 コミュニケーション、リスク認識、実行で採点します。各軸は観察可能な 行動によって1から5の尺度にアンカーされるため、スコアは文章の磨き上げや 長さではなく、その人が実際に書いた内容を指します。
すべての採点イベントは保存されるか、理由を記録した上でスキップされます。 黙って落とされるものはなく、4つの軸が1つの隠れた数値に平均されることも ありません。
04 · 測定 · Theta AI™
自らの不確実性を知るスコア。
Theta AI™ は項目応答理論で採点します。凍結された項目キャリブレーションの 上で、R の mirt パッケージによる段階反応モデルを実行します。各コンピテンシーは EAP推定値と標準誤差とともに報告されるため、Theta のスコアは自身の確度とともに 届きます。情報量のある回答が蓄積するにつれ、不確実性は狭まることがあります。 アニメーションは一例を示しています。
本番の実行が、採点対象の人々からモデルを再学習することはありません。 出所のフィンガープリントがレジストリと一致する凍結キャリブレーション資産を 要求し、一致しない場合、同じ本番コホートで再フィットするのではなく、 実行は拒否されます。
Titan AI™ は自由記述の推論を意図的に異なる形で提示します。軸ごとに 行動アンカーの1から5のスコアと、その横に引用された根拠を示します。 レポートは軸ごとの標準誤差を印刷しません。アンカーと根拠こそが説明です。 推定値は完全な記録とともにレポートに届きます。それが05です。
05 · 根拠の記録
数値ごとに、出所に基づく。
02での Best の選択は、記録を伴う数値になります。レポートで数値を開けば、 何がそれを生んだかが見えます。候補者の実際の回答、その回答が答えた シナリオ、採点したエンジンのバージョン、そしてその背後にある正確な データスナップショットのフィンガープリントです。事後に何かが 入れ替えられていれば、フィンガープリントは一致しません。
これが証明するのは真実ではなく出所です。フィンガープリントは、数値が 後から改ざんされていないことを示すだけです。その数値が信頼に値するか どうかは、01から04の手法と、06と07の限界から判断してください。
06 · ガバナンス
限界は埋もれさせず、明記します。
同点は同点のまま
同等の結果は同等のまま報告します。決定的に見せるために恣意的に順位をつけることはありません。
欠けた分母は見せたまま
比較に基礎集団がない場合、あるかのように示唆するのではなく、レポートがその旨を明示します。
暫定は暫定のまま
合成または暫定のキャリブレーションはレポートに表示されます。検証済みの規準として提示されることはありません。
小規模コホートには注記を
コホートの文脈は規模で段階分けされます。基準規模を下回る比較集団は曖昧にせず、フラグを付けます。
昇格は手動で
キャリブレーションは人による品質ゲートを通ってのみ本番に反映され、自動的な蓄積で反映されることはありません。
07 · 妥当性検証
“データ不足”と告げるゲート。
私たちの妥当性検証ツールは、基準相関分析と不利な影響の分析を実行し、 どちらもデータが支えられない数値の生成を拒否します。最小集団規模を 下回る場合、返される結果は見栄えの良い推定値ではなく “データ不足” です。
現在、キャリブレーションは暫定段階と合成段階で運用されており、 持っていない基準関連妥当性の結果を主張することはありません。 根拠が暫定のところでは、レポートがその旨を明示します。 数値を偽るより、ゲートを公開することを選びます。
08 · 公正な比較
誰とでも比較して評価してください。
SHL、Korn Ferry、Hogan は数十年にわたりアセスメント、技術マニュアル、 規準を公開し、実際の研究プログラムを文書化してきました。 私たちはその実績を尊重します。私たちの答えは種類が違います。 根拠の記録をプロダクトの中に、レポートごとに組み込んでいます。
ここを含め、どこでアセスメントを評価する場合でも、5つの質問が 核心を突きます。
- 01テストを作るのは何ですか。固定の項目バンクですか、それとも実際の職務ですか。
- 02各数値は、それを生んだもの、回答か、キャリブレーションか、コホート集団かを明示していますか。
- 03不確実性はスコアの隣に印刷されていますか。それともマニュアルに隠れていますか。
- 04データが十分でないとき、システムは何と答えますか。
- 05採用の決定を下すのは誰ですか。その人は実際に何を見ていますか。
要点
1つのアセスメント。決定は人が下します。
Theta AI™ と Titan AI™ は根拠を構造化します。それを見極めるのは人です。 このページにも、どのレポートにも、自動の採用決定となるスコアはありません。