7つのステップでわかる Learning Analytics 活用の始め方
昨今のあらゆる産業界でのデータ活用により、Learning Analytics の効果的な使用に注目が集まりそうですが、始めることが難しい分野でもあります。
Learning Analyticsとは、学習者とその背景に関するデータを対象とし、データを測定、収集、分析し、フィードバックを行うことで、その目的を「学習とその学習が生じた背景を理解し、教育や学習を改善するため」としています。
ただ、始めるにあたって、高度な統計やAI（人工知能）、または予測モデルの話を必要以上に気にすることはありません。 実際、単純な指標と今持っているデータでできることはたくさんあります。
前提として、データ活用という名の通り、データを集める必要があるわけですが、通常収集するデータを決定する際に2つのアプローチがあります。
①今現時点ですぐに利用できるデータを収集し、そこからデータ収集戦略を構築する
②特定の目的を念頭に置いてそれをサポートするためにデータを収集する
これは組織とチームの状況にもよりけりなため、どちらのアプローチが正しいか間違っっているかというわけではありません。場合によっては、両方のアプローチのバランスもうまく機能するでしょう。
この記事では、②の方法で手順を示していきます。
STEP1：データ活用の目的の策定
収集するデータに優先順位を付けるアプローチとして、組織の課題に寄り添い、特定の目的を策定することが挙げられます。
社会情勢やテクノロジーの変化を踏まえて未来を見据えたうえで、あなたの組織が将来あるべき姿はどうなっているべきでしょうか。
そして、その将来あるべき姿に関わるステークホルダーの中で、特に「体験」を変えたい対象者（人）は誰でしょうか。学習者でしょうか。講師でしょうか。その対象者はあるべき姿を理想としたときに、どんなことを不満に思い、困っているでしょうか。
それを解決するには、どんな施策・サービス（対象者の体験）が望ましいでしょうか。その施策・サービス（対象者の体験）を実現させるには、どんなデータが必要でしょうか。
上記の質問に答えるワークショップなどを行い、対象者の体験をデータの観点からもデザインします。すると、自ずと収集するデータが仮説として出てきます。
重要なのは、最終目的を念頭に置いて開始し、その目的を達成するために必要なデータを決定することです。
Step2：データを集める
データを1か所で共通の形式で収集し始めます。 このステップは、データの収集・フォーマット揃え、集計等にそれなりの時間と計画を要しますが、この重要なステップから得られる価値は非常に大きいです。また、開始するのが早ければ早いほど、「新しい気づき」に早くアクセスできるようになります。
良いデータである限りは、データが多すぎても問題ありません。一方で役に立たないデータを見極めるためにも、最初の目的を大切にしましょう。
あなたがデータ戦略に近いポジションである限り、度々IT部門に連絡する必要がないよう、効果的なフォーマットとシステム管理を心がけましょう。
良いデータを定義することに加えて、技術的な観点に立ち、既存のシステムやプラットフォームからどのようにデータストアに入れるかを決める必要があります。
（どのようにデータストアに入れるかといったテクニカルな説明は、ここではいったん飛ばします。後ほど更新予定）
Step3:：データに詳しくなる
データが一か所に集まった後、次はあなた自身がデータに詳しくなるステップです。以下の5つの手順に沿って進めてみましょう。
1. データの正確さを確認する
時間をかけてデータの「正確さ」を確認してください。可能であれば、技術的なバックグラウンドを持つ方に、トラックされているイベントごとにxAPIを確認してもらいます。
試しに、データを引き出して、授業出席率といったサンプルのレポート（ダッシュボード）を作成してみてください。次に、今まで使っているシステムから授業出席率のレポートを再作成して、レポートのデータが一致することを確認します。
データが信頼できるか自問自答してみましょう。直感的にいかがでしょうか？データはクリーンで構造化されていますか？データが既存のレポートと一致しなかったり、期待値と異なる場合は、例えば次のような理由が考えられます：
•想定と異なる学習者の母集団を見ている（たとえば、違う学科の人のデータまで入ってしまっている、など）
•一部のデータが正しく反映されていないか、誤って複数回反映されている
•データソースからの元のデータが不正確である
•レポートの構成にエラーがある
•学習者はあなたが予期していなかった方法で行動している（つまり、データは正しく、あなたは間違っている）
データが期待値と一致しない場所と理由を把握し、必要に応じてデータ（または期待値）を調整します。
2. 理想のデータとのギャップを認識する
データを理解するにつれて、何が欠けているのかを理解し始めることができます。 ここでは悪いデータについてではなく、理想と比較したときの足りないデータについてです。
Step1で取るべきデータについて仮で定義したものの、いざ簡単なレポートにしてみると、収集したい追加データについて考えが浮かぶかもしれません。
3. 役に立たないデータを取り除く
また、逆の発想でも時間を費やす必要があります。 必要のないノイズやジャンクデータを見つけましたか？ ジャンクデータが多すぎると邪魔になり、データストアとレポートの質に影響を及ぼす可能性があります。
優れた分析プラットフォームでは、ジャンクデータを簡単に選別できるはずです。本当に必要のないデータを取り込んでいる場合は、フィルタを調整するか、もしくは新しい分析プラットフォームを見つけるときかもしれません。
4. テスト的にデータを可視化してみる
JSONを一日中見つめても、基本的なエラーを見逃すかもしれません。そのデータをグラフで視覚化すると、意外とエラーがわかったりします。そのため、学習者と学習経験を簡単に評価したり、いくつかの簡単なレポートを作成したり、見落としがないか他の人に再確認するように依頼したりすることが重要です。
多くの人は、データを最初に確認した後、自分の仮説や勘をデータ的に証明することができます。同時に、学習者の行動と結果について、自分の予想とは大きく異なるという「新しい気づき」が1つや2つあることがよくあります。いずれ大切になってくるのが、その背後にある理由を探求することです。
Step4: データを運用可能にする
強固なデータ基盤ができたので、いよいよ使い倒していきます。基本的には、Step1で立てた目的に沿って、「新しい気づき」を得るための本番レポートの作成を進めるのみです。
仮にStep1である特定の目的を定めていない場合は、組織の中でデータを可視化できることで最も効果が出そうな領域を狙いましょう。既存のものをいきなり置き換えるのも一つですが、その場合にもいくつか「新しい気づき」を提供できるよう、レポートに盛り込みましょう。
例えば、Excelの集計・報告資料の作成に時間をかけすぎているチームメンバーはいませんでしょうか？毎週・毎月同じような報告レポートの作成に多大な時間を費やすことなく、逆にデータの深堀（そうなっている理由の探索）に時間を使うことができます。
さらに、週次・月次レポートではなくリアルタイムで最新のレポートを見たい、関係者が独自の観点のレポートをすばやく作成しデータの背景について質問をしたい、学校ごとや学科ごとに様々な角度からデータをみたい、などと視覚的なレポートが輝く場はたくさんあります。
いずれかの目的に沿って、本番レポートを作成したのち、（最初に立てた）KPIを見直してみましょう。KPIをもとに、傾向と変化について話し合いましょう。その結果、組織全体の成功にどのように影響するかを正確に把握できるようになります。
Step5：データを探索し、「新しい気づき」を得る
データをより深掘りし始める時です。 データを運用するにつれて、おそらくあなたは組織で「何が」起こっているかについて多くのことを学び始めました。それでは、次に「なぜ」それが起こっているのかを尋ね始めてみましょう。
驚きを見つける
予期していなかった領域を確認することから始めましょう。例えば、データで目立つ指標は何ですか？ 何が正しくないと思われますか？ この作業には、データをよく知っている人と現場の人の両方を参加させます。
関連する指標を確認し、場合によっては個々の学習者レベルで深く掘り下げて、予期しない結果について考えられる理由を探ります。 驚くべき指標の背後にある理由を特定できない場合は、特定するために「足りないデータ」を見極め、次からのフィードバックの中で特定できるようにします。
外れ値を研究する
トレンドに逆行する外れ値に遭遇しましたか？ これらの特定の外れ値が発生した理由を自問してみましょう。例えば、以下の「CSAT（顧客満足度）の評価平均は、CSATテストスコアと相関がない」というレポートを考えてみましょう。
チャートの右下隅にある人々を見ることから始めます。98％以上のテストスコアを獲得した3人のクラスターを見ることができますが、支援した顧客からのCSAT評価が最も低いものもあります。 これらの人々が不足しているスキル、知識、能力のうち、テストの対象外のものは何ですか？ それを見つけるために、これらの人々とそのマネージャーにインタビューし、その録音された会話を顧客と聞いてください。そうすることで、これらの欠けている部分をトレーニングとテストに組み込むことができます。
次に、左上の人々を見てください。 これらの人々は、低いテストスコアにもかかわらず、高い平均顧客満足度を達成しました。この場合、テストスコアは主に75％を超えて集中しているため、テストスコアが45％で平均CSAT評価が10の人も確認する必要があります。繰り返しになりますが、これらの人々が不足しているスキル、知識、能力のうち、テストの対象外のものは何ですか？ それを見つけるために、これらの人々とそのマネージャーにインタビューし、その録音された会話を顧客と聞いてください。そうすることで、これらの欠けている部分をトレーニングとテストに組み込むことができます。
より質問を投げかける
特定の目的に縛られすぎずに、あなた自身が日々感じている仮説を、データで証明できるか見てみましょう。 仮説を適切に立て、その仮説を証明できれば、より多くを学ぶことができますし、より多くの仮説が思い浮かぶでしょう。 「新しい気づき」からまた仮説がうまれます。そして、Learning Analytics自体は終わりがあるものではありません。「新しい気づき」を得て、絶えず改善し、最善を尽くすために努力することそのものです。
プログラム・授業・取組を評価し、改善し続ける
あなたのプログラム・授業・取組を俯瞰的に見てみましょう。例えば、特定の目的が「多職種連携の学びプログラム」の満足度を上げることだったと仮定して、「多職種連携の学びプログラム」を評価してみるとします。データを使用して、プロセスを個別に評価することができます。
•学びの体験をうまく設計できていましたか？
•学習者は、意図したスキル、知識、および能力を伸ばすことができましたか？
•学習者はそれらの能力を用いて、それらを仕事にうまく適用しましたか？
•これらのアクションは、期待した業績（成績アップ、DO防止など）につながりましたか？
プログラム・授業・取組で問題を見つけた場合は、介入を試みてください（CSAT修正の例のように）。 一連の小さな変化を加え、KPIを監視して、状況が改善するかどうかを確認します。そうでない場合は、是非別のことを試してください。
または、状況が改善した場合、その介入をさらに進めるか、より広い範囲に適用できるか考えましょう。毎週、プログラム・授業・取組を改善するための方法を、たった1つでいいので見つけてください。50週間の間、毎週1％だけ結果を改善できれば、1年の間に64％の増加を達成できます。
仮説を立ててとにかく試そう
望ましい結果を達成するための最良の方法を見つけるために、実験することを恐れないでください。
仮説を立て、計画したA / Bテストを使用して、仮説を検証します。 A / Bテストとは、2つのグループの学習者を作成し、各グループに異なる体験を提供することを意味します。基本的に、グループAの経験は現在と同じことをし、グループBは新しいアプローチを試みてみます。学習者がグループを自己選択できるようにするのもいいでしょう。
データを見て、どのようにアクションするかは計画しておきましょう。一歩前進するたびに、データを収集し、質問を絞り込んで、小さな変化を加えて改善し続けます。
プログラム・授業・取組の最適化を続けると、データの信頼性が向上することがわかります。ここまでくれば、あなたは分析のプロに近づいています。間もなく、予測分析を使用して将来を予測するフェーズに入れます。
Step6: データを自動化や予測（AI）に応用する
データ分析のステップを重ねて、データを見て仮説を立てることに慣れてきたのではないでしょうか。
例えば、更なる付加価値として、「データに基づいた成績予測をもとに、学習者に対して更に学力/能力を伸ばすためのアドバイスや、成績下降/不登校/中退を防ぐための指導を より早く行う」ことができたらどうでしょうか。
成績予測はどのようにしたらできるでしょうか。成績が変動する際に影響する因子は何か？仮説を立ててみましょう。例えば、日々の学習状況や保健室・図書館の利用状況、さらにはいじめの内容などのデータが関連するかもしれません。
成績変動に関連するデータを見極めたうえで、それらのデータでAIモデルを組むことで数値の予測をすることができます。
他にも、学習者中心の学びという意味で、所定のアプリ上で何かを調べた後にその人が困っているであろう関連動画をレコメンドすることもできます。
step7: データから得た「新しい気づき」を発信する
知識ベースの経済では、学び続けることは企業にとぅって最も戦略的な武器の1つである必要があります。
「新しい気づき」を社内に発信する
データを発信することを恐れないでください。結局のところ、データ活用を拡大して全社的な戦略とするには、利害関係者からの賛同と資金提供が必要です。 そのため、利害関係者にも「新しい気づき」を提示し、新しいアクションを提案してみましょう。
データを外部向けのマーケティングに使う
学習プログラムやキャンペーンの設計に役立つデータのクリエイティブな発信方法を考えてみましょう。
これらの7つの手順に従うことで、データの力を用いた新しい教育を確立するためのレースを走り出したと言えるでしょう！
参考：
https://www.watershedlrs.com/resources/definition/what-is-learning-analytics/
