第1回 5Vと品質課題・変数定義¶
本日の到達目標¶
- ビッグデータの5V（Volume, Velocity, Variety, Veracity, Value）を説明できる
- 大規模データ分析における3つの品質課題（欠測・外れ値・偏り）を識別できる
- 後半の多変量解析に向けて目的変数・説明変数の定義と粒度を決める視点を持てる
1. ビッグデータとは何か¶
1.1 5Vの定義¶
| V | 概念 | 具体例 |
|---|---|---|
| Volume（量） | 単一マシンでは扱えない規模 | 1日に数十億件のSNS投稿、PB級のログ |
| Velocity（速度） | リアルタイムまたは高頻度に生成 | センサーデータ（1秒に数千レコード）、株価 |
| Variety（多様性） | 構造化・半構造化・非構造化が混在 | 表データ＋テキスト＋画像＋音声 |
| Veracity（信頼性） | ノイズ・欠測・矛盾が含まれる | センサー故障、入力ミス、定義の変更 |
| Value（価値） | 分析・意思決定への実質的な寄与 | 需要予測、異常検知、顧客理解 |
【カードに記入・3分】：あなたが知っている身近なデータを一つ挙げ、どのVが最も問題になると思うか説明してください。
1.2 なぜ5Vが重要か¶
従来の統計分析は「きれいなデータ」を前提としていた。
ビッグデータでは Veracity（信頼性） が根本的な問題になる。
→ 品質の悪いデータからは、どれだけ高度な手法を使っても意味のある結果は得られない（Garbage In, Garbage Out）
2. 大規模データの品質課題¶
2.1 欠測（Missing Values）¶
定義：観測されるべき値が記録されていない状態
発生原因 - センサー故障・通信途絶 - 調査票の未回答 - システム移行時のデータ喪失 - 定義の変更（「以前は記録していなかった」）
欠測の種類（Rubin, 1976）
| 種類 | 英語 | 欠測のメカニズム | 対処の難しさ |
|---|---|---|---|
| 完全ランダム欠測 | MCAR | 欠測が他の変数と無関係 | 比較的容易 |
| ランダム欠測 | MAR | 欠測が観測済み変数に依存 | 中程度 |
| 非ランダム欠測 | MNAR | 欠測が欠測値自体に依存 | 困難 |
大規模データでの問題点：欠測が1%でも数百万件が対象となり、単純除去は情報の大幅な損失を招く
2.2 外れ値（Outliers）¶
定義：他の観測値と著しく乖離した値
外れ値の種類 1. 測定誤差由来：センサーの誤読、入力ミス → 除去対象 2. 真の極端値：不正取引、自然災害 → 保持して分析 3. 分布の裾：正規分布から逸脱しているが実在する → 目的による
検出手法（概要、詳細は後の回で） - 四分位範囲（IQR）法：Q1 − 1.5×IQR ～ Q3 + 1.5×IQR の範囲外 - z-スコア法：|z| > 3 を外れ値とみなす - 多変量外れ値：マハラノビス距離（第6〜7回で詳述）
2.3 偏り（Bias）¶
定義：データが分析対象の母集団を代表していない状態
主な偏りの種類
| 種類 | 説明 | 例 |
|---|---|---|
| 選択バイアス | 収集方法がランダムでない | オンライン調査はネット利用者に偏る |
| 生存バイアス | 失敗事例が記録されない | 成功した企業のデータだけ残る |
| 時間的偏り | 特定期間のデータしかない | コロナ禍のデータは異常な消費パターン |
| 確証バイアス | 仮説に合うデータを収集しがち | — |
【カードに記入・3分】：Eコマースの購買データで需要予測モデルを作る場合、どのような偏りが発生しうるか考えてください。
3. 目的変数と説明変数の定義¶
3.1 変数の種類¶
- 目的変数（y）：予測・説明したい変数（被説明変数、応答変数とも）
- 説明変数（X）：目的変数を説明するために使う変数（独立変数、特徴量とも）
3.2 定義の原則¶
目的変数の決め方 1. ビジネス・研究の問いに直結しているか？ 2. 測定可能で定義が明確か？ 3. 予測タイミング（いつ予測したいか）と整合しているか？
粒度（Granularity）の決め方 - 時間粒度：日次？週次？時間単位？ - 空間粒度：店舗単位？地域単位？全国？ - 対象粒度：個人？世帯？企業？
粒度の例：「来週の売上を予測する」場合 - y = 1週間の総売上 → 週次粒度 - y = 1日の売上 → 日次粒度（7つの予測が必要） 粒度が異なれば、説明変数の集計方法も変わる
3.3 特徴量の設計視点（第4回以降に詳述）¶
後半で使う「時間窓特徴量」の例： - 移動平均：過去7日間の平均売上 - 直近値：前日の売上 - 頻度：過去30日間の購買回数 - 変化量：前週比、前年同期比
4. 基盤技術との関連（後半への橋渡し）¶
本回で学んだ概念が、後半の分析においてどのインフラ課題と結びつくかを予告する。
| 基盤技術 | 本回との関連 |
|---|---|
| 列指向ストレージ（第2回） | 説明変数（列）を一括で読み出す。必要な列だけ選ぶことでI/Oを削減 |
| 整合性（第3回） | 分析対象のスナップショットを固定する。「いつ時点のデータ？」を明確に |
| DAG（第4回） | 前処理→学習→評価の依存関係を可視化。再現可能なパイプライン |
| 近似アルゴリズム（第5回） | 品質点検（欠測率・分布確認）を軽量集計で素早く回す |
5. 本日のまとめ¶
- ビッグデータは5V（Volume/Velocity/Variety/Veracity/Value）で特徴づけられる
- 品質課題は欠測・外れ値・偏りの3種類に整理できる
- 分析設計の出発点は目的変数と粒度の明確な定義
- 前処理なき分析は "Garbage In, Garbage Out" に陥る
6. 次回予告¶
第2回では 列指向ストレージとインデックス構造（B木/LSM木） を扱う。
「なぜ必要な列だけ読み出すと速いのか」を物理的な読み書きの観点から理解する。
事後課題（次回までに）¶
身の回りのデータセット（公開データでも可）を一つ選び、以下を整理してA4半枚程度でまとめること。 1. 5VのうちどのVが最も顕著か（理由も） 2. 想定される品質課題（欠測・外れ値・偏り） 3. もし回帰分析をするとしたら、目的変数と説明変数の候補は何か
参考文献・資料¶
- Laney, D. (2001). "3-D Data Management: Controlling Data Volume, Velocity and Variety." Gartner.
- Little, R.J.A., & Rubin, D.B. (2002). Statistical Analysis with Missing Data. Wiley.
- Provost, F., & Fawcett, T. (2013). Data Science for Business. O'Reilly.