ビッグデータ分析¶

北星学園大学　担当：小野原彩香　／　2年後期・2単位

この授業について¶

大規模データを扱うための基盤技術と、目的関数に基づく多変量解析を、前後半に分けて学びます。

前半（第1〜5回）では、後半の多変量解析を支える「道具」を整えます。5Vと品質課題、列指向ストレージ、CAP定理と整合性、DAGとウィンドウ関数、近似アルゴリズムを扱います。

後半（第6〜14回）では、整えた基盤を活かして「解く」段階に入ります。重回帰・PCA・k-means・PLS を、それぞれが何を最大化または最小化しているのかという目的関数の観点から並べ、手法の選択を目的関数の違いとして理解します。

各回の資料には、式の導出を折りたたみで置いています。授業では開いて確認し、復習では閉じたまま読めます。

この授業の後半を貫く軸です。手法が違うのは、最大化または最小化している量が違うからです。

手法	目的関数	教師あり
重回帰	\(RSS = \\|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\\|^2\) を最小化	✓
PCA	\(\text{Var}(\mathbf{X}\mathbf{w}) = \mathbf{w}^T\mathbf{S}\mathbf{w}\) を最大化	✗
k-means	\(WCSS = \sum_j\sum_{i\in C_j}\\|\mathbf{x}_i - \boldsymbol{\mu}_j\\|^2\) を最小化	✗
PLS	\(\text{Cov}(\mathbf{X}\mathbf{w},\ \mathbf{y}\mathbf{q})\) を最大化	✓

各回の資料末尾に「基盤リンクの整理」の表があり、前半の基盤技術と後半の分析手法の対応を記述しています。

このサイトは準備中です

2027年度の開講に向けて作成しています。日程・課題・提出先は、開講前に確定します。