【データ探索】Pythonで学ぶ！データ探索の基本と実践テクニック徹底解説

この記事はこんな方にオススメ

データ探索の具体的な手法を知りたい

こんにちは、zawato（@zawato7）です！

前回の記事では、データ観察の方法について解説しました。

この記事はこんな方にオススメデータサイエンスや機械学習を始めたばかりの人データサイエンスや機械学習を始めたばかりの人にとって、「まずデータをどうやって見ればいいの？」という疑問はよくありますよね。今回は、データ観察（Data Observ...

データ観察が一通り完了したら、続いてはデータ探索を実施しましょう。

データ探索は、データ分析や機械学習プロジェクトにおいて、隠れたパターンや関係性を見つけ出し、より良い予測や意思決定に結びつけるための重要なステップです。

この記事では、データ探索とは何か、なぜ行うのか、そして具体的な手法をPythonコードを交えて丁寧に解説していきます。

データの特徴を確認する方法をについて知りたい方は、是非参考にしてみてください。

データ探索とは？
具体的な手法とPythonコード例
異常値の検出
1. 分布の確認
おわりに

データ探索とは？

データ探索は、データの「中身」に深く入り込み、特徴量間の関係、分布、相関、異常値、潜在的なパターンなどを見つける作業です。

単にデータを観察するだけではなく、ここで得られた洞察が後のデータ前処理、特徴量エンジニアリング、そしてモデル構築に大きな影響を与えます。

なぜデータ探索を行うのか？

関係性の把握: 複数の変数間にどのような相関や因果関係があるかを理解することで、モデルの精度向上に繋がります。
パターンの発見: データ内の潜在的なパターンやクラスターを発見し、今後の分析やクラスタリングに活用できます。
異常値の検出: 外れ値やノイズの存在を確認することで、データクレンジングや前処理の戦略を立てることができます。
仮説検証: データに基づいた仮説を検証し、ビジネスや研究における意思決定の根拠とすることが可能です。

具体的な手法とPythonコード例

ここからは具体的なデータ探索手法をPythonコードとともに紹介します。

相関分析

相関分析は、特徴量間の相関関係をヒートマップで視覚化することで、どの変数がターゲット変数に強い影響を与えているのかを直感的に理解できます。

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# データの読み込み
train = pd.read_csv('train.csv')

# 相関行列の計算
corr_matrix = train.corr()

# ヒートマップの描画
plt.figure(figsize=(12, 10))
sns.heatmap(corr_matrix, annot=True, fmt=".2f", cmap="coolwarm")
plt.title('Correlation Heatmap')
plt.show()

このコードでは、Pandasでデータを読み込み、corr() メソッドで数値変数間の相関係数を計算し、Seabornの heatmap を使って視覚的に確認しています。

相関が高い変数は、ターゲット変数の予測において重要な手がかりとなる場合があります。

散布図

散布図は、2つの変数間の関係性を視覚的に把握するための代表的な手法です。ここでは、ターゲット変数と特定の特徴量の関係性を調べます。

# 例: 'mileage' と 'price' の関係性
plt.figure(figsize=(10, 6))
sns.scatterplot(x=train['mileage'], y=train['price'])
plt.title('Mileage vs Price')
plt.xlabel('Mileage')
plt.ylabel('Price')
plt.show()

この散布図は、走行距離（mileage）が車の価格（price）にどのように影響しているかを示します。

散布図からは、例えば走行距離が増えると価格が下がる傾向があるかどうかを直感的に把握できます。

カテゴリ変数の分布

カテゴリ変数の分布を棒グラフや箱ひげ図で確認することで、各カテゴリの頻度や偏りを把握できます。

# カテゴリ変数のカラム一覧を取得
categorical_features = train.select_dtypes(include=['object']).columns

# 各カテゴリ変数の分布を棒グラフで確認
for feature in categorical_features:
    plt.figure(figsize=(10, 6))
    train[feature].value_counts().plot(kind='bar')
    plt.title(f'{feature} Distribution')
    plt.xlabel(feature)
    plt.ylabel('Count')
    plt.show()

ここでは、Pandasの select_dtypes を使ってカテゴリ変数を抽出し、value_counts() で各カテゴリの出現頻度を確認しています。

カテゴリデータの偏りがある場合は、モデルのバイアスや過学習のリスクがあるため、適切な前処理が必要です。

異常値の検出

箱ひげ図を用いることで、各特徴量に含まれる異常値や外れ値を視覚的に特定することができます。

# 例: 'price' の箱ひげ図で異常値を確認
plt.figure(figsize=(10, 6))
sns.boxplot(x=train['price'])
plt.title('Boxplot of Price')
plt.xlabel('Price')
plt.show()

箱ひげ図は、データの四分位範囲や中央値、そして外れ値を一目で確認できる強力なツールです。

外れ値の存在が明らかな場合、そのデータが正しいかどうか、または前処理でどう扱うかを検討する必要があります。

分布の確認

ヒストグラムやカーネル密度推定（KDE）を用いて、各特徴量の分布を詳細に確認します。

# 例: 'year'（製造年）の分布確認
plt.figure(figsize=(10, 6))
sns.histplot(train['year'], bins=30, kde=True)
plt.title('Distribution of Year')
plt.xlabel('Year')
plt.ylabel('Frequency')
plt.show()

このコードは、製造年（year）の分布をヒストグラムとKDEで表示しています。

分布が偏っている場合、対数変換などの前処理を検討することが重要です。