SeriesやDataFrameの連結方法

データ分析の際には、異なる種類のデータソースの組み合わせから深い知見や研究成果が得られるということがほとんどです。ここでいう「組み合わせ」とは2つのデータセットを単に連結するだけではなく、重複するデータを適切に処理することも含まれます。

pandasで中心的なデータ構造はSeriesやDataFrameです。これらは連結処理を念頭に置いて設計されているため、データを簡単に連結することができます。具体的には、pandasのSeriesやDataFrameを連結したい場合、concat関数を使用することができます。

この記事では、pandasのconcat関数を用いたデータの連結方法を説明します。

concat関数の基本的な使い方

SeriesやDataFrameを連結する場合にはconcat関数を使用します。以下の簡単な例を見てみましょう。

import pandas as pd

# ===== Seriesの連結
# データの準備
ser1 = pd.Series(['A', 'B', 'C', 'D', 'E'], index=[1, 2, 3, 4, 5])
ser2 = pd.Series(['V', 'W', 'X', 'Y', 'Z'], index=[6, 7, 8, 9, 10])

# 連結
ser_concat = pd.concat([ser1, ser2])
print(ser_concat, '\n')

# ===== DataFrameの連結
# データの準備
df1 = pd.DataFrame([['A', 'B'], ['C', 'D'], ['E', 'F']],
                   index=[1, 2, 3], columns=['attr1', 'attr2'])
df2 = pd.DataFrame([['U', 'V'], ['W', 'X'], ['Y', 'Z']],
                   index=[4, 5, 6], columns=['attr1', 'attr2'])

# 連結
df_concat = pd.concat([df1, df2])
print(df_concat)

【実行結果】
1     A
2     B
3     C
4     D
5     E
6     V
7     W
8     X
9     Y
10    Z
dtype: object 

  attr1 attr2
1     A     B
2     C     D
3     E     F
4     U     V
5     W     X
6     Y     Z

上記では、SeriesとDataFrameをそれぞれ連結をしています。使用方法は簡単で、concat関数の引数に連結したい対象のSeriesやDataFrameを含むリストを指定するだけです。

インデックスが重複している場合

concat関数の特徴として、連結するデータのインデックスが重複していても、それぞれのインデックスが保持される点があります。以下は、インデックス2, 3が重複しているケースです。

import pandas as pd

# ===== DataFrameの連結
# データの準備
df1 = pd.DataFrame([['A', 'B'], ['C', 'D'], ['E', 'F']],
                   index=[1, 2, 3], columns=['attr1', 'attr2'])
df2 = pd.DataFrame([['U', 'V'], ['W', 'X'], ['Y', 'Z']],
                   index=[2, 3, 4], columns=['attr1', 'attr2'])

# 連結 (インデックスが重複していても保持する)
df_concat = pd.concat([df1, df2])
print(df_concat)

【実行結果】
  attr1 attr2
1     A     B
2     C     D
3     E     F
2     U     V
3     W     X
4     Y     Z

上記結果を見ると、インデックス2, 3が複数回出現していることが分かります。

このような状況でも問題がなければそのままで構いません。もし、重複が問題になる場合は、後述するverify_integrityやignore_indexを使った対処法があります。

重複がある場合に例外を出す ~ verify_integrity ~

concat関数は、インデックスが重複していても保持します。インデックスの重複が問題になる場合、重複があることを例外として出して対処する方法があります。

重複した場合に例外を出すには、以下のようにverify_integrityをTrueに設定します。

import pandas as pd

# ===== DataFrameの連結
df1 = pd.DataFrame([['A', 'B'], ['C', 'D'], ['E', 'F']],
                   index=[1, 2, 3], columns=['attr1', 'attr2'])
df2 = pd.DataFrame([['U', 'V'], ['W', 'X'], ['Y', 'Z']],
                   index=[2, 3, 4], columns=['attr1', 'attr2'])

# 連結 (インデックス重複時は例外:ValueError)
try:
    df_concat = pd.concat([df1, df2], verify_integrity=True)
    print(df_concat)
except ValueError as ex:
    print(ex)

【実行結果】
Indexes have overlapping values: Int64Index([2, 3], dtype='int64')

verify_integrityをTrueに設定すると、インデックスが重複していた場合には、ValueErrorの例外が発生します。この例外をキャッチすることで、処理を変更することが可能です。

インデックスを無視する ~ ignore_index ~

インデックスが重複しているケースで、もともとのインデックスが意味を持たない場合は、インデックスを無視して新しいインデックスを振ることが可能です。

インデックスを無視して新しいインデックスを振るには、以下のようにignore_indexをTrueに設定します。

import pandas as pd

# ===== DataFrameの連結
df1 = pd.DataFrame([['A', 'B'], ['C', 'D'], ['E', 'F']],
                   index=[1, 2, 3], columns=['attr1', 'attr2'])
df2 = pd.DataFrame([['U', 'V'], ['W', 'X'], ['Y', 'Z']],
                   index=[2, 3, 4], columns=['attr1', 'attr2'])

# 連結 (インデックスを無視する)
df_concat = pd.concat([df1, df2], ignore_index=True)
print(df_concat)

【実行結果】
  attr1 attr2
0     A     B
1     C     D
2     E     F
3     U     V
4     W     X
5     Y     Z

上記結果から、もともとのインデックスが無視され、新しいインデックスが0から設定されてデータが結合されていることが分かります。

連結するデータにキーを指定して階層型インデックス（マルチインデックス）にする ~ keys ~

データを連結する際に、元のデータのキーを残して結合したい場合は、階層型インデックス（マルチインデックス）を使用して対応することができます。階層型インデックスにするには、以下のようにkeysで各データのキー情報を指定します。

import pandas as pd

# ===== DataFrameの連結
# データの準備
df1 = pd.DataFrame([['A', 'B'], ['C', 'D'], ['E', 'F']],
                   index=[1, 2, 3], columns=['attr1', 'attr2'])
df2 = pd.DataFrame([['U', 'V'], ['W', 'X'], ['Y', 'Z']],
                   index=[2, 3, 4], columns=['attr1', 'attr2'])

# 連結 (階層型のインデックスにする)
df_concat = pd.concat([df1, df2], keys=['D1', 'D2'])
print(df_concat)

【実行結果】
     attr1 attr2
D1 1     A     B
   2     C     D
   3     E     F
D2 2     U     V
   3     W     X
   4     Y     Z

上記の例では"D1"、"D2"を指定しています。結果として、それぞれのキーの下に元のデータのインデックスが階層型インデックスとして配置され、データが連結されています。

積集合での連結 ~ join=”inner” ~

上記で見てきた例では、列名が全く同じデータを連結してきました。では、列名が異なるデータを連結する場合はどうなるでしょうか。以下の例で見てみましょう。

import pandas as pd

# ===== DataFrameの連結
df1 = pd.DataFrame([['A', 'B'], ['C', 'D'], ['E', 'F']],
                   index=[1, 2, 3], columns=['attr1', 'attr2'])
df2 = pd.DataFrame([['U', 'V'], ['W', 'X'], ['Y', 'Z']],
                   index=[4, 5, 6], columns=['attr2', 'attr3'])

# 連結 (デフォルトはjoin='outer')
df_concat = pd.concat([df1, df2])
print(df_concat, '\n')

# 連結 (join='inner')
df_concat = pd.concat([df1, df2], join='inner')
print(df_concat)

【実行結果】
  attr1 attr2 attr3
1     A     B   NaN
2     C     D   NaN
3     E     F   NaN
4   NaN     U     V
5   NaN     W     X
6   NaN     Y     Z 

  attr2
1     B
2     D
3     F
4     U
5     W
6     Y

concat関数は、デフォルトではjoin="outer"となっています。outerは和集合を意味し、両方の列を含んだ連結が行われ、値がない部分は上記結果のようにNaNとなります。

もし、それぞれのデータセットに存在する列のみを連結したい場合は、join="inner"を指定します。これにより積集合としての連結が行われます。上記結果を見ると、join="inner"を指定した場合は、両方に存在する"attr2"列のみ連結したデータが得られていることが分かります。

appendメソッドによるデータ連結【非推奨】

その他のデータの結合方法（merge, join）

上記では、concat関数を用いた連結方法について紹介しました。pandasには、他にもmerge関数やjoinメソッドという強力なデータ結合方法があります。

データベースのSQLに慣れている人にとっては、merge関数やjoinメソッドが理解しやすいかもしれません。これらの使用方法については「DataFrameを結合する方法」でまとめていますので興味があれば参考にしてください。

まとめ

pandasのSeriesやDataFrameを連結する方法について解説しました。具体的には、concat関数によるデータ連結方法について説明しました。

データ分析では、単にデータを連結するだけではなく、重複するデータの適切な処理や、連結時に元のデータを保持しながら階層型インデックス（マルチインデックス）を作成する方法、さらにouterやinner結合を使い分けることが重要です。これらについて本記事で紹介しました。

データ分析においては、複数のデータソースを適切に結合してから分析を行うことで、有益な情報を抽出できます。concat関数を利用したデータ結合に慣れることは重要です。

あわせて読みたい

【Python Tech】プログラミングガイド

辞書（dict）の内容を列挙する

Pythonプログラミングで辞書（dict）を使用する際には、キーや値の情報を取り出して活用したくなるケースがよくあります。

辞書では、key、values、itemsといったメソッドを使用することで辞書におけるキーや値の情報を取り出すことが可能です。また、これらのメソッドはイテラブル(iterable)なオブジェクトを返却するため、for文でよく利用されます。

本記事では、まず各メソッドの使い方の基本とfor文で各メソッドの返却値を扱う方法を例を使って紹介します。

辞書（dict）の内容を列挙するビューを作成する方法 ~ keys, values, items ~

キーを列挙するビューを作成する ~ keysメソッド ~

辞書のキーを列挙するビューを作成するには、以下のようにkeysメソッドを使用します。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# keys()でキーのビューを取得する
key_v = d.keys()
print(type(key_v))
print(f"key_v: {key_v}")

【実行結果】
<class 'dict_keys'>
key_v: dict_keys(['k1', 'k2', 'k3', 'k4', 'k5'])

keysメソッドの返却値を確認すると辞書のキーの部分を列挙してとってきていることが分かります。

また、keysメソッドの返却値の型はdict_keysクラスのオブジェクトです。このdict_keysクラスのオブジェクトはイテラブルなオブジェクトなので、for文に指定して繰り返すことができます。

keysメソッドを使用して、キーに対してfor文を実行する方法

keysメソッドを用いてキーに対してfor文を実行するには以下のようにします。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# for文で値を扱う
for key in d.keys():
    print(f"key: {key}")

【実行結果】
key: k1
key: k2
key: k3
key: k4
key: k5

値を列挙するビューを作成する ~ valuesメソッド~

辞書の値を列挙するビューを作成するには、以下のようにvaluesメソッドを使用します。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# values()で値のビューを取得する
val_v = d.values()
print(type(val_v))
print(f"val_v: {val_v}")

【実行結果】
<class 'dict_values'>
val_v: dict_values([10, 20, 30, 40, 50])

valuesメソッドの返却値を確認すると辞書の値の部分を列挙してとってきていることが分かります。

また、valuesメソッドの返却値の型はdict_valuesクラスのオブジェクトです。このdict_valuesクラスのオブジェクトはイテラブルなオブジェクトなので、for文に指定して繰り返すことができます。

valuesメソッドを使用して、値に対してfor文を実行する方法

valuesメソッドを用いて値に対してfor文を実行するには以下のようにします。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# for文で値を扱う
for value in d.values():
    print(f"value: {value}")

【実行結果】
value: 10
value: 20
value: 30
value: 40
value: 50

要素を列挙するビューを作成する ~ itemsメソッド ~

辞書の要素（キー, 値）を列挙するビューを作成するには、以下のようにitemsメソッドを使用します。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# items()で要素のビューを取得する
itm_v = d.items()
print(type(itm_v))
print(f"itm_v: {itm_v}")

【実行結果】
<class 'dict_items'>
itm_v: dict_items([('k1', 10), ('k2', 20), ('k3', 30), ('k4', 40), ('k5', 50)])

itemsメソッドの返却値を確認すると辞書のキーと値のペアを取得できていることが分かります。

また、itemsメソッドの返却値の型はdict_itemsクラスのオブジェクトです。このdict_itemsクラスのオブジェクトはイテラブルなオブジェクトなので、for文に指定して繰り返すことができます。

itemsメソッドを使用して、要素に対してfor文を実行する方法

itemsメソッドをfor文で扱う場合には「キーと値それぞれを取得して使う方法」と「tubple（タプル）で要素を受け取って使用する方法」があるのでそれぞれ例を見てみましょう。

キーと値それぞれを取得して使う方法

itemsメソッドを用いて要素（キー、値）に対してfor文を実行するには以下のようにします。itemsメソッドの返却値のオブジェクトは、タプルを列挙しているものなので、keyとvalueにアンパック代入されます。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# for文で要素（キー、値）を扱う
for key, value in d.items():
    print(f"key: {key}, value: {value}")

【実行結果】
key: k1, value: 10
key: k2, value: 20
key: k3, value: 30
key: k4, value: 40
key: k5, value: 50

tuple（タプル）で要素を受け取って使用する方法

itemsメソッドの返却値のオブジェクトは、タプルを列挙したものであるため、以下のようにタプルとして受け取って扱うことも可能です。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# for文で要素（キー、値）をタプルとして受け取って扱う
for tpl in d.items():
    print(f"key: {tpl[0]}, value: {tpl[1]}")

【実行結果】
key: k1, value: 10
key: k2, value: 20
key: k3, value: 30
key: k4, value: 40
key: k5, value: 50

keys、values、itemsのビューとしての特徴

keys、values、itemsが返却するのは、辞書のコピーではなく「ビュー」となっていることに注意しましょう。

「ビュー」というその名の通り、元データを見るためのものです。つまり、元データが変化するとビューとして取得したものの情報も変わるので注意してください。

実際に以下の例で見てみましょう。

d = {"k1": 10, "k2": 20, "k3": 30, "k4": 40, "k5": 50}

# items()で要素のビューを取得する
itm_v = d.items()
print(f"itm_v: {itm_v}")

# 元の辞書にデータを追加する。
d["k6"] = 60

# データ追加前に作成したビューを確認してみる。
print(f"itm_v: {itm_v}")

【実行結果】
itm_v: dict_items([('k1', 10), ('k2', 20), ('k3', 30), ('k4', 40), ('k5', 50)])
itm_v: dict_items([('k1', 10), ('k2', 20), ('k3', 30), ('k4', 40), ('k5', 50), ('k6', 60)])

上記例では、itemsでビューとして取得した後に元の辞書にデータを追加しています。

その後、再度itemsで取得しなおすといった操作をしていませんがitm_vをprintすると追加した要素が増えていることが分かります。このようにビューなのかコピーなのかというのは非常に重要ですのでしっかりと理解して使用しましょう。

まとめ

Pythonで、辞書（dict）の内容を列挙して扱う方法について解説しました。

辞書では、key、values、itemsといったメソッドを使用することで辞書におけるキーや値の情報を取り出すことができることを紹介しました。また、これらのメソッドはイテラブル(iterable)なオブジェクトを返却するため、for文で使用することができます。

なお、key、values、itemsの返却値はコピーではなくビューであるため、元データが変更されるとビューの結果も変化しますので十分に注意しましょう。

あわせて読みたい

【Python Tech】プログラミングガイド