時間指定でログローテーション

Pythonに限らずですがプログラムの開発をした際にはログ出力し、障害時の際には状況を把握できるようにすることが非常に重要です。

業務アプリケーションといった常時動作しているシステムの場合、ログファイルが常に出力されるのでログファイルが肥大化し、ディスクの容量を圧迫してしまいシステム全体の動作に影響を与える可能性があります。

その場合には、ログローテーションすることで回避します。例えば「ログデータの総量が一定の容量を超えたら別のファイルにログを出力する」「一定時間が過ぎたら別のファイルにログを出力する」といったように切り替えます。

pythonではロギングのモジュールとしてloggingが用意されています。loggingにはハンドラというものがありますが、TimedRotatingFileHandlerを使用することで指定した時間でのログローテーションを実現することができます。

本記事では、TimeRotatingFileHandlerの使用方法について紹介します。

loggingのTimedRotatingFileHandlerでログローテーションする方法

Pythonでログ出力に使用されるloggingでTimedRotatingFileHandelrによってログローテーションする方法を説明します。

TimedRotatingFileHandlerの使い方

loggingで指定時間によるログローテーションをする場合は、以下のようにTimedRotatingFileHandlerを設定して使用します。

import logging.handlers
import time


def main():
    # ロギングの基本設定
    formatter = "%(asctime)s:%(levelname)s:%(name)s:%(message)s"
    logging.basicConfig(level=logging.INFO, format=formatter, encoding="utf_8")

    # ロガーの作成
    logger = logging.getLogger(__name__)

    # ログレベルをDEBUGへ変更
    logger.setLevel(logging.DEBUG)

    # ログローテーションのハンドラーを設定
    #   when: intervalの単位
    #         ('S':秒、'M':分、'H':時間、'D':日、'W0'-'W6':曜日(0=月曜))
    #   interval: ログローテーション間隔
    #   backupCount: バックアップとして保持するログファイル数
    h = logging.handlers.TimedRotatingFileHandler(
        "test.log", when="S", interval=20, backupCount=5
    )

    # フォーマットを設定
    h.setFormatter(logging.Formatter(formatter))

    # ロガーにハンドラーを設定
    logger.addHandler(h)

    for _ in range(1000):
        time.sleep(0.1)
        logger.debug("log rotation test")


if __name__ == "__main__":
    main()

【実行結果例】対象フォルダをdirコマンドで確認した例

【詳細説明】

以降でプログラムの各部分について解説をします。

まず、TimedRotatingFileHandlerを使用する場合には「logging.handlers」をimportする必要があります。

import logging.handlers

以下の部分は、ログ基本設定の部分でメインプログラムなどで設定する基本的な設定内容です。

    # ロギングの基本設定
    formatter = "%(asctime)s:%(levelname)s:%(name)s:%(message)s"
    logging.basicConfig(level=logging.INFO, format=formatter, encoding="utf_8")

ロガーを作成し、ログローテーションのためのTimedRotatingFileHandlerを設定しているのは以下の部分になっています。

    # ロガーの作成
    logger = logging.getLogger(__name__)

    # ログレベルをDEBUGへ変更
    logger.setLevel(logging.DEBUG)

    # ログローテーションのハンドラーを設定
    #   when: intervalの単位
    #         ('S':秒、'M':分、'H':時間、'D':日、'W0'-'W6':曜日(0=月曜))
    #   interval: ログローテーション間隔
    #   backupCount: バックアップとして保持するログファイル数
    h = logging.handlers.TimedRotatingFileHandler(
        "test.log", when="S", interval=20, backupCount=5
    )

    # フォーマットを設定
    h.setFormatter(logging.Formatter(formatter))

    # ロガーにハンドラーを設定
    logger.addHandler(h)

ログローテーションのハンドラーを作成する際には、「ファイル名」「when」、「interval」、「backupCount」といった引数を指定します。

whenはログをローテーションする間隔(interval)の単位を指定します。whenで指定できるものには以下のようなものがあります。日単位で1日分のログでローテーションしたい場合には’midnight’を使用するのがよいかと思います。

intervalは、whenで指定した単位でどれだけの間隔をとってローテーションするかを指定します。

上記の例では、’S’で20と指定しているので20秒ごとにログをローテーションします。実際にはこんなに短い時間でのローテーションはしないと思いますが、実行結果の確認をしやすいように短い時間にしています。

backupCountについては、いくつの古いログファイルを保持するかを指定します。

まとめると上記の例では、test.logというファイルにログを出力し、20秒ごとに上限5つのバックアップファイルでローテーションするという設定です。

また、フォーマット指定しておかないと入力した文字列のみ出力されてしまうので、setFormatterでハンドラにフォーマットを指定しています。最後にaddHandlerでロガーにハンドラーを設定しています。

上記まででログローテーションをする準備は完了です。以下の部分はログ出力の確認をしています。sleepで一定時間止まって出力するようにしていますので、繰り返し回数やsleep時間などは任意に変えてみてください。

    for _ in range(1000):
        time.sleep(0.1)
        logger.debug("log rotation test")

複数回実行いただくと分かりますが、test.logに常に最新のログが出力されます。

ログが指定時間に達するとtest.log.2022-04-21_06-29-42のように出力時間が分かるようなファイル名でローテーションがされます。上記の例では、backupCountを5としているので5ファイルまでしか作成されません。

以上が、TimedRotatingFileHandlerを使って時間指定によるログローテーションをする方法でした。

あわせて読みたい

【Python Tech】プログラミングガイド

指定ファイルサイズでログローテーション

Pythonに限らずですがプログラムの開発をした際にはログ出力し、障害時の際には状況を把握できるようにすることが非常に重要です。

業務アプリケーションといった常時動作しているシステムの場合、ログファイルが常に出力されるのでログファイルが肥大化し、ディスクの容量を圧迫してしまいシステム全体の動作に影響を与える可能性があります。

その場合には、ログローテーションすることで回避します。例えば「ログデータの総量が一定の容量を超えたら別のファイルにログを出力する」「一定時間が過ぎたら別のファイルにログを出力する」といったように切り替えます。

pythonではロギングのモジュールとしてloggingが用意されています。loggingにはハンドラというものがありますが、RotatingFileHandlerを使用することで指定したファイルサイズによってログローテーションを実現することができます。

本記事では、RotatingFileHandlerの使用方法について紹介します。

loggingのRotatingFileHandlerでログローテーションする方法

Pythonでログ出力に使用されるloggingでRotatingFileHandlerによってログローテーションする方法を説明します。

RotatingFileHandlerの使い方

loggingで指定ファイルサイズによるログローテーションをする場合は、以下のようにRotatingFileHandlerを設定して使用します。

import logging.handlers
import time


def main():
    # ロギングの基本設定
    formatter = "%(asctime)s:%(levelname)s:%(name)s:%(message)s"
    logging.basicConfig(level=logging.INFO, format=formatter, encoding="utf_8")

    # ロガーの作成
    logger = logging.getLogger(__name__)

    # ログレベルをDEBUGへ変更
    logger.setLevel(logging.DEBUG)

    # ログローテーションのハンドラーを設定
    #   maxBytes: 1ログファイルの上限サイズ(byte単位)
    #   backupCount: バックアップとして保持するログファイル数
    h = logging.handlers.RotatingFileHandler("test.log", maxBytes=10000, backupCount=5)

    # フォーマットを設定
    h.setFormatter(logging.Formatter(formatter))

    # ロガーにハンドラーを設定
    logger.addHandler(h)
    
    for _ in range(1000):
        time.sleep(0.1)
        logger.debug("log rotation test")


if __name__ == "__main__":
    main()

【実行結果例】対象フォルダをdirコマンドで確認した例

【詳細説明】

以降でプログラムの各部分について解説をします。

まず、RotatingFileHandlerを使用する場合には「logging.handlers」をimportする必要があります。

import logging.handlers

以下の部分は、ログ基本設定の部分でメインプログラムなどで設定する基本的な設定内容です。

    # ロギングの基本設定
    formatter = "%(asctime)s:%(levelname)s:%(name)s:%(message)s"
    logging.basicConfig(level=logging.INFO, format=formatter, encoding="utf_8")

ロガーを作成し、ログローテーションのためのRotatingFileHandlerを設定しているのは以下の部分になっています。

    # ロガーの作成
    logger = logging.getLogger(__name__)

    # ログレベルをDEBUGへ変更
    logger.setLevel(logging.DEBUG)

    # ログローテーションのハンドラーを設定
    #   maxBytes: 1ログファイルの上限サイズ(byte単位)
    #   backupCount: バックアップとして保持するログファイル数
    h = logging.handlers.RotatingFileHandler("test.log", maxBytes=10000, backupCount=5)

    # フォーマットを設定
    h.setFormatter(logging.Formatter(formatter))

    # ロガーにハンドラーを設定
    logger.addHandler(h)

ログローテーションのハンドラーを作成する際には、「ファイル名」、「maxBytes」、「backupCount」といった引数を指定します。maxBytesは上限とするファイルサイズをバイトで指定します。backupCountについては、いくつの古いログファイルを保持するかを指定します。

上記の例ではtest.logというファイルにログを出力し、10KBを上限に5つのバックアップファイルでローテーションするという設定です。

また、フォーマットを指定しておかないと入力した文字列のみ出力されてしまうので、setFormatterでハンドラにフォーマットを指定しています。最後にaddHandlerでロガーにハンドラーを設定しています。

上記まででログローテーションの準備は完了です。以下の部分ではログ出力の確認をしています。sleepで一定時間止まってからログを出力するようにしていますので、繰り返し回数やsleep時間などは任意に変えてみてください。

    for _ in range(1000):
        time.sleep(0.1)
        logger.debug("log rotation test")

複数回実行いただくと、test.logに常に最新のログが出力されることが分かります。

ログファイルは、指定したサイズに達するとtest.log.1、test.log.2、…、test.log.5というようにファイルがローテーションされて出力されます。test.log.1の方が新しいログで、5に進むにつれて古いログになります。つまりローテーションのタイミングでファイルがリネームされているわけです。

以上が、RotatingFileHandlerを使ってファイルサイズ指定によるログローテーションをする方法でした。

あわせて読みたい

【Python Tech】プログラミングガイド

loggingモジュール

プログラムを開発する際にはログ出力して、実行時や障害発生時に何が起こっているかを把握することが非常に重要です。Pythonでログを出力する場合にはloggingモジュールを使用することができます。

本記事ではloggingモジュールの基本的な考え方と使い方について紹介します。

ログレベル

loggingモジュールでは、ログの重要度によって以下の5つのログレベルを使用できます。

ログの重要度としては、1のCRITICALの方が重要度が高く、システムとしては重大な問題が発生していることを意味しています。通常のアプリケーションでは、WARNING以上もしくはアプリケーションによってはINFO以上を出力するということが多いかと思います。後ほど例を紹介しますがloggingモジュールでは、デフォルトでWARNING以上のログを出力する設定となります。

常にすべてのログを出しているとログファイルサイズが大きくなってディスクを圧迫したり、重要なログが埋もれてしまったりといったことがあります。ただ、不具合が起こった際には調査のために詳細な情報が必要です。そのような場合には、DEBUGモードに設定を変更して詳細な情報を出力して調査するといったことをします。

プログラマーは目的に応じて出力するメッセージレベルをどうするかよく考えてコーディングをする必要があります。

loggingモジュールの基本的な使い方

基本的な出力方法

loggingモジュールを使うには以下の例のように使用します。

import logging

# デフォルトで出力されるのはWARNING以上
logging.critical('クリティカル')
logging.error('エラー')
logging.warning('ワーニング')
logging.info('インフォ')
logging.debug('デバッグ')

【コンソール出力結果】
CRITICAL:root:クリティカル
ERROR:root:エラー
WARNING:root:ワーニング

まずは、loggingモジュールを使用するためにimportする必要があります。

その後ログを出力するためには、ログレベルと同じ名称であるメソッド(critical, error, warning, info, debug)に出力したいログメッセージの文字列を引数として渡します。

デフォルトではログレベルはWARNINGとなっているため、WARNING以上のログレベルのログしか出力されていないことが分かります。

basicConfig関数による設定

loggingモジュールの設定を変更する場合には、basicConfig関数を使用します。loggingモジュールにおいて、basicConfig関数はロギング制御をする重要なものなのでしっかり覚えておきましょう。

ログレベルの指定方法 (level)

INFOやDEBUGレベルでログを出力したい場合には、以下のようにbasicConfig関数のlevel引数で指定することで出力するログレベルを変更することができます。

import logging

# ロギングレベルの設定(DEBUG以上を出力する)
logging.basicConfig(level=logging.DEBUG)

logging.critical('クリティカル')
logging.error('エラー')
logging.warning('ワーニング')
logging.info('インフォ')
logging.debug('デバッグ')

【コンソール出力結果】
CRITICAL:root:クリティカル
ERROR:root:エラー
WARNING:root:ワーニング
INFO:root:インフォ
DEBUG:root:デバッグ

上記の例では、ログレベルをDEBUGに変更しています。出力ではDEBUG以上のログが出力されていることが分かります。

ログをファイルに出力する方法 (filename)

ログをファイルに出力したい場合には、以下のようにbasicConfig関数のfilename引数で出力ファイルを指定します。

import logging

# ファイルにログ情報を出力する
logging.basicConfig(filename='test.log', encoding='utf_8')

logging.critical('クリティカル')
logging.error('エラー')
logging.warning('ワーニング')
logging.info('インフォ')
logging.debug('デバッグ')

【test.logの出力結果】
CRITICAL:root:クリティカル
ERROR:root:エラー
WARNING:root:ワーニング

実行するとtest.logファイルにログメッセージが出力されます。

フォーマットの指定方法 (format)

ログ出力フォーマットは、アプリケーションごとに変更することが可能です。ログ出力フォーマットを指定する場合には、basicConfig関数のformat引数にフォーマットを指定する文字列を指定します。

import logging

# フォーマットの設定
formatter = '%(asctime)s:%(levelname)s:%(name)s:%(message)s'
logging.basicConfig(format=formatter)

# フォーマットに従って出力される
logging.critical('クリティカル')
logging.error('エラー')
logging.warning('ワーニング')
logging.info('インフォ')
logging.debug('デバッグ')

【コンソール出力結果】
2022-04-06 06:59:47,964:CRITICAL:root:クリティカル
2022-04-06 06:59:47,964:ERROR:root:エラー
2022-04-06 06:59:47,964:WARNING:root:ワーニング

上記のようにformatterという文字列で出力する形式を指定し、basicConfigのformat引数に渡します。

formatter文字列のところでは%(xxxxx)sという形式で出力したい情報を指定しています。xxxxxのところにはどういった情報出したいかで指定を変えます。例えば上記例で、「asctime」を指定しているところには出力時点の日時が出力されます。

複数モジュールでのログ出力

Pythonプログラミングでは複数モジュールを作って連携させるということが一般的です。そのような際にログ出力はどうするべきでしょうか。例えば以下のような例を考えます。

この例では、logmain.pyというプログラムからlogtest.py内で定義されているsimple_func()という関数を使用しています。このような場合にはどのモジュールで出力されたかログで分かるようにしたいですね。また、モジュールごとにログ出力レベルを変えたいといったようなこともあると思います。

このような例での基本的な考え方は以下とするのが良いかと思います。

これを実現するためには、ロガー(logger)やハンドラ(handler)を使用します。以降で上記のような構成でロガーやハンドラを使用するプログラム例をご紹介します。

ロガーの使用 (logger)

loggingモジュールはロガー(logger)というものを用意することで、ログ出力の動きをモジュールごとに分けることができます。以下の例で見てみましょう。

[logmain.py]

import logging

import logtest

# ロギングの基本設定
formatter = '%(asctime)s:%(levelname)s:%(name)s:%(message)s'
logging.basicConfig(level=logging.INFO,
                    format=formatter,
                    filename='logmain.log',
                    encoding='utf_8')

logger = logging.getLogger(__name__)
logger.info('mainログ１')
logger.debug('mainログ２')

# モジュールを呼び出し
logtest.simple_func()

[logtest.py]

import logging

# モジュール用のロガーを設定 DEBUGに設定
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)


def simple_func():
    logger.info('logtestログ１')
    logger.debug('logtestログ２')


def main():
    pass


if __name__ == '__main__':
    main()

[出力結果]

【logmain.logの出力結果】
2022-04-06 07:16:47,006:INFO:__main__:mainログ１
2022-04-06 07:16:47,006:INFO:logtest:logtestログ１
2022-04-06 07:16:47,006:DEBUG:logtest:logtestログ２

内容について詳細に説明していきます。この例では、logmain.pyでlogtestをimportして、logtest.py内で定義しているsimple_func()を呼び出しています。

logmain.pyではまず以下の部分のbasicConfig関数でログ出力の基本設定を行います。この例では、formatter文字列で指定したフォーマットでlogmain.logにINFO以上の出力をするように指定しています。

# ロギングの基本設定
formatter = '%(asctime)s:%(levelname)s:%(name)s:%(message)s'
logging.basicConfig(level=logging.INFO,
                    format=formatter,
                    filename='logmain.log',
                    encoding='utf_8')

次にlogmain.py側で以下のようにロガーというものを作成しています。

logger = logging.getLogger(__name__)
logger.info('mainログ１')
logger.debug('mainログ２')

ロガーは、getLogger関数で生成できます。getLoggerで生成したロガーのログ出力メソッド(critical, error, warning, info, debug)を呼び出すことでログ出力ができます。

次に、logtest.pyの方を見てみましょう。logtest側でもモジュール用のロガーを用意していますが、こちらはsetLevelメソッドでログレベルをDEBUGに設定しています（main側はINFOです）。出力フォーマットについては結果を見てみればわかりますが、logmain側のbasicConfigで設定されたフォーマットに従います。

# モジュール用のロガーを設定 DEBUGに設定
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)

上記を踏まえて結果を見てみましょう。

【logmain.logの出力結果】
2022-04-06 07:16:47,006:INFO:__main__:mainログ１
2022-04-06 07:16:47,006:INFO:logtest:logtestログ１
2022-04-06 07:16:47,006:DEBUG:logtest:logtestログ２

結果を見ると、main側のログはINFO以上のためdebugで出力している「logger.debug(‘mainログ２’)」については出力されていません。一方で、logtest側のログについてはDEBUGとしているためINFO、DEBUGともに出力されていることが分かるかと思います。

また、この例で引数に__name__を指定していることも一つのポイントです。出力結果を見てみると分かりますが、%(name)sの部分にロガーの名前として__name__の値が入っています。これにより、main側で出力されたログなのか、呼び出し先のモジュールで出力されたログなのかを判別することができます。

上記例のようにロガーを活用することで複数モジュールでのログ出力についても対応できます。

ハンドラの使用 (handler)

loggingモジュールにはハンドラー(handler)というものが定義されています。ファイルに出力するFileHandlerやストリームに出力するStreamHandlerの他、ログをメールで送信するSMTPHandlerのようなものもあります。

ハンドラーを設定することで、ログの出力動作を変更することができます。以下の例を見ていきましょう。この例は上記のロガーの説明と同じようにlogmain.pyと呼び出すモジュールのlogtest.pyがあるという構成になっています。

[logmain.py]

import logging

import logtest

# ロギングの基本設定
formatter = '%(asctime)s:%(levelname)s:%(name)s:%(message)s'
logging.basicConfig(level=logging.INFO,
                    format=formatter,
                    filename='logmain.log',
                    encoding='utf_8')

logger = logging.getLogger(__name__)
logger.info('mainログ１')
logger.debug('mainログ２')

# モジュールを呼び出し
logtest.simple_func()

[logtest.py]

import logging

# モジュール用のロガーを設定 DEBUGに設定
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
# ハンドラーを設定
h = logging.FileHandler('logtest.log', encoding='utf_8')
logger.addHandler(h)


def simple_func():
    logger.info('logtestログ１')
    logger.debug('logtestログ２')


def main():
    pass


if __name__ == '__main__':
    main()

[出力結果]

[logmain.logの出力結果]
2022-04-07 06:32:16,907:INFO:__main__:mainログ１
2022-04-07 06:32:16,907:INFO:logtest:logtestログ１
2022-04-07 06:32:16,907:DEBUG:logtest:logtestログ２

[logtest.logの出力結果]
logtestログ１
logtestログ２

以降で内容について説明します。logtest.pyの方で以下の部分でハンドラーを設定しています。

# ハンドラーを設定
h = logging.FileHandler('logtest.log', encoding='utf_8')
logger.addHandler(h)

ハンドラーは種類によってクラスが用意されていて、上記はFileHandlerを使用しています。ハンドラーはロガーに設定することで使用することができ、対象ロガーのaddHandlerメソッドで設定します。この例では、’logtest.log’というファイルに出力するというハンドラーを設定しています。

結果を見てみると’logmain.log’の方はmain及びlogtest側のログが’logmain.log’に出力されることが分かります。一方で、’logtest.log’にはlogtest.py側のログのみが出力されていることが分かります。

このようにハンドラーを追加することで、各モジュール個別にログ出力の挙動を変えることができます。モジュール個別にログ調査や個別の処理を実施したい場合などに便利です。

設定ファイルで制御したい場合

簡単なスクリプトや小規模なシステムであれば上記に記載の使用方法で十分なログ出力ができるかと思います。しかし、大規模なシステムになってくるとログ出力制御を設定ファイルで実施したくなってくるかもしれません。

設定ファイルを使ってloggingの制御をする基本的な使い方について「loggingの基本的な使い方 ~設定ファイル編~」を参考にしてください。

loggingの使い方をより細かく知る

上記でloggingの基本的な使用方法を紹介してきましたが、より細かく設定について調べたい場合は、公式ドキュメントの「Logging HOWTO」を読むことがおすすめです。

基本的なloggingチュートリアルから上級ロギングチュートリアルということで色々と記載されていますので、是非確認してみてもらえればと思います。本記事の内容は基本ロギングチュートリアルの内容を参考にしております。

あわせて読みたい

【Python Tech】プログラミングガイド

loggingモジュール

プログラムを開発する際にはログを出力して、実行時や障害が発生した時に何が起こっているのか把握することが非常に重要です。Pythonでログ出力する場合にはloggingモジュールを使用することができます。

本記事ではloggingモジュールを使う際に、設定ファイルを用意して制御をする方法について紹介します。なお、よりシンプルにloggingを使う方法については「loggingの基本的な使い方」にまとめていますので参考にしてもらえればと思います。

以下で説明する設定ファイルやロギングの使用例をコピーして利用いただくだけでも、基本的なログ出力については対応できるかと思いますので、参考に使ってみていただければと思います。

loggingの設定ファイルの用意

loggingを使用する場合には、「logging.ini」といった形でログ設定ファイルを用意しておくと便利です。以下のサンプル例を使って内容を説明します。

# ===== logging settings
[loggers]
keys=root,simpleExample

[handlers]
keys=logFileHandler,streamHandler

[formatters]
keys=logFileFormatter,simpleFormatter

# ===== logger settings
[logger_root]
level=INFO
handlers=logFileHandler

[logger_simpleExample]
level=DEBUG
handlers=streamHandler
qualname=simpleExample
propagate=0

# ===== log handler settings
[handler_logFileHandler]
class=FileHandler
level=INFO
formatter=logFileFormatter
args=('app.log', 'a', 'utf-8')

[handler_streamHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

# ===== log handler settings
[formatter_logFileFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s

[formatter_simpleFormatter]
format=%(asctime)s - %(levelname)s - %(message)s

logging設定

# ===== logging settings
[loggers]
keys=root,simpleExample

[handlers]
keys=logFileHandler,streamHandler

[formatters]
keys=logFileFormatter,simpleFormatter

上記の部分は、ログに関する要素として何があるかを列挙して定義している部分です。

• loggers：ロガーはログを出力するためのものです。ロガーの種類としてどのようなものがあるかを列挙します。
• handlers: 各ロガーがログをどのように扱うかといったハンドラーの種類を列挙します。
• formatters: ログ出力の際にどのような情報をどういったフォーマットで出力するかのフォーマッタの種類を列挙します。

それぞれkeysとして指定している項目については、以降で個別設定方法についての説明をしていきます。

logger設定

# ===== logger settings
[logger_root]
level=INFO
handlers=logFileHandler

[logger_simpleExample]
level=DEBUG
handlers=streamHandler
qualname=simpleExample
propagate=0

loggerの部分は、各ロガーの設定を定義します。まず、ロガーで理解しておいてもらいたいのはログレベルについてです。ログレベルには以下の種類があります。

• CRITICAL
• ERROR
• WARNING
• INFO
• DEBUG

言葉の意味からも分かるように、上位に記載したレベルの方が緊急度が高いログレベルということなります。プログラムでログレベルを設定すると指定したログレベルより緊急度が高いレベルのログが出力されるようになります。

例えば、ログレベルをINFOにしたとしましょう。その際には、ログとして出力されるのはCRITICAL, ERROR, WARNING, INFOです。DEBUGログは出力されません。

DEBUGログは開発者がデバッグする際に使うログで、すべて出してしまうとログが大量に出力されてしまい、ログファイルの肥大化を招いてしまいます。そのため、通常アプリケーションを稼働する場合はINFOやWARNINGレベルに設定します。

では、logging.iniの設定内容を見ていきましょう。[logger_ロガー名]という記載でそれぞれの定義を記載します。

• level: ログレベルを定義します。上記例では、rootロガーはINFO, simpelExampleロガーはDEBUGとしています。
• handlers: ロガーが使用するログハンドラーを指定します。ハンドラーの詳細は後述します。
• qualname: ロガーの名前を定義します。
• propagate: この値が真の場合は、ロガーに取り付けられたハンドラに加えて、上位のハンドラーにもイベントが渡されます。今回の例では0(偽)としているため、上位ハンドラーには渡されません。公式ドキュメントの説明はこちらに記載があります。

handler設定

# ===== log handler settings
[handler_logFileHandler]
class=FileHandler
level=INFO
formatter=logFileFormatter
args=('app.log', 'a', 'utf-8')

[handler_streamHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

handlerの部分はログハンドラーの設定を定義します。

Pythonにはログハンドラーというものがいくつも定義されています。詳しくは公式ドキュメントのこちらに記載があります。ファイルに出力するFileHandlerやストリームに出力するStreamHandlerの他、ログをメールで送信するSMTPHandlerなど色々とあります。

ハンドラー設定は[handler_ハンドラー名]という記載で、それぞれのハンドラーの挙動を定義します。

• class: ハンドラーのクラスを指定します。上記の例では、logFileHandlerは「FileHandler」でapp.logにutf-8で追記出力、streamHandlerは「StreamHandler」で標準出力へ出力という設定になっています。
• level: ハンドラーのログレベルを指定します。指定レベルよりも深刻ではないログメッセージは無視されます。
• formatter: ログ出力フォーマットを規定するフォーマッタを指定します。フォーマッタの設定は後述します。
• args: 各ハンドラーの入力引数を指定します。引数は各ハンドラの記載がある公式ドキュメントのこちらを参照してください。

formatter設定

# ===== log handler settings
[formatter_logFileFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s

[formatter_simpleFormatter]
format=%(asctime)s - %(levelname)s - %(message)s

formatterの部分はログ出力フォーマットを指定するフォーマッタの設定を定義をしています。

フォーマッタ設定は、[formatter_フォーマッタ名]という記載でそれぞれのフォーマットを定義します。

「format=」で指定していますが、%で書かれた部分はLogRecord属性というもので、その部分は属性に該当する情報で補完してログ出力してくれます。上記の例に出てくる項目の意味は以下の通りです。

• asctime: ログが生成された時刻を表示する（例: 2022-02-10 00:00:00,000 ※カンマ以降はミリ秒）
• names: ロギングに使われたロガーの名称
• levelname: ロギングレベル
• message: ログメッセージ

フォーマットで指定できるLogRecord属性名は他にも色々ありますので、公式ドキュメントのこちらを参照して自分に必要な情報を組み合わせてみてください。

loggingの使い方

上記で説明してきた「logging.ini」を用意すると後は開発したプログラム側でログを出力するコードを書くことでログが出力できます。以降で開発プログラム側でのログ出力方法について説明します。

ログの出力方法

以下のサンプルプログラムのように記載することでログ出力することができます。

import logging
import logging.config


def main():
    logging.config.fileConfig('logging.ini')

    # ===== ルートロガーを使用する場合
    logger = logging.getLogger(__name__)

    # アプリケーション内でのログ記載方法
    logger.debug('デバッグメッセージ')
    logger.info('インフォメッセージ')
    logger.warning('ワーニングメッセージ')
    logger.error('エラーメッセージ')
    logger.critical('クリティカルメッセージ')

    # ===== simpleExampleロガーを使用する場合
    logger_s = logging.getLogger('simpleExample')

    # アプリケーション内での記載方法
    logger_s.debug('デバッグメッセージ')
    logger_s.info('インフォメッセージ')
    logger_s.warning('ワーニングメッセージ')
    logger_s.error('エラーメッセージ')
    logger_s.critical('クリティカルメッセージ')


if __name__ == '__main__':
    main()

【app.log出力内容】
2022-02-10 12:27:28,961 - __main__ - INFO - インフォメッセージ
2022-02-10 12:27:28,961 - __main__ - WARNING - ワーニングメッセージ
2022-02-10 12:27:28,961 - __main__ - ERROR - エラーメッセージ
2022-02-10 12:27:28,961 - __main__ - CRITICAL - クリティカルメッセージ

【コンソールへの標準出力内容】
2022-02-10 12:27:28,962 - DEBUG    - デバッグメッセージ
2022-02-10 12:27:28,962 - INFO     - インフォメッセージ
2022-02-10 12:27:28,962 - WARNING  - ワーニングメッセージ
2022-02-10 12:27:28,962 - ERROR    - エラーメッセージ
2022-02-10 12:27:28,962 - CRITICAL - クリティカルメッセージ

使用方法としては以下の手順で行います。まずは、loggingとlogging.configをインポートします。

import logging
import logging.config

次に、ログ設定ファイル「logging.ini」を読み込みます。

logging.config.fileConfig('logging.ini')

これで設定ファイルの内容が読み込まれます。次に、getLoggerを使って、使用するロガーのインスタンスを作成します。作成している場所は以下の部分です。

# ===== ルートロガーを使用する場合
logger = logging.getLogger(__name__)

# ===== simpleExampleロガーを使用する場合
logger_s = logging.getLogger('simpleExample')

よく使うのは引数に「__name__」を指定する方法です。これによりメインで動いているときはログに”__main__”と出力されますし、パッケージなどを呼び出している際には該当するプログラム名が入ります。

また、個別にsimpleExampleロガーをlogger_sの方でインスタンス化しています。

ここまででログを出力する準備が整いました。ログを出力する場合には、以下のコードのように使用します。

# アプリケーション内でのログ記載方法
logger.debug('デバッグメッセージ')
logger.info('インフォメッセージ')
logger.warning('ワーニングメッセージ')
logger.error('エラーメッセージ')
logger.critical('クリティカルメッセージ')

メソッド名を見ていただければわかるように、メソッド名がそのままログレベルを表していますので、debugメソッドを使えばDEBUGレベルとして出力をします。

ログ出力結果を確認してみましょう。まず、ルートロガーはFileHandlerを使っているためapp.logに出力されます。また、INFOレベルの設定のためDEBUGは出力されていないことが分かるでしょう。

一方で、simpleExampleロガーの方は、StreamHandlerを使って標準出力に出力する設定となっているため、ターミナルに結果が表示されます。またDEBUGレベルの設定のためDEBUG以上の全てのレベルが表示されていることが分かるかと思います。

以上のようにすることで簡単にログを出力することができます。

応用：ログフィルタ

応用編として、ログの出力内容をフィルタリングする例を見てみましょう。

方法としてはlogging.Filterを継承したフィルタ用のクラスを作成して、ロガーをインスタンス化する際にaddFilterメソッドで設定をしてあげることで実現がきます。

以下は’password’という文字列が入っているメッセージをログ出力しないようにするためのフィルタ作成例です。passwordのような出力されては問題となるようなものを誤ってプログラムに書いてしまった時の対策として使用できます。

import logging
import logging.config


class LogPwFilterSample(logging.Filter):
    """ログ出力のフィルタ例
    例）passwordというテキストが入るログメッセージは出力しない
    """
    def filter(self, record: str) -> None:
        """
        :param record: ログレコード
        :return: None
        """
        log_message = record.getMessage()
        return 'password' not in log_message


def main():
    logging.config.fileConfig('logging.ini')

    # ===== simpleExampleロガーを使用する場合
    logger_s = logging.getLogger('simpleExample')
    logger_s.addFilter(LogPwFilterSample())

    # アプリケーション内での記載方法
    logger_s.debug('デバッグメッセージ')
    logger_s.info('インフォメッセージ')
    logger_s.warning('ワーニングメッセージ')
    logger_s.error('エラーメッセージ')
    logger_s.critical('クリティカルメッセージ')
    # ログフィルタを設定しているので以下は出力されない
    logger_s.info('password = xxxxxx')


if __name__ == '__main__':
    main()

【実行結果】
2022-02-10 17:50:46,178 - DEBUG    - デバッグメッセージ
2022-02-10 17:50:46,178 - INFO     - インフォメッセージ
2022-02-10 17:50:46,178 - WARNING  - ワーニングメッセージ
2022-02-10 17:50:46,178 - ERROR    - エラーメッセージ
2022-02-10 17:50:46,178 - CRITICAL - クリティカルメッセージ

確認しやすいように標準出力のストリームに出力するsimpleExampleロガーの方だけで確認しています。

結果を見てもわかるように最後に記載している’password’という記載があるログについては出力されていないことが分かります。

他にも色々なフィルタを試しに作ってみてください。

loggingの使い方をより細かく知る

上記でloggingの基本的な使用方法を紹介してきましたが、より細かく設定について調べたい場合は、公式ドキュメントの「Logging HOWTO」を読むことがおすすめです。

基本的なloggingチュートリアルから上級ロギングチュートリアルということで色々と記載されていますので、是非確認してみてもらえればと思います。本記事の内容は上級ロギングチュートリアルの内容を参考にしております。

あわせて読みたい

【Python Tech】プログラミングガイド