Python 3.12の新機能紹介

• Ryuji Tsutsui @ryu22e

• 一般社団法人PyCon JP Association運営メンバー

• 株式会社hokan 所属

• Python歴は12年くらい（主にDjango）

• Python Boot Camp、Shonan.py、GCPUG Shonanなどコミュニティ活動もしています

• 著書（共著）：『 Python実践レシピ 』

• Python 3.12の新機能を紹介します

• 新しい構文

• パフォーマンスの改善

• デバッグ・モニタリング方法の改善

• その他新機能

• Pythonがどんな進化を遂げているかが分かる

• 実際にPython 3.12を使う際に役立つ情報が得られる

• ジェネリッククラス、ジェネリック関数に関する構文

• 型エイリアスに関する構文

• Python 3.5で追加された機能

• コードに型ヒントを付けることで型チェッカー（Mypy、Pyrightなど）で型ヒントと矛盾するコードを書いていないか検証できる

• 実行時に型チェックはしてくれない

def example(message: str, count: int) -> str:
    return message * count

print(example("hello", 3))  # OK
print(example("hello", "3"))  # NG

from typing import Generic, TypeVar

T = TypeVar('T')  # 抽象的な型名を定義

# このクラスがジェネリッククラスであることを宣言する
class Example(Generic[T]):
    def __init__(self, value: T) -> None:
        self.value = value

    def get_value(self) -> T:
        return self.value

    def get_type(self) -> type:
        return type(self.value)

# クラス名の右に角括弧で具体的な型名を囲む
example1 = Example[int](1)
# 1  が出力される
print(example1.get_value(), example1.get_type())
example2 = Example[str]('hello')
# hello  が出力される
print(example2.get_value(), example2.get_type())

from typing import Sequence, TypeVar

T = TypeVar('T')  # 抽象的な型名を定義

def first(l: Sequence[T]) -> T:
    return l[0]

print(first([1, 2, 3]))  # 1 が出力される
print(first("python"))  # p が出力される

• 毎回 T = TypeVar('T') を書くのが面倒

• ジェネリッククラスの場合、 Generic を継承する必要があるのが面倒

class Example[T]:  # 角括弧でTを囲む（新構文）
    def __init__(self, value: T) -> None:
        self.value = value

    def get_value(self) -> T:
        return self.value

    def get_type(self) -> type:
        return type(self.value)

example1 = Example[int](1)
print(example1.get_value(), example1.get_type())
example2 = Example[str]('hello')
print(example2.get_value(), example2.get_type())

from typing import Sequence

def first[T](l: Sequence[T]) -> T:  # 関数名の右に角括弧でTを囲む（新構文）
    return l[0]

print(first([1, 2, 3]))
print(first("python"))

>>> # Python 3.11
>>> from typing import TypeAlias
>>> Point: TypeAlias = tuple[float, float]
>>> # Python 3.12
>>> type Point = tuple[float, float]
>>> type Point[T] = tuple[T, T]  # ジェネリックの構文も使える

>>> type Foo = int | Bar  # Barはこの時点では定義されていないがエラーにならない
>>> type Bar = str
>>> # Python 3.11までの書き方だとエラーになる
>>> from typing import TypeAlias
>>> Foo: TypeAlias = int | Bar
Traceback (most recent call last):
  File "", line 1, in 
NameError: name 'Bar' is not defined

フォーマット済み文字リテラル (短くして f-string とも呼びます) では、文字列の頭に f か F を付け、式を {expression} と書くことで、 Python の式の値を文字列の中に入れ込めます。

>>> name = "Python"
>>> f"Hello, {name}!"  # 変数を埋め込める
'Hello, Python!'
>>> from datetime import datetime
>>> f"Today is {datetime.now():%Y-%m-%d}"  # 式を埋め込める
'Today is 2023-11-11'

>>> d = {"foo": 1, "bar": 2}
>>> # "{d[" までを文字列を認識してしまう（一応 f"{d['foo']}" で回避できる）
>>> f"{d["foo"]}"
  File "", line 1
    f"{d["foo"]}"
          ^^^
SyntaxError: f-string: unmatched '['
>>> # バックスラッシュも使えない
>>> f"{'\n'.join(['foo', 'bar'])}"
  File "", line 1
    f"{'\n'.join(['foo', 'bar'])}"
                                  ^
SyntaxError: f-string expression part cannot include a backslash

The exact code used to implement f-strings is not specified.

https://peps.python.org/pep-0498/#code-equivalence

>>> d = {"foo": 1, "bar": 2}
>>> f"{d["foo"]}"
'1'
>>> f"{'\n'.join(['foo', 'bar'])}"
'foo\nbar'
>>> f"{f"{f"{f"{f"{f"{1+1}"}"}"}"}"}"
'2'
>>> def example(s):
...     return f"result: {s}"
...
>>> import random
f"{example(f"{random.randint(1, 10)}")}"
'result: 4'

CPython インタプリタが利用している、一度にPythonのバイトコードを実行するスレッドは一つだけであることを保証する仕組みです。

import threading

def print_hello():  # この関数はGILにより同時に実行されない
    print("Hello!")

threads = []
for _ in range(3):
    thread = threading.Thread(target=print_hello)
    threads.append(thread)
    thread.start()

for thread in threads:
    thread.join()

• インタプリタが固有のGILを持つサブインタプリタを作成できるようになった

• つまり、異なるサブインタプリタ間ではGILが起こらない

• 今回追加されたのはC言語から利用できる Py_NewInterpreterFromConfig() 関数。Pythonコードからは利用できない

• PEP 554 で追加される interpreters モジュールを使うことで、初めてPEP 684の恩恵を受けられる（Python 3.13で実装予定）

>>> import interpreters
Traceback (most recent call last):
  File "", line 1, in 
ModuleNotFoundError: No module named 'interpreters'

def example(numbers):
    """numbers: 整数のリスト"""
    # リストの各要素に"No."を付けたリストを作成する
    return [f"No.{i}" for i in numbers]

def example(numbers):
    results = []
    for i in numbers:
        results.append(f"No.{i}")
     return results

$ python -m dis {Pythonコードのファイル名}

def example(numbers):
    return [f"No.{i}" for i in numbers]

• 従来のプロファイラー（ profile 、 cProfile など）はパフォーマンスに重大な問題を引き起こすことがあった

• 稼働中のアプリケーションにいつ、どの関数、メソッドが呼び出されているか調べるには高速なプロファイラーが必要

• sys.monitoring はCPython上で動作する高速なプロファイラー

• 関数やメソッド呼び出しなどのタイミングで呼び出すフック関数を登録できる

• sys.monitoring.use_tool_id() : ツールIDを登録

• sys.monitoring.register_callback() : フック関数を登録

• sys.monitoring.set_events() : 監視するイベントを登録

• 組み込み関数の compile() 、 exec() 関数を使ってコードを実行

• sys.monitoring.set_events() : 監視するイベントの登録解除

• sys.monitoring.free_tool_id() : ツールIDを解放

• Linuxカーネル2.6.31以降で利用可能なパフォーマンス分析ツール

• プログラムのどこでどれだけCPUを使っているか計測できる

$ perf record -F 9999 -g -o perf.data python my_script.py

$ perf report --stdio -n -g

def foo(n):
    result = 0
    for _ in range(n):
        result += 1
    return result

def bar(n):
    foo(n)

def baz(n):
    bar(n)

if __name__ == "__main__":
    baz(1000000)

1. 環境変数 PYTHONPERFSUPPORT=1 を設定して実行

2. -X perf オプションを付けて実行

3. sys モジュールが提供するAPIを使ったコードを入れる（次のスライド参照）

import sys

sys.activate_stack_trampoline("perf")  # 計測開始
do_profiled_stuff()  # 計測中
sys.deactivate_stack_trampoline()  # 計測終了

non_profiled_stuff()

activate_stack_trampoline

>>> if a
  File "", line 1
    if a
        ^
SyntaxError: invalid syntax

>>> # :が足りないと指摘してくれる
>>> if a
  File "", line 1
    if a
        ^
SyntaxError: expected ':'

>>> sys
Traceback (most recent call last):
  File "", line 1, in 
NameError: name 'sys' is not defined

>>> sys
Traceback (most recent call last):
  File "", line 1, in 
NameError: name 'sys' is not defined. Did you forget to import 'sys'?

>>> class Example:
...     def __init__(self):
...             self.foo = 1
...     def hello(self):
...             a = foo
...
>>> Example().hello()
Traceback (most recent call last):
  File "", line 1, in 
  File "", line 5, in hello
NameError: name 'foo' is not defined

>>> class Example:
...     def __init__(self):
...             self.foo = 1
...     def hello(self):
...             a = foo
...
>>> Example().hello()
Traceback (most recent call last):
  File "", line 1, in 
  File "", line 5, in hello
NameError: name 'foo' is not defined. Did you mean: 'self.foo'?

>>> # importとfromの順番が逆
>>> import os from environ
  File "", line 1
    import os from environ
              ^^^^
SyntaxError: invalid syntax

>>> import os from environ
  File "", line 1
    import os from environ
    ^^^^^^^^^^^^^^^^^^^^^^
SyntaxError: Did you mean to use 'from ... import ...' instead?

>>> # chainmapはChainMapのtypo
>>> from collections import chainmap
Traceback (most recent call last):
  File "", line 1, in 
ImportError: cannot import name 'chainmap' from 'collections' (/****/__init__.py)

>>> from collections import chainmap
Traceback (most recent call last):
  File "", line 1, in 
ImportError: cannot import name 'chainmap' from 'collections' (/****/__init__.py).
Did you mean: 'ChainMap'?

>>> def example(a, b):
...     ...
...
>>> example(1, 2)  # 関数定義に書かれた順番に値を指定（位置引数）
>>> example(a=1, b=2)  # 引数名と値をセットで指定（キーワード引数）

• 引数名の先頭に ** を付けると、どんなキーワード引数でも受け付ける引数になる

• 関数内では kwargs を辞書型の値として扱う

• 読み方は「クワーグス」（参考URL: https://youtu.be/WcTXxX3vYgY?t=9）

• keyword argumentsの略

• 文法的には先頭に ** があればどんな名前でもいいが、慣習的に kwargs と書く

>>> def example(**kwargs):
...     print(kwargs)
...
>>> example(foo=1, bar=2)
{'foo': 1, 'bar': 2}
>>> example(last_name="Tsutsui", first_name="Ryuji")
{'last_name': 'Tsutsui', 'first_name': 'Ryuji'}

def example(**kwargs: str) -> None:
    ...

example(foo="test1", bar="test2")  # すべてのキーワード引数が文字列なのでOK
example(foo="test1", bar=2)  # bar引数が整数値なのでNG

from typing import TypedDict, Unpack, assert_type

class Book(TypedDict):
    title: str
    price: int

def add_book(**kwargs: Unpack[Book]) -> None:
    assert_type(kwargs, Book)  # エラーにならない

add_book(title="Python実践レシピ", price=2790)  # OK
add_book(
    title="Python実践レシピ",
    price="2,970円（本体2,700円＋税10%）",  # NG
)

from typing import TypedDict, Unpack, assert_type

class Book(TypedDict):
    title: str
    price: int

def add_book(**kwargs: Unpack[Book]) -> None:
    assert_type(kwargs, Book)  # エラーにならない

# pricaはBookクラスに存在しないのでエラーになる
add_book(title="Python実践レシピ", prica=2790)

class Auth:
    """認証情報"""
    ...

def request(url: str, auth: Auth | None = None) -> None:
    """url引数で指定したURLにリクエストを送る。
    認証が必要な場合はauth引数に認証情報を指定"""
    ...

# auth引数を省略している
request("https://example.com")
# auth引数に明示的にNoneを指定している
request("https://example.com", auth=None)

# Authのコードは省略
class Empty(Auth):
   ...

EMPTY = Empty()

def request(url: str, auth: Auth | None | Empty = None) -> None:
    ...

# auth=Noneをauth=EMPTYに書き換える
request("https://example.com", auth=EMPTY)

from typing import TypedDict, Unpack, NotRequired

class OtherParams(TypedDict):
    auth: NotRequired[Auth]  # 入力必須ではない場合はNotRequiredを指定

# authの代わりに**kwargsを指定する
def request(url: str, **kwargs: Unpach[OtherParams]) -> None:
    if "auth" not in kwargs:
        print("auth引数が省略された場合の処理が呼ばれた")
    elif "auth" in kwargs and kwargs["auth"] is None:
        print("auth引数に明示的にNoneを渡した場合の処理が呼ばれた")

>>> class Base:
...     def say_hello(self, name):
...         print("Hello, " + name)
...
>>> class Example(Base):
...     def say_hello(self, name):
...         print("こんにちは、" + name)
...
>>> example = Example()
>>> example.say_hello("Taro")
こんにちは、Taro

>>> class Example(Base):
...     def say_hallo(self, name):  # halloはtypo
...         print("こんにちは、" + name)
...
>>> example = Example()
>>> example.say_hello("Taro")  # 基底クラスBaseのsay_helloメソッドが呼ばれる
Hello, Taro

from typing import Self, override

class Base:
    def say_hello(self: Self, name: str) -> None:
        print("Hello, " + name)

class Example(Base):
    @override
    def say_hallo(self: Self, name: str) -> None:  # halloはtypo
        print("こんにちは、" + name)

>>> len([1, 2, 3])  # リストなら要素数
3
>>> len((1, 2, 3))  # タプルなら要素数
3
>>> len('Python')  # 文字列なら文字数
6

>>> len(1)
Traceback (most recent call last):
  File "", line 1, in 
TypeError: object of type 'int' has no len()
>>> len(None)
Traceback (most recent call last):
  File "", line 1, in 
TypeError: object of type 'NoneType' has no len()

>>> class Example:
...     ...
...
>>> len(Example())
Traceback (most recent call last):
  File "", line 1, in 
TypeError: object of type 'Example' has no len()

>>> class Example:
...     def __len__(self):
...         return 123
...
>>> len(Example())
123