タイピングゲームの画面から文字を読み取るPythonプログラムの作り方

2025.01.03

Pythonを使用して、タイピングゲームの画面から問題文を自動的に読み取るプログラムを作成します。
画面上の指定領域をキャプチャし、画像処理とTesseract-OCRを使用して文字認識を行います。
文字認識の精度は画面状態に依存しますが、キャプチャした画像を確認しながら調整することができます。

1. Pythonで

タイピングゲームの練習をする際、問題文を自動で記録したいと思いました。
今回は、Pythonを使って画面上の文字を読み取ってみました。

必要な環境

Mac（またはWindows/Linux）
Python 3.x
ターミナル（コマンドライン）の基本的な使い方

目次に戻る

2. 準備するもの

以下のツールとライブラリが必要です：

Homebrew（Macのパッケージ管理ツール）

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

Tesseract-OCR（文字認識エンジン）

brew install tesseract
brew install tesseract-lang

必要なPythonライブラリ

pip3 install opencv-python
pip3 install pyautogui
pip3 install pytesseract
pip3 install pillow

目次に戻る

3. プログラムの作成

以下のプログラムをtyping_capture.pyという名前で保存します：

import cv2
import numpy as np
import pyautogui
import pytesseract
from PIL import Image
import time

def get_window_position():
    """マウスクリックで領域を選択する"""
    print("問題文が表示される領域の左上隅にマウスを移動して3秒待ちます...")
    time.sleep(3)
    x1, y1 = pyautogui.position()
    print(f"左上の座標を記録: ({x1}, {y1})")

    print("次に右下隅にマウスを移動して3秒待ちます...")
    time.sleep(3)
    x2, y2 = pyautogui.position()
    print(f"右下の座標を記録: ({x2}, {y2})")

    return (min(x1, x2), min(y1, y2), 
            abs(x2 - x1), abs(y2 - y1))

def get_game_text(region):
    try:
        screenshot = pyautogui.screenshot(region=region)
        frame = np.array(screenshot)
        frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        _, binary = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY_INV)

        cv2.imwrite('captured_area.png', frame)
        cv2.imwrite('processed_area.png', binary)

        text = pytesseract.image_to_string(binary, lang='jpn')
        return text.strip()

    except Exception as e:
        print(f"エラーが発生しました: {e}")
        return ""

def main():
    print("認識したい領域を選択します")
    region = get_window_position()
    print(f"選択された領域: x={region[0]}, y={region[1]}, width={region[2]}, height={region[3]}")

    print("\n文字認識を開始します。Ctrl+Cで終了。")

    last_text = ""
    try:
        while True:
            text = get_game_text(region)
            if text and text != last_text:
                print(f"検出テキスト: {text}")
                last_text = text
            time.sleep(0.5)
    except KeyboardInterrupt:
        print("\n終了しました")

if __name__ == "__main__":
    main()

目次に戻る