「AIが勝手に株を売買して、お金を稼いでくれたらいいのに」——そんな夢を見たことはありませんか？

実は、Pythonを使えばAIに「いつ買って、いつ売るか」を自分で学習させることができます。しかも、プログラミング初心者でも、コードをコピペして実行するだけで体験できるんです。

本記事では、AIが過去の株価データを見ながら「こうすれば儲かる」というパターンを自分で見つけていく様子を、実際に動かしながら解説します。専門用語はできるだけ噛み砕いて説明するので、「AIとか機械学習とかよくわからない…」という方でも大丈夫です。

🎁 本記事限定：そのまま動くノートブックを無料配布
「環境構築とか難しそう…」という心配は不要です。本記事のコードはGoogle Colabというブラウザ上で動くツールで公開しています。Googleアカウントさえあれば、インストール不要・無料でAIトレードの実験ができます。記事の最後にリンクがあるので、ぜひお試しください。

⚠️ 免責事項
本記事はPythonプログラミングと強化学習の学習を目的とした教材です。実際の投資や資産運用を推奨・助言するものではありません。本記事のコードやモデルを実際の金融取引に使用しないでください。投資判断は自己責任で行い、必要に応じて専門家にご相談ください。

はじめに：この記事で何ができるようになる？

この記事を読み終えると、以下のことができるようになります。

AIに株の売買を学習させる——過去の株価データを使って、「どのタイミングで買い、どのタイミングで売れば利益が出るか」をAI自身に発見させます。

学習したAIの実力をテストする——学習に使っていない期間のデータで、AIが本当に「賢くなったのか」を検証します。

AppleやGoogleなど、好きな銘柄で試す——サンプルデータだけでなく、実際の株価データを取得してAIに学習させる方法も紹介します。

ちなみに、この仕組みは「強化学習」と呼ばれるAI技術を使っています。ゲームのAIが何度もプレイして上手くなっていくのと同じ原理で、トレードAIも「売買の練習」を繰り返すことで賢くなっていきます。

では、さっそく始めましょう。

そもそも「AIに売買を学習させる」ってどういうこと？

AIが学ぶ仕組み：強化学習とは

本題に入る前に、今回使う技術について簡単に説明させてください。

皆さんは、ゲームのAIが最初は下手くそなのに、何度もプレイするうちに上手くなっていく様子を見たことがあるでしょうか。これは「強化学習」と呼ばれる技術で、AIが「試行錯誤」を通じて学習する方法です。

トレードAIも同じ仕組みです。AIは最初、「いつ買えばいいか」「いつ売ればいいか」まったく分かりません。でも、過去の株価データを使って何万回も「仮想トレード」を繰り返すうちに、「こういうパターンの時に買うと儲かりやすい」ということを自分で発見していきます。

今回使うツール：gym-anytrading

この記事では「gym-anytrading」というPythonライブラリを使います。これは、AIに株の売買を学習させるための「練習場」のようなものです。

このツールの優れている点は、複雑なことを考えなくていいところです。AIがやることは「買う」か「売る」かの2択だけ。実際のトレードはもっと複雑ですが、まずはシンプルな設定で基本を理解しましょう。

この記事の目的

ここで改めてお伝えしておきます。

この記事で作るAIは、実際のお金で使うことは想定していません。目的は以下の2つです：

Pythonプログラミングの実践的な練習：データ取得、可視化、機械学習ライブラリの使い方を学ぶ
強化学習の概念を体験する：AIが「自分で学習する」とはどういうことかを実感する

「AIが自分で賢くなっていく様子」を目の当たりにするのは、なかなか感動的な体験です。プログラミング学習のモチベーションにもなると思いますので、ぜひ楽しみながら読み進めてください。

準備：Google Colabを開こう

Google Colabとは？

プログラミングというと「難しいソフトをインストールして…」というイメージがあるかもしれませんが、今回はGoogle Colabを使うので、その心配は不要です。

Google Colabは、Googleが無料で提供している「ブラウザ上で動くプログラミング環境」です。Googleアカウントさえあれば、インストール作業なしで、すぐにPythonプログラムを実行できます。

ライブラリのインストール

まずは必要なライブラリをインストールします。以下のコードをそのままコピペして実行してください。

# === ライブラリのインストール ===

!pip install gym-anytrading stable-baselines3 quantstats matplotlib pandas yfinance -q

print("✅ ライブラリのインストール完了")

Google Driveのマウントと保存先の準備

生成したモデルやグラフ、実験結果は後から見返したくなるものです。Google Driveに自動保存する仕組みを用意しておきましょう。毎回タイムスタンプ付きのフォルダが作成されるので、実験結果が上書きされる心配がありません。

# === Google Driveマウントと保存先設定 ===

from google.colab import drive
drive.mount('/content/drive')

import os
from datetime import datetime

# タイムスタンプ付きフォルダを作成（毎回新しいフォルダ）
TIMESTAMP = datetime.now().strftime("%Y%m%d_%H%M%S")
SAVE_DIR = f'/content/drive/MyDrive/anytrading-experiments/{TIMESTAMP}'
os.makedirs(SAVE_DIR, exist_ok=True)

print(f"📁 保存先: {SAVE_DIR}")
print(f"   ※ 実行のたびに新しいフォルダが作成されます")

ライブラリのインポートとユーティリティ関数

実験で繰り返し使う関数をここで定義しておきます。実験結果は画像だけでなくテキストファイルにも保存されるので、後から数値を確認しやすくなっています。

# === ライブラリのインポートとユーティリティ ===

import gymnasium as gym
import gym_anytrading
from gym_anytrading.envs import Actions, Positions, StocksEnv
from gym_anytrading.datasets import STOCKS_GOOGL

from stable_baselines3 import A2C, PPO
from stable_baselines3.common.vec_env import DummyVecEnv

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import time
import warnings
warnings.filterwarnings('ignore')


# === 実験結果を保存するためのログ機能 ===
EXPERIMENT_LOG = []  # 全実験結果を格納するリスト
LOG_FILE_PATH = os.path.join(SAVE_DIR, "experiment_results.txt")


def generate_timestamp() -> str:
    """タイムスタンプを生成"""
    return datetime.now().strftime("%Y%m%d_%H%M%S")


def log_experiment(experiment_name: str, results: dict, notes: str = ""):
    """
    実験結果をログに追加し、テキストファイルにも保存
    """
    timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    log_entry = {
        "timestamp": timestamp,
        "experiment": experiment_name,
        "results": results,
        "notes": notes
    }
    EXPERIMENT_LOG.append(log_entry)

    # テキストファイルに追記
    with open(LOG_FILE_PATH, "a", encoding="utf-8") as f:
        f.write("=" * 60 + "\n")
        f.write(f"【{experiment_name}】\n")
        f.write(f"実行時刻: {timestamp}\n")
        f.write("-" * 40 + "\n")
        for key, value in results.items():
            if isinstance(value, float):
                f.write(f"  {key}: {value:.4f}\n")
            else:
                f.write(f"  {key}: {value}\n")
        if notes:
            f.write(f"備考: {notes}\n")
        f.write("\n")

    print(f"📝 ログ保存: {LOG_FILE_PATH}")


def save_final_summary():
    """全実験結果のサマリーをテキストファイルに保存"""
    summary_path = os.path.join(SAVE_DIR, "experiment_summary.txt")

    with open(summary_path, "w", encoding="utf-8") as f:
        f.write("=" * 60 + "\n")
        f.write("🔬 AI株トレード実験 - 全結果サマリー\n")
        f.write(f"実験フォルダ: {SAVE_DIR}\n")
        f.write("=" * 60 + "\n\n")

        for entry in EXPERIMENT_LOG:
            f.write(f"■ {entry['experiment']}\n")
            for key, value in entry['results'].items():
                if isinstance(value, float):
                    f.write(f"  {key}: {value:.4f}\n")
                else:
                    f.write(f"  {key}: {value}\n")
            f.write("\n")

        f.write("=" * 60 + "\n")
        f.write(f"総実験数: {len(EXPERIMENT_LOG)}\n")
        f.write(f"生成日時: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}\n")
        f.write("\n※ 本実験はPython学習目的であり、投資助言ではありません\n")

    print(f"📊 サマリー保存: {summary_path}")
    return summary_path


def save_figure(fig, filename: str) -> str:
    """図をGoogle Driveに保存"""
    filepath = os.path.join(SAVE_DIR, filename)
    fig.savefig(filepath, dpi=150, bbox_inches='tight', facecolor='white')
    print(f"✅ 図を保存: {filepath}")
    return filepath


def save_model(model, name: str) -> str:
    """モデルをGoogle Driveに保存"""
    filepath = os.path.join(SAVE_DIR, f"{name}_{generate_timestamp()}")
    model.save(filepath)
    print(f"💾 モデルを保存: {filepath}")
    return filepath


# ログファイルを初期化
with open(LOG_FILE_PATH, "w", encoding="utf-8") as f:
    f.write("=" * 60 + "\n")
    f.write("🔬 AI株トレード実験ログ\n")
    f.write(f"実験フォルダ: {SAVE_DIR}\n")
    f.write(f"開始時刻: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}\n")
    f.write("=" * 60 + "\n")
    f.write("※ 本実験はPython学習目的であり、投資助言ではありません\n\n")

print("✅ セットアップ完了")
print(f"📁 保存先フォルダ: {SAVE_DIR}")
print(f"📝 ログファイル: {LOG_FILE_PATH}")

強化学習トレーディングの基本概念

gym-anytradingの設計思想を理解することは、効果的なエージェント設計の第一歩です。

アクションの単純化

gym-anytradingでは、複雑なトレーディング判断を**Sell（0）とBuy（1）**の2つのアクションに単純化しています。従来のアルゴリズムトレーディングでは「Hold（保持）」「Enter（参入）」「Exit（退出）」など多くのアクションが使われますが、gym-anytradingはこれを2つに絞ることで、エージェントの学習を効率化しています。

ポジション管理

ポジションは**Short（0）とLong（1）**の2種類です。アクションとポジションの関係は少し直感に反する部分があるので注意が必要です。エージェントが「Buy」アクションを選択したからといって、必ずしも新規買い注文が発行されるわけではありません。現在Longポジションを持っている状態で「Buy」を選択しても、ポジションは維持されるだけです。

💡 コラム：なぜ「Hold」アクションがないのか
「Hold」がないことに違和感を覚える方もいるかもしれません。これは学習効率を考慮した設計判断です。3アクション（Buy/Sell/Hold）にすると、エージェントは「Holdを選び続ける」という局所最適に陥りやすくなります。2アクションに制限することで、エージェントは常に明確な方向性を示す必要があり、結果として学習が安定する傾向があります。

まずはランダムに売買してみよう

やってみること

まずはデフォルトの株式環境を作成し、ランダムなエージェントで動作を確認してみましょう。「ランダムに売買しても、短期間なら偶然利益が出ることもあるのではないか」という素朴な疑問の検証も兼ねています。

検証