【競馬AI④】ほぼコピペだけ！作成したモデルを使って競馬のレース結果を予想する

from bs4 import BeautifulSoup
import requests
from datetime import datetime
import numpy as np
import csv

def class_mapping(row):
    mappings = {'障害':0, 'G1': 10, 'G2': 9, 'G3': 8, '(L)': 7, 'オープン': 7, '3勝': 6, '1600': 6, '2勝': 5, '1000': 5, '1勝': 4, '500': 4, '新馬': 3, '未勝利': 1}
    for key, value in mappings.items():
        if key in row:
            return value
    return 0  # If no mapping is found, return 0

url_list = [
    "https://db.netkeiba.com/horse/2019103588",
    "https://db.netkeiba.com/horse/2016106606",
    "https://db.netkeiba.com/horse/2018104963",
    "https://db.netkeiba.com/horse/2016104618",
    "https://db.netkeiba.com/horse/2019105219",
    "https://db.netkeiba.com/horse/2018105269",
    "https://db.netkeiba.com/horse/2019100109",
    "https://db.netkeiba.com/horse/2017105082",
    "https://db.netkeiba.com/horse/2019105346",
    "https://db.netkeiba.com/horse/2017102170",
    "https://db.netkeiba.com/horse/2018105081",
    "https://db.netkeiba.com/horse/2019104706",
    "https://db.netkeiba.com/horse/2019105056",
    "https://db.netkeiba.com/horse/2018106273",
    "https://db.netkeiba.com/horse/2016110103",
    "https://db.netkeiba.com/horse/2016100915",
    "https://db.netkeiba.com/horse/2020103626"
]  # スクレイピングしたいURLを指定

all_results = []  # 全てレース結果を保存するためのリスト

# cutoff_date = datetime.strptime('2023/05/27', '%Y/%m/%d')  # 特定の日付を指定
# 現在の日付を取得
now = datetime.now()
# cutoff_date を datetime 型に変換
cutoff_date = datetime.strptime(now.strftime('%Y/%m/%d'), '%Y/%m/%d')
for url in url_list:
    results = []  # 馬単位のレース結果を保存するためのリスト
    response = requests.get(url)

    # ステータスコードが200以外の場合はエラーが発生したとみなし、処理をスキップ
    if response.status_code != 200:
        print(f"Error occurred while fetching data from {url}")
        continue

    soup = BeautifulSoup(response.content, "html.parser")

    # テーブルを指定
    table = soup.find("table", {"class": "db_h_race_results nk_tb_common"})

    # テーブル内の全ての行を取得
    rows = table.find_all("tr")

    # 各行から必要な情報を取り出し
    for i, row in enumerate(rows[1:], start=1):# ヘッダ行をスキップ
        cols = row.find_all("td")

        # 日付を解析
        str_date = cols[0].text.strip()
        date = datetime.strptime(str_date, '%Y/%m/%d')

        # 特定の日付より前のデータのみを取得
        if date < cutoff_date:
            # 取得したいデータの位置を指定し取得
            #体重
            horse_weight = cols[23].text.strip()
            weight = 0
            weight_dif = 0
            try:
                weight = int(horse_weight.split("(")[0])
                weight_dif = int(horse_weight.split("(")[1][0:-1])
            except:
                weight = ''
                weight_dif = ''
            weight = weight
            weight_dif = weight_dif
            #上がり
            up = cols[22].text.strip()
            #通過順
            through = cols[20].text.strip()
            try:
                numbers = list(map(int, through.split('-')))
                through = sum(numbers) / len(numbers)
            except ValueError:
                through = ''
            #着順
            order_of_finish = cols[11].text.strip()
            try:
                order_of_finish = str(int(order_of_finish))
            except ValueError:
                order_of_finish = ""
            #馬番
            past_umaban = cols[8].text.strip()
            #騎手
            past_kishu = cols[12].text.strip()
            #斤量
            past_kinryo = cols[13].text.strip()
            #距離
            distance = cols[14].text.strip()
            #芝・ダート
            track = distance[0]
            shiba_mapping = {'芝': 0, 'ダ': 1, '障': 2}
            track = shiba_mapping.get(track)
            #距離
            distance = distance[1:]
            #レース名
            race_name = cols[4].text.strip()
            race_rank = class_mapping(race_name)
            #タイム
            time = cols[17].text.strip()
            try:
                time = float(time.split(':')[0]) * 60 + sum(float(x) / 10**i for i, x in enumerate(time.split(':')[1].split('.')))
            except:
                time = ''
            #天気
            weather = cols[2].text.strip()
            tenki_mapping = {'晴': 0, '曇': 1, '小': 2, '雨': 3, '雪': 4}
            weather = tenki_mapping.get(weather)
            #オッズ
            odds = cols[9].text.strip()
            track_condition = cols[15].text.strip()
            #馬場状態
            baba_mapping = {'良': 0, '稍': 1, '重': 2, '不': 3}
            track_condition = baba_mapping.get(track_condition)
            
            result = [str_date,past_umaban,past_kishu,past_kinryo, odds, weight, weight_dif, up, through, order_of_finish, distance, race_rank, time, track, weather, track_condition,"",""]
            results.append(result)

            # 5行取得したら終了
            if len(results) >= 5:
                # 最終アウトプットに追加
                # 横に連結
                # resultsをnumpy配列に変換
                results_array = np.array(results)

                # numpy配列を1次元に変換
                flattened_results = results_array.ravel()
                all_results.append(flattened_results)
                break

            # 最終ループを判定
            if i == len(rows[1:]):
                if results:  # resultsが空でない場合
                    results_array = np.array(results)
                    flattened_results = results_array.ravel()
                    all_results.append(flattened_results)

# データをCSVファイルに出力する
with open('race_data/t_data.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    for data in all_results:
        writer.writerow(data)

import pandas as pd
import lightgbm as lgb
from sklearn.preprocessing import LabelEncoder, StandardScaler

yearStart = 2005
yearEnd = 2022

# 予測を行う新しいデータの読み込み
file_name = '予想したいレースのファイル名'
new_data = pd.read_csv('race_data/' + file_name + '.csv')

#人気、オッズを退避
pop = new_data['人気']
odds = new_data['オッズ']
# 着順列を除外 (この列が存在する場合)
new_data = new_data.drop(['着順','オッズ','人気','上がり','走破時間','通過順'], axis=1)


#日付
# 日付時刻型への変換を試み、無効な形式であればNaNにする
new_data['日付'] = pd.to_datetime(new_data['日付'], errors='coerce')
new_data['日付1'] = pd.to_datetime(new_data['日付1'], errors='coerce')
new_data['日付2'] = pd.to_datetime(new_data['日付2'], errors='coerce')
new_data['日付3'] = pd.to_datetime(new_data['日付3'], errors='coerce')
new_data['日付4'] = pd.to_datetime(new_data['日付4'], errors='coerce')
new_data['日付5'] = pd.to_datetime(new_data['日付5'], errors='coerce')
# 日付カラムから年、月、日を抽出
new_data['year'] = new_data['日付'].dt.year
new_data['month'] = new_data['日付'].dt.month
new_data['day'] = new_data['日付'].dt.day
# (年-yearStart)*365 + 月*30 + 日 を計算し新たな '日付'カラムを作成
new_data['日付'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

new_data['year'] = new_data['日付1'].dt.year
new_data['month'] = new_data['日付1'].dt.month
new_data['day'] = new_data['日付1'].dt.day
# (年-yearStart)*365 + 月*30 + 日 を計算し新たな '日付'カラムを作成
new_data['日付1'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

new_data['year'] = new_data['日付2'].dt.year
new_data['month'] = new_data['日付2'].dt.month
new_data['day'] = new_data['日付2'].dt.day
# (年-yearStart)*365 + 月*30 + 日 を計算し新たな '日付'カラムを作成
new_data['日付2'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

new_data['year'] = new_data['日付3'].dt.year
new_data['month'] = new_data['日付3'].dt.month
new_data['day'] = new_data['日付3'].dt.day
# (年-yearStart)*365 + 月*30 + 日 を計算し新たな '日付'カラムを作成
new_data['日付3'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

new_data['year'] = new_data['日付4'].dt.year
new_data['month'] = new_data['日付4'].dt.month
new_data['day'] = new_data['日付4'].dt.day
# (年-yearStart)*365 + 月*30 + 日 を計算し新たな '日付'カラムを作成
new_data['日付4'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

new_data['year'] = new_data['日付5'].dt.year
new_data['month'] = new_data['日付5'].dt.month
new_data['day'] = new_data['日付5'].dt.day
# (年-yearStart)*365 + 月*30 + 日 を計算し新たな '日付'カラムを作成
new_data['日付5'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']
# 不要となった 'year', 'month', 'day' カラムを削除
new_data.drop(['year', 'month', 'day'], axis=1, inplace=True)

# カテゴリカル変数のエンコーディング
categorical_features = ['馬', '騎手', 'レース名','場名','開催', '騎手1', '騎手2', '騎手3', '騎手4', '騎手5']  # カテゴリカル変数の列名を指定してください

# ラベルエンコーディング
for i, feature in enumerate(categorical_features):
    print(f"\rProcessing feature {i+1}/{len(categorical_features)}", end="")
    le = LabelEncoder()
    new_data[feature] = le.fit_transform(new_data[feature])


# モデルの読み込み
model = lgb.Booster(model_file='model/model.txt')
# Make prediction
y_new_pred = model.predict(new_data)

# 予測結果を0と1に変換
# y_new_pred = (y_new_pred >= 0.5).astype(int)

# 予測結果の表示
print(y_new_pred)

# '予測結果'という新しい列を2列目に追加
new_data.insert(1, '予測結果', y_new_pred)
new_data.insert(3, '人気', pop)
new_data.insert(4, 'オッズ', odds)

# Save prediction
new_data.to_csv('predict_result/' + file_name + '.csv', index=False)

import pandas as pd
import lightgbm as lgb
from sklearn.preprocessing import LabelEncoder
import os

yearStart = 2005

# フォルダのパス
dir_path = "race_data"
# フォルダ内のすべてのファイルとディレクトリを取得
all_items = os.listdir(dir_path)
# フォルダを除外して、ファイルのみのリストを作成
file_list = [item for item in all_items if os.path.isfile(os.path.join(dir_path, item))]

for path in file_list:
    # 予測を行う新しいデータの読み込み
    new_data = pd.read_csv('race_data/' + path)

    # 着順列を除外 (この列が存在する場合)
    new_data = new_data.drop(['着順','オッズ','人気','上がり','走破時間','通過順'], axis=1)


    #日付
    # 日付時刻型への変換を試み、無効な形式であればNaNにする
    new_data['日付'] = pd.to_datetime(new_data['日付'], errors='coerce')
    new_data['日付1'] = pd.to_datetime(new_data['日付1'], errors='coerce')
    new_data['日付2'] = pd.to_datetime(new_data['日付2'], errors='coerce')
    new_data['日付3'] = pd.to_datetime(new_data['日付3'], errors='coerce')
    new_data['日付4'] = pd.to_datetime(new_data['日付4'], errors='coerce')
    new_data['日付5'] = pd.to_datetime(new_data['日付5'], errors='coerce')
    # 日付カラムから年、月、日を抽出
    new_data['year'] = new_data['日付'].dt.year
    new_data['month'] = new_data['日付'].dt.month
    new_data['day'] = new_data['日付'].dt.day
    # (年-yearStart)*365 + 月*30 + 日 を計算し新たな '日付'カラムを作成
    new_data['日付'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

    new_data['year'] = new_data['日付1'].dt.year
    new_data['month'] = new_data['日付1'].dt.month
    new_data['day'] = new_data['日付1'].dt.day
    new_data['日付1'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

    new_data['year'] = new_data['日付2'].dt.year
    new_data['month'] = new_data['日付2'].dt.month
    new_data['day'] = new_data['日付2'].dt.day
    new_data['日付2'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

    new_data['year'] = new_data['日付3'].dt.year
    new_data['month'] = new_data['日付3'].dt.month
    new_data['day'] = new_data['日付3'].dt.day
    new_data['日付3'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

    new_data['year'] = new_data['日付4'].dt.year
    new_data['month'] = new_data['日付4'].dt.month
    new_data['day'] = new_data['日付4'].dt.day
    new_data['日付4'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']

    new_data['year'] = new_data['日付5'].dt.year
    new_data['month'] = new_data['日付5'].dt.month
    new_data['day'] = new_data['日付5'].dt.day
    new_data['日付5'] = (new_data['year'] - yearStart) * 365 + new_data['month'] * 30 + new_data['day']
    # 不要となった 'year', 'month', 'day' カラムを削除
    new_data.drop(['year', 'month', 'day'], axis=1, inplace=True)

    # カテゴリカル変数のエンコーディング
    categorical_features = ['馬', '騎手', 'レース名','場名','開催', '騎手1', '騎手2', '騎手3', '騎手4', '騎手5']  # カテゴリカル変数の列名を指定してください

    # ラベルエンコーディング
    for i, feature in enumerate(categorical_features):
        print(f"\rProcessing feature {i+1}/{len(categorical_features)}", end="")
        le = LabelEncoder()
        new_data[feature] = le.fit_transform(new_data[feature])


    # モデルの読み込み
    model = lgb.Booster(model_file='model/model.txt')
    # Make prediction
    y_new_pred = model.predict(new_data)

    # '予測結果'という新しい列を2列目に追加
    new_data.insert(1, '予測結果', y_new_pred)

    # Save prediction
    new_data.to_csv('predict_result/' + path + '.csv', index=False)