バックテストは、簡単に私を騙してくる

スポンサーリンク

成績スコア推移(バックテスト・過去データ、ドル円、資金100万円)。AIまかせの定番EA 1.77、自分の手法 最初のEA 0.03、粗いデータ(品質36%) 1.89、細かいデータ(品質90%) 0.92、別の期間(2020〜2023) −0.62。
成績スコア=収支÷最大ドローダウン(バックテスト・過去データ)。詳細スコアは記事の最後にあります。

どうもこんにちは。戦術トレードラボのラボ長です。

第3話では、自分の「目」でやっている判断を言葉にしてAIに伝えようとして、苦戦した話を書きました。

実はその作業と並行して、私はもうひとつの相手と格闘していました。
バックテストの数字です。

EAを作ったら、まず過去のデータで試してみる。バックテストはEA作りの基本です。
ただ、この数字が思っていた以上のクセ者でした。

今回は、私がバックテストに何度も、わりと簡単に騙された話です。
これからEAを自作する方には、「数字を信じる前に確かめること」のリストとして読んでもらえたらうれしいです。


スポンサーリンク

寝る前に「あとはよろしく」と投げていた

AIには使用量の制限があります。
私の使っているプランだと、5時間ごとにリセットされる枠と、週ごとの上限がありました。

兼業の私は、週の上限までは使い切れそうにない。
だったら、5時間の枠をいかに使い切って、開発を前に進めるか。そんな勝負に入っていました。

寝る前に、ちゃんとした指示を考える余裕がないときは、

「今日はもう寝るから、結果を見て、考えられる範囲で直してみて」

と雑に投げて寝ることもしばしば。

そうやって、私が寝ている間にAIが通貨ごとの設定を探してくれて、3通貨ともプラスの結果に(バックテスト)。
プラス幅は小さかったものの、第一歩です。

順調!……と思いきや。
テストする期間を延ばすと、たちまち崩れる通貨がありました。たとえばEURUSDは、期間を5年あまりに延ばすと成績がほぼゼロに。

トレードを画像にして確かめてみると、やっぱりチグハグ。
「なんでこんなところでエントリーすることになんねん!」と、AIに感情的に当たることもしばしばでした。

ここで私は、過学習(カーブフィッティング)というものを身をもって学びました。

通貨ごと、期間ごとに、過去のデータにぴったり合う設定を探せば、成績はいくらでも良く見せられます。
でもそれは、過去の答えを暗記しただけ。見たことのない相場には、通用しないことが多いんです。

「もうあと少しだ!」と喜んだ+15.9万円

それまでのバックテストで、ドル円は+15.9万円という結果が出ていました。
正直、「もうあと少しだ!」と喜んでいました。

ところが、ここに大きな落とし穴がありました。

MT4を久しぶりに使ったので、ヒストリカルデータ(過去の値動きのデータ)の精度のことを、すっかり忘れていたんです。

MT4のバックテストは、手元にある過去データから値動きを再現して行います。
データが粗いと、1本のローソク足の中で「先に高値をつけたのか、安値をつけたのか」が分からず、実際とは違う順番で損切りや利確が起きたことにされてしまいます。

この再現の細かさは、テスト結果に「モデリング品質」として表示されます。
そのときの私のテストは、36%でした。

そこで1分足の細かいデータを入手して入れ直すと、品質は90%に。
そして成績は——

粗いデータ(品質36%)細かいデータ(品質90%)
同じ期間+15.9万円+8.9万円
別の期間—-12.0万円

※いずれもバックテスト(過去データ)の結果です。

ヒストリカルデータの入手から、スタート地点まで突き落とされるとは。とほほ。
結果は惨敗。また心が折れました。

これから始める方へ
MT4でバックテストをするときは、損益より先に「モデリング品質」を見てください。粗いデータのままの好成績は、ほぼ当てになりません。

366回試して選んだ「一番いい設定」の正体

もうひとつの落とし穴は、試した回数でした。

改良のたびに設定を少しずつ変えてテストし、最終結果だけを見て、次の手を考える。
全部を細かく見るのは大変なので、最終結果が悪ければすぐに足切り。良ければ、次の一手へ。
結果が良くても、見ているうちに次のアイデアを思いついて、すぐ試してしまうこともありました。

気づけば、366回試した中から一番良い結果を選んでいました。

一気に進めたあと、ふと、その「一番いい結果」の中身を分析させてみると——
利益のほとんどが、たった3回の大勝ちでできていました。
その3回を除くと、赤字です。

「そんなはずはない!!」と、何度思わされたか分かりません。

考えてみれば、たくさん試すほど、たまたま大勝ちが混ざった設定が一番上に来やすくなります。
くじを366回引けば、1回くらいは当たりが出る。その当たりを「実力」だと思い込んでいたわけです。

最終結果は、すべてのトレードの合計です。
合計だけを見ていると、中身のバラつきにもやがかかって見えなくなります。

そもそも、EAが私の伝えたとおりに動けている保証もない段階でした。少しずつ中身を確認しながら進める必要があったんですよね。
とはいえ、最終結果が良くなければ意味がないのも事実。時間とのバランスを見ながら進めるしかありませんでした。

「一番効いた改善」は、シグナルの9割を捨てていただけ

トレード回数が、明らかに少ない。
そう思って、実際のトレードだけでなく、エントリーのシグナル(入る合図)が出た場所もすべて出させるようにしました。

調整を重ねていくと、「どのエントリーを削るか」という作業が増えていきます。
その中で、「一番効いた改善」として採用したフィルターがありました。

あ、しかも改善された!!と喜んだのも束の間。
中身を調べると、そのフィルターはシグナルの9割を捨てていただけでした。

削りすぎれば、たまたま勝ったトレードだけが残って、成績は良く見えます。
でもそれは改善ではなく、ただ数が減っただけ。

調整は、いつもどちらかに振れやすい。削りすぎるか、残しすぎるか。

「もう、足して2で割らせてくれよ。ちょうどいい奴おらんのかい!」

という状態でした。
数値だけでは語れない。このとき、しみじみ思いました。

相場の構造は月149回変わっていたのに、EAの取引は月2〜4回

トレード回数の少なさには、ずっと引っかかっていました。

「本当に、私のダウ理論に近い動きができていたのか分からない」

そう伝えて調べてもらうと、相場で高値・安値の構造が変わる場面は月149回あったのに、EAが取引していたのは月2〜4回でした。

これは、めちゃくちゃ悲しかったです。
自分が伝えたと思っている内容は、毎日のように発生するはずのものだったので。

私は、トレード件数がある程度多くないと、どんな成績も信頼できないと考えています。
人間の理解や判断、言葉は万能ではない。それをAIに通して、さらにプログラムに落とし込むのは、こんなにも難しいのかと痛感しました。

……ただ、このころはまだ、「ある程度思いどおりに動けば、必ず利益は積み上がる。意図しない動きが数%混ざっても、カバーできる」と考えていました。
この考えも、あとで揺らぐことになるのですが。

1年上がり続けた相場を、86%「下降」と判定していた

そして、極めつけがこれです。

このところの強い円安相場では、トレンドがずっと続いていました。
トレンドの転換で入る私の手法では、チャンスがなかなか来ない。
「エントリー回数が減るのも仕方ないか」と思っていました。

ところが、EAが判定しているトレンドの状態をチャートに映させてみると、真逆になっていることがしばしば。
上昇が1年続いた相場の86%を、EAは「下降」と判定していました。

どうやって勝ってたんだ……?

原因は、プログラムに落とし込むときのミスでした。
トレンドを判断する基準になる安値や高値を、おかしな位置のまま持ち続けてしまうバグがあって、いつまでもトレンドが転換しない状態になっていたんです。

バックテストの損益だけを見ていたら、絶対に気づけませんでした。
数字ではなく、チャートに描かせて目で見たから分かったことです。

今回わかったこと

これからEAを自作する方に向けて、今回の学びをまとめます。

  1. データの精度を先に確認する
    MT4なら「モデリング品質」。1分足などの細かいデータで試すと、成績がまるで変わることがあります。
  2. 期間を延ばしても崩れないか見る
    特定の期間や通貨にぴったり合わせた設定は、過去の暗記になりがちです(過学習)。
  3. たくさん試したら、「一番良い結果」ほど疑う
    試した回数が多いほど、偶然の当たりが一番上に来ます。
  4. 大勝ちの数回を除いても、プラスが残るか
    合計の数字は、中身のバラつきを隠します。
  5. 成績が良くなった「理由」を確かめる
    改善に見えて、ただトレードを捨てていただけ、ということがあります。
  6. トレード回数と、EAの判定をチャートで見る
    数字だけでは、EAが思ったとおりに動いているかは分かりません。

バックテストは、EAを作るうえで欠かせない道具です。
でも使い方を間違えると、ものすごく上手に私を騙してきます。

次回は、AIと一緒にチャートを見ながら、同じことを3日間言い続けた話です。
直すべきだったのは、EAではありませんでした。

このころのEAの詳細スコア

第4話で出てきたEAのバックテスト(過去データ)の成績です。ドル円、初期資金100万円。

ドル円粗いデータ2024.01〜2026.06
品質36%
細かいデータ2024.01〜2026.06
品質90%
別の期間2020.01〜2023.12
品質90%
収支+15.9万円+8.9万円−12.0万円
成績スコア1.890.92−0.62
最大DD8.4万円
(7.8%)
9.7万円
(8.6%)
19.5万円
(18.1%)
PF1.471.250.80
勝率28.2%24.7%23.0%
ペイオフレシオ3.743.812.67
最大連敗11回10回13回
取引回数78回
(月2.6)
81回
(月2.7)
148回
(月3.1)
上位3回を除く収支−4.1万円−7.2万円−29.4万円
t値1.010.65−0.84

※成績スコア=収支÷最大ドローダウン(DD、一番へこんだ分の何倍稼げたか)。PF=総利益÷総損失。ペイオフレシオ=平均利益÷平均損失。
※t値は、平均の利益がゼロからどれだけ離れているかの目安。2以上で「偶然とは言いにくい」とされます。
※品質=MT4のモデリング品質。簡易モデルは、ローソク足の中の値動きを大まかに再現する方法です。
※過去データでの結果で、将来の成績を保証するものではありません。


関連: バックテストと検証 / ラボ長のEA開発ストーリー
連載: 第1話 / 第2話 / 第3話
あわせて読みたい: AIでEAを自作する前に知っておきたい5つのこと

※本ブログの成績はすべて私個人の記録であり、将来の利益を保証するものではありません。バックテストの結果は過去のデータによるものです。投資は自己責任でお願いします。

コメント

タイトルとURLをコピーしました