バックテストで騙されないためのチェックリスト(過剰最適化・データ精度・大勝ち頼み)
どうもこんにちは。戦術トレードラボのラボ長です。
第4話では、私がバックテストに何度も騙された話を書きました。
粗いデータの好成績、366回試した中の「一番いい結果」、シグナルの9割を捨てていただけの「改善」……。
今回はその失敗を、これからEAを自作する方が使えるチェックリストにまとめ直しました。
バックテストで良い数字が出たとき、喜ぶ前にこのリストを上から順に当ててみてください。
なぜバックテストは人を騙すのか
バックテストそのものは、うそをつきません。
過去のデータに対して、EAのルールどおりに売買した結果を、正直に出しているだけです。
騙されるのは、たいてい次の3つが原因です。
- データや条件が、実際の取引と違う(データの精度、スプレッド、約定)
- 過去に合わせすぎている(過剰最適化・カーブフィッティング)
- 合計の数字が、中身を隠している(大勝ち頼み、回数不足)
この3つに分けて、確認項目を並べていきます。
A. データと条件をそろえる
✅1. モデリング品質(データの精度)を確認したか
MT4のバックテストは、手元の過去データから値動きを再現します。
データが粗いと、1本のローソク足の中で高値と安値のどちらが先についたかが分からず、損切りと利確の順番が実際と入れ替わることがあります。
私のEAは、品質36%のデータでは+15.9万円、1分足のデータに入れ替えて品質90%にすると+8.9万円、別の期間では-12.0万円でした(いずれもバックテスト)。
MT4なら、1分足以上に細かいデータで試すのが最低ライン。損切りや利確の幅が小さいEAほど、ティックデータでの確認をおすすめします。
✅2. スプレッドを現実的な値にしているか
MT4のストラテジーテスターは、設定によってはテストした瞬間のスプレッドをそのまま使います。
週末や早朝にテストすると、実際とは違うスプレッドで計算されることもあります。
- 使う予定の証券会社の普段のスプレッドより少し広めで試す
- スキャルピングのように1回の値幅が小さいEAほど、影響が大きい
私の場合、スプレッドを全部払わせる計算に直すと、6年分の成績は約5%減りました(バックテスト)。値幅の大きいEAだったので影響は小さめでしたが、確認したうえで「小さい」と言えることが大事だと思っています。
✅3. データの提供元で結果が変わらないか
同じEA、同じ1年でも、証券会社のデータが違うだけで、取引が22回から14回に変わり、成績も大きく変わったことがありました(バックテスト)。
ローソク足の形は、提供元によって微妙に違います。実際に運用する会社のデータでも確認しておくと安心です。
✅4. 「データの幻」を疑ったか
時間帯の癖を調べていたとき、「朝のある時間からドル円が上がる」という、統計的にもかなり強い結果が出たことがあります。
ところが調べると、12通貨ペアすべての売値が、同じ時間に同時に上がっていました。
正体は、早朝にスプレッドが広がって、売値だけが押し下げられていたこと。相場の動きではなく、データの作りが生んだ幻でした。
全部の通貨ペアで同じ方向に出る結果は、まずデータ側を疑ってみてください。
B. 過去に合わせすぎていないか(過剰最適化)
✅5. 何回試して選んだ結果か、数えているか
設定を変えてテストを繰り返すほど、たまたま相性の良かった設定が一番上に来やすくなります。
くじを何百回も引けば、1回くらいは当たりが出るのと同じです。
私は、気づけば366回試した中から一番良い結果を選んでいました。
試した回数が多いほど、一番いい結果ほど疑う。これが一番の教訓です。
✅6. 設定を少しずらしても、成績が崩れないか
本当に優位性のあるルールなら、設定を少し変えても成績はなだらかに変わるはずです。
ある1つの値だけ突出して良く、隣の値ではガクッと落ちるなら、それは過去への「暗記」の可能性が高いです。
✅7. 作るときに見ていない期間でも試したか
EAを作るのに使った期間(インサンプル)とは別に、一度も見ていない期間(アウトオブサンプル)でテストします。
- 例:過去6年分のうち、前半4年で作って、後半2年で確かめる
- 余裕があれば、期間をずらしながら「作る→確かめる」を繰り返すウォークフォワード分析も有効です
私のEAは、ある通貨ペアで期間を5年あまりに延ばしただけで、成績がほぼゼロになりました。
期間を延ばすだけで崩れる設定は、実際の運用でも崩れます。
✅8. 「改善」の理由を説明できるか
フィルターを1つ足したら成績が良くなった。
そんなときは、トレード回数がどれだけ減ったかを必ず見てください。
私が「一番効いた改善」として採用したフィルターは、中身を調べるとシグナルの9割を捨てていただけでした。
削りすぎれば、たまたま勝ったトレードだけが残って、成績は良く見えます。
✅9. 結果を裏返して「勝てる」と思っていないか
あるルールが一貫して負けると、「逆にすれば勝てるのでは」と考えたくなります。
私も試しましたが、裏返した版も、見ていない通貨ペアではしっかり負けました。
負けの原因がスプレッドや値動きの往復だと、どちら向きでも負けます。
C. 合計の数字に隠れたものを見る
✅10. 大勝ちの数回を除いても、プラスが残るか
合計の損益は、中身のバラつきを隠します。
私の「一番いい結果」は、利益のほとんどがたった3回の大勝ちでできていて、その3回を除くと赤字でした(バックテスト)。
上位数トレードを除いた損益、年ごとの損益を出して、特定の数回や特定の1年に頼っていないかを確かめます。
✅11. トレード回数は十分か
回数が少ないと、どんな成績も偶然の可能性が高くなります。
よく言われる目安は、最低でも100回、できれば数百回。
成績の見方については、EAの成績の見方で詳しくまとめています。
✅12. 売買した場所とEAの判定を、チャートで見たか
最後は、数字ではなく目で見る確認です。
私のEAは、1年上がり続けた相場の86%を「下降」と判定していました。プログラムのミスで、トレンドの基準になる高値・安値を、おかしな位置のまま持ち続けていたんです。
損益だけを見ていたら、絶対に気づけませんでした。
エントリーと決済の位置、EAが判断している相場の状態を、チャートに描かせて確かめる。
AIにEAを作ってもらう場合は、特に効果があります。
チェックリスト(まとめ)
| 区分 | チェック項目 | できた? |
|---|---|---|
| データと条件 | 1. モデリング品質を確認した(MT4は1分足以上) | □ |
| 2. スプレッドを普段より少し広めにした | □ | |
| 3. 運用する会社のデータでも確認した | □ | |
| 4. 全通貨で同じ結果が出たら、データ側を疑った | □ | |
| 過剰最適化 | 5. 試した回数を数えている | □ |
| 6. 設定を少しずらしても崩れない | □ | |
| 7. 見ていない期間でも試した | □ | |
| 8. 改善の理由と、減った回数を説明できる | □ | |
| 9. 「裏返せば勝てる」で済ませていない | □ | |
| 中身 | 10. 大勝ち数回・特定の1年を除いてもプラス | □ |
| 11. トレード回数が十分 | □ | |
| 12. 売買位置と判定をチャートで見た | □ |
よくある質問
Q. 全部クリアしないと、運用してはいけませんか?
A. 全部を完璧にするのは難しいと思います。ただ、1・7・10・12の4つは、最低限やっておくことをおすすめします。私が騙されたのは、ほぼこの4つでした。
Q. バックテストが良ければ、すぐ本番で動かしていいですか?
A. バックテストを通過したら、次はデモ口座などで、実際の値動きの中で動かす「フォワードテスト」をおすすめします。約定のズレや、EAが止まるトラブルは、バックテストでは分かりません。
Q. AIにバックテストを任せても大丈夫?
A. テストを回すこと自体は、AIがとても得意です。ただ、「どの結果を信じるか」を決めるのは自分です。AIに結果を出してもらったら、このリストの項目を一緒に確認してもらう使い方がおすすめです。
まとめ
- バックテストはうそをつかない。騙されるのは、条件と見方
- データの精度とスプレッドを、先にそろえる
- 試した回数が多いほど、一番いい結果ほど疑う
- 見ていない期間、大勝ちを除いた成績、チャートでの目視で確かめる
私が実際にどう騙されたかは、連載の第4話に書いています。
EAの成績表の読み方はEAの成績の見方、兼業で自動売買を選ぶかどうか迷っている方は兼業トレーダーが自動売買を選ぶメリットとデメリットもどうぞ。
関連: バックテストと検証 / ラボ長のEA開発ストーリー
連載: 第1話 / 第2話 / 第3話 / 第4話
※本ブログの内容は私個人の経験にもとづくもので、将来の利益を保証するものではありません。バックテストの結果は過去のデータによるものです。投資は自己責任でお願いします。


コメント