サンプル数：8 戦 7 勝は信頼できる？ Sample Size & Luck

取引が少なすぎると、運がものをいう

公平なコインを 8 回投げて表が 6 回出るのは、少しも珍しくありません。バックテストの取引が十数回しかないときも、勝率は同じように運で上下し得ます。サンプル数が小さすぎれば、結論は成り立ちません。

勝率に範囲をつける

勝率という 1 つの数字だけを見るより、「本当の勝率はだいたいどの範囲にありそうか」を問いましょう。この信頼区間は取引回数が増えるほど狭くなります。8 戦 7 勝では範囲がとても広く、下限は 50% をわずかに上回るだけです。

試すほど、見栄えの良い結果に出くわしやすくなる

同じデータで何十通りものルールを試せば、どれか 1 つはたまたま見事な成績になります。これがデータスヌーピングです。結果を信じるには十分な取引回数が必要で、できれば一度も使っていない新しいデータで検証しましょう。

このレッスンのポイント

• バックテストの勝率は 1 回の抽出結果にすぎず、取引回数が少ないほど偶然の影響が大きくなります。
• 8 戦 7 勝（87.5%）に対応する本当の勝率のおよそ 95% 信頼区間は 53%〜98% で、下限は 50% をわずかに上回るだけです。
• 取引回数が多いほど区間は狭くなります。同じ 60% の勝率でも、100 回のほうが 20 回よりずっと信頼できます。
• 区間がよさそうに見えても、それは過去のその期間のデータについて言えるだけです。コスト、相場の変化、パラメーターを何度も試したことによる偏りも考える必要があります。

実際に試してみよう

次の練習は、このレッスンのインタラクティブ・シミュレーションで取り組めます：

1. 「例題：8 戦 7 勝」をクリックしましょう。「自分の勝率の範囲」の下限はいくつですか？ 次にヒストグラムを見ましょう。本当の勝率が 50% しかないとき、「とても良さそうに見える」（勝率 ≥ 60%）バックテストはどれくらいありますか？
2. 本当の勝率を 50% のまま、取引回数を 8 から 200 にドラッグしましょう。ヒストグラムは狭くなりましたか？ 「とても良さそうに見える」割合はどう変わりましたか？
3. 本当の勝率を 55%、取引回数を 30 にしましょう。ヒストグラムに緑の棒（観測された勝率が 50% 未満）はどれくらい残っていますか？ 本当に優位性のある戦略でも、バックテストでは負けているように見えることがあります。
4. 取引回数を 20 にして「勝ち数」をドラッグしましょう。範囲の下限が 50% を超えるには、少なくとも何勝必要ですか？ 100 回に変えてもう一度試しましょう。

クイズと解説

1. 本当の勝率が 50%、損益比 1:1 の戦略（優位性なし）を、10 回の取引だけでバックテストしました。勝率 70% が観測される可能性は？

答え：珍しくなく、およそ 6 回のバックテストに 1 回は勝率 70% 以上になる。10 回のうち 7 回以上勝つ確率は約 17% で、運だけで見栄えのよい成績ができてしまいます。

2. ほかの条件が同じで、バックテストの取引回数を 20 回から 200 回に増やすと、勝率の信頼区間は？

答え：狭くなる。サンプルが多いほど推定は正確になり、区間は狭くなります。

3. 2 つの戦略がどちらも勝率 60% を示しています。A は 15 回、B は 300 回の取引によるものです。どちらの結論がより信頼できますか？

答え：B。サンプル数が多く、偶然の影響が小さいから。300 回での 60% の区間はおよそ 54%〜65% ですが、15 回の区間は 50% を下回るところまで含むほど広くなります。

このレッスンの用語

• 信頼区間 (Confidence Interval)：サンプルから推定した範囲で、真の値は高い確率でこの中に入ります。サンプルが少ないほど範囲は広くなります。
• データスヌーピング (Data Snooping)：同じ過去データで大量のルールやパラメータを試し続けると、たまたま見栄えの良い組み合わせが必ず見つかりますが、それは多くの場合ただの運です。
• 期待値 (Expectancy)：長い目で見て 1 回の取引で平均いくら稼げるかで、勝率 × 平均利益 − 負け率 × 平均損失です。プラスでなければやる価値はありません。
• サンプル数 (Sample Size)：統計結果の根拠となるデータの数で、たとえばバックテストの取引回数です。回数が少ないほど、勝率やリターンは運に左右されやすくなります。
• 勝率 (Win Rate)：全取引のうち利益が出た取引の割合です。