표본 크기: 8전 7승이면 믿을 만할까요? Sample Size & Luck

거래가 너무 적으면 운이 좌우해요

공정한 동전을 8번 던져 앞면이 6번 나오는 건 전혀 드문 일이 아니에요. 백테스트 거래가 십여 건뿐이라면 승률도 운에 따라 부풀려지거나 깎일 수 있어요. 표본 크기가 너무 작으면 결론을 믿을 수 없어요.

승률에 범위를 그려요

승률 숫자 하나만 보기보다 ‘실제 승률은 대략 어느 범위일까’를 물어보세요. 이 신뢰구간은 거래 건수가 늘수록 좁아져요. 8전 7승의 범위는 아주 넓고, 하한은 50%보다 조금 높을 뿐이에요.

많이 시험할수록 보기 좋은 결과에 걸리기 쉬워요

같은 데이터로 규칙을 수십 개 시험하면 우연히 아주 멋진 것이 하나쯤 나오기 마련이에요. 이것이 데이터 스누핑이에요. 어떤 결과를 믿으려면 거래가 충분히 많아야 하고, 한 번도 쓰지 않은 새 데이터로 검증하면 더 좋아요.

이 레슨의 핵심

• 백테스트의 승률은 한 번 뽑아 본 표본 결과일 뿐이고, 거래 횟수가 적을수록 우연의 영향이 커요.
• 8전 7승(87.5%)에 해당하는 진짜 승률의 약 95% 신뢰구간은 53%–98%이고, 하한은 50%보다 조금 높을 뿐이에요.
• 거래 횟수가 많을수록 구간이 좁아져요. 똑같이 승률 60%라도 100건이 20건보다 훨씬 믿을 만해요.
• 구간이 좋아 보여도 지난 데이터에 대한 이야기일 뿐이에요. 비용, 시장 변화, 파라미터를 반복해서 시험하며 생긴 편향도 고려해야 해요.

직접 해 보기

아래 연습은 이 레슨의 인터랙티브 시뮬레이션에서 해 볼 수 있어요:

1. ‘예제: 8전 7승’을 눌러 보세요. ‘내 승률 구간’의 하한은 얼마인가요? 히스토그램도 보세요. 실제 승률이 50%뿐일 때 ‘좋아 보임’(승률 ≥ 60%)으로 나오는 백테스트는 얼마나 되나요?
2. 실제 승률은 50%로 두고 거래 건수를 8에서 200까지 늘려 보세요. 히스토그램이 좁아졌나요? ‘좋아 보임’의 비율은 어떻게 변했나요?
3. 실제 승률을 55%, 거래 건수를 30으로 맞춰 보세요. 히스토그램에 초록색 막대(관측 승률 50% 미만)가 아직 얼마나 남아 있나요? 진짜 우위가 있는 전략도 백테스트에서는 손실처럼 보일 수 있어요.
4. 거래 건수를 20으로 두고 ‘이긴 횟수’를 끌어 보세요. 최소 몇 번 이겨야 구간 하한이 50%를 넘나요? 100건으로 바꿔 다시 해 보세요.

퀴즈와 해설

1. 진짜 승률 50%, 손익 1:1인 전략(우위 없음)을 10건만 백테스트했어요. 승률 70%가 관찰될 가능성은?

정답: 드물지 않다. 백테스트 6번에 1번꼴로 승률 70% 이상이 나온다10건 중 7건 이상 이길 확률은 약 17%라, 운만으로도 그럴듯한 성적이 나올 수 있어요.

2. 다른 조건이 같을 때 백테스트 거래 수를 20건에서 200건으로 늘리면 승률의 신뢰구간은?

정답: 좁아진다표본이 많을수록 추정이 정확해지고 구간이 좁아져요.

3. 두 전략 모두 승률 60%예요. A는 거래 15건, B는 거래 300건에서 나온 결과예요. 어느 결론이 더 믿을 만할까요?

정답: B, 표본이 커서 우연의 영향이 작아서300건의 60%는 구간이 대략 54%–65%이고, 15건의 구간은 50% 아래까지 포함할 만큼 넓어요.

이 레슨의 용어

• 신뢰구간 (Confidence Interval): 표본으로 추정한 범위로, 실제 값이 높은 확률로 그 안에 있어요. 표본이 적을수록 구간이 넓어요.
• 데이터 스누핑 (Data Snooping): 같은 과거 데이터에서 수많은 규칙이나 파라미터를 반복해서 시도하면 우연히 좋아 보이는 조합을 찾게 되지만, 대개 운일 뿐이에요.
• 기댓값 (Expectancy): 길게 봤을 때 거래 한 번에 평균적으로 버는 금액 = 승률 × 평균 이익 − 패율 × 평균 손실이에요. 플러스여야 할 가치가 있어요.
• 표본 크기 (Sample Size): 통계 결과가 기대는 데이터 개수예요. 예: 백테스트의 거래 횟수. 횟수가 적을수록 승률과 수익이 운에 좌우되기 쉬워요.
• 승률 (Win Rate): 전체 거래 중 수익 난 거래의 비율이에요.