Post List

2017년 8월 25일 금요일

Timing Luck: Backtest is an illusion




퀀트 전략의 백테스트는 대부분 월말 리밸런싱을 가정합니다.

사실 이유는 간단합니다.
백테스트 하기가 편하고, 월 단위 수익률을 구하는게 쉽기 때문입니다.

그러나 '모든 백테스트는 허구이다' 라는 말이 있듯이
단순히 백테스트 결과만을 믿을 수는 없습니다.


우선 매 월말 칼같이 리밸런싱을 하기도 힘듭니다.

또한 리밸런싱 일자가 하루만 달라져도 편입되는 종목이 다른 경우가 있으며,
포트폴리오 내 종목 수가 작을 수록, 즉 종목 당 집중도가 클수록
수익률에 대한 기여도가 확연히 차이 나기 때문입니다.

(포트폴리오 내에 100종목 정도 있는데, 그 중 1~2종목 바뀌는건 별 차이가 없겠죠?)

AllocateSmartly에서도
Timing Luck and Portfolio Tranching [Link] 이라는 글을 통해
이러한 문제점을 지적했습니다.


실제로 리밸런싱 일자에 따른
동일 전략의 수익률 차를 알아보기 위한 백테스트를 실시합니다.

가장 심플한 버젼의 Tactical Asset Allocation [Link] 으로,
1995년부터 2016년 기간을 백테스트 하며,
매월 1일, 2일, ...., 월말 기준 백테스트를 가정합니다.


먼저 아래 두 그림은 리밸런싱 일자 별
누적 수익률 (일반 / 로그) 그래프 입니다.

수익률의 모양은 비슷할 지언정
얼핏 보기에도 20 여년의 기간 동안 상당한 수익률 차이가 발생합니다.



누적 수익률



누적 수익률 (로그 그래프)



다음은 각 일자별 연율화 수익률의 비교입니다.
꽤나 차이가 있습니다.


리밸런싱 일자 별 연율화 수익률



마지막으로 각 일자 별
누적수익률, 연율화 수익률 (산술), 연율화 수익률 (기하),
연율화 변동성, 샤프지수 이며,

최대값과 최소값의 차이입니다.

9일 리밸런싱과 22일 리밸런싱의 경우
동일한 전략임에도 불구하고
연율화 수익률이 대략 1.8% 가량 차이가 납니다.

이는 시간이 지날 수록 복리가 쌓여가며
상당한 차이로 벌어지게 됩니다.



Day
Cum Ret
Ann Ret (arith)
Ann Ret (geo)
Ann Std
Sharpe
1
6.6531
10.11%
9.04%
11.57%
0.7818
2
6.4791
10.00%
8.91%
11.54%
0.7724
3
6.9238
10.26%
9.24%
11.45%
0.8073
4
5.9882
9.68%
8.52%
11.50%
0.7410
5
6.7545
10.15%
9.12%
11.38%
0.8015
6
6.3838
9.93%
8.84%
11.50%
0.7686
7
6.8067
10.19%
9.16%
11.51%
0.7954
8
6.1409
9.80%
8.65%
11.71%
0.7383
9
7.4021
10.53%
9.58%
11.48%
0.8342
10
6.2058
9.83%
8.70%
11.54%
0.7540
11
6.2513
9.86%
8.73%
11.57%
0.7549
12
5.2510
9.17%
7.87%
11.59%
0.6791
13
5.7972
9.55%
8.36%
11.50%
0.7273
14
6.0164
9.70%
8.54%
11.50%
0.7429
15
6.5741
10.06%
8.99%
11.54%
0.7786
16
5.9311
9.64%
8.47%
11.50%
0.7371
17
6.0136
9.69%
8.54%
11.49%
0.7434
18
5.2762
9.18%
7.90%
11.50%
0.6866
19
5.4906
9.34%
8.09%
11.51%
0.7029
20
5.9267
9.64%
8.47%
11.56%
0.7330
21
5.2182
9.14%
7.84%
11.55%
0.6789
22
5.1852
9.12%
7.81%
11.54%
0.6770
23
5.6593
9.46%
8.24%
11.57%
0.7124
24
6.4935
10.01%
8.92%
11.58%
0.7705
25
6.6776
10.13%
9.06%
11.60%
0.7813
26
7.2058
10.44%
9.44%
11.62%
0.8129
27
7.3387
10.52%
9.53%
11.67%
0.8170
28
6.5193
10.04%
8.94%
11.69%
0.7653
End
6.5790
10.07%
8.99%
11.66%
0.7708



최대-최소 차이
Cum Ret
221.69%
Ann Ret (arith)
1.41%
Ann Ret (geo)
1.77%



그렇다면 이게 무얼 의미할까요
설마 '9일 성과가 제일 좋으니 9일날 리밸런싱을 해야겠군' 이라는
바보같은 소리는 안하겠죠?


백테스트 라는건 결국 전략의 유의성을 보기 위한 것,
그 이상 그 이하도 아니며

리밸런싱을 언제 하느냐는 결국 의 문제입니다.

Newfound Research는 'Big Little Details' 라는 글을 통해
어느 정도 해결법도 제시해 주고 있습니다.




이러한 '운'에 좌우되지 않으려면 가장 좋은 방법은


1. 포트폴리오 종목의 다양화
2. 리밸런싱 주기의 확장
3. 다양한 전략 및 전략 별 리밸런싱 주기의 다양화

와 같은 해결책이 필요할 듯 합니다.



댓글 없음:

댓글 쓰기