투자자들의 ‘착각’이 만드는 시장 기회: 구조적 변화 속 요소 위험 프리미엄의 미학습 현상

서론: 왜 똑똑한 투자자도 실패하는가?

투자의 역사는 실패의 반복이다. 2008년 금융위기, 2020년 팬데믹 충격, 최근의 금리 급등 국면—매번 시장은 예상을 뒤엎었다. 특히 흥미로운 점은 이런 충격이 닥칠 때마다 전문 투자자들도 같은 실수를 반복한다는 것이다. 왜일까?

Yimeng Qiu의 신작 논문 「구조적 변화 속 요소 위험 프리미엄의 미학습: 오류 지정된 베이지안 학습 프레임워크」(Mislearning of Factor Risk Premia under Structural Breaks)는 이 질문에 대한 새로운 답을 제시한다. 핵심은 간단하지만 강력하다: 투자자들이 시장의 구조적 변화를 과소평가하는 모형으로 학습할 때, 체계적인 오류와 가격 왜곡이 발생한다는 것이다.

이 논문이 한국의 자산운용 업계와 개인투자자에게 중요한 이유는 명확하다. 한국 시장은 글로벌 충격에 극도로 민감하면서도, 동시에 기술주 편중, 외인 영향력 확대 등으로 인한 구조적 변화가 빠르게 진행 중이다. 이런 환경에서 ‘안정적’이라고 가정한 투자 모형이 얼마나 위험한지를 이 논문은 실증적으로 보여준다.

핵심 방법론: 오류 지정 베이지안 학습 프레임워크

문제 설정: 정상 세계의 가정

기존 자산가격결정 이론은 한 가지 중요한 가정을 공유한다: 투자자들이 합리적(rational)이고, 시장의 구조 변화를 올바르게 인식한다는 것이다. 학계에서도 최근 몇십 년간 요소 위험 프리미엄(factor risk premia)—예를 들어 가치(value), 모멘텀(momentum), 저변동성(low volatility) 등의 초과 수익률—의 시간 변화를 인정하기 시작했다.

하지만 Qiu의 논문이 제기하는 질문은 근본적으로 다르다: 만약 투자자들이 이러한 구조적 변화를 ‘과소평가’하는 모형으로 학습한다면? 예를 들어, 실제로는 2~3년마다 급격한 변화가 일어나는데, 투자자들이 이를 무시하고 “요소 프리미엄은 장기적으로 안정적”이라는 모형을 사용한다면 어떤 일이 벌어질까?

베이지안 학습의 오류 메커니즘

논문의 핵심 프레임워크는 오류 지정된 베이지안 학습(misspecified Bayesian learning)이다. 이를 직관적으로 설명하면:

1. 투자자의 신념(belief): 투자자는 어떤 통계 모형을 마음속에 가지고 있다. 예를 들어, “가치 프리미엄의 기댓값은 연 4%이고, 이는 시간에 따라 크게 변하지 않는다”

2. 현실의 구조 변화: 그러나 실제 시장에서는 주기적으로 구조가 바뀐다. “지난 1년간 가치 프리미엄은 음수였다”, “최근 3년간은 기술주 프리미엄이 지배했다”

3. 학습의 왜곡: 투자자는 새로운 데이터를 관찰할 때, 자신의 틀린 모형을 통해 해석한다. 구조 변화를 모형 오류로 해석하거나, 일시적 노이즈로 무시한다. 결과적으로 지속적인 예측 오류(persistent prediction errors)가 누적된다.

논문에서 제시하는 미학습 강도 지표(Δ_t, Delta_t)는 이를 측정하는 방법이다. 이는 예측 우도비(predictive likelihood ratios)에 기반하는데, 실제로 벌어진 수익률이 투자자의 사전 신념으로 얼마나 ‘놀랍지 않은(surprising)’ 정도를 수량화한다. 높은 Δ_t는 투자자의 모형이 시장 현실로부터 얼마나 멀어져 있는지를 나타낸다.

경험적 발견: 세 가지 놀라운 결과

발견 1: 벤치마크 요소 시스템에서의 역설적 성과

가장 직관에 어긋나는 결과부터 보자.

높은 미학습 강도가 단기 성과 붕괴를 예측하지 않는다. 오히려, 미학습이 높을 때 이후 장기 수익률과 샤프 지수(Sharpe ratio)가 더 강해진다는 것이다.

이것이 무엇을 의미하는가? 논문은 이를 모형 불확실성에 대한 균형 프리미엄(equilibrium premium for model uncertainty)으로 해석한다. 즉:

• 미학습이 높은 시기: 시장이 특정 요소의 진정한 위험이 무엇인지 확신하지 못한다
• 투자자들의 행동: 불확실성이 높을수록, 더 큰 보상을 요구한다
• 결과: 오히려 더 좋은 수익률이 나타난다

구체적으로, 팩터(factor) 포트폴리오 시스템(Fama-French 6팩터, q5팩터 등)에서 이 관계가 견고하게 나타난다. 이는 위험 프리미엄 자체가 동적(dynamic)이며, 불확실성이 높을수록 보상이 커진다는 학문적 통찰이다.

발견 2: 이상 현상(Anomaly) 우주에서의 이질성

그런데 더 나아가 더 광범위한 이상 현상들(예: 투자(investment), 이익 품질(profitability), 비선형 요소들)을 포함하면, 이 관계가 모두에게 성립하지 않는다는 것이다.

이상 현상 영역에서는 높은 미학습이 다음과 같은 부정적 지표들과 연관된다:

• 미래의 손실 기간(drawdowns)
• 하방 반변동성(downside semivolatility)
• 전반적 불안정성 지표

더 중요한 점은 이상 현상 계열에 따라 효과가 다르다는 것이다(substantial heterogeneity across anomaly families). 예를 들어, 투자 기반 이상 현상과 이익 품질 기반 이상 현상에서 미학습의 가격 영향이 완전히 다를 수 있다.

이것이 의미하는 바는 직설적이다: 투자자는 단순히 ‘높은 미학습’이라는 신호 하나에 의존할 수 없다. 어떤 자산 구조(asset structure)에 속하는지가 중요하다.

발견 3: 패시브 자본의 역할—기대와 다른 현실

기관투자자들의 패시브 투자(인덱스 펀드, ETF)로의 흐름은 시장 구조를 근본적으로 바꾸고 있다. 직관적으로 생각하면, 패시브 자본은 수익률 추구에 덜 민감하므로 미학습의 영향을 ‘완화’할 것 같다.

그렇다면 현실은?

논문의 발견은 패시브 자본이 미학습을 흡수하는 메커니즘(passive absorber mechanism)이 견고하지 않다는 것이다. 대신:

• FF6(Fama-French 6팩터) 및 q5(q-factor) 시스템: 패시브 비중이 높을수록, 미학습은 더 이상 미래 샤프 지수로 나타나지 않고, 대신 미래의 실제 위험 실현(risk realization) 및 더 낮은 누적 수익률로 표현된다.

• 이상 현상 우주: 패시브 노출이 특정 계열 수준에서 부분적 구조 이동(partial family-level structure shifting)으로 작용한다.

한국의 맥락에서 이것은 매우 시사적이다. 국내 패시브 펀드 시장의 급성장(연 20% 이상 성장)이 진행 중인데, 이 논문은 패시브 자본의 증가가 반드시 시장 안정성을 높이지 않으며, 오히려 위험 표현 방식을 변화시킬 수 있다고 말한다.

왜 이것이 중요한가: 이론과 실무의 교집합

학문적 의의

이 논문은 세 가지 측면에서 자산가격결정 이론을 확장한다:

1. 모형 오류의 동적 영향: 기존 연구는 “투자자가 틀린 모형을 사용하면 어떻게 되는가”를 정적으로 분석했다. 이 논문은 그것을 동적 학습 과정으로 본다. 시간에 따라 오류가 축적되고, 그것이 가격 신호로 표현된다.

2. 구조적 변화의 경제적 영향: 단순히 “요소 프리미엄이 변한다”는 것뿐 아니라, 투자자들이 이를 과소평가할 때 시스템적 가격 왜곡이 발생한다는 것을 정량화했다.

3. 이질적 자산 구조(heterogeneous asset structure)의 중요성: 기존 팩터 모형은 모든 자산이 동일한 프레임워크로 분석될 수 있다고 가정했다. 이 논문은 자산 구조와 시장 구조에 따라 미학습의 가격 효과가 조건부적(conditional)임을 보인다.

실무적 함의

투자 실무자 입장에서 이것의 의미는:

1. 모형 안정성에 대한 재평가: 당신의 포트폴리오 최적화 모형이 최근 3년간 잘 작동했다면, 그것이 내일도 작동한다는 보장이 없다. 특히 구조 변화 신호가 보이는 시점에서는 더욱 그렇다.

2. 불확실성의 가격: 미학습이 높은 시기는 위험이지만, 동시에 보상(프리미엄)이 높은 시기이다. 리스크 관리가 충분하다면 이는 기회일 수 있다.

3. 자산 배분의 세밀함: 모든 팩터나 이상 현상이 동등하지 않다. 특히 구조 변화 국면에서는 자산 계열(asset family)별로 노출을 조정할 필요가 있다.

HERMES 인사이트: 실전 투자 활용 전략

1단계: 미학습 강도 모니터링 시스템 구축

첫째, 예측 우도비 기반 미학습 지표를 자신의 투자 시스템에 통합하라.

투자 실무자라면 다음과 같이 구현할 수 있다:

• 베이지안 포트폴리오 모형 설정: 자신이 사용하는 기본 팩터 모형(예: 대형주 프리미엄, 가치 프리미엄)의 기댓값을 명시적으로 정의한다. 이는 대개 과거 5년 또는 10년 평균이다.

• 월별 실제 수익률 비교: 매월 말, 실제로 나온 수익률이 당신의 사전 신념으로부터 얼마나 ‘놀라운(surprising)’ 수준인지 계산한다. 논문의 우도비(likelihood ratio) 개념을 사용하면, 이를 객관적으로 수량화할 수 있다.

• 누적 지표: 3개월, 6개월, 12개월 단위로 미학습 신호를 누적하여 추세를 파악한다. 급상승하는 패턴은 구조 변화의 신호다.

2단계: 자산 구조별 차등 전략 수립

둘째, 팩터 시스템과 이상 현상에 대해 차별화된 전략을 짠다.

• 벤치마크 팩터(FF6, q5 등): 미학습이 높을 때, 오버웨이트보다는 ‘포지션 유지 + 변동성 대비 강화’를 택한다. 논문에 따르면 이때는 장기 리턴이 좋지만 단기 변동성이 높을 수 있기 때문이다.

• 이상 현상 포트폴리오: 미학습이 높을 때는 포지션을 축소하거나 하방 위험 헤징을 강화한다. 특히 이상 현상 계열별로 위험 프로필이 다르므로, 최근 미학습 신호가 높은 계열의 노출을 줄인다.

3단계: 패시브 노출의 재평가

셋째, 자신의 포트폴리오에서 패시브 비중이 높다면, 그 위험 특성을 재검토하라.

논문의 발견에 따르면:

• 패시브 자본의 증가는 미학습의 가격 표현 방식을 바꾼다
• 특히 샤프 지수 개선보다는 ‘실제 드로다운(drawdown) 심화’로 나타날 수 있다

따라서:

• 패시브 펀드의 비중이 높다면, 절대 수익률보다는 하방 위험(downside risk) 지표를 더 면밀히 모니터링해야 한다.
• 정기적으로(분기별) 포트폴리오의 하방 반변동성(downside semivolatility) 변화 추세를 점검한다.

4단계: 구조 변화 신호의 다층 확인

넷째, 미학습 신호 하나에만 의존하지 말고, 다층 확인 시스템을 갖춘다.

미학습 지표가 상승했다고 해서 즉시 행동하는 것은 위험하다. 대신:

1. 구조 변화 신호의 다양한 소스 확인:

   • 팩터 상관관계의 변화 (rolling correlation)
   • 팩터 벨타(factor beta)의 시간 변화
   • 스타일 회전(style rotation) 신호 (가치 vs 성장, 대형주 vs 소형주 상대 수익)

2. 시장 구조 신호와의 교차 검증:

   • 외인 펀드 플로우 패턴
   • 국내 기관투자자의 자산배분 변화
   • 신용 스프레드(credit spread) 변화

3. 최종 의사결정: 미학습 신호 + 시장 구조 신호가 동시에 나타날 때만 전술적 조정을 단행한다.

5단계: 한국 시장 특수 고려사항

한국 투자자라면 추가로 고려할 점들:

• 외인 비중의 변화: 한국 주식시장에서 외인의 비중이 30% 이상인 종목들의 미학습 신호는 글로벌 구조 변화와 밀접하다. 글로벌 팩터 미학습 신호가 높을 때, 외인 비중 높은 종목의 변동성이 상승하는 패턴을 모니터링한다.

• 테마주 순환: 기술주, 바이오, 이차전지 등의 테마 주도 수익률 변화는 이상 현상의 극단적 형태이다. 이들 포트폴리오의 미학습 신호가 높을 때는 손실 위험이 높다는 것이 논문의 실증 결과와 일관된다.

• 연금과 보험의 포트폴리오 변화: 국내 제도 투자자의 패시브 증가가 시장 구조를 바꾸고 있다. 이들의 리밸런싱 일정이나 펀드 플로우 변화도 미학습 신호를 해석할 때 고려해야 한다.

비판적 성찰: 논문의 한계와 향후 과제

물론 이 논문도 한계를 갖는다.

첫째, 미학습이 ‘실제로’ 일어나는지 검증이 완전하지 않다. 논문은 사후적으로 예측 오류가 있음을 보이지만, 투자자들이 실제로 틀린 모형을 사용하고 있다는 직접적 증거는 제한적이다.

둘째, 구조 변화의 원인에 대해서는 침묵한다. 미학습이 높아지는 이유가 거시경제 충격인지, 시장 구조 변화인지, 순수 통계적 변동인지 구분하기 어렵다.

셋째, 이상 현상 계열 간 이질성이 높아서, 실제 활용이 복잡하다. 어떤 계열에 속하는지에 따라 전혀 다른 결과가 나오므로, 단순한 규칙 기반 시스템을 구축하기 어렵다.

그럼에도 이 논문은 투자의 근본적인 도전 과제—세상은 계속 변하는데, 우리의 모형은 정체돼 있다—를 과학적으로 접근한다는 점에서 의

📚 출처

• Qiu, Y. (2026). Mislearning of Factor Risk Premia under Structural Breaks. Luxon AI ORACLE 리서치팀 분석.