동태 경제학을 위한 수학

1. 오일러의 수 e와 로그변화 및 그 응용

2. 테일러 근사

3. 제약하의 최적화와 라그랑지 방법 쿤 터커 조건

4. 동태적 최적화: 이산시간 모형

5. 동태적 최적화: 연속시간 모형

표  최적화 유형별 관련 조건

	1계 필요 조건	2계 조건	전역적 최적화 조건
무제약하 최적화 [eqn: max _{x} ```f(x)]	일변수 함수: [eqn: f` prime (x*)=0]	일변수 함수: [eqn: f '' (x*) LEQ 0]	오목함수 유사오목 함수
	다변수 함수: [eqn: NABLA f(x*)=0]	다변수 함수: 임의의 [eqn: dx( != 0)]에 대해 [eqn: dx ^{T} `NABLA ^{2} f(x*)dx LEQ 0]
등식제약하 최적화 [eqn: max _{x _{1} ,`x _{2}} `f(x _{1} ,x _{2} )# `s.t.```g(x _{1} ,x _{2} )=r]	제약자격 조건 하에서 [eqn: L(x _{1} ,x _{2} , lambda )=f(x _{1} ,x _{2} )+ lambda [r-g(x _{1} ,x _{2} )]][eqn: L _{x _{i}} (x _{1} *,x _{2} *, lambda *)=0,``i=1,2] [eqn: L _{lambda } (x _{1} *,x _{2} *, lambda *)=0]	[eqn: NABLA g(x*) ^{T} dx=0]인 [eqn: dx( != 0)]에 대해 [eqn: dx ^{T} ` NABLA ^{2} L(x*, lambda *)dx LEQ 0]	-
부등식제약하 최적화 [eqn: max _{x _{1} ,`x _{2}} `f(x _{1} ,x _{2} )# `s.t.```g(x _{1} ,x _{2} ) LEQ r]	제약자격 조건 하에서 [eqn: L _{x _{i}} `(x _{1} *,x _{2} *, lambda *)=0,`i=1,2# L _{lambda } GEQ 0,``` lambda * GEQ 0,````L _{lambda } lambda *=0] 쿤-터커	-	제약식이 준볼록 목적함수가 유사오목

1. 오일러의 수 e와 로그변화 및 그 응용

1.1 오일러의 수 e의 정의

지수함수의 도함수

지수함수 [eqn: f(x)=b ^{x} ,``b>1] [eqn: b<1-->1/b>1# b ^{x} =(1/b) ^{-x}]

x

도함수

[eqn: {d`b ^{x}} over {dx} = lim _{h -> 0} {} {b ^{x+h} -b ^{x}} over {h} =b ^{x} lim _{h -> 0} {} {b ^{h} -1} over {h} =k _{b} b ^{x}]

여기서 [eqn: k_b]는 [eqn: x=0]에서의 [eqn: y=b^x]함수의 기울기로서 [eqn: b]의 함수이다.

밑수 [eqn: b]의 값이 커질수록 [eqn: x=0]점에서의 기울기가 0부터 무한대까지 커짐.

따라서 [eqn: k _{b} =1]이 되도록 하는 밑수가 존재한다.

이러한 밑수를 [eqn: e]로 정의하자.

이 수 [eqn: e]를 오일러의 수라 한다.

오일러의 수 [eqn: e]를 밑수로 하는 지수함수를 자연 지수 함수(natural exponential function)이라 한다.

이 지수 함수의 도함수는 자기 자신이 된다는 특별한 성질을 갖는다: [eqn: {de ^{x}} over {dx} =e ^{x}].

f(x)=f’(x)

[eqn: x]

[eqn: e ^{x}]

[eqn: -1]

[eqn: 1]

[eqn: 1]

오일러의 수 계산

[eqn: e ^{{1} over {n}} APPROX (1+ {1} over {n} )# e APPROX (e ^{{1} over {n}} ) ^{n} =(1+ {1} over {n} ) ^{n}]

[eqn: e= lim _{n -> INF } {} (1+ {1} over {n} ) ^{n}]

[eqn: 1/n]

[eqn: 1]

[eqn: e ^{1/n}]

[eqn: 1+ {1} over {n}]

1.2 오일러의 수 e의 경제적 의미

오일러의 수 [eqn: e]는 경제학적으로 매우 중요하다.

--> 연속 복리에 따른 원리금, 연속 할인율

원금을 1원 가지고 있는데 100%의 이례적으로 높은 연간 이자율을 주는 은행을 발견했다고 하자. 만약 이자가 일 년에 한번만 붙는다면 이 은행에 1원 예치 시 연말에 받는 금액은 2원이다: [eqn: 1+1=2.] 만약 이자가 6개월에 한번 씩 붙어 일 년에 2번 붙는다면 6개월 뒤에 [eqn: (1+ {1} over {2} )]를 받고 이를 다시 예치하여 연말에는 [eqn: (1+ {1} over {2} ) ^{2} =2.25]를 받는다. 만약 이자가 4개월에 한번 씩 붙어 일 년에 3번 붙는다면 연말에 받는 금액은 [eqn: (1+ {1} over {3} ) ^{3} =2.37]이 된다. 이자가 일 년간 붙는 횟수가 무한히 커지면 연말에 받는 금액은 [eqn: lim _{n -> INF } {} `(1+ {1} over {n} ) ^{n} =e]가 된다. 오일러의 수 [eqn: e=2.718...]은 100%의 연간 이자율 하에서 매 순간 이자가 붙는 연속 복리의 경우 연말에 받게 되는 원리금에 해당한다.

연속 복리 산식은 더 일반화할 수 있다. 1년이 아니라 2년 간 1원을 예치하는 경우 2년 후에 얻는 금액은 [eqn: e ^{2}]이 된다. 일반적으로 [eqn: t]년 간 1원을 예치하는 경우 [eqn: t]년 후에 얻는 금액은 [eqn: e ^{t}]가 된다. 원금이 1원이 아니라 [eqn: A]원인 경우에는 [eqn: t]년 후에 받는 금액은 [eqn: Ae ^{t}]이 된다.

연간 이자율 [eqn: r]이 100%가 아니라 5%인 경우에는 어떻게 될까? 원금 [eqn: A]원을 [eqn: t]년 간 예치한 경우 [eqn: t]년 후에 받는 금액은 [eqn: Ae ^{rt}]이다. 이는 다음과 같이 증명된다.

연간 이자가 붙는 횟수가 [eqn: n]이라 하면 A원 예치 시 [eqn: t]년 후에 받는 금액은 [eqn: A(1+ {r} over {n} ) ^{nt}]이다. 이자가 붙는 횟수가 무한히 커지면 이 금액은 [eqn: lim _{"n" -> INF } {} A(1+ {r} over {n} ) ^{nt}]이다. 여기서 [eqn: m= {n} over {r}]으로 치환하면 [eqn: (1+ {r} over {n} ) ^{nt} =(1+ {1} over {m} ) ^{mrt}]이다. 따라서  [eqn: lim _{"n" -> INF } {} A(1+ {r} over {n} ) ^{nt} =lim _{m -> INF } `A[(1+ {1} over {m} ) ^{m} ] ^{rt} =Ae ^{rt}]이다.

원리금:  이산시간 모형 [eqn: (1+r)] --> 연속시간 모형 [eqn: e ^{r}]

현재가치 환산계수(할인인자): 이산시간 모형 [eqn: {1} over {1+r}] --> 연속시간 모형 [eqn: e ^{-r}]

1.3 로그변화 [eqn: lnx'-lnx]

이자율 --> 원리금?

원리금 --> 이자율?

원금 x --> 원리금 x’ 이때 이자율(변화율)은 어떻게 계산

통상적인 변화율 지표 [eqn: r= {x prime -x} over {x}]는 [eqn: x prime =x(1+r)]에서 유도된 이산적 성장률(discrete growth rate) [eqn: x'=x(1+r)=x+xr# x'-x=xr# r= {x'-x} over {x}]

[eqn: r] 이자율, 성장률, 증식율 , 변화율

로그 변화 [eqn: r=`lnx prime `-lnx]는 [eqn: x prime =x`e ^{r}]에서 유도된 연속적 성장률(continuous growth rate)

[eqn: lnx'=lnx+r]

[eqn: r=`lnx prime `-lnx]

대칭성

[eqn: x -> `x'# x' -> `x]

통상적인 변화율 [eqn: {x'-x} over {x}# {x-x'} over {x'}]은 대칭적이지 않다

로그 변화는 대칭적이다.

경제 변수가 [eqn: x]에서 [eqn: x']으로 바뀐 경우의 로그 변화는 [eqn: lnx'-lnx=ln {x'} over {x}]이고 경제 변수가 [eqn: x']에서 [eqn: x]로 바뀐 경우의 로그 변화는 [eqn: ln( {x} over {x'} )=-ln( {x'} over {x} )]로서 부호만 바뀌고 절대값은 동일한 것이다.

가산성 additivity

[eqn: x` -> `x'` -> x''# x -> `x'````x' -> x''# x -> x'']

로그 변화는 가산적이다.

경제 변수가 [eqn: x]에서 [eqn: x']으로 변화하고 다시 [eqn: x']에서 [eqn: x'']으로 변화하였다고 하자. 여기서 [eqn: x]에서 [eqn: x']으로 바뀐 경우의 로그 변화는 [eqn: ln {x'} over {x}]이고 [eqn: x']에서 [eqn: x'']으로 바뀐 경우의 로그 변화는 [eqn: ln {x''} over {x'}]이다. 그리고 [eqn: x]에서 [eqn: x'']로 바뀐 경우의 로그 변화는 [eqn: ln {x''} over {x}]이다. 그런데 [eqn: ln {x'} over {x} +ln {x''} over {x'} =ln {x''} over {x}]이다. 그러므로 로그 변화는 가산성(additivity)을 만족시킨다.

통상적 변화율은 가산적이지 않다

1 --> 1.1 --> 1.21 10%+10%=20%

1-->1.21  21%

1.4 탄력성

수요함수 [eqn: x=f(p)]에서 [eqn: p _{1} >p _{0}]이고 [eqn: x _{1} <x _{0}]라 하자. 그러면 로그 변화를 이용한 로그 구간 탄력성 [eqn: eta ^{*}]은 다음과 같이 정의된다.

[eqn: eta ^{*} = {`lnx _{1} -lnx _{0}} over {lnp _{1} -lnp _{0}}]

그림  로그변화를 이용한 구간탄력성은 [eqn: lnp], [eqn: lnx] 좌표 상의 그래프의 기울기

[eqn: lnp]

[eqn: lnx]

[eqn: lnx]

[eqn: lnp _{0}]

[eqn: lnp _{1}]

[eqn: lnx _{0}]

[eqn: lnx _{1}]

수요함수가 [eqn: x=f(p)]

수요의 가격에 대한 점 탄력성 [eqn: eta]은 구간 탄력성에서 [eqn: p']이 [eqn: p]에 무한히 가까워지는 경우의 극한값이다. 즉 점탄력성은 가격의 변화가 매우 미세하여 무한소인 경우의 구간 탄력성이다: [eqn: eta = lim _{p prime -> p} {} {ln`f(p prime )-ln`f(p)} over {ln`p prime -ln`p}].

여기서 변수를 변환하여 [eqn: y=lnx,`q=ln`p]로 정의하자. 그리고 수요함수의 양변에 자연로그를 취하면 다음 식을 얻는다: [eqn: lnx=ln`f(p)=ln`f(e ^{ln`p} )]. 그러므로 수요함수는 [eqn: y]의 [eqn: q]에 관한 함수로 변환된다: [eqn: y= phi (q)]. 따라서 점 탄력성 [eqn: eta]는 다음과 같이 표현된다.

[eqn: eta = lim _{p prime -> p} {} {ln`f(p prime )-lnf(p)} over {ln`p prime -ln`p} = lim _{q prime -> q} {{phi (q prime )- phi (q)} over {q prime -q}} = phi prime (q)= {d`y} over {d`q} = {d`lnx} over {d`ln`p}]

이렇게 볼 때 점탄력성은 구간탄력성을 나타내는 식의 분모 분자에서 로그 변화 [eqn: △lnx=lnx prime -lnx,`△lnp=`lnp prime -lnp] 대신 [eqn: d`lnx,`d`ln`y]를 대입한 것임을 알 수 있다.

[eqn: {△lnx} over {△lnp} `구간탄력성# # {d`lnx} over {d`lnp} `점`탄력성```미분소의`비율]

무한히 작은 변화분

[eqn: dlnx=lim _{△ -> 0} △`lnx]

1.5 단위기간 당 변화율

이산시간 모형--> 단위기간 당 (평균) 변화율 [eqn: r _{x} = {△lnx} over {△t}]

예 [eqn: △t=2], 2기간 동안의 변화율 [eqn: △`lnx=0.1]

--> 1 기간 동안의 (평균) 변화율은 0.05

[eqn: △t=0.1] [eqn: △lnx=0.1]

-->1 기간 동안의 (평균) 변화율은 1.0

이산시간 모형에서 통상 [eqn: △t=1]이므로 단위기간 당 평균 변화율은 로그 변화

연속시간 모형--> 단위기간 당 순간 변화율

단위기간 당 순간 변화율

[eqn: lim _{△t -> 0} {} ` {△lnx} over {△t} = lim _{△t -> 0} {} {`ln`x(t+△t)-ln`x(t)} over {△t} = {d`lnx(t)} over {dt} = {d`lnx} over {dx} {dx} over {dt} = {x prime (t)} over {x(t)}]

동태적인 경제모형에서 경제 변수들은 시간의 함수로 표현된다. 어떤 경제 변수 [eqn: x]가 시간의 함수 [eqn: x(t)]로 표현된다고 하자. 이 변수가 [eqn: △t]기간에 걸쳐 [eqn: x(t)=x]에서 [eqn: x(t+△t)=x prime]으로 변화했다고 하자. 경제변수 [eqn: x]의 변화율은 일반적으로 기간이 길어짐에 따라 다른 값을 갖는다. 따라서 여러 변수들의 변화율의 크기를 비교하는 경우 동일한 길이의 기간을 설정한 뒤 변화율의 크기를 측정해야 한다.

단위 기간 동안의 변화율을 단위기간 당 (평균) 변화율이라 한다. 예를 들어 2년 동안의 변화율이 20%였다면 단위기간 1년 당 (평균) 변화율은 10%이다. 6개월 동안의 변화율이 5%라면 1년 당 (평균) 변화율은 10%이다.

일반적으로 시점 [eqn: t]에서 [eqn: t'] 사이의 [eqn: △t=t'-t]기간에 걸친 변화율은 로그 변화 [eqn: ln` {x'} over {x}]이고 시점 [eqn: t]에서 [eqn: t']사이의 단위기간 당 (평균) 변화율은 [eqn: r _{x} = {△lnx} over {△t}]이다. 시점 [eqn: t']이 [eqn: t]에 수렴할 때 단위 기간 당 변화율의 극한값은 시점 [eqn: t]에서의 순간적인 단위기간 당 변화율이다. 이를 시점 [eqn: t]에서의 순간 변화율이라 한다:

[eqn: lim _{△t -> 0} {} ` {△lnx} over {△t} = lim _{△t -> 0} {} {`ln`x(t+△t)-ln`x(t)} over {△t} = {d`lnx(t)} over {dt} = {x prime (t)} over {x(t)}]

이로부터 시간의 함수로 주어지는 어떤 변수 [eqn: x=x(t)]에 로그를 취한 뒤 도함수를 구하면 순간 변화율을 얻을 수 있음을 알 수 있다. 순간 변화율을 구할 때와 같이 로그를 취한 뒤 도함수를 구하는 것을 로그 미분하기(logarithmic differentiation)라 한다.

단위기간 당 변화율과 단위기간 당 변화분

어떤 구간 [eqn: [t,`t']]에서의 단위기간 당 변화율은 그 구간에서의 단위기간 당 변화분과 구분된다. 어떤 구간 [eqn: [t,`t']]에서의 단위기간 당 변화분은 기간 [eqn: [t,`t']]에서의 변화분 [eqn: TRIANGLE x=x(t prime )-x(t)]를 [eqn: TRIANGLE t=t'-t]로 나누어준 것이다: [eqn: {TRIANGLE x} over {TRIANGLE t}]. 시점 [eqn: t]에서의 순간적인 단위기간 당 변화분은 [eqn: lim _{△t -> 0} {} ` {△x} over {△t} = lim _{△t -> 0} {} {`x(t+△t)-`x(t)} over {△t} = {d`x(t)} over {dt} =x'(t)]이다.

[eqn: lnx,`lny] 그래프

기울기 (회귀분석의 계수) --> 탄력성

[eqn: lnx]

[eqn: lny]

[eqn: x,`lny] 그래프

기울기 (회귀분석의 계수) --> [eqn: x] 단위 당 [eqn: y]변화율

[eqn: x]

[eqn: lny]

성장 회계(Growth Accounting)

국가의 생산함수 [eqn: Y _{t} =A _{t} K _{t} ^{0.3} L _{t} ^{0.7}]

양 변에 로그를 취하면

[eqn: lnY _{t} =lnA _{t} +0.3lnK _{t} ^{0.3} +0.7lnL _{t} ^{0.7}]

전년도 생산함수에 대해 로그를 취하면

[eqn: lnY _{t-1} =lnA _{t-1} +0.3lnK _{t-1} ^{0.3} +0.7lnL _{t-1} ^{0.7}]

두 식의 차이

[eqn: lnY _{t} -lnY _{t-1} =lnA _{t} -lnA _{t-1} +0.3(lnK _{t} -lnK _{t-1} )+0.7(lnL _{t} -lnL _{t-1} )]

총요소생산성 추정

장래 국내총생산 증가율 전망

2. 테일러 근사와 로그 선형 근사

함수 를 원점 근방에서 근사하는 차 다항식 ?

[eqn: g _{n} (x)=a _{0} +a _{1} x+a _{2} x ^{2} +...+a _{n} x ^{n}]

local approximation

차 다항식 를 구하는 것은 다항식의 계수들 들의 값을 구하는 것이다. 이들 [eqn: n+1]개의 미지수를 알기 위해서는 [eqn: n+1]개의 식이 필요하다. 이들 식은 다음과 같은 조건으로부터 유도될 수 있다.

우선 원점에서의 함수 값이 같아야 한다;

. 이로부터 를 얻는다.

그리고 원점에서의 1계 도함수의 값이 같아야 한다:

. 이로부터 를 얻는다.

또한 원점에서의 2계 도함수의 값이 같아야 한다:

이로부터 를 얻는다.

뿐만 아니라 보다 고계의 도함수들의 값이 서로 같아야 한다:

이로부터 다음 관계식을 얻는다.

이렇게 여러 고계 도함수들의 값이 서로 같다는 조건으로부터 다항식의 계수값을 정할 수 있다. 이렇게 구한 다항식을 점 [eqn: x=0]에서 함수 [eqn: f(x)]를 근사하는 n차 테일러 다항식이라 한다. 그러므로 원점 근방에서의 [eqn: f(x)]를 근사하는 n 차 테일러 다항식 [eqn: g _{n} (x)]은 다음과 같다.

[eqn: g _{n} (x)=f(0)+ {f prime (0)} over {1!} CDOT x+ {f '' (0)} over {2!} CDOT x ^{2} +...+ {f ^{(n)} (0)} over {n!} CDOT x ^{n}# ````````````````````= sum _{k=0} ^{n} {f ^{(k)} (0)} over {k!} x ^{k}]

임의의 점 [eqn: x _{0}] 근방에서 [eqn: f(x)]를 근사하는 다항식을 구하는 문제를 생각해 보자. [eqn: x=x _{0} + delta]라 놓으면 [eqn: f(x)]는 [eqn: delta]의 함수 [eqn: h( delta )]로 재해석될 수 있다. 즉 [eqn: f(x)=f(x _{0} + delta )=h( delta )]. 이제 [eqn: h( delta )]를 [eqn: delta]에 관한 다항식으로 원점 근방에서 근사하면 다음과 같다.

[eqn: g _{n} ( delta )=h(0)+ {h prime (0)} over {1!} CDOT delta + {h '' (0)} over {2!} CDOT delta ^{2} +...+ {h ^{(n)} (0)} over {n!} CDOT delta ^{n}]

그런데 [eqn: h(0)=f(x _{0} )], [eqn: h'(0)=f'(x _{0} )], ..., [eqn: h ^{(k)} (0)=f ^{(k)} (x _{0} )]이고 [eqn: delta =x-x _{0}]이므로 위식은 다음과 같이 쓸 수 있다.

[eqn: g _{n} ( delta )=f(x _{0} )+ {f prime (x _{0} )} over {1!} CDOT (x-x _{0} )+ {f '' (x _{0} )} over {2!} CDOT (x-x _{0} ) ^{2} +...+ {f ^{(n)} (x _{0} )} over {n!} CDOT (x-x _{0} ) ^{n}]

이 다항식이 임의의 점 [eqn: x _{0}] 근방에서 [eqn: f(x)]를 근사하는 다항식이다.

2변수 함수의 테일러 근사식

1차 근사식

[eqn: [f(x)-f(x _{0} )]/f(x _{0} ) APPROX NABLA f/f(x _{0} )x CDOT △x/x= eta _{x} CDOT △x/x]

통상적 변화율을 로그변화로 근사하면

[eqn: lnf(x)-lnf(x _{0} )= eta _{x} CDOT (lnx-lnx prime )= eta _{x _{1}} (lnx _{1} -lnx _{1} ^{0} )+...+ eta _{x _{n}} (lnx _{n} -lnx _{n} ^{0} )]

로그선형근사

[eqn: NABLA f= LEFT ( pile{f _{1}#f _{2}} RIGHT )], 기울기 벡터

[eqn: △x= LEFT ( pile{x _{1} -x _{1} ^{0}#x _{2} -x _{2} ^{0}} RIGHT )] 변화분 벡터

2차 근사식

[eqn: f(x _{0} )+ NABLA f CDOT △x+ {1} over {2} △x ^{T} [ NABLA ^{2} f]`△x]

[eqn: NABLA ^{2} f= {pmatrix{f _{11}&f _{12}#f _{21}&f _{22}}}]

3. 제약하의 최적화와 라그랑지 방법

3.1 내적(inner product)의 기하학적 의미

[eqn: x CDOT y=x _{1} y _{1} +...+x _{n} y _{n}# x=(x _{1} ,...,x _{n} ) ^{T}# y=(y _{1} ,...,y _{n} ) ^{T}]

수직성

서로 수직인 두 벡터의 내적은 0

[eqn: x=(1,0),`y=(0,1)# x CDOT y=1 TIMES 0+0 TIMES 1=0]

그림  수직인 두 벡터 [eqn: x,`y]에 대해 [eqn: ||x+y||=||x-y||]이다.

[eqn: -y]

[eqn: ||x+y||]

[eqn: ||x-y||]

[eqn: y]

[eqn: x]

[eqn: o]

이 수직성 조건은 [eqn: x CDOT y=0]과 동치이다. 왜냐하면 다음이 성립하기 때문이다.

[eqn: ||x+y||=||x-y||]

[eqn: LRARROW `(x+y) CDOT (x+y)=(x-y) CDOT (x-y)]

[eqn: LRARROW `x CDOT x+2x CDOT y+y CDOT y=x CDOT x-2x CDOT y+y CDOT y]

[eqn: LRARROW `x CDOT y=0]

투사(projection) 또는 사영

벡터들 간의 수직성의 개념을 이용하여 투사(projection)의 개념을 도출할 수 있다. 두 벡터 [eqn: x,y]를 상정하자. 벡터 [eqn: x != 0]이라 하자. 우리는 아래 그림에서와 같이 [eqn: x]벡터에 대한 [eqn: y]벡터의 투사 [eqn: p]를 정의하고자 한다.

그림 10 벡터 [eqn: x]에 대한 벡터 [eqn: y]의 투사 [eqn: p]

[eqn: y-p]

[eqn: x]

[eqn: y]

[eqn: p=bx]

이는 [eqn: x]벡터의 연장선상에 놓여있어 [eqn: p=bx] ([eqn: b]는 미지의 상수)로 표현되면서 [eqn: y-p]가 [eqn: x]에 수직이 되는 그러한 벡터 [eqn: p]이다. 수직성의 조건으로부터 등식 [eqn: (y-bx) CDOT x=0]을 얻는다. 이로부터 투사계수 [eqn: b= {y CDOT x} over {x CDOT x}]를 얻는다. 따라서 우리는  [eqn: x]벡터에 대한 [eqn: y]벡터의 투사 [eqn: p]를 [eqn: p= {y CDOT x} over {x CDOT x} x]로 정의한다.

투사계수 [eqn: b]는 [eqn: x CDOT x=||x|| ^{2} =1]인 경우 즉 [eqn: ||x||=1]인 경우에 내적 [eqn: y CDOT x]와 같다. 내적은 투사계수와 같다.

내적

두 벡터 [eqn: x,`y]의 내적은 두 벡터가 이루는 각도 [eqn: theta]와 관계가 깊다. 아래 그림으로부터 우리는 다음과 같은 등식을 얻는다.

[eqn: x CDOT x=||x|| ^{2}]이므로 [eqn: cos` theta = {b`||x||} over {||y||} = {y CDOT x} over {x CDOT x} {||x||} over {||y||} = {y CDOT x} over {||x||`||y||}] 이고 따라서 다음이 성립한다.

[eqn: x CDOT y=||x||`||y||`cos theta]

[eqn: ||x||=||y||=1]일 때 내적은 두 벡터가 이루는 각도의 코사인 값과 같다. 내적은 [eqn: ||x||]와 [eqn: ||y||]에 비례한다.

투사계수 [eqn: b]는 [eqn: b= {x CDOT y} over {x CDOT x} = {||x||`||y||cos theta } over {||x|| ^{2}} = {||y||} over {||x||} cos theta]는 [eqn: ||y||]에 비례하고 [eqn: ||x||]에 반비례한다. 따라서 내적은 투사계수에 [eqn: ||x|| ^{2} =x CDOT x]를 곱해준 것과 같다. 역으로 투사계수는 내적을 [eqn: x CDOT x=||x|| ^{2}]으로 나누어 준 것과 같다.

****************************************************

벡터 [eqn: y]의 두 벡터 [eqn: x _{1} ,`x _{2}]에 대한 투사는 다음과 같이 구할 수 있다.

[eqn: p=x _{1} b _{1} +x _{2} b _{2} =Xb]

여기서 [eqn: X=[x _{1} ,x _{2} ],`b=(b _{1} ,b _{2} ) ^{T}].

오차 벡터 [eqn: y-p=y-Xb]는 [eqn: x _{1} ,`x _{2}]와 수직이다. 따라서 다음이 성립한다.

[eqn: x _{1}^{T} (y-Xb)=0# x _{2}^{T} (y-Xb)=0# -> `X ^{T} (y-Xb)=0# -> `X ^{T} Xb=X ^{T} y# -> `b=(X ^{T} X) ^{-1} X ^{T} y# -> `p=Xb=X(X ^{T} X) ^{-1} X ^{T} y]

그림  벡터 [eqn: y]의 두 벡터 [eqn: x _{1} ,`x _{2}]에 대한 투사

[eqn: y]

[eqn: x _{1}]

[eqn: p]

[eqn: x _{2}]

*****************************************

3.2 기울기 벡터의 기하학적 의미

[eqn: y=f(x)]

미분소 또는 미분(differential)

독립변수 [eqn: x]의 미분은 [eqn: x]의 변화분 [eqn: △x=x'-x]

[eqn: dx=△x]

종속변수 [eqn: y]의 미분은 [eqn: y]의 변화분에 대한 선형근사

[eqn: dy=f`'(x)`dx]

다변수 함수 [eqn: y=f(x _{1} ,`x _{2} ,...,x _{n} )]의 전미분

[eqn: dy=f _{1} (x)dx _{1} +f _{2} (x)dx _{2} +...+f _{n} (x)dx _{n} = NABLA f CDOT dx]

접평면을 따른 [eqn: △y]의 선형근사값

기울기 벡터 (1계 편도함수들로 구성된 벡터) [eqn: NABLA f=(f _{1} ,`f _{2} ,...,f _{n} ) ^{T}]

[eqn: f]의 전미분(total differential)

[eqn: df=f _{1} `dx _{1} +...+f _{n} `dx _{n} = NABLA f` CDOT dx]

[eqn: △f=f _{1} △x _{1} +...+f _{n} △x _{n} = NABLA f` CDOT △x]: 1차 테일러 근사식

[eqn: x]가 [eqn: dx]방향으로 미세하게 움직일 때 [eqn: f]의 변화분

[eqn: df= NABLA f` CDOT dx=|| NABLA f||`||dx||`cos theta]

1. [eqn: f]가 최대로 증가하는 [eqn: dx]의 방향

[eqn: dx]가 [eqn: NABLA f]방향일 때 최대

[eqn: dx]가 [eqn: NABLA f]과 예각일 때 [eqn: f] 증가

[eqn: dx]가 [eqn: NABLA f]과 둔각일 때 [eqn: f] 감소

무차별 곡선 [eqn: f(x _{1} ,...,x _{n} )=u _{0}]

무차별 곡선의 접선

[eqn: NABLA f(x ^{0} ) CDOT (x-x ^{0} )=0# NABLA f(x ^{0} ) CDOT dx=0]

2. 기울기 벡터는 무차별 곡선의 접선과 수직

[eqn: x _{1}]

[eqn: x _{2}]

[eqn: I]

[eqn: NABLA f(x ^{0} )]

[eqn: x ^{0}]

[eqn: dx]

3.3 제약식이 하나인 경우의 최대화

[eqn: max``u(x _{1} ,`x _{2} )```s.t.``p _{1} x _{1} +p _{2} x _{2} =m]

[eqn: p]

[eqn: x _{1}]

[eqn: x _{2}]

[eqn: I]

[eqn: NABLA f]

[eqn: x _{1}]

[eqn: x _{2}]

[eqn: I]

[eqn: NABLA f]

[eqn: NABLA g]

[eqn: NABLA f= lambda NABLA g,` lambda >0]

--> [eqn: L(x, lambda )=f(x)- lambda g(x)]

[eqn: NABLA _{x} L= NABLA f- lambda NABLA g=0]

라그랑지 방법!!

3.4 제약식이 두 개인 경우의 최대화

그림  최적점 [eqn: x*]에서 목적함수의 기울기 벡터는 제약함수들의 기울기 벡터들로 형성되는 원뿔 안에 위치한다: [eqn: NABLA f(x*)= sum _{i∊B(x*)} ^{} lambda _{i} NABLA g _{i} (x*),` lambda _{i} GEQ 0]

[eqn: g _{1} (x _{1} ,x _{2} )=r _{1}]

[eqn: g _{2} (x _{1} ,x _{2} )=r _{2}]

[eqn: x*+dx]

그림  점 [eqn: x*]에서 목적함수의 기울기 벡터는 제약함수들의 기울기 벡터들로 형성되는 원뿔 안에 위치하지 않는다. 이에 따라 빗금친 영역이 발생한다. 이 부분으로 이동하면 제약식을 만족시키면서 목적함수의 값을 증가시킨다. 그러므로 [eqn: x*]는 최대점이 아니다.

3.5 제약 하의 최대화 문제의 해석

[eqn: max _{x,y} ``f(x,y)``s.t.````g(x,y)=r]는 다음의 [eqn: max _{x,y} `min _{lambda }]문제와 동일하다.

[eqn: max _{x,y} min _{lambda } ``f(x,y)+ lambda CDOT (r-g(x,y))]

이는 다음과 같이 설명된다.

[eqn: max _{x,y} `min _{lambda }] 문제는 한 사람이 자신의 보수(라그랑지 함수값)를 최대화하기 위해 [eqn: x,`y]를 선택하는데 이를 보고 외부의 적대적인 사람이 이 사람의 보수를 최소화하기 위해 를 선택하는 상황을 나타낸다.

라그랑지 함수값을 최대화하기 위해 를 선택하는 사람은 [eqn: g(x,y)=r]이 성립하도록 값을 선택해야 한다. 왜냐하면 그렇지 않은 경우, 이를테면 [eqn: g(x,y)>r]이라면 를 선택하는 사람이 매우 큰 양수를 선택할 것이고 이에 따라 라그랑지 함수값이 매우 작아지기 때문이다. 반대로 [eqn: g(x,y)<r]이라면 매우 큰 음수가 [eqn: lambda]로 선택될 것이고 이에 따라 라그랑지 함수값이 매우 작아질 것이기 때문이다. 그러므로 라그랑지 함수값을 최대화하려는 사람은 [eqn: g(x,y)=r]이 성립하면서 [eqn: f(x,y)]값이 최대가 되도록 [eqn: x,`y]값을 선택할 것이다. 이렇게 볼 때 라그랑지 함수의 최소 극대화 문제의 해는 원래의 등식제약하의 최적화 문제의 해와 동일할 것임을 알 수 있다:

[eqn: v*=max _{x,y} min _{lambda } ``f(x,y)+ lambda CDOT (r-g(x,y))]

이 문제에 대한 1계 조건은 구하기가 어렵다. [eqn: lambda]에 관한 최소화 문제에서 [eqn: x,`y]가 [eqn: r-g(x,y)<0]이면 [eqn: lambda = INF]이고 [eqn: r-g(x,y)>0]이면 [eqn: lambda =- INF]이며 [eqn: r-g(x,y)=0]이면 [eqn: lambda ∊(- INF , INF )]이다. 따라서 [eqn: lambda (x,y)]가 불연속이어서 미분가능하지 않다. 그러므로 1계 조건을 구하기 어렵다.

그런데 일반적으로 위의 max min 문제의 목적함수의 값은 min max 문제의 목적함수 값과 같다.

[eqn: min _{lambda } max _{x,y} ``f(x,y)+ lambda CDOT (r-g(x,y))]

여기서 [eqn: min _{lambda } `max _{x,y}] 문제(라그랑지 쌍대문제)는 외부의 적대적인 사람이 먼저 [eqn: lambda]를 선택하고 그 후에 이 사람이 [eqn: x,`y]를 선택하는 상황을 나타낸다. 이 문제의 1계 필요조건은 다음과 같다.

라그랑지안을 최대화하는 사람의 최적화의 1계조건은

[eqn: L _{x} =f _{x} - lambda CDOT g _{x} =0,L _{y} =f _{y} - lambda CDOT g _{y} =0]이다.

여기서 최적해 [eqn: x*,`y*]는 [eqn: lambda]의 함수가 되므로 라그랑지안을 최소화하는 사람의 목적함수는 [eqn: L(x*( lambda ),y*( lambda ), lambda )]이고 그의 최소화 문제는 다음과 같다.

[eqn: min _{lambda } ``f(x*( lambda ),`y*( lambda ))+ lambda [r-g(x*( lambda ),y*( lambda ))]]

여기서 [eqn: x*( lambda ),`y*( lambda )]가 미분가능한 함수라 가정하자. 그러면 최소화의 1계 조건은 다음과 같다.

[eqn: [f _{x} (x*,y*)- lambda g _{x} (x*,y*)] {dx*} over {d lambda } +[f _{y} (x*,y*)- lambda g _{y} (x*,y*)] {dy*} over {d lambda } +r-g(x*,y*)=0]

여기서 라그랑지안을 최대화하는 사람의 1계 조건에 의해 처음 두 항의 값은 0이 된다. 그러므로 [eqn: r-g(x*,y*)=0]이다. 이는 원래의 라그랑지안의 [eqn: lambda]에 관한 편도함수와 같다: [eqn: L _{lambda } (x*,y*, lambda )].

그러므로 이 최대 극소화 문제의 1계 조건은 라그랑지안을 최대화하는 사람의 1계조건과 쌍대함수를 최소화하는 사람의 1계 조건을 합한 것이다. 이는 라그랑지안의 [eqn: x, y, lambda]에 관한 1계 조건이다. 이것이 바로 라그랑지 방법에 따른 1계 조건이다.

[eqn: lpile{L _{x} =f _{x} - lambda CDOT g _{x} =0#L _{y} =f _{y} - lambda CDOT g _{y} =0}]

[eqn: L _{lambda } =r-g(x*,y*)=0]

부등식 제약 [eqn: r-g(x,y) LEQ 0]  --> 라그랑지 승수에 대한 부호 제약 [eqn: lambda GEQ 0]

[eqn: lambda]는 자원 사용이 제약식을 범하지 않도록 하는 자원 단위 당 벌금 또는 댓가

4. 동태적 최적화: 이산시간 모형

4.1 동적 최적화 문제

경제 내에 한 재화만이 존재하고 소비자는 이를 두 기간 (0기, 1기)에 걸쳐 소비한다. 각 기의 소득은 [eqn: y _{0} ,`y _{1}]이고 재화의 가격은 1로 주어져 있다. 소비자가 0기에 저축한 것은 이자율 [eqn: r]로 증식되어 다음 기에 소비될 수 있다. 이러한 소비자의 최적화 문제는 다음과 같이 정식화 된다.

[eqn: max _{LEFT { c _{0,`} c _{1} RIGHT }} `U(c _{0} ,c _{1} )# s.t.````c _{0} LEQ y _{0}# ``````````````c _{1} LEQ y _{1} +(1+r)(y _{0} -c _{0} )]

만약 소비자의 효용함수가 기간 별로 분리 가능하며 장래 소비 보다 현재 소비를 시간 선호율 [eqn: rho] 만큼 더 선호한다고 가정하면 소비자의 효용함수는 다음과 같이 표현할 수 있다: [eqn: U(c _{0} ,c _{1} )=u(c _{0} )+ {1} over {1+ rho } u(c _{1} )].

또한 소비자의 매기 초 자산상태를 나타내는 변수 [eqn: a _{t}]를 도입하면 제약식을 다음과 같이 표현할 수 있다.

[eqn: a _{1} =(1+r)a _{0} +y _{0} -c _{0}# a _{2} =(1+r)a _{1} +y _{1} -c _{1}# a _{0} `=0,```a _{1} ,`a _{2} GEQ 0]

그러므로 소비자의 최적화 문제는 다음과 같이 정식화된다.

[eqn: max _{c _{0} ,`c _{1} ,`a _{1} ,`a _{2}} `u(c _{0} )+ {1} over {1+ rho } u(c _{1} )# `s.t.``a _{t+1} =(1+r)a _{t} +y _{t} -c _{t} ,``t=0,1# ``````````````a _{0} =0,`a _{1} ,`a _{2} GEQ 0]

보다 일반적으로 어떤 경제주체가 여러 기간에 걸쳐 최적 선택을 해야 하는 상황을 상정하자. 이러한 최적화 문제는 일반적인 최적화 문제의 한 특수한 경우이다. 이제 [eqn: t]기의 선택 변수를 [eqn: c _{t}]로 표시하고 가용 자원(resources)을 [eqn: r _{i} ,``i=1,...,n]로 표시하자. 경제주체는 주어진 자원제약 하에서 효용을 극대화하려고 한다. 이 최적화 문제는 다음과 같이 표현할 수 있다.

[eqn: max _{LEFT { c _{t} RIGHT }} U(c _{0} ,c _{1} ,`...,c _{T-1} )# s.t.```F _{i} (c _{0} ,`c _{1} ,...,c _{T-1} )=r _{i} ,``i=1,...,n]

여기서 함수 [eqn: U]는 목적함수, [eqn: F _{i}]는 제약식이다.

이제 각 기의 상태변수를 도입할 수 있고 상태변수의 동적 이행을 나타내는 식이 제약식으로서 각 기 별로 구분되어 주어진다고 하자. 그리고 경제주체의 보수도 각 기별로 구분되어 주어지며 각 기의 보수는 각 기의 상태와 선택에 의해서만 영향을 받는다고 하자. 그러면 경제주체의 목적함수는 기간 별 보수를 합한 것과 같게 된다. 경제주체가 미래의 보수 보다 현재의 보수를 더 선호한다고 하면 이를 시간선호율([eqn: rho])을 도입하여 보수함수에 반영할 수 있다. 따라서  동적 최적화 문제는 다음과 같이 표현할 수 있다.

자본스톡이나 자산과 같은 상태변수는 기간의 어느 시점에서 측정하느냐에 따라 달라질 수 있다. 이러한 변수를 스톡변수 또는 저량변수(stock variable)라 한다. 반면 소비와 같은 변수는 한 기간 동안 지속적으로 이루어지므로 한 기간 동안의 값으로 측정된다. 이러한 변수를 유량변수(flow variable)라 한다. 우리는 [eqn: t]기의 상태변수 [eqn: x_t]는 [eqn: t]기 초의 값을 나타내는 것으로 정한다.

여기서는 분석의 편의상 상태변수의 말기 값이 주어져 있다고 상정한다. 상태변수의 말기 값에 대해 부등식 제약이 주어지거나 아무 제약이 없는 경우에도 해법은 기본적으로 같다.

[eqn: max _{LEFT { c _{t} RIGHT } _{t=0} ^{T-1} ` LEFT { x _{t} RIGHT } _{t=1} ^{T-1}} `````` sum _{t=0} ^{T-1} ( {1} over {1+ rho } ) ^{t} u(x _{t} ,`c _{t} )# ````````````s.t.```x _{t+1} =f(x _{t} ,c _{t} ),``t=0,1,...,T-1# `````````````````````````x _{0} ,`x _{T} 는```주어짐]

이러한 최적화 문제는 일반적인 최적화 문제의 특수한 경우로서 그 해를 구하는 특수한 해법이 존재한다. 그러한 해법으로는 크게 두 가지가 있다. 하나는 동적 계획(dynamic programming)이고 다른 하나는 라그랑지 방법(Lagrangean method)이다.

4.2 동적 계획

다음과 같은 2기간 최적화 문제를 상정해보자.

[eqn: max` _{c _{0} ,`c _{1}} ``u(x _{0} ,c _{0} )+ beta u(x _{1} ,c _{1} )# `````````````s.t.```````x _{1} =f(x _{0} ,c _{0} )# ```````````````````````````````x _{2} ``=f(x _{1} ,c _{1} )# ``````````````````````````````x _{0} ,`x _{2} 는```주어짐]

여기서 [eqn: u(x _{t} ,c _{t} )]는 [eqn: t]기의 보수 또는 효용을 나타내며 [eqn: x _{t}]는 상태변수(state variable)로서 [eqn: t]기 초의 상태를 나타낸다. 변수 [eqn: c _{t}]는 조종변수(control variable)로서 [eqn: t]기의 선택을 나타낸다. 매기의 보수함수가 동일한 형태를 가짐에 주의하자. 여기서 [eqn: beta]는 시간선호인자로서 시간선호율을 [eqn: rho]라 할 때 [eqn: {1} over {1+ rho }]로서 시간선호율과 역의 관계에 있다. 따라서 시간선호율이 높을수록 [eqn: beta]는 낮은 값을 갖는다. 시간선호인자를 2기의 보수 [eqn: u(x _{2} ,c _{2} )]에 곱한 것인 [eqn: beta u(x _{2} ,c _{2} )]는 2기의 보수를 1기 시점의 값으로 환산한 것에 해당한다. 함수 [eqn: f( CDOT , CDOT )]은 다음 기의 상태를 결정하는 상태진화(state evolution) 함수이다.

위와 같은 제약하의 다 기간 최적화 문제에서는 각 기간 별로 선택 변수가 존재한다. 동적 계획은 이러한 다 기간 문제를 한 기간의 선택변수를 갖는 다수의 최적화 문제로 전환시켜 푼다. 이때 마지막 기에서 출발하여 처음 기까지 단계적으로 푸는 후진귀납(backward induction) 방법을 사용한다.

위의 예에 동적 계획을 적용하면 다음과 같다.

먼저 다음과 같은 1기의 최적화 문제를 푼다.

[eqn: v _{1} (x _{1} ) == max _{c _{1}} ```u(x _{1} ,c _{1} )# ````````````````````s.t````x _{2} =f(x _{1} ,c _{1} )# ```````````````````````x _{1} `,`x _{2} ``는``주어진`값임]

여기서 [eqn: v _{1} ( CDOT )]는 가치함수(value function)라 하며 1기 초 상태 [eqn: x _{1}]이 주어졌을 때 최적화된 목적함수의 값을 대응시켜준다. 이 문제의 최적해는 제약식으로부터 [eqn: x _{1}]의 함수로서 주어진다: [eqn: c _{1} =g _{1} (x _{1} )]. 최적 해를 목적함수에 대입하면 가치함수의 값을 얻는다: [eqn: v _{1} (x _{1} ) == u(x _{1} ,g _{1} (x _{1} ))].

다음에는 1기 문제의 가치함수를 이용하여 0기 문제를 푼다.

[eqn: v _{0} (x _{0} ) == max _{c _{0}} ```u(x _{0} ,c _{0} )+ beta v _{1} (x _{1} )# ``````````````````````````````````s.t.`````````````x _{1} =f(x _{0} ,c _{0} )# `````````````````````````````````````````````````````````x _{0} `은`주어진`값]

여기서 제약식을 이용하여 [eqn: x _{1}]를 소거하면 다음과 같은 무제약 하의 최적화 문제를 얻는다.

[eqn: v _{0} (x _{0} ) == max _{c _{0}} ```u(x _{0} ,c _{0} )+ beta v _{1} (f(x _{0} ,c _{0} ))# `````````````````````````````````````````````````````````x _{0} `은`주어진`값]   (1)

이 문제의 최적해는 [eqn: x _{0}]의 함수로 나타내진다: [eqn: c _{0} =g _{0} (x _{0} )]. 목적함수가 미분가능하고 내부해가 존재하는 경우에는 다음의 1계 조건으로부터 해를 구할 수 있다.

[eqn: {Partial u(x _{0} ,c _{0} )} over {Partial c _{0}} + beta {Partial f(x _{0} ,c _{0} )} over {Partial c _{0}} {dv _{1}} over {dx _{1}} =0].

최적해를 목적함수에 대입하면 가치함수의 값을 얻는다: [eqn: v _{0} (x _{0} ) == u(x _{0} ,g _{0} (x _{0} ))+ beta v _{1} (f(x _{0} ,g _{0} (x _{0} )))].

목적함수가 미분가능하지 않은 경우에도 해는 구할 수 있다. 컴퓨터의 발전으로 가치함수를 계산해 낼 수 있기 때문이다.

결국 동적 계획은 두 기간의 선택 변수를 갖는 문제를 한 기간의 선택변수를 갖는 두 개의 단순한 최적화 문제로 쪼개어 푸는 것이다. 이 과정에서 핵심이 되는 등식은 (1)인데 이 등식을 동적 계획의 창안자인 벨만(Richard Bellman)의 이름을 붙여 벨만 등식(Bellman equation)이라 한다.

벨만 등식의 해와 원래의 동적 최적화 문제의 해가 일치한다는 것은 증명될 수 있으며 이를 최적성의 원리(principle of optimality)라 한다. 보다 일반적인 [eqn: T]기간 문제의 경우에 벨만 등식은 다음과 같으며 이는 (1)에서 변수들의 하첨자로 0 대신 [eqn: t]가 들어간 것이다.

[eqn: v _{t} (x _{t} ) == max _{c _{t}} ```u(x _{t} ,c _{t} )+ beta v _{t+1} (f(x _{t} ,c _{t} )),``t=0,1,...,T-1# ````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````(단,``v _{T} ( CDOT ) == 0)]

원래의 [eqn: T]기간 문제는 다음과 같다.

[eqn: max _{LEFT { c _{t} RIGHT } _{t=0} ^{T-1} ` LEFT { x _{t} RIGHT } _{t=1} ^{T-1}} `````` sum _{t=0} ^{T-1} beta ^{t} u(x _{t} ,`c _{t} )# ````````````s.t.```x _{t+1} =f(x _{t} ,c _{t} ),``t=0,1,...,T-1# `````````````````````````x _{0} ,`x _{T} 는```주어짐]

여기에서 알 수 있듯이 원래의 [eqn: T]기간 최적화 문제는 [eqn: T]개의 조종 변수 [eqn: LEFT { c _{t} RIGHT } _{t=0} ^{T-1}]에 관한 최적화 문제이다. 동적계획법은 원래 문제를 한 개의 조종 변수 [eqn: c _{t}], ([eqn: t=0,...,T-1])에 관한 벨만 등식 [eqn: T]개를 푸는 것으로 전환시킨다.

무한 기간 동적 최적화

무한 기간에 걸친 최적화 문제의 경우([eqn: T= INF])에는 [eqn: t]기부터 시작하는 문제나 [eqn: t+1]기부터 시작하는 문제나 첨자만 차이가 있을 뿐 구조는 동일하다. 따라서 이 경우 가치함수는 모든 기간에 동일하게 된다. 따라서 이 경우에는 다음과 같은 벨만 등식 하나만 풀면 이를 전 기간에 적용하여 최적해를 구할 수 있다.

[eqn: v(x _{t} ) == max _{c _{t}} ``u(x _{t} ,c _{t} )+ beta v(f(x _{t} ,c _{t} )),``t=0,1,2,...]

[eqn: -> ``v(x) == max _{c} ```u(x,c)+ beta v(f(x,c))]

무한 시야의 경우 마지막 기가 존재하지 않으므로 후진 귀납법을 적용할 수 없다. 무한 시야의 동적 계획에 대한 해법으로는 크게 2 가지 해법이 존재한다.

하나는 가치함수의 후보를 추정한 후 이것이 진짜 가치함수가 되는지 체크하는 것(guess and verify)이다.

다른 하나는 벨만 등식을 이용하여 임의의 함수로부터 시작하여 가치함수의 근사함수를 구하는 것이다.

예를 들어 임의의 [eqn: x]에 대해 [eqn: v ^{0} (x)=`0]인 함수 [eqn: v ^{0}]를 벨만 등식 안에 대입하면 새로운 함수 [eqn: v ^{1}]을 얻는다:

[eqn: v ^{1} (x)=max _{c} `u(x,c)+ beta v ^{0} (f(x,c))=max _{c} `u(x,c)].

이번에는 [eqn: v ^{1}]을 벨만 등식 안에 대입하면 새로운 함수 [eqn: v ^{2}]를 얻는다. 이런 식으로 계속하면 함수의 무한 열 [eqn: v ^{2} ,`v ^{3} ,...]를 얻을 수 있다:

[eqn: v ^{i+1} (x)=max _{c} `u(x,c)+ beta v ^{i} (f(x,c)),```i=1,2,...]

여기서 [eqn: i` -> INF]일 때 [eqn: v ^{i} ` -> `v]임이 알려져 있다. 그러므로 벨만 등식을 반복 적용함으로써 가치함수의 근사함수를 구할 수 있고 이로부터 최적 조종 해 [eqn: c _{t} =g(x _{t} )]와 최적 상태도 구할 수 있다.

4.3 라그랑지 방법

라그랑지 방법은 라그랑지 함수를 구성하여 쿤-터커 조건을 적용하는 것이다. 예를 들어 위의  두 기간 문제에 대한 라그랑지 함수를 구성하면 다음과 같다.

[eqn: L(c _{0} ,c _{1} ,x _{1} , lambda _{1} , lambda _{2} )=u(x _{0} ,c _{0} )+ beta u(x _{1} ,c _{1} )+ lambda _{1} prime (f(x _{0} ,c _{0} )-x _{1} )+ lambda _{2} prime (f(x _{1} ,c _{1} )-x _{2} )# ````````````````````````````````````````````````````````````=u(x _{0} ,c _{0} )+ beta u(x _{1} ,c _{1} )+ beta lambda _{1} (f(x _{0} ,c _{0} )-x _{1} )+ beta ^{2} lambda _{2} (f(x _{1} ,c _{1} )-x _{2} )# ````````````````````````````````````````````````````````````=[u(x _{0} ,c _{0} )+ beta lambda _{1} (f(x _{0} ,c _{0} )-x _{1} )]+ beta [u(x _{1} ,c _{1} )+ beta ^{} lambda _{2} (f(x _{1} ,c _{1} )-x _{2} )]]

해밀토니안을 가지고 표현할 수도 있음 H(       )

여기서 원래 문제의 제약식이 없어지는 대신 그 제약식이 라그랑지 함수에 포함되면서 선택변수로서 [eqn: x _{1}]와 라그랑지 승수 [eqn: lambda _{1}], [eqn: lambda _{2}]가 추가됨에 주의하자.

이제 쿤-터커 조건을 적용하되 내부 해를 가정하면 다음과 같은 1계 조건을 얻는다.

[eqn: {Partial L} over {Partial c _{0}} = {Partial u(x _{0} ,c _{0} )} over {Partial c _{0}} + beta lambda _{1} {Partial f(x _{0} ,c _{0} )} over {Partial c _{0}} =0]              (a)

[eqn: {Partial L} over {Partial c _{1}} = beta {Partial u(x _{1} ,c _{1} )} over {Partial c _{1}} + beta ^{2} lambda _{2} {Partial f(x _{1} ,c _{1} )} over {Partial c _{1}} =0]            (b)

[eqn: {Partial L} over {Partial x _{1}} = beta {Partial u(x _{1} ,c _{1} )} over {Partial x _{1}} + beta ^{2} lambda _{2} {Partial f(x _{1} ,c _{1} )} over {Partial x _{1}} - beta lambda _{1} =0]          (c)

[eqn: {Partial L} over {Partial lambda _{1}} = beta [f(x _{0} ,c _{0} )-x _{1} ]=0]                          (d)

[eqn: {Partial L} over {Partial lambda _{2}} = beta ^{2} [f(x _{1} ,c _{1} )-x _{2} ]=0]                          (e)

첫 번째 식에서 [eqn: lambda _{1}]을 [eqn: v _{1} prime (x _{1} )]로 놓으면 벨만 등식의 [eqn: c _{0}]에 관한 1계 조건과 같다. 두 번째 식에서 [eqn: lambda _{2}]을 [eqn: v _{2} prime (x _{2} )]로 놓으면 벨만 등식의 [eqn: c _{1}]에 관한 1계 조건과 같다. 세 번쩨 식은 벨만등식의 양변에 [eqn: x _{1}]에 관한 도함수를 취한 것과 같다:

[eqn: v _{1} (x _{1} ) == u(x _{1} ,g _{1} (x _{1} ))+ beta v _{2} (f(x _{1} ,g _{1} (x _{1} )))# -> `v _{1} prime = {Partial u} over {Partial x _{1}} + beta v _{2} prime {Partial f} over {Partial x _{1}}# -> lambda _{1} = {Partial u} over {Partial x _{1}} + beta lambda _{2} {Partial f} over {Partial x _{1}}]

이로부터 라그랑지 승수는 동적 계획에서의 가치함수의 도함수임을 알 수 있다: [eqn: lambda _{t} =v`'(x _{t} )].

라그랑지 승수 [eqn: lambda _{t} ']은 0기 초 시점에서 평가한 [eqn: t]기 초 상태변수의 한계 가치를 의미한다.   라그랑지 승수 [eqn: lambda _{t}]는 [eqn: {lambda _{t} prime } over {beta ^{t}}]로서 [eqn: t]기 초 시점에 평가한 [eqn: t]기 상태변수의 한계가치를 의미하게 된다.

처음 두 식은 최적 상태에서, 선택변수의 값이 한 단위 증가되는 경우 얻는 금기의 한계 이득과 다음 기 상태변수의 값 변화에 따른 한계 손실이 같음을 의미한다.

세 번째 식은 금기의 상태변수 값이 한 단위 증가함에 따른 금기의 이득과 다음 기상태변수의 변화에 따른 장래 이득의 합이 금기 상태변수의 가치와 같음을 의미한다.

이 다섯 식을 이용하여 [eqn: c _{0} ,c _{1} ,x _{1} , lambda _{1} ,` lambda _{2}]를 구하면 된다. 이때 동적 계획의 경우와 마찬가지로 후진 귀납의 방식으로 먼저 [eqn: c _{1}]를 (e)식을 이용하여 [eqn: x _{1}]의 함수로서 구하고 [eqn: lambda _{2}]는 (b)식으로부터 [eqn: x _{1}]의 함수로 구할 수 있다. 그 다음 (c)식을 이용하여 [eqn: lambda _{1}]를 [eqn: x _{1}]의 함수로서 구한다. 이어서 상태진화 등식 (d)를 이용하여 [eqn: lambda _{1}]를 [eqn: x _{0} ,c _{0}]의 함수로 나타낸다. 그러고 나서 (a)식을 이용하여 [eqn: c _{0}]을 [eqn: x _{0}]의 함수로서 구한다.

이제 일반적인 [eqn: T( GEQ 2)]기간 문제의 경우를 살펴보자.

[eqn: max` _{c _{t} ,`x _{t}} `` sum _{t=0} ^{T-1} beta ^{t} u(x _{t} ,c _{t} )# `````````````s.t.```````x _{t+1} =f(x _{t} ,c _{t} ),`t=0,...,T-1# ```````````````````````````````x _{0} ,`x _{T} 는```주어짐]

라그랑지 함수는 다음과 같다.

[eqn: L= sum _{t=0} ^{T-1} beta ^{t} u(x _{t} ,c _{t} )+ sum _{t=0} ^{T-1} lambda prime _{t+1} (f(x _{t} ,c _{t} )-x _{t+1} )# ``````= sum _{t=0} ^{T-1} beta ^{t} [u(x _{t} ,c _{t} )+ beta lambda _{t+1} (f(x _{t} ,c _{t} )-x _{t+1} )]]

여기서 [eqn: lambda _{t+1} prime]은 라그랑지 승수로서 [eqn: t+1]기 초의 [eqn: x _{t+1}] 한 단위의 0기 초 시점 가치를 나타내며 [eqn: lambda _{t+1}]는 [eqn: {lambda _{t+1} prime } over {beta ^{t+1}}]으로서 [eqn: t+1]기 초의 [eqn: x _{t+1}] 한 단위의 [eqn: t+1]기 초 가치를 나타낸다. 따라서 [eqn: lambda _{t}]는 현행가치 승수(current value multiplier)라 부를 수 있다.

이제 쿤-터커 조건을 적용하되 내부 해를 가정하면 다음과 같은 1계 조건을 얻는다.

[eqn: {Partial L} over {Partial c _{t}} = beta ^{t} [ {Partial u(x _{t} ,c _{t} )} over {Partial c _{t}} + beta lambda _{t+1} {Partial f(x _{t} ,c _{t} )} over {Partial c _{t}} ]=0], [eqn: t=0,1,...,T-1]

[eqn: {Partial L} over {Partial x _{t}} = beta ^{t} [ {Partial u(x _{t} ,c _{t} )} over {Partial x _{t}} + beta lambda _{t+1} {Partial f(x _{t} ,c _{t} )} over {Partial x _{t}} - lambda _{t} ]=0], [eqn: t=1,2,...,T-1]

[eqn: {Partial L} over {Partial lambda _{t+1}} = beta ^{t} [f(x _{t} ,c _{t} )-x _{t+1} ]=0,``t=0,1,2,...,T-1]

이들 식을 이용하여 후진 귀납의 방식으로 [eqn: LEFT { c _{t} RIGHT } _{t=0} ^{T-1} ,`` LEFT { x _{t} RIGHT } _{t=1} ^{T-1} ,`` LEFT { lambda _{t} RIGHT } _{t=1} ^{T}]를 구할 수 있다.

동적 계획과 라그랑지 방법의 비교

동적 계획과 라그랑지 방법을 비교하면 동적 계획에서는 가치함수를 구한 후 이를 이용하여 문제를 푸는 반면 라그랑지 방법은 라그랑지 승수를 이용하여 1계 도함수 조건을 푼다는데 주요한 차이가 있다. 라그랑지 승수는 가치함수의 도함수이다. 따라서 동적계획의 벨만 등식은 전역적 최대점을 구하는 필요 충분 조건이 된다. 반면 라그랑지 방법에서는 라그랑지 함수의 1계 조건으로부터 지역적 최대점을 구한다. 그래서 이 1계 조건은 최대화의 필요조건이 된다.

동적 계획은 복잡한 문제를 여러 개의 단순하면서 동일한 형태의 문제로 쪼개어 푼다는 점에서 개념적 우수성이 있다. 그렇지만 가치함수를 계산하는데 계산상의 번거로움이 따른다는 단점이 있다. 반면 라그랑지 방법은 가치함수를 계산하지 않고 가치함수의 도함수인 라그랑지 승수를 직접 구하여 이용한다는 점에서 계산 상의 우수성을 갖는다. 그렇지만 여러 개의 1계 조건을 연립하여 순차적으로 풀어야 하므로 개념 상의 우아함은 동적 계획에 비해 떨어진다.

5. 동태적 최적화: 연속시간 모형

5.1 연속시간 라그랑지 방법: 최대 원리

단위 기간이 1인 이산시간 모형에서 시간선호 인자 [eqn: beta]는 [eqn: {1} over {1+ rho }]이었다.

여기서 [eqn: rho]는  단위 기간 당 시간선호율을 나타낸다.

이 시간선호율은 주관적인 것일 수도 있고 시장에서 결정되는 객관적인 것(이자율)일 수도 있다. 가계 문제의 경우 주관적 시간선호율을 사용하며 기업의 경우 객관적인 시간선호율인 이자율을 사용한다.

이산시간 모형에서 기간 [0,1]을 [eqn: k] 등분하여 기간의 길이 [eqn: △t]를 [eqn: △t= {1} over {k}]로 잡고 [eqn: k -> INF]이면 연속시간 모형이 된다. 단위 기간이 [eqn: △t]인 이산시간 모형에서 기간 [eqn: △t]에 적용되는 시간선호율은 [eqn: rho △t]이다. 따라서 연속시간 모형에서 시간선호 인자는 다음과 같이 바뀐다: [eqn: lim _{△t -> 0} {{1} over {(1+ rho `△t) ^{1/△t}} =} lim _{k -> INF } {} {1} over {(1+ {rho } over {k} ) ^{k}} =e ^{- rho }].

단위 기간이 1인 이산시간 모형에서의 시간선호 인자가 [eqn: beta = {1} over {1+ rho }]라면 연속시간 모형의 시간선호 인자는 [eqn: e ^{- rho }]임을 알 수 있다.

다음과 같은 연속시간 모형에서의 동태적 최대화 문제를 생각해보자.

[eqn: max _{c(t)} int _{0} ^{T} {e ^{-rho t} u(x(t),c(t),t)dt}]

[eqn: s.t.```x prime (t)=f(x(t),c(t),t),``t∊[0,T]]

[eqn: x(0)=x _{0} *], [eqn: x(T)=x _{T} *]

전체 기간 [eqn: T]를 [eqn: n] 등분하면 1 기간의 길이 [eqn: △t == {T} over {n}]을 얻는다. 연속시간 모형에서의 기간  [eqn: [i△t,`(`i+1)△t)]가 이산시간 모형에서의 기간 [eqn: i]에 대응된다고 하자. 상태변수와 조종변수의 값을 [eqn: x _{i} =x(i△t),``c _{i} =`c(i△t)]이라 하고 [eqn: i]기 초에 얻는 보수를 [eqn: u _{i} (x _{i} ,`c _{i} ) == u(x(i△t),c(i△t),i△t)]라 하면 위 문제의 목적함수는 [eqn: ` sum _{i=0} ^{n-1} beta ^{i} u _{i} (x _{i} ,c _{i} )△t]에 의해 근사된다. [eqn: i]기 초의 상태진화 함수를 [eqn: f _{i} (x _{i} ,c _{i} ) == f(x(i△t),c(i△t),i△t)]로 정의하면 기간 [eqn: i]에서 상태변수 [eqn: x( CDOT )]의 변화분 [eqn: x _{i+1} -x _{i}]은 [eqn: f _{i} (x _{i} ,c _{i} )△t]로 근사된다. 따라서 연속시간 동적 최적화 문제는 다음과 같은 이산시간 최적화 문제에 의해 근사된다.

[eqn: max _{LEFT { c _{i} RIGHT } _{i=0} ^{n-1} ,` LEFT { x _{i} RIGHT } _{i=1} ^{n-1}} ` sum _{i=0} ^{n-1} beta ^{i} u _{i} (x _{i} ,c _{i} )△t]

[eqn: s.t.`````x _{i+1} =x _{i} +f _{i} (x _{i} ,c _{i} )△t,````i=0,1,...,n-1]

[eqn: x _{0} =x _{0} *,```x _{n} =x _{T} *]

[eqn: x'(t) APPROX {x _{t+1} -x _{t}} over {△t}]

여기서 [eqn: beta]는 시간할인 인자로서 [eqn: beta = {1} over {1+ rho △t}]이다.

이 문제에 대한 라그랑지 함수는 다음과 같다.

[eqn: L= sum _{i=0} ^{n-1} beta ^{i} u _{i} (x _{i} ,c _{i} )△t+ sum _{i=0} ^{n-1} beta ^{i+1} lambda _{i+1} [x _{i} +f _{i} (x _{i} ,c _{i} )△t-x _{i+1} ]]

함수 [eqn: H _{i}]를 [eqn: H _{i} (x _{i} ,c _{i} , lambda _{i+1} ) == u _{i} (x _{i} ,c _{i} )+ beta lambda _{i+1} f _{i} (x _{i} ,c _{i} )]이라 정의하면 라그랑지 함수는 다음과 같이 쓸 수 있다. 여기서 함수 [eqn: H _{i}]를 경상가치 해밀토니안(current value Hamiltonian) 함수라 한다.

[eqn: L= sum _{i=0} ^{n-1} beta ^{i} H _{i} (x _{i} ,c _{i} , lambda _{i+1} )△t+ sum _{i=0} ^{n-1} beta ^{i+1} lambda _{i+1} [x _{i} -x _{i+1} ]# `````= sum _{i=0} ^{n-1} beta ^{i} H _{i} (x _{i} ,c _{i} , lambda _{i+1} )△t+ beta x _{0} lambda _{1} + sum _{i=1} ^{n-1} beta ^{i} x _{i} [ beta lambda _{i+1} - lambda _{i} ]- beta ^{n} x _{n} lambda _{n}]

최적화의 1계 조건을 구하면 다음과 같다.

[eqn: L _{c _{i}} = beta ^{i} {Partial H _{i} (x _{i} ,c _{i} , lambda _{i+1} )} over {Partial c _{i}} △t# ```````````= beta ^{i} [u _{c _{i}} (x _{i} ,c _{i} )+ beta lambda _{i+1} f _{c _{i}} (x _{i} ,c _{i} )]△t=0,``# ``````````` -> `` {Partial H _{i} (x _{i} ,c _{i} , lambda _{i+1} )} over {Partial c _{i}} =0,`````` _{} ``````````````````````````````````````````````````````````````````````````````````````i=0,1,...,n-1]

[eqn: L _{x _{i}} = beta ^{i} {Partial H _{i} (x _{i} ,c _{i} , lambda _{i+1} )} over {Partial x _{i}} △t+ beta ^{i} ( beta lambda _{i+1} - lambda _{i} )=0# ``````````` -> ` {Partial H _{i} (x _{i} ,c _{i} , lambda _{i+1} )} over {Partial x _{i}} =- {beta lambda _{i+1} - lambda _{i}} over {△t} =- beta [ {( lambda _{i+1} - lambda _{i} )} over {△t} + {(1- beta ) lambda _{i}} over {beta △t} ],`````i=1,...,n-1]

[eqn: L _{lambda _{i+1}} =` beta ^{i} [f _{i} (x _{i} ,c _{i} )△t+x _{i} -x _{i+1} ]=0# ```````````` -> {x _{i+1} -x _{i}} over {△t} =f _{i} (x _{i} ,c _{i} ),``````````````````````````````````````````````````````````````````````````````````````````````i=0,...,n-1]

구간을 무한히 잘게 쪼개어 [eqn: n -> INF]이면 구간 길이는 [eqn: △t -> 0]이다. 이때 [eqn: beta -> 1]이고  [eqn: {1- beta } over {beta } = {1-1/(1+ rho △t)} over {1/(1+ rho △t)} = rho △t]이므로 [eqn: t=i△t]로 놓으면 다음과 같은 1계 조건을 얻는다.

(i) [eqn: H _{c} = {Partial H(x(t),c(t), lambda (t),t)} over {Partial c(t)} =0,`t∊[0,T]]

(ii) [eqn: H _{x} = {Partial H(x(t),c(t), lambda (t),t)} over {Partial x(t)} =- lambda prime (t)+ rho lambda (t),`t∊[0,T]],

(iii) [eqn: H _{lambda } = {Partial H(x(t),c(t), lambda (t),t)} over {Partial lambda (t)} =x prime (t),`t∊[0,T]]

여기서 연속시간 모형에서의 해밀토니안은  [eqn: H(x(t),c(t), lambda (t),t)=u(x(t),c(t),t)+ lambda (t)[f(x(t),c(t),t)]]이다.

최적제어 이론에서는 [eqn: lambda (t)]를 상태 변수 [eqn: x(t)]와 더불어 존재하는 변수라 하여 여상태(與狀態) 변수(costate variable)한다.

상기한 세 식은 매 시점 상태변수와 여상태 변수가 조건 (ii)와 (iii)을 만족시켜 최적 경로를 따를 때 조종변수 [eqn: c(t)]가 해밀토니안을 최대화 한다는 것을 의미한다. 그러므로 이는 전 기간 [eqn: T]에 걸친 동적 최적화 문제를 매 시점 해밀토니언의 정태적 최적화 문제를 푸는 것으로 환원시킨 것으로 볼 수 있다. 그러한 의미에서 상기한 조건 (i), (ii), (iii)을 최대 원리(maximum principle)라 한다.

5.2 연속시간 동적 계획

다음과 같은 연속시간 동적 최적화 문제를 상정하자.

[eqn: max _{c(t)} int _{0} ^{T} {e ^{- rho t} u(x(t),c(t),t)dt}]

[eqn: s.t.```x prime (t)=f(x(t),c(t),t),``t∊[0,T]]

[eqn: x(0)=x _{0} *], [eqn: x(T)=x _{T} *]

이 문제를 이산시간 최적화 문제로 근사하면 다음과 같다.

구가 [eqn: [0,T]]를 [eqn: n]등분하면 기간의 길이 [eqn: △t]는 [eqn: △t= {T} over {n}]이 된다. 이산 변수로서 [eqn: i△t=t,`x _{i} == x(i△t),`c _{i} == c(i△t)]로 표시하고 시간할인인자를 [eqn: beta = {1} over {1+ rho △t}]라 하자. 그리고 다음과 같이 이산시간 함수를 정의하자:

[eqn: u _{i} (x _{i} ,`c _{i} ) == u(x(i△t),`c(i△t),`i△t)]

[eqn: f _{i} (x _{i} ,`c _{i} ) == f(x(i△t),`c(i△t),`i△t)`# v _{i} (x _{i} ) == v(x(i△t),i△t)]

그러면 다음이 성립한다.

[eqn: max _{c _{i}} ` sum _{i=0} ^{n-1} beta ^{i} u _{i} (x _{i} ,c _{i} )△t]

[eqn: s.t.`````x _{i+1} =x _{i} +f _{i} (x _{i} ,c _{i} )△t,````i=0,1,...,n-1]

[eqn: x _{0} =x _{0} *,```x _{n} =x _{T} *]

이 이산시간 문제에 동적계획을 적용하면 다음과 같은 벨만 등식을 얻는다.

[eqn: v _{i} (x _{i} )=max _{c _{i}} ```u _{i} (x _{i} ,c _{i} )△t+ beta v _{i+1} (x _{i`} +f _{i} (x _{i} ,c _{i} )△t),``i=0,1,...,T-1# ````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````(단,``v _{T} ( CDOT ) == 0)]

양변에서 [eqn: v _{i} (x _{i} )]를 빼고 [eqn: △t]로 나누어주면 다음 등식을 얻는다.

[eqn: max _{c _{i}} ``u _{i} (x _{i} ,c _{i} )+ {beta v _{i+1} (x _{i} +f _{i} (x _{i} ,c _{i} )△t)-v _{i} (x _{i} )} over {△t}]

여기서

[eqn: {beta v _{i+1} (x _{i} +f _{i} (x _{i} ,c _{i} )△t)-v _{i} (x _{i} )} over {△t}# = {beta [v _{i+1} (x _{i+1} )-v _{i+1} (x _{i} )]+ beta v _{i+1} (x _{i} )-v _{i} (x _{i} )} over {△t}# = {beta [v _{i+1} (x _{i+1} )-v _{i+1} (x _{i} )]+ beta [v _{i+1} (x _{i} )-v _{i} (x _{i} )]-(1- beta )v _{i} (x _{i} )} over {△t}# = {beta [v _{i+1} (x _{i+1} )-v _{i+1} (x _{i} )]f _{i} (x _{i} ,c _{i} )} over {f _{i} (x _{i} ,c _{i} )△t} + {beta [v _{i+1} (x _{i} )-v _{i} (x _{i} )]} over {△t} - {(1- beta )} over {beta △t} beta v _{i}]

그런데 [eqn: {1- beta } over {beta } = rho △t]이고 [eqn: △t` -> 0]일 때 [eqn: beta -> 1]이므로, [eqn: △t -> 0]이면

[eqn: {beta [v _{i+1} (x _{i+1} )-v _{i+1} (x _{i} )]f _{i} (x _{i} ,c _{i} )} over {f _{i} (x _{i} ,c _{i} )△t} + {beta [v _{i+1} (x _{i} )-v _{i} (x _{i} )]} over {△t} - {(1- beta )} over {beta △t} beta v _{i} (x _{i} )# = {beta [v(`x _{i} +f _{i} (x _{i} ,c _{i} )△t,(i+1)△t)-v(x _{i} ,`(i+1)△t)]f _{i} (x _{i} ,c _{i} )} over {f _{i} (x _{i} ,c _{i} )△t}# ``````+ {beta [v(x(i△t),(i+1)△t)-v(x(i△t),`i△t)} over {△t} - rho beta v(x(i△t),`i△t)# -> ```v _{x} (x(t),t)f(x(t),c(t),t)+v _{t} (x(t),t)- rho v(x(t),t)]

그러므로 벨만 등식은 다음과 같이 정리된다.

[eqn: max _{c} ``u(x,c,t)+v _{x} `(x,t)f(x,c,t)+v _{t} (x,t)- rho v(x,t)=0]

이 식은 연속시간 모형에서의 벨만 등식에 해당한다. 이를 벨만 이전에 유사한 결과를 얻은 바 있는 해밀톤과 야코비의 공로도 인정하여 해밀톤-야코비-벨만 등식(HJB 등식, Hamilton-Jacoby-Bellman equation)이라 한다. 이 등식은 가치함수 [eqn: v]에 대한 편미분 방정식이다. 이 편미분 방정식의 분석적 해는 매우 특별한 경우에만 얻을 수 있다. 수치적 해는 컴퓨터 기술의 발달로 점점 더 얻기가 쉬워지고 있다.

그런데 [eqn: v _{x} (x(t),t)= lambda (t)]이므로 해밀톤-야코비-벨만 등식은 다음과 같이 쓸 수 있다. [eqn: max _{c`} `H(x,c, lambda ,t)+v _{t} (x,t)- rho v(x,t)=0]

여기서 최대화된 해밀토니안을 [eqn: H*(x(t), lambda (t),t)=H*(x(t),v _{x} (x(t),t),t)]이라 하면 해밀톤-야코비-벨만 등식은 다음과 같이 표현된다.

[eqn: H*(x(t),v _{x} (x(t),t),t)+v _{t} = rho v(x(t),t)]