Static Parameter Estimation using KalmanFiltering and Proximal Operators

Vivak PatelDepartment of Statistics, University of Chicago December 2, 2015

Acknowledge

Mihai AnitescuSenior Computational Mathematician in LANSPart­time Professor at University of Chicago

Madhukanta Patel (June, 8 1924 ­ Nov. 21, 2015)

Outline

I. Stationary Parameter Estimation (SPE) 

II. Optimization 

III. Proximal Operators 

IV. Kalman Filtering Theory 

V. Kalman­based SGD

Stationary ParametersProblem.

Observed Pairs   where Data Generation Process:

Estimate  , which is stationary (changes on long time scales)

( , ) ∈ R ×Yt Xt Rn t = 1, 2, …

P( | ) = f( , )Yt Xt Yt Xt

f

Stationary ParametersNonparametric Density Estimation

Assume some level of smoothness of Use orthonormal bases of function spaces, or use moving averageRate of Convergence (Curse of Dimensionality):

Replace smoothness assumption with sparsity

f

ASIME ∼ N− 2s

2s+n

Stationary ParametersParametric Density Estimation

Assume a particular form for   depending on a parameter 

Estimate Rate of Convergence:

f β

P ( | , β) = f( , , β)Yt Xt Yt Xt

β

MSE ∼ N −1

OptimizationFor statistical inference, the objective function is the log­likelihood:

Fisher (1922), Cramér (1946), Le Cam (1970), Hájek (1972)

Suppose the data is generated by some fixed  . Let  , and

If some regularity conditions on   hold then

van der Vaart (2000)

(β) = log f( , , β)FN ∑t=1

N

Yt Xt

β∗ = arg min (β)βN FN

= E [ log f(Y , X, ) log f(Y , X, )]V ∗ ∇β β∗ ∇Tβ

β∗

f

( − ) ⇒ N (0, )N−−√ βN β∗ V ∗

OptimizationGoals of Optimization Method

Fast Rate of ConvergenceComputational StabilityWell­defined stop conditionLow computational requirements (floating point operations, memory)

Classical Methods for 

GradientEvals

HessianEvals

FloatingPoint

MemoryCost RoC Stop

Condition Conditioning

Newton Quadratic Deterministic Mild

Quasi­Newton Super­Linear Deterministic Mild

GradientDescent Linear Deterministic Moderate

Moral: If   is a large, a single pass through the data set before calculating a new iterate is too expensive.

(β)FN

N N O( N)n2 O( )n2

N 0 O( + nN)n2 O( )n2

N 0 O(nN) O(n)

N

Stochastic GradientsBasic Idea: Minimize   using:

History

Least Mean Squares Stochastic Gradient Descent (SGD)

Cotes (early 1700s)Legendre (1805)Gauss (1806)Macchi & Eweda (1983)Gerencsér (1995)

Robbins & Monro (1951)Neveu (1975)Murata (1998)

(β) = log f( , , β)FN ∑Nt=1 Yt Xt

= − ∇ log f( , , ) =: − ∇βSGDk+1 βSGD

k αk Yt Xt βSGDk βSGD

k αk lSGDt,k

Stochastic GradientsCharacterization per iteration

GradientEvals

HessianEvals

FloatingPoint

MemoryCost RoC Stop

Condition Conditioning

Newton Quadratic Deterministic Mild

Quasi­Newton Super­Linear Deterministic Mild

Gradient Descent Linear Deterministic ModerateAlt. Full Gradient­

SGD Linear Probabilistic Moderate

SGD Sub­Linear None Severe

Alternative Strategy? Without increasing number of gradient evaluations, can we:

Increase Rate of Convergence?Reduce sensitivity to conditoning?

Yes, by increasing computational resources used per iteration

N N O( N)n2 O( )n2

N 0 O( + nN)n2 O( )n2

N 0 O(nN) O(n)

N + m 0 O(N + m) O(n)

1 0 O(n) O(n)

Proximal OperatorProximal Form of SGD

Levenberg (1944), Marquardt (1963) Improvement

Why is this an improvement?

= arg { + (β − ∇ + }βSGDk+1 min

βlSGDt,k βSGD

k )T lSGDt,k

12αk

β −∥∥ βSGDk

∥∥2

βLMk+1

βLMk+1

= arg { + }minβ

12

( + (β − ∇ )lLMt,k βLM

k )T lLMt,k

2 12αk

β −∥∥ βLMk

∥∥2

= − (∇ )βLMk (∇ + I)lLM

t,k ∇T lLMt,k α−1

k

−1lLMt,k lLM

t,k

Proximal OperatorRecall:

Second Bartlett Identity:

holds under some regularity conditions on  .

Moral: We are using a regularized estimate of the hessian/covariance.

Can we do better still?

= − (∇ )βLMk+1 βLM

k (∇ + I)lLMt,k ∇T lLM

t,k α−1k

−1lLMt,k lLM

t,k

[∇ ] = [ ]EβLMk

lLMt,k ∇T lLM

t,k EβLMk

∇2lt,k

f

Proximal OperatorLevenberg (1944), Marquardt (1963) Improvement

Possible Rescaling Improvement?

βLMk+1

βLMk+1

= arg { + }minβ

12

( + (β − ∇ )lLMt,k βLM

k )T lLMt,k

2 12αk

β −∥∥ βLMk

∥∥2

= − (∇ )βLMk (∇ + I)lLM

t,k ∇T lLMt,k α−1

k

−1lLMt,k lLM

t,k

βk+1

βk+1

= arg { + }minβ

12

( + (β − ∇ )lt,k βk)T lt,k2 1

2∥β − ∥βk

2M −1

k

= − (∇ )βk (∇ + )lt,k∇T lt,k M −1k

−1lt,k lt,k

Proximal OperatorRecall:

Optimizer Interpretation:   should be the inverse Hessian at  .

First Generation Stochastic Quasi­Newton:

No improvement in rate of convergenceNo stop conditionHigh sensitivity to conditioning

Byrd, Hansen, Nocedal & Singer (arXiv, 2015)

βk+1

βk+1

= arg { + }minβ

12

( + (β − ∇ )lt,k βk)T lt,k2 1

2∥β − ∥βk

2M −1

k

= − (∇ )βk (∇ + )lt,k∇T lt,k M −1k

−1lt,k lt,k

Mk βk

Proximal OperatorRecall:

Statistician Interpretation:   should estimate the inverse covariance.

Kalman Filter: simultaneously estimates parameter and its covariance matrix.

Kalman (1960)

βk+1

βk+1

= arg { + }minβ

12

( + (β − ∇ )lt,k βk)T lt,k2 1

2∥β − ∥βk

2M −1

k

= − (∇ )βk (∇ + )lt,k∇T lt,k M −1k

−1lt,k lt,k

Mk

Kalman FilterControl Theoretic Derivation

Suppose

and find   which minimizes

Proximal Derivation

Given the "variance" of   conditioned on  ,  , and 

= −βk+1 βk Gk+1lk,t

Gk+1

E [ , … , ]∥ − ∥βk+1 β∗ 2∥∥ X1 Xk+1

lk,t Xt σ2t := E [( − )( − , … , ]Mk βk β∗ βk β∗)T ∣∣ X1 Xk

= arg { + }βk+1 minβ

12σ2

t

( + (β − ∇ )lt,k βk)T lt,k2 1

2∥β − ∥βk

2M−1

k

Kalman FilterUpdate for  :

Problem: neither   nor   are known a priori

Possible Solution: replace   with other sequence  , and replace   with   and generate

Questions

What values of   will result in   converging to  ?What values of   will result in   approximating  ?

Mk

= ∇ +M−1k+1

1σ2

t+1lk,t∇T lk,t M−1

k

σ2t M0

σ2t γ2

kM0 M0

= ∇ +M −1k+1

1γ2

k+1

lk,t∇T lk,t M −1k

γ2k

βk β∗

γ2k

Mk Mk

Kalman FilterSummary of Kalman Filtering Theory

Randomness in the model is not assumed to exist. Thus,   and   could be picked based rate of convergence needs.There is a strict focus on dynamic parameter estimation. Approximating   is ignored to prove linear convergence rate.

References

Johnstone, Johnson, Bitmead & Anderson (1982)Bittanti, Bolzern & Campi (1990)Parkum, Poulsen & Holst (1992)Cao & Schwartz (2003)

= 0σ2t γ2

kMk

Kalman­based SGDAssumptions

Linear Model   with Independence and Identical Distribution of Regularity. Uniqueness. For all unit vectors  ,  .

In the noise free case,  . kSGD will calculate the vector   once   linearly independent examples are assimilated.(Modified Gram­Schmidt)In the noisy case, if   then almost surely

For every  , asymptotically almost surely:

= ( − /2lk,t Yt XTt βk)2 E [ ] < ∞l∗,t

( , )Yt Xt

E [ ] < ∞∥ ∥X122

v ∈ Rn P [ v = 0] < ∞∣∣XT1 ∣∣

=Yt XTt β∗ β∗ n

0 < ≤ < ∞infk γ2k

supk γ2k

E [∥ − ∥| , … , ] → 0βk β∗ X1 Xk

ϵ > 0

⪰ ⪰1 + ϵ

inf γ2k

Mk1

σ2 Mk1 − ϵ

sup γ2k

Mk

Kalman­based SGDCMS Data Set ( ,   million)n = 31 N = 2.8

Kalman­based SGDCMS Data Set ( ,   million)n = 31 N = 2.8

Kalman­based SGDCharacterization per iteration

GradientEvals

HessianEvals

FloatingPoint

MemoryCost RoC Stop

Condition Conditioning

Newton Quadratic Deterministic Mild

Quasi­Newton Super­Linear Deterministic Mild

Gradient Descent Linear Deterministic ModerateAlt. Full Gradient­

SGD Linear Probabilistic Moderate

kSGD >Sub­Linear Almost Sure Mild

SGD Sub­Linear None Severe

N N O( N)n2 O( )n2

N 0 O( + nN)n2 O( )n2

N 0 O(nN) O(n)

N + m 0 O(N + m) O(n)

1 0 O( )n2 O( )n2

1 0 O(n) O(n)