Estimacion no parametrica de curvas notables para datos dependientes

TRABAJOS DE ESTADISTICA Vol. 4, nbm. 2, 1989. pp. 69-88

E S T I M A C I O N N O P A R A M E T R I C A D E C U R V A S N O T A B L E S

P A R A D A T O S D E P E N D I E N T E S

J. M. VILAR FERNANDEZ(*) Dpto. de Estadistica e I.O. Facultad de Matem~tticas Univ. de Santiago de Compostela

RESUMEN

Sea {X t : t ~ Z} una serie de tiempo estacionaria, con valores en R p, verificando la condici6n de ser a-mixing o L2-estable. A partir de una muestra de tamafio n s e define una amplia clase de estimadores no param6tricos de la funci6n de densidad f(x) asociada al proceso, y de la funci6n de autorregresi6n de orden k:

r (y) = E ( o ( X , + , ) / ( X , _ ~ + I . . . X , ) = 37)), 37~ R ~

siendo 0 una funci6n real. Se estudian las siguientes propiedades asint6ticas de estos estimadores:

consistencia puntual (casi segura y e n media r-6sima); consistencia global con norma uniforme casi segura; sesgo, varianza y normalidad asint6tica.

Palabras clave: estimaci6n no param&rica, funci6n de autorregresi6n, procesos a-mixing, procesos L2-estables.

Clasificaci6n A.M.S., 1980: 62G05.

ABSTRACT

Let be {Xt : t ~Z} a stationary valued in •P time series, verifiying the condition or-mixing or L2-stability. Since a sample of size n is defined a general class of non-parametric estimators of the density function f(x) asociated to the process and of the autoregression function in order k:

r07) = E ( 0 ( X , _ ~ + , - . . x , ) = y)), 37 ~ R ~

being g a real function.

(*) El presente trabajo es un resumen que contiene parte de los resultados obtenidos por el autor en su Tesis Doctoral.

Recibido, junio de 1988. Revisado, octubre de 1988.

69

VILAR. J. M.: EST/MACION NO PARAMETR/CA DE CURVAS...

The following asymptotic properties of these estimators are studied: puntual consistency (almost sure and in L"); uniform consistency almost sure; bias, variance and asymptotic normality.

Key words: nonparametric estimation, autoregression function, condition ~- mixing and L2-stability.

A.M.S. 1980 c las i f icat ion: 62G05.

I. I N T R O D U C C I O N . D E F I N I C I O N E S

La estimaci6n no param&rica de curvas notables como son la funci6n de densidad y de regresi6n, a partir del conocimiento de una muestra de observaciones id6nticamente distribuidas, es un problema bfisico de inferencia estadistica por su gran importancia en muchas fireas como son el reconocimiento de modelos y la predicci6n en series de tiempo. Tambi~n es utilizada en la estimaci6n param&rica del modelo que sigue una serie de t iempo en la que se han realizado previamente estimaciones no param6tricas como puede verse en los estudios realizados por Gonz/dez Manteiga y Vilar Fern indez (1987b, 1987c).

Existen en la actualidad numerosos trabajos sobre estos problemas para el caso de observaciones independientes, destacamos los de Wertz (1978), Suzarla-Walter (1981) y Prakasa-Rao (1983). Para el caso mils general de datos dependientes de los resultados existentes son mils recientes, siendo el primero debido a Rosenblatt (1970), posteriormente trabajan en estos problemas Bierens (1983) y Masry (1983), entre otros, que utilizan diversas clases de dependencia entre los datos.

En el presente trabajo el primer problema que se estudia es la estimaci6n no param&rica de la funci6n de densidad asociada a una serie de tiempo estacionaria, con valores en R p. Para ello, a partir de la muestra inicial X1, X2, ..., X. de la serie de tiempo {X t : t ~ Z} defini- mos el siguiente estimador no param6trico de la funci6n de la densidad en el punto x:

- 6 .~ . ) (x , X / ) f,(x) = n/=1 con x ~ [~v (1)

Siendo la sucesi6n funcional {6,~.)(x, u)} definida en •P • R p, con valores en ~, susceptible de verificar las siguientes condiciones, para cada x:

70

TRABAJOS DE ESTADISTICA. Vol. 4, nGm. 2. 1989

A.1. 6m,~)(X,U) >I O , m(n) ~

A.2. sup 6,~(x, u) = 0(m p) U

A.3. para todo n existe e, e R + tal que si I Ix - u l l ~< ~, entonces b,~(x, u)/> 0(m p)

m.4. sup {6m(x,u)/[lx - ul[ > ce,} <~ O(mV/n) con c /> 1

A.5. ne~ ~ oo, e,, ~ O

A.6. JR~"(x' u) du = 1

Esta clase de estimadores (1) es bastante intuitiva ya que pondera la informaci6n que proporciona cada dato Xi sobre el valor de la densidad en el pun to x. El peso de cada dato xi lo mide la sucesi6n funcional 6m~, que toma valores altos (de orden raP~n) fuera del en torno de x. Por tanto, esta sucesi6n funcional contiene dos factores de informaci6n: sobre el nflmero de datos re(n) y la forma funcional de 6, que te6rica- mente deberia de ser la de la f desconocida.

La clase de estimadores definida (1) es muy amplia, pues contiene a muchos de los estirnadores no param6tricos m~ts utilizados, como vemos en las siguientes elecciones:

i) si 6r,(X, u) = mPljx(u), donde {Jn} es una partici6n de R p, de norma h i, con hn ~ 0 y Jx es el e lemento de la partici6n al que pertenece x, entonces f,,(x) es el histograma.

ii) si 6m(X, U) = mPK(m(u -- x)), siendo K(u) una funci6n nflcleo obtendr iamos el es t imador no param6trico tipo nflcleo.

iii) si 6m(X, U)= ~ d/i(X)r s iendo {~j(x)} una sucesi6n j = l

de funciones or tonormal y completa respecto al p roducto in-

terior < ffi, ~kk > = | ~a'(X)~k(X)Og(X) dF(x), obtendr iamos el esti-

/ i

mador por desarrollos ortogonales.

Se estudiarfin las propiedades asint6ticas de consistencia puntual y global; sesgo, varianza y distribuci6n asint6tica de este es t imador no param&rico general f,,(x), definido en (1).

E1 segundo problema que se trata es la estimaci6n no param6trica de

71

VILAR, J. M.: ESTIMACION NO PARAMETRICA DE CURVAS...

la funci6n de autorregresi6n, de orden k, asociada a una serie de tiempo estacionaria y real (p = 1), definida por

r(p) = E(g(X,) / (X,_k. . . X , _ ,) = )7), ~ R k (2)

siendo g una funci6n real medible. Son elecciones de inter6s para g las siguientes:

i)

ii)

si g( z )= z b, b ~ ~ , se obtienen los momentos condicionales en muchas situaciones, g serfi la identidad, obteni6ndose la esperan- za condicional.

si g( z )= l{z~u} se obtiene la funci6n de distribuci6n condicio-

nal F(u) = P(X,+ ~ <~ u/(X,_k + 1''" St))"

Para estimar esta funci6n r(y), se parte del conocimiento de una muestra X1, X2 ..... X, de la serie de tiempo X, con funci6n de densidad f (x) , y tal que E(y(x02) < oo, lo que garantiza la existencia de r07).

Se utilizarfi la siguiente notaci6n:

Y, = X,+k

F, = (Y,-k"" Y,-I)

lo que permite construir la muestra vectorial:

(~'1, Y0, (Y:, Y2)'"(Y., Y~), de tamafio n = N - k,

siendo cada elemento muestral de dimensi6n k + 1. A partir de esta muestra se define el estimador no param6trico de

r07) como sigue:

g(Y,)&m~(Y, ~) r.(~) = ~= z

i = 1

(0 si el denominador es nulo)

donde la sucesi6n funcional 6,~r 7, a), est/t definida en R ~ x R k, con valores en R y es susceptible de verificar la axiom/ttica introducida anteriormente.

La idea de este estimador es calcular la media ponderada de los g(Y~) muestrales, siendo el peso mayor cuanto menor sea la distancia del vector Yl (lo ocurr ido en los k instantes anteriores a Y3 al vector dado ~.

72

TRABAJOS DE ESTADISTICA. Vol. 4. n~m. 2, 1989

La estimaci6n no param&rica de la funci6n de autorregresi6n r(~), es de notable importancia en la resoluci6n del problema de predicci6n, en series de tiempo, esto es, en ~<predecir)) los futuros (o pasados) valores de la serie a partir del conocimiento de una muestra de la serie. Ya que si el valor de la serie en el instante t: Xt, depende fundamentalmente de 1o ocurrido en los k instantes anteriores: .~, la funci6n r(~) ser~ un buen predictor y pot tanto r,()(N+l) ser~ una buena predicci6n de 9(XN+I).

E1 est imador no param6trico definido ?,(~) es muy general y contiene a muchos de los estimadores no param6tricos de la funci6n de autorre- gresi6n m~s utilizados; asi las elecciones i), ii), iii) indicadas anteriormente permiten obtener los siguientes estimadores: predictograma, estimador tipo nficleo y estimador por desarrollo ortogonales.

Se estudiar~n las propiedades asint6ticas de este estimador. Siendo los resultados f~cilmente generalizables en dos sentidos: uno que la serie de tiempo tome valores en R p con p i> 1, y e n segundo lugar que se estudie la estimaci6n de la funci6n

r ,(y) = E(g(X, +,)l(X,_k + X , ) = y)

con )7eR k y z/> 1.

Por su extensi6n las demostraciones de los teoremas que se exponen en este trabajo se dan de forma esquem~tica en unos casos y en otros son omitidas. Una exposici6n detallada de estas demostraciones puede verse en Vilar Fernimdez (1987).

Hip6tesis de Independencia Asint6tica

Aunque se supone que las observaciones son dependientes, se exigirfi en todas las situaciones que se cumpla alguna hip6tesis de independencia o incorrelaci6n asint6tica, esto es, la dependencia entre las variables X k y XR+ . tiende a anularse cuando n tiende a infinito. Dicho de otra forma, la conducta de la serie no depender~ de su remoto pasado.

En este trabajo se utilizan dos hipbtesis de independencia asintbtica, la primera de ellas, es la de ser <~-mixing)) o ~uniformemente mixing)), introducida por Ibragimov-Linnik (1971) y se enuncia como sigue:

D E F I N I C I O N 1

<~Sea F~ la o--~lgebra generada por las v.a. Xt, a <<. t ~ b. Diremos que X~ es ~-mixing si para todo n /> 0 se verifica que sup {IP(B/A) - -

73


- P(B)I "A F k_ o~, B e F~~ = ~(n), para cualquier valor de k, con ~(n)~0~. Son muchas las series de timpo que verifican la condici6n or-mixing,

por ejemplo, las m-dependientes y e n particular los procesos en medias m6viles (MA), pero hay una clase importante de procesos temporales que no la cumplen: son los autorregresivos (AR), o con mayor generali- dad los denominados ARMA. Por este motivo tambi6n se utilizar~i una condici6n de independencia asint6tica mils d6bil como es la L 2-

estabilidad y que si verifican los procesos ARMA.

D E F I N I C I O N 2

<<La serie de tiempo (s.t.) Xt es LP-estable respecto a la base {a,}, sucesi6n de v.a. estacionarias, si es de la forma X t =f( . . .at-1, at), siendo f medible, y para todo l E ~ existe una funci6n medible f tal que la s.t. Xt,, = f ( a t - , ' " a t ) l lamada la <<t-aproximaci6n de X?~ verifique que:

E I X t - X t , , I P = v ( O con v ( t ) ~ O cuando ~ o o .

Observaci6n

Se debe tener en cuenta que si {Xt} es una s.t. es tac ionar ia y a-mixing, tambi~n lo es la s.t. vectorial {,~,} = {(X,_k. . .X~ l)} respecto a la sucesi6n:

< 1 si k>>.n ~'(n) = [v(n - k) si k < n

Y si X t es L2-estable, con coeficientes v(t), tambi6n lo es Xt con coeficien-

tes v'(0 = k. v(0.

II. P R O P I E D A D E S D E C O N S I S T E N C I A

A. Consistencia Puntual

Es conocido que no existen est imadores no param6tricos, de la densidad que sean insesgados. Por ello se estudia, en primer lugar, bajo qu6 condiciones los estimadores definidos son asint6ticamente insesgados.

74

TRABAJOS DE ESTADISTICA. Vol. 4, n6m. 2. 1989

T E O R E M A 1

<<Sea f una funci6n acotada y continua en x ~ ~P. La sucesi6n {e,m,.} es acotada y se verifican A.2 y A.3. Entonces

Ef.(x) ~ f ( x ) c.p.d. (m)(x)))

c.p.d.(m)(x) denota <<salvo un conjunto de medida de Lebesgue cero

respecto de x)). La demostraci6n se sigue del teorema de la convergencia mayorada

y de la continuidad de f e n x. Este resultado es v/tlido bajo diversas hip6tesis relativamente d6biles

(ver Vilar Fernandez (1987), capitulo 1) y por ello se supondrfi, en el

resto del t rabajo que se verifica alguna tal que f , (x) es asint6ticamente

insesgado. Se estudia a continuaci6n, la consistencia puntual casi segura del

estimador f, , esto es, bajo qu6 condiciones se verifica que P(lim f ,(x) = n ---~ oo

= f ( x ) ) = 1, obteni6ndose:

T E O R E M A 2

<<Sea X t un proceso estacionario, con valores en R e, se verifica A.2.

y ademfis:

a) X t es a-mixing exponencial (los coeficientes son de la forma a ( k ) = A . p k con A > 0 , 0 < p < 1).

o bien

b) X t es LZ-estable respecto a una base a-mixing exponencial, siendo 6 , , ( x , - ) una funci6n lipchiziana, respecto a la constante K(n) y tal que ~ K(n)2v(l(n)) < ~ para alguna sucesi6n z = t(n) entonces

n

c . $ .

f ,(x) , f ( x ) c.p.d. (m)(x))).

C O M E N T A R I O S

1. En la demostraci6n del teorema se utiliza una desigualdad de M. Carbon (1983) de tipo exponencial y el lema de Borel-Cantelli que permiten obtener la convergencia casi seguro a cero de f ,(x) - Ef,(x). (Ver Vilar Fernfindez (1987), cap. 1).

75


2. Son muchos los procesos a-mixing, estacionarios, con coeficientes exponenciales. Entre oros, los procesos de medias m6viles, los de la forma Xt -- f(at), siendo a, un proceso de Markov con espacios de estados finitos y f una funci6n real sobre el espacio de estados, siendo la matriz de transici6n irreducible y aperi6dica.

3. Un ejemplo de proceso L2-estable verificando las hip6tesis del teorema 2, es el siguiente:

Sea X t una serie autorregresiva de orden uno, con parhmetro p, estacionaria y con valores en R; 6re(x, u) = mK(m(x - u) siendo K(y) la funci6n Kernel gausiana, cuya expresi6n es

K(y) - ~ exp -

por tanto

V(l) E (X t X 2 0"2p2 p2, = -- t,~) -- 1 - - p 2

siendo a 2 la varianza del ruido blanco que genera la serie. En este caso las constantes lipchizianas son:

1 l e x p ( ) < D (constante) K(n) - 2 ~ m 2 L 2

Eligiendo fin) = n, se obtiene que:

k(n)2vO(n)) < 0 (~ p2.) < oo. n n

4. Uti l izando resultados de Bierens (1983) se prueba la validez del teorema 2 para procesos estoc~isticamente estables (hip6tesis de independencia asint6tica m~is d6bil que las utilizadas), pero, por contra, se exigen hip6tesis de regularidad mayores para la sucesi6n funcional (~.(x, u), como es el que sea cont inuamente diferenciable con derivada acotada.

A cont inuaci6n se estudia la consistencia puntual en media r-6sima del est imador fn(x), obteniendo:

T E O R E M A 3

<<Sea X t u n proceso estacionario y a-mixing en •P que verifica la siguiente condici6n:

V r e ~ 36e (0 ,1 ) " ~ k2r -2a(k ) 6/(2r+a) < 00. k>~0

76

TRABAJOS DE ESTADISTICA. Vol. 4, n~m. 2, 1989

Sea f,,(x) una sucesi6n de est imadores de tipo (1) tal que:

m p sup am(x, u) = 0(mP), am(x, u)/> 0, - 7 ~ 0

u 4 n

Entonces f,(x) converge en media 2r a f (x) c.p.d. (m)(x))).

Demostraei6n: Se utilizar~n las cotas de Leon-Por ta l -Doukhan (1984) para los m o m e n t o s 2r de una suma de variables 7-mixing. (Ver Vilar Fern~ndez (1987), cap. 1).

Para el estudio de las propiedades asint6ticas del es t imador f.(~), )7 ~ ~k, dado en (3), es conveniente expresarlo como:

1 n i = l h.07)

f . ()7) = - f .O~ ) (4) 1 Y/ i = 1

donde f.07) es el est imador no param6trico de la densidad f(y) asociada a la v.a. k-dimensional (X~, X2, ..., Xk), Y sus propiedades asint6- ticas son las estudiadas anteriormente.

/~,(~) es el est imador no param6trico de la funci6n h07)= r07)f(~) y por razonamientos an~logos a los desarrollados en los teoremas pre- cedentes se obtienen las siguientes propiedades de este estimador:

T E O R E M A 4

(~Sea Xt una serie de t iempo, estacionaria y real.

a) En la hip6tesis del teorema 1,/z.(~) es asint6ticamente insesgado.

b) En las hip6tesis del teorema 2, y adem~s

- - g(X,) es acotada (si la serie es a-mixing).

- - g(Xt) es acotada y g es lipchiziana (si la serie es L2-estable) C . S .

se verifica que h,(3~) , h07) c.p.d. (m)07))).

De los teoremas 2 y 4 se deduce de forma inmediata:

C O R O L A R I O

<<Sea Xt un proceso estacionario y real, verificando las hip6tesis del C . S .

teorema 2. Entonces ~,(~) , r(~). c.p.d. (m)(~)~.

77

VILAR, J, M.: ESTIMACION NO PARAMETRICA DE CURVAS_.

B. Consistencia Global

Fijada la muestra inicial X1, X 2 . . . . . X n de la serie de t iempo X t con valores R p, se puede considerar el es t imador f . como una funci6n medible de variable x, lo que permite definir las normas:

[If. - f [ [ , = [f.(x) -f(x)l'dx con 1 ~< t < oo

siendo S el soporte de f

IlL - f l loo = sup I f . ( x ) - f ( x ) l . x E S

Estas normas miden el error que se comete al considerar la estimaci6n de la funci6n de densidad de una forma global. Utilizando la primera, la norma en L', se obtiene el siguiente resultado de consistencia casi segura:

T E O R E M A 5

<<Sea Xt un proceso estacionario, ~-mixing, con valores en ~P, verificando:

i) Existen un 6e(0 , 1) tal que

kZ'- 2a(k) b/2'+o < k >>.O

ii) f e L zt.

iii)

m p para t ~ N , - - ~ 0 .

6re(X, t) es sim6trica, cumple la axiom~tica y 6 m ( X , t ) = 0 si C , S .

fix - tll > ce.. Entonces Ilf. -fH2t , 0 con 1 < t < ~>>.


1. Para demostrar el teorema, utilizando la desigualdad de Min- kowsky se obtiene que

J[f,, - f'[, <~ ( ; lf,,(x) - Ef,,(x)[t dx) Z/t + ( fs 'Ef,,(x) - f(x)]t dx) '/'.

La consistencia casi segura a cero del primer sumando se obtiene por las cotas de Leon-Por ta l -Doukhan (1984) y la convergencia a cero del

78

TRABAJOS DE ESTADISTICA Vol, 4. ntim. 2, 1989

segundo sumando se deduce de la desigualdad de Jensen y el teorema de la convergencia mayorada. (Ver Vilar Fernhndez (1987), cap. 1).

2. Un ejemplo de proceso verificando la hip6tesis del teorema 5 es Xt un proceso geom6tricamente a-mixing y m = n ~ con ~ E (0; 1/2p).

3. De un resulado de Glick (1974) se deduce q u e e n las hip6tesis en que se verifica la consistencia puntual casi segura (teorema 2) tambi6n se verifica la consistencia global, en normal L 1, casi segura.

A continuacibn, se obtienen resultados sobre la consistencia casi segura del estimador fn, utilizando la norma uniforme, que es la m~is exigente de todas ya que se ha de cumplir que

P ( l im sup If,(x) - f(x)l -- 0) -- 1 n--+ oo X~S

Para ello se tendril en cuenta que fijado x E RP, la funci6n 6,,(,)(x, - ) es una funci6n de densidad y por tanto tiene asociada una funci6n caracte- ristica que l lamamos

a,.(x)(t) = E (exp itu') = 1 exp (itu')f,.(x, u) du (5) JR

T E O R E M A 6

(~Sea X, un proceso estacionario, con valores ~P, verificando:

i) f es continua, con soporte S compacto.

ii) 5,.(0, U) = 6 m ( 0 , - - / J ) ; (~m(X, U) ~-- 6m(O , U - - X),

iii) f l m(t)l dt = O(m"). p iv) Xt es a-mixing con O,m ---. O, siendo

1 ~ ~.~. O, = - e(k)~ entonces II ~ - f II ~ , O.

n k = l

Si adem/ts f es dos veces diferenciable con derivadas continuas y acota-

tadas, siendo |llull>ceUiUi~m(O, u)du---0e z la velocidad de convergencia d

es 0(max {mPO~; e~}). Si X t es L2-estable respecto a un proceso v-mixing, at, tal que v(0

= t -z con z > 0 y verificando:

iii') fl~.(t)l Iltll dt = 0(me+l). , d

iv') (O*~)~m ~ --, 0

79

VILAR, J. M.: ESTIMACION NO PARAMETRICA DE CURVAS.,,

siendo

0* = max {0.; m 2/1 +Zn-Z/1 +z}

entonces se mantienen las conclusiones anteriores, cambiando en la expresi6n de la velocidad de la convergencia 0. po t 0%.

Fijada la muestra inicial de una serie de tiempo estacionaria y real, que permite calcular el estimador ~.(y) de la funci6n de autorregresi6n de orden k, se puede considerar a 6ste como una funci6n medible de variable 37 e ~k y po t tanto definir una norma que mida el error de estimaci6n de forma global. Una buena norma ser/t aquella que pondere el error de estimaci6n cometido seghn el valor de f(37), para ello, lla- mando p a la medida de probabil idad asociada a la v.a. k-dimensional (X1, X2 ..... Xk), se define la norma uniforme siguiente:

I1~. - rll~ = sup esenclS.(37) - r(37)1 St,

siendo SR el soporte de la densidad f(37) y el supremo esencial de Sk, el supremo sobre un conjunto C c S~ tal que # ( C ) = 1. (p medida de probabil idad asociada.)

Razonamientos anS.logos a los desarrollados en el teorema 6 permiten deducir que las conclusiones de 6ste son v/tlidas para el estimador h'.(37), tanto para procesos a-mixing como para procesos LZ-estables.

De este hecho y el teorema 6 se obtiene el siguiente resultado sobre la consistencia casi segura del estimador 8.(37) con norma uniforme:

T E O R E M A 7

((Sea X t un proceso estacionario y real verificando las hip6tesis del teorema 6 y ademhs:

a) Si f y r son continuas y S k es compac to entonces Ilf.(Y)- C.S. C.S .

-r(37)11~ , 0 entonces IIP,(37)-r(37)ll~o ... , 0.

b) Si h es dos veces diferenciable con derivadas segundas continuas y acotadas, entonces la velocidad de convergencia es la dada en el teorema 6)).

NOTA: Si S k n o es compacto podemos utilizar en su lugar el conjun- to S~ -- {)7 E ~k l f ( y ) ~> e} suiendo e ~ (0, sup f07)).

80

TRABAJOS DE ESTADISTICA. Vol. 4, nbm. 2. 1989


1. Las demostraciones de los teoremas 6 y 7 son bastante com- plejas. De la f6rmula de inversi6n y desigualdades de Liapunov y Tchebyshev se sigue la consistencia casi segura y la velocidad de convergencia se obtiene a partir de un desarrollo de Taylor. (Ver Villar Fernfindez (1987), cap. 1, 4.)

2. E1 teorema 7 generaliza resultados obtenidos por Bierens (1983) para la funci6n de regresi6n multivariante para datos con dependencia uniformemente mixing y L2-estables, utilizando estimadores tipo nficleo.

III. SESGO, VARIANZA Y D I S T R I B U C I O N ASINTOTICA

A. Para la Funci6n de Densidad

Exigiendo condiciones de regularidad a la sucesi6n funcional bin(x, u) y a la funci6n f, se obtiene el sesgo del estimador f.(x), que no se ve afectada por la posible dependencia de los datos.

T E O R E M A 8

<<Sea Xt un proceso estacionario y real, tal que:

i) 6.,(x, u) verifica la axiom/ttica

(~m(X, X "t- 1,1) = (~m(X, X - - U)

f x - , , , >c~n tim(x, u ) l x - u l ~ d u = 0 ( ! ) con j = 1,...,r + 1.

ii) f es (r + 1) veces diferenciable con derivadas acotadas.

Entonces

,/2 f~2g)(x ) b.(x) = Ef.(x) - f ( x ) = ~ - - a2j + 0~ (6)..

j=l 2j

En particular para j = 1, se obtiene que:

; [x+.~ b,(x) = f" (x ) 6,,,(x, u)lu - xl 2 du + Oe2..

J X - - C~.n

Pot tanto el sesgo es minimo en los puntos de inflexi6n de f (x) . Un extenso citlculo permite obtener la siguiente expresi6n de la

autocovarianza asint6tica del estimador f.:

81

VILAR, J. M.: ESTIMACION NO PARAMETRICA DE CURVAS._

T E O R E M A 9

~<Sea X t un proceso estacionario y a-mixing, verificando:

i) ~ ~(k) �89 < oo (condici6n de Ibragimov). k

ii) f es acotada y continua.

iii) 6,.(x, u) verifica la axiom~tica

f 6~(x, u)du es independiente de x. Y 31 Ix-ull <c~.

Entonces,

1 coy (f.(x), f.(y)) <~ - (6,, xf(x) + 4(f(x)f(y)) �89 ~ a(k) �89

n k

f] mP 6~(x, u) du + o - - (7))>.

Ix-,ll ~<c~. n


1. De la expresi6n (7) se sigue que

var(f.(x),<~l f ( x ) K f 6~(x,u,du+o(m~f) (8) n J l l x - u l l ~<ce.

con K = 1 + 4 ~ ~(k) ~ un factor que mide la influencia de la dependen- k

cia de las observaciones. De esta expresi6n se deduce que la variabilidad de la estimaci6n ser/t

menor cuando:

- - el nflmero de datos de la muestra sea grande. - - el valor de la funci6n de estimar f(x) sea pequefio. - - la dependencia de la serie es pequefia (K = 1).

2. La expresi6n de la autocovarianza (7) puede ser mejorada si se supone que la densidad: fk(u, v) asociada a la v.a. bidimensional (X,,X,+k) estfi acotada para K / > 1. Entonces

1 f ( ~ ) cov (f.(x), f,(y)) <~ - 6,,xf(x) 6~(x, u)du + o (9) n IIx-utl ~c~.

82

TRABAJOS DE ESTADISTICA. Vol. 4, niim. 2, 1989

Con esta nueva hip6tesis la influencia de la dependencia de las observa- m p

ciones es un residuo de orden menor a - - . Y, por tanto, la expresi6n de n

la varianza es la misma que la obtenida para el caso de datos independientes.

3. Estas expresiones son vfilidas para series de t iempo que presen- tan otro tipo de dependencia, como el set fuertemente 0c-mixing, o asint6ticamente incorrelados, variando el factor K dado por la dependencia entre los datos.

4. Si Xt es un proceso L2-estable respecto a una base at, estacionaria y a-mixing, verificando ~ ~(k) ~ < oo, ~ v(0 �89 < oo, y la funci6n 6,,,(x, - )

k es lipchiziana respecto a la constante C,, entonces la expresi6n de la autocovarianza de f , dada en (7) se mantiene, siendo ahora el factor ori- ginado por la dependencia entre los datos K = 1 +4(2 ~ ~(k) �89 + ~ v(0�89

k z

que depende de los coeficientes a-mixing, de L2-estabilidad y lipchizianos. 5. A partir de las expresiones del sesgo (6) y varianza (8) del

estimador f,(x), es inmediato obtener resultados sobre:

- - el error medio cuadrAtico (M.S.E.) del estimador f,(x). - - la consistencia puntual en media cuadrfitica de f,,(x). - - la velocidad de convergencia.

1 6. Suponiendo que m(n)en = 0(1) y e, = n ~ con 0 < cr < - , la veloci-

P dad de convergencia viene dada por:

q,(x) = O(e~) + O(neP) -1 = f 0(r/-4~) si 1 / ( 4 + p ) ~ < ~ < 1/p ~0(n-1 + ~p) si 0 < 0r ~< 1/(4 + p)

y por tanto para series de t iempo reales con :t = 1/5 se obtiene que q. = 0(n-4/5).

7. La demostraci6n de estos resultados es bastante compleja y puede verse en (Vilar Ferndmdez (1987), cap. 2).

Un caso particular de los teoremas 8 y 9 son las expresiones del sesgo y varianza del estimador tipo nhcleo de la densidad asociada a una serie de t iempo obtenidas por Masry (1983) con dependencia uniformemente o fuertemente mixing y asint6ticamente incorrelada.

83

VILAR. J. M.: EST/MAC/ON NO PARAMETRICA OE CURVA$._

B. Para la funci6n de autorregresi6n

Util izando las expresiones de los sesgos de h.07) y f.07) se ha obtenido la siguiente expresi6n del sesgo del estimador f.05):

T E O R E M A 10

~Sea Xt un proceso estacionario real y s-mixing, verificando:

i) La condici6n de Ibragimov: y ' 0~(k) �89 < ~ . k

ii) f , h, r, son tres veces diferenciables con derivadas acotadas. iii) f y g(X,) son acotadas. iv) La f densidad fs(u, v) asociada a la v.a. 2k-dimensional (Yt, Yt+~)

es acotada para todo s e N.

entonces

B.05) = E(f.07) - r05)) =

~ ( r'(y)f'(y)t + f'(~)r'(~)t'~ . . . . o m~ k = traza /'07) + ~f~-~ )amtY) + (10)

siendo

A m ( J T ) = diag(fy_C~l<ce, fm(Y,U)(Ui-Yi) 2da) i = 1...k

Demostraci6n: (Ver Vilar Fern/mdez (1987), cap. 5.)

Se utiliza la igualdad

Z - ' = ' + ~ ( -1) ' (z - - / ) ' + (11) i= l Z

para s = 2 y z - - - L y)


1. Si se verifica la siguiente condici6n de acotaci6n para los coeficientes s-mixing: v~ existe un fie(0, 1) tal que ~ s2ct(s) t3/4+t~ < ~ en-

s = O

tonces el residuo en la expresi6n del sesgo (10) es del orden om"/n. 2. Sea Xt un proceso L2-estable respecto a una base at estacionaria

84

TRABAJOS DE ESTADISTICA, Vol. 4, ntlm. 2, 1989

y ~-mixing con ~ ~(k)* < ~ , ~ v(t) �89 < o% siendo la funci6n 6,.(37, .) k l

lipchiziana respecto a la constante C. < 0 re(n) k/2 entonces el sesgo del est imador f.O 7) viene dado por la expresi6n (10), siendo el residuo del

orden 0 ma/2k. n

3. Del teorema 10 se deduce que el es t imador ~.()7) es asint6tica- mente insesgado y su sesgo depende fundamenta lmente de la propia funci6n a estimar r()7) y de la f densidad f()7). Para k = 1 la expresi6n que se obtiene es:

I m 2r'()7)f'(y) ' +"" 6~(y, u)[u - yl 2 du + - - . B.()7) = (r"()7) + f (Y ) o r - - . n

A partir de las expresiones de la varianza de los estimadores f.()7) y f.()7) se ha deducido la siguiente expresi6n de la varianza de f.07):

T E O R E M A 11

<<Sea X t u n a serie de t iempo verificando las hip6tesis del teorema 10 y adem~s:

vi) Existe un 6e(0 , 1) tal que para

p ~ 8 " ~ $2v-2o~(S) a/2v+~ < s>~O

e n t o n c e s :

var(~n()7)) -- V2()7) l n Uy_u,l<c,. 6~()7'~)d~ + (om---~ + Oe2) siendo V207) = E((9()7 ) - r()7))2/~ = )7).

(12)

Demostraci6n: (Ver Vilar Fernfindez (1978), cap. 5.)

Es bastante compleja y se basa en utilizar la igualdad (11) p a r a s = 4

f.207) y z = (Ef.07)z.


1. La expresi6n de la varianza obtenida en (12), es la misma que para el caso de datos independientes, ello se debe a que el incremento en

85

VILAR, J. M.: EST/MAC/ON NO PARAMETRICA DE CURVAS,.

la varianza que produce la dependencia de los datos es de orden menor m k

que - - . n

2. Para k = l obtenemos que:

var(#,(y) - f(Y) n d r - - ,

por tanto ser~ pequefia en aquellos puntos en que la densidad es grande o la varianza condicional es pequefia. Siendo muy poco afectada por la dependencia entre los datos, cuando &ta es lo suficientemente d6bil como indican las hip6tesis del teorema.

3. De las expresiones del sesgo (10) y varianza (12) del estimador ?,07) se deduce, que para procesos a-mixing, 6ste converge puntualmente en media cuadrhtica a r07) c.p.d. (m)07). Siendo la velocidad de conver-

m k

gencia del orden: 0e, 4 + 0 - - . n

C. Distribuci6n Asintbtiea

La aplicaci6n de un teorema central del limite para disposiciones triangulares de v.a. a-mixing de Bergstrom (1982) permite obtener que:

n f,(x) - f ( x ) N(0, 1)

siendo 1 ~< a} ~< 1 + ~ 0~(k) ~. k

De la generalizaci6n del teorema central de Bergstrom a v.a. L 2- estables se deduce la normalidad asint6tica del estimador f ,(x) para datos con dependencia L2-estables.

Razonamientos paralelos permiten obtener la normalidad asint6tica

del estimador h,07). De ambos resultados, la generalizaci6n de los teoremas centrales

mencionados para v.a. k-dimensionales por la t6cnica de Cramer-Wald y la aplicaci6n del m6todo <<3>> se deduce la normalidad asint6tica del estimador no param6trico #,0 ~) para datos a-mixing y LZ-estables. (Un estudio detallado de los resultados de este apartado puede verse en Gonz&lez Manteiga-Vilar Fern&ndez (1987a) y Vilar Fernandez 0987),

cap. 3 y 6.)

86

TRABAJOS DE ESTADISTICA. Vol. 4. n6m. 2, 1989


1. Bajo condiciones m~s restrictivas Rosenblatt (1970) ha p robado la normalidad asintdtica del s t imador no paramdtrico tipo nficleo de la densidad para procesos de Markov verificando la condicibn G2, utilizando una tdcnica diferente de la nuestra.

2. Los resultados obtenidos en este apar tado nos permiten construir intervalos de confianza asintdticos de f ( x ) y r(x) utilizando sola- mente la informacibn que proporciona la muestra de partida.

A G R A D E C I M I E N T O S

Deseo agradecer a los referees sus observaciones y comentarios que han hecho posible una mejor presentacidn de este trabajo.

BIBLIOGRAFIA

BERGSTROM (1982): Weak convergence of measures~, Academic Press.

BIERENS, H. J. (1983): <<Uniform consistency of Kernel estimators of a regression function under generalized conditions, Journal of the American Statistical Association, vol. 78, ndm. 383.

BILLINGSLEY, P. (1968): Convergence of probability measures. John Willey.

CARBON, M. (1983): <<Indgalit6 de Bernstein pour les processus fortement mdlangeants non necessairement stationnaires. Applications~. C. R. Zcad. Sci., Paris, t. 297.

DOUKHAN-LEON-PORTAL (1984): <<Vitesse de convergence dans le thdore- me central limite pour des variables aleatoires mdlangeants ~ valeurs dans un espace de Hilbert~. C. R. Acad. Sci., Paris, t. 298.

GLICK, N. (1974): <<Consistency conditions for probability estimators and integrals of density estimators~. Utilites Mathematica, vol. 6, 61-74.

GONZALEZ MANTEIGA, W.-VILAR FERNANDEZ, J. M. (1987): ~Norma- lidad asintbtica del estimador no paramdtrico de la funcidn de prediccidn en series temporales~. XVI Congreso de la SEIO, M~tlaga.

GONZALEZ MANTEIGA, W.-VILAR FERNANDEZ, J. M. (1987): <~Una clase de estimadores para los par~tmetros de un proceso AR(1), obtenidos a partir de estimaciones previas~. Trabajos de Estadlstica, vol. 2, nfim. 2, ph- ginas 55 a 70.

GONZALEZ MANTEIGA, W.-VILAR FERNANDEZ, J. M. (1987): A Class of non-parametrically constructed parametric estimators for a stationary autoregressive model. D. Reidel Publishing Company.

87

VILAR, J. M.: ESTIMACION NO PARAMETR/CA DE CURVAS...

IBRAGIMOV, I. A.-LINNIK, Y. (1971): Independent Kernel stationnary sequences of random variables. Wolters-Norrdhoff Publishing.

MASRY, E. (1983): <<Probability estimation from sampled data~), IEEE Tran- sactions on Information Theory, vol. II, 29, nfim. 5.

PRAKASA RAO, B. L. S. (1983): Nonparame tric Functional Estimation. Wiley.

ROSENBLATT, M. (1970): Density estimates and Markov sequences)), Nonpa- rametric Techniques in Statistical Inference. (Puri, Ed.). Cambridge Univer- sity Press.

SUSARLA, V.-WALTER, G. (1981): <<Estimation of a multivariate density function dusing delta sequences)), Ann. Stat., vol. 9, 2, 347-55.

VILAR FERNANDEZ, J. M. (1987): ~Estimaci6n no param6trica de la funcibn de densidad y funci6n de predicci6n en series de tiempo)~. Tesis Doctoral. Universidad de Santiago de Compostela.

WERTZ, W. (1978): Nonparametric Density Estimation: A Survey. Vandenhoeck and Ruprecht. G6ttingen.

88

Documents

Estimacion no parametrica de curvas notables para datos dependientes