Документ взят из кэша поисковой машины. Адрес оригинального документа : http://www.intsys.msu.ru/magazine/archive/v3(3-4)/nazarov-123-137.pdf Дата изменения: Fri May 8 19:24:52 2009 Дата индексирования: Mon Oct 1 23:56:43 2012 Кодировка: Windows-1251

Метод синтеза устойчивой оценки функции плотности распределения вероятностей
А.Н. Назаров, Д.А. Карандеев

1 О методе стохастической регуляризации
Исследуются вопросы построения оценки функции плотности распределения вероятностей с помощью метода стохастической регуляризации. Этот метод был описан в [1]-[3]. Он широко применяется для решения стохастических некорректно поставленных задач [4]. Для оценивания плотности распределения вероятностей предлагается следовать методу стохастической регуляризации с использованием специального непрерывного полигона. Отдельный раздел статьи посвящен сравнению новой оценки с несколькими наиболее часто употребляемыми на практике парзеновскими оценками. Там же производится сравнительный анализ двух вариантов использования метода стохастической регуляризации (c использованием различных полигонов) для оценивания плотности распределения вероятностей по эмпирическим данным. Известно, что плотность распределения вероятностей p(x) - функция, удовлетворяющая следующему уравнению:
z

p(x)dx = F (z ),
-

(1)

где F (z ) - функция распределения. Это уравнение можно переписать с помощью функции Хевисайда (t):
+

(z - x)p(x)dx = F (z ),
-

(2)

0, t < 0, Таким образом, функция p(x) является решением 1, t 0. интегрального уравнения Фредгольма первого рода. Задача решения такого уравнения является некорректно поставленной, так как его решение не является устойчивым по отношению к малым изменениям правой части
где (t) =


[5]. Для решения таких задач широко применяется метод регуляризации по Тихонову. Предположим, что у нас имеется случайная выборка x1 , x2 , . . . , xn из неизвестного распределения. Будем искать оценку плотности распределения в виде решения операторного уравнения:

Af = F,

(3)

где A оператор, осуществляющий взаимно-однозначное отображение элементов f (x) множества 1 метрического пространства E1 в элементы F (x) множества 2 метрического пространства E2 в ситуации, когда вместо правой части F (x) задана последовательность случайных функций Fn (x), n = 1, 2, . . . , такая, что: P E2 (F, Fn ) - 0, при n . Будем решать уравнение (3) методом регуляризации по Тихонову. Суть метода состоит в том, что по последовательности Fn (x) строится последовательность функций fn (x), минимизирующая функционал

R(f , Fn ) = 2 2 (Af , Fn ) + n (f ), E

(4)

где (f ) - стабилизирующий функционал, а константы регуляризации n 0 при n 0. Для стабилизирующего функционала (f ), удовлетворяющего следующим трем условиям: 1) точное решение f0 уравнения (3) принадлежит D((f )) - области определения стабилизирующего функционала (f ), 2) функционал (f ) принимает на D((f )) только вещественные неотрицательные значения, 3) все множества MC = {f : (f ) C }, C 0 являются компактами в метрике E2 (f1 , f2 ), доказаны следующие теоремы [6].

Теорема 1 Если для каждого n выбирается положительное n , такое,

что n 0 при n 0, то для любых положительных ч и найдется такой номер N = N (ч, ), что при всех n > N элементы fn , минимизирующие функционал (4), удовлетворяют неравенству:
2 P{E1 (fn , f0 ) > } P{E2 (F, Fn ) > чn },

где f0 (x) - точное решение операторного уравнения (3) с правой частью F.
124


остальные условия теоремы 1. Тогда для любого > 0 найдется такой номер N = N (), что при n > N ():

Теорема 2 Пусть E1 - гильбертово пространство, (f ) = ||f ||2 и выполнены

P

fn - f

0

2

> < 2 P 2 2 (Fn , F ) > E 2

n

.

Итак, эти две теоремы при правильном выборе параметров настройки позволяют решить задачу (2) методом регуляризации по Тихонову [3]. Проблема выбора параметров настройки алгоритма - это отдельная задача, которая рассматривается в [7]. Подобная задача рассматривалась для оценки плотности распределения вероятностей из класса L2 (- , ), из класса функций, k -я производная которых интегрируема с квадратом на (a, b), и других классов. В случае, когда плотность распределения вероятностей f (x) L2 (-, ), была получена оценка Розенблатта-Парзена, которая строилась как решение уравнения (2) с эмпирической функцией распределения вероятностей в правой части [4]. Мы рассматриваем задачу построения оценки f (x) L2 (-, ), когда правая часть уравнения (2) - это некоторая непрерывная оценка функции распределения вероятностей, построенная по выборке конечного объема.

2 Процедура синтеза оценки плотности распределения вероятностей в функциональном пространстве
L2(-, )
Пусть искомая плотность распределения вероятностей p(x) L2 (-, ). Будем искать p(x) как решение уравнения (1). В качестве стабилизирующего функционала возьмем:
+ 2

(f )
-

g (x - t)f (t)dt
L
2

,

(5)

где g (x - t) - интегрируемая на всей числовой оси функция. Пусть
x

Fn (x) =
-

fn (t)dt.

Согласно методу регуляризации, решение (1) может быть найдено путем минимизации в L2 функционала (4), который в нашем случае 125


имеет вид:
x x 2 + 2

R

n,

=
-

f (t)dt -
-

fn (t)dt
L2

+ n
-

g (x - t)f (t)dt
L
2

(6)

представима в виде:

Теорема 3 Функция, на которой функционал (6) достигает минимума,
+

f ( x) =
-

Kn (x - t)fn (t)dt,

(7)

где Kn (x - t) - обратное преобразование Фурье функции:

1 , 1 + n u g (u)g (-u) ^^
2

а g (u) - преобразование Фурье функции g (t). ^

Доказательство. В силу равенства Парсеваля скалярное произведение функций в пространстве L2 равно с точностью до множителя 21 скалярному произведению их преобразований Фурье. Поэтому функционал (6) можно записать, переходя к преобразованиям Фурье, в следующем виде:
^ Rn, (f ) =
- x





x

fn (t)dt

2

+ n

+



2

f (t)dt-
-

g (x - t)f (t)dt
L
2

L

2

-

Учитывая свойства преобразования Фурье свертки и тот факт, что
1 iu

x

f (t)dt
-

=

^ f (u)+ (u), где u - аргумент, рассматриваемый функционал принимает вид: 2 2 ^ ^ ^ ^ n, (f ) 1 f (u) - fn (u) . ^ + n g (u)f (u) R iu L2 L2
Для отыскания минимума такого функционала, найдем его производную ^ Фреше по функции f (x):

^^^ ^ ^ Rn, (f + h) - Rn, (f ) +
n

1 iu

^ ^ f (u) - fn (u) +
2 L2

1 iu

^ h(u)

2 L
2

+
2 L2

^ g (u)f (u) + g (u)h(u) ^ ^^

-

1 iu

^ ^ f (u) - fn (u)
126

^ ^ - n g (u)f (u)

2 L
2

=


= +
-

1 iu n

^ ^ f (u) - fn (u) ^ g (u)f (u) ^
2 L2

2 L
2

+

1 iu

^ h(u)

2 L2 2 L
2

+2

1 iu

^ ^ f (u) - fn (u) ,

1 iu

^ h(u) +

^ + n g (u)f (u) ^
2 L
2

^ + 2n g (u)f (u), g (u)h(u) ^ ^^
2 L2

1 iu

^ ^ f (u) - fn (u)
1 u2 1 u2

-

n

^ g (u)f (u) ^

=

=2 =2

^ ^ ^ ^ ^ f (u) - fn (u) , h(u) + 2n g (u)g (u)f (u), h(u) + o( h(x) ) = ^^ ^ ^ ^ ^ f (u) - fn (u) + n g (u)g ( - u)f (u) , h(u) + o( h(x) ). ^^

Выражение в квадратных скобках и есть производная Фреше функционала ^ ^ n, по f (x), а следовательно, минимум достигается на решении уравнения: R

1^ ^ ^ f (u) - fn (u) + n g (u)g (-u)f (u) 0. ^^ u2
Решением последнего уравнения является функция:

^ f (u) =

^ fn (u) . 1 + u2 n g (u)g (-u) ^^

Теперь, обозначив через Kn (x - t) обратное преобразование Фурье функции 1 , 2 g (u)g (-u) 1 + n u ^ ^ получим выражение нужного вида:
+ + iux

f (x) =
-

^ f (u)e

du
-

Kn (x - t)fn (t)dt.

Теорема доказана. Согласно теореме 2 построенная оценка (7) будет сходится к искомой плотности распределения вероятностей в метрике L2 (-, +).

3 Синтез оценки дискретной плотности распределения вероятностей на основе непрерывного полигона
Типичным способом нахождения оценки плотности распределения вероятностей является следующий метод [4]. Неизвестная функция распределения вероятностей F (z ) заменяется эмпирической функцией распределения вероятностей Fn (z ), найденной по заданной выборке X = {x1 , x2 , . . . , xn }. Далее с помощью метода 127


регуляризации решается некорректно поставленная задача для уравнения (2) с эмпирической функцией распределения вероятностей Fn (z ) в правой части. При таком способе нахождения функции плотности распределения вероятностей p(x) в правой части уравнения (2) стоит разрывная функция Fn (z ), имеющая вид, представленный на рис. 1.

Случай разрывной функции Fn (z ), построенной по заданной выборке X = {x1 , x2 , . . . , xn }. Если действовать таким способом, то в результате получается парзеновская оценка с экспоненциальным ядром, имеющая следующий вид [4]:
n

p(x) =
j =1

1 e 2n

-

|x-zj |

.

(8)

Заметим, что восстанавливая функцию распределения вероятностей p(x) таким образом, при вычислении ее значения в каждой точке мы используем только информацию о том, сколько точек лежит левее заданной точки. Хотелось бы в функции-полигоне использовать еще и информацию о расстоянии между точками выборки. Этого можно достичь, если использовать вместо эмпирической функции распределения вероятностей Fn (z ) в правой части уравнения (2) некоторую непрерывную функцию. В нашем случае будем строить специальный непрерывный полигон. Пусть имеется выборка X = {x1 , x2 , . . . , xn }. Рассмотрим изображенную на рис. 2 непрерывную функцию-полигон, которая является мажорантой разрывной функции Fn (z ), изображенной на рис. 1:

128


Вариант построения непрерывной функции F (z ), построенной по заданной выборке X = {x1 , x2 , . . . , xn } и мажорирующей разрывную функцию Fn (z ). 1) по точкам выборки построим новую сетку Z = {z0 , z1 , . . . , zn }, где:

z 0 = 2 x1 - x2 , zi = xi+1 +xi + xi , i = 1, . . . , n - 1, 2 z n = xn .
2) значения функции в узлах сетки определим так:

~ ~ Fn (zn ) = Fn (z ~ Fn (z0 ) = 0.

n-1

1 ) + n,

3) по полученным точкам построим кусочно-линейную непрерывную ~ функцию-полигон Fn (x):

1 ~ Fn (x) = n

n-1

j+
j =0

x - zj (zj +1 - zj )

[(x - zj ) - (x - z

j +1

)] + (x - zn ). (9)

~ Поскольку для рассматриваемого непрерывного полигона Fn (x) и для эмпирической функции распределения Fn (x), которая определяется формулой: x < x1 , 0, k F n ( x) = , xk x < xk+1 , k = 1, 2, . . . , n - 1, n 1, x xn .
справедливо неравенство:

1 ~ sup F (x) - Fn (x) sup |F (x) - Fn (x)| + , n
129


то справедлив следующий аналог теоремы Гливенко-Кантелли о сходимости эмпирической функции распределения вероятностей к истинной функции распределения вероятностей [8, 9].

распределения вероятностей случайной величины . Тогда при n справедливо ~ P sup F (x) - Fn (x) - 0 = 1
x n

~ Теорема 4 Пусть Fn (x) - функция, заданная формулой (9), F (x) - функция

Пусть искомая плотность распределения вероятностей f (x) L2 (-, ). ~ Будем искать f (x) как решение уравнения (1) с функцией F (x) в правой части. Согласно методу регуляризации, решение (1) может быть найдено путем минимизации в L2 функционала (4), который в нашем случае имеет вид:
x 2 2 L

Rn, =
-

~ f (t)dt - Fn (x) +
L
2

n

f (x)

2 L2

~ Af (x) - Fn (x)

+ n f (x)
2

2 L

2

,

где оператор A, согласно (2), задается следующей формулой:
+

Af (x) =
-

(x - z )f (z )dz .

Лемма 1 Минимум функционала Rn, достигается на решении уравнения:
~ A Af (x) - A Fn (x) + n f (x) 0,
где A - линейный оператор, а A - оператор, сопряженный к A.
Фреше от функционала (10)

Доказательство. Для отыскания минимума найдем производную
R ~ Af (x) - Fn (x)
2 L
2

n,

+

n

f (x)

2 L

2

по функции f (x).

~ R(f + h) - R(f ) Af (x) + Ah(x) - Fn (x) ~ - Af (x) - Fn (x)
2 L
2

2

L2

+

n

f (x) + h(x)
2 L2

2 L

2

-

- n f (x)

2 L

2

~ Af (x) - Fn (x)
130

+


+ Ah(x) + n h(x)

2 L2 2 L

~ + 2 Af (x) - Fn (x), Ah(x) + n f (x)
2

2 L

2

+
n

~ + 2n (f (x), h(x)) - Af (x) - Fn (x)

2 L
2

-

f ( x)

2 L

2

=

~ = 2 Af (x) - Fn (x), Ah(x) + 2n (f (x), h(x)) + o( h(x) ) = ~ = 2 A Af (x) - Fn (x) , h(x) + 2n (f (x), h(x)) + o( h(x) ) = ~ = 2 A Af (x) - Fn (x) + n f (x) , h(x) + o( h(x) ). Выражение в фигурных скобках и есть производная Фреше функционала Rn, по f (x). Таким образом, минимум функционала Rn, достигается на ~ решении уравнения A Af (x) - A Fn (x) + n f (x) 0, что и требовалось доказать. Если в явном виде выписать оператор A, то уравнение (10) примет вид: (u - x)
- -

~ (u - )f ( )d - Fn (x) du + n f (x) = 0

(11)

Теорема 5 Решением уравнения (11) является функция:
pn (x) = +
1 zn -zn- n-1 j =0
1

1 2n

n-1 j =1

sign(x - zj )j e

-

|x-zj | n

+
-
|x-z0 | n

e

-

|x-zn | n

sign(x - zn ) -
+1

1 z1 -z

0

e

sign(x - z0 )+

+2
где j =

(z

j +1

1 - zj )

((zj .

- x) - (zj - x)) ,

1 (zj -z

j -1

)

-

(z

j +1

1 -zj )

(11) преобразование Фурье (в смысле обобщенных функций), учитывая, что преобразование Фурье свертки функций равно произведению преобразований Фурье этих функций, получаем уравнение: где

Доказательство. Чтобы решить это уравнение, применим к уравнению

1 + (u) iu

-

1 ^ ~ + (u) f (u) - Fn (x) iu


^ + n f (u) = 0,

(12)

~ Fn (x)
-

~ Fn (x)e

-ixu

du

131


^ ~ - преобразование Фурье функции Fn (x), f (u) - преобразование Фурье от неизвестной функции f (x). ~ Преобразуем выражение (9) для Fn (x) к следующему виду: ~ Fn (x) +
1 n 1 n n-1 j =0 (z
j +1

j-
1 - zj )

(z

j +1

zj - zj )

[(x - zj ) - (x - zj +1 )]+

n-1 j =0

x[(x - zj ) - (x - zj +1 )] + (x - zn ).

Пользуясь преобразованиями Фурье для функции Хевисайда [10]:

((x - a)) = (u) - ie u , (x(x - a)) = i (1 - u) +

-iua

ie-iua u2

-

ae-iua u

,

где (u) - дельта функция Дирака, получаем преобразование Фурье рассматриваемой ~ функции Fn (x):

~ Fn (x) +
i nu n-1 j =1

i nu -iuzj

n-1 j =0
+1

(e-

iuzj

+1

- e-iuzj ) j -
iun

i u(z
j +1

-zj )

+

e

i + (u) - u e-

.

Подставляем полученное преобразование Фурье в уравнение (12). Таким образом, (12) принимает вид:

- -
1 n

1 iu

+ (u)
i u

1^ - iu f (u) + (u)
+1

-

f (x)e-
i -zj )

iux

dx-
(13)

n-1 j =0 n-1 j =1

(e-

iuzj

- e-iuzj ) j -

u(z
n

j +1

-

-

1 n

i -iuzj e u

+1

i - (u) + u e-iuz

^ + n f (u) = 0

В силу свойств - функции Дирака и плотности распределения вероятностей:

(u)f (u) = (u)f (0), ^ (u)f (u) = (u)
+

f (x)e
-

-iux

+

dx = (u)
-

f (x)dx,

поскольку мы ищем решение этого уравнения в классе плотностей распределения ^ вероятностей, последний интеграл равен единице, т.е. (u)f = (u).

132


^ Члены в квадратных скобках, не содержащие величины f (u), могут быть преобразованы к виду: - 1 nu
n-1 2 j =1

i j e- u

iuzj

-

1 nu

2

1 zn - zn

e
-1

-iuzn

-

1 e- z1 - z0

iuz0

.

1 u2

После такого преобразования уравнение (13) примет вид: ^ ^ ^ f (u) + (u) 1 f (u) + n f (u) -
iu 1 iu

-

+ (u)

1 nu2

n-1 j =1

j e

-iuzj

+

1 zn - z

n-1

e-iuzn -

1 z1 - z

0

e-

iuz0

=0

Это уравнение эквивалентно следующему:

^ ^ ^ f (u) - i (u)uf (u) + n u2 f (u)+ +
1 n 1 iu

+ (u)

n-1 j =1

j e-

iuzj

+

1 zn - z

n-1

e

-iuzn

-

1 e-iuz0 z1 -z0

= 0.

В силу свойств функции Дирака:

^ i (u)uf (u) = 0, (u)
n-1 j =1

j e-

iuzj

+

1 zn -z

n-1

e

-iuzn

-

1 z1 -z

0

e-iuz

0

= 0,

^ а оставшиеся члены дают следующее выражение для f (u): ^ f (u) = 1 inu(1+n u2 ) n -1 j =1

j e-

iuzj

+

z

n

1 - zn-1 e

iuzn

- z1 1 z0 e-

iuz0

.

(14)

^ Применяя обратное преобразование Фурье к функции f (u) и учитывая, что: 1 1 (-x+a) (-x+a) i e-iua (x-a)-e (a-x) , inv u(1+u2 ) - 2 -1 + 2(a-x) + e
получаем решение уравнения (11):

pn (x) = +
1 zn -zn- n-1 j =0
1

1 2n

n-1 j =1

sign(x - zj )j e

-

|x-zj | n

+
-
|x-z0 | n

e

-

|x-zn | n

sign(x - zn ) -
+1

1 z1 -z

0

e

sign(x - z0 )+

(15)

+2

(z

j +1

1 - zj )

((zj

- x) - (zj - x)) ,

что и требовалось доказать. 133


4 О сходимости полученной оценки
Оценка (15) может быть получена как оценка вида
+

f ( x) =
-

Kn (x - t)fn (t)dt.

Если рассматривать g (t) = (t), тогда стабилизирующий функционал (5) примет вид:
+ 2

(f ) =
-

(x - t)f (t)dt
L -itu
2

f (x)

2 L

2

.

Тогда g (x - t) = ( (x - t)) = e ^ оценке (7) имеет вид:
+

, а следовательно, ядро Kn (t) в

Kn (t) =
-

eiut 1 du = e 2 1 + u 2

-

|t|

.

Если функция fn (x) дает представление полигона (9) в виде:
x

~ Fn (x) =
-

fn (t)dt,

то тогда оценка (15) может быть представлена в виде:
+

f (x) =
-

1 Kn (x - t)fn (t)dt 2

+

e
-

-

|x-t|

fn (t)dt.

(16)

Для оценок такого вида из теоремы 2 следует сходимость к искомой плотности в метрике L2 . В работе Надарая [11] было показано, что для оценки неизвестной плотности распределения вероятностей, представимой в виде:

1 f (x) = h

+

K
-

x-t h

fn (t)dt,

(17)

где K (x) - некоторая плотность распределения вероятностей, h 0, при n , справедлива следующая теорема: 134


Теорема 6 Пусть K (x) - функция с ограниченным изменением, плотность
распределения вероятностей f (x) равномерно непрерывна и ряд


e-nh

2

сходится при любом > 0. Тогда при n с вероятностью единица

n=1

Vn =

sup
-
|fn (x) - f (x)| 0

В нашем случае для оценки (16) эта теорема дает сходимость в метрике C[-,] . Таким образом, при выполнении соответствующих условий, рассматриваемые оценки сходятся в L2 и C[-,] .

5 Сравнение оценок функции плотности распределения вероятностей
Как уже отмечалось ранее, при использовании метода стохастической регуляризации, если в правой части уравнения (1) использовать эмпирическую функцию распределения вероятностей, изображенную на рис. 1, то в результате получается оценка (8), представляющая собой парзеновскую оценку с экспоненциальным ядром. Сравнительный анализ оценки (8) и оценки (15) показал, что оценка (15), построенная на основе непрерывного полигона (9) для выборок из любых распределений в некотором смысле лучше, чем оценка (8). В частности, оценка (15) дает заметно лучшее приближение в случае, когда в восстанавливаемой плотности распределения вероятностей имеются "узкие"пики или "тяжелые хвосты". Экспериментальное cравнение проводилось на выборках из нормального распределения, гамма распределения и распределения Коши. Преимущество новой оценки проявляется в большей степени при малых объемах случайной выборки. Чем меньше объем выборки, тем большее преимущество дает новая оценка (15). Многие авторы отмечают (см., например [12]), что даже самые незначительные изменения ширины колокола h могут "драматически"изменить парзеновскую оценку (17). В случае же предложенной в работе оценки (15), отклонения значения параметра регуляризации n от оптимального даже на порядок не приводят к таким драматическим изменениям, причем это справедливо в том числе и при очень малых объемах заданной выборки. Интересно было бы сравнить оценку (15) с парзеновской оценкой с ядром Епанечникова, которая имеет вид: n 1 3 (1 - (tj )2 ) , |tj | 1 x - zj 4 n p(x) = , где tj = . (18) j =1 0, |tj | > 1 135


При условии, что истинная плотность распределения вероятностей разлагается в ряд Тейлора в любой точке числовой оси [13], данная оценка является парзеновской оценкой с оптимальной в некотором смысле формой ядра K x-t . Сравнительный анализ двух оценок показал, что h новая оценка действительно имеет преимущества. В частности, оценка (15) гораздо устойчивее к изменениям параметра n , оценка (15) дает более качественное приближение при малых объемах выборки. Улучшение особенно заметно, когда восстанавливаемая плотность распределения вероятностей не является унимодальной. Так же интересно сравнить (15) с одной из наиболее часто применяемых парзеновских оценок - оценки с гауссовым ядром:

1 1 p(x) 2 n

n

e
j =1

-

t2 j 2

x - zj , где tj = .

(19)

Оценка (15) демонстрирует те же самые преимущества относительно парзеновской оценки с гауссовым ядром, что и по отношению к двум другим рассматриваемым оценкам. Детальный анализ всех четырех оценок показывает, что оценка (15) для выборок малого и очень малого объема дает заметное улучшение относительно существующих. Этими преимуществами являются устойчивость оценки относительно ее параметров, а также возможность более успешного ее применения к выборкам малого объема (порядка 20-40 элементов).

6 Заключение
Исследован метод стохастической регуляризации для случая, когда в качестве полигона берется специальным способом сконструированная функция. В результате получена новая оценка функции плотности распределения вероятностей по эмпирическим данным. Произведен сравнительный анализ новой оценки и наиболее часто употребляемых парзеновских оценок (с гауссовым ядром, экспоненциальным ядром и ядром Епанечникова). Предложенная оценка функции плотности распределения вероятностей по эмпирическим данным дает заметное преимущество относительно классических парзеновских оценок. Этими преимуществами являются устойчивость оценки относительно ее параметров, а также возможность более успешного ее применения к выборкам малого объема (порядка 20-40 элементов). Чем меньше заданная выборка, тем более заметное улучшение дает новая оценка. Исследована сходимость новой оценки. Практическая значимость полученных результатов заключается в применимости к решению комплексной проблемы 136


идентификации и управления битовым широкополосным пачечным трафиком в широкополосных цифровых сетях интегрального обслуживания.

Список литературы
[1] Page E.S. Continuous inspection schemes. - Biometrika, 1954, v. 41, N2, pp. 100-114. [2] Стефанюк А.Р. Об оценивании отношения правдоподобия. Статистические проблемы управления. Вып. 83, Вильнюс. ИМК АН ЛитССР, 1986. [3] Stefanyuk А.R., Morgenstern W. "Analysis methods for population characteristics: heterogeneity detection"Proceedings of the international Conf. "Modelling of Noncommunicable diseases: Methodological Issues"(19-21 Sept, 1994, Heildelberg, Germany) Heildelberg, 1996, pp. 17-27. [4] Vapnik V. Estimation of Dependences based on Empirical Data. Springer-Verlag. New York - Heidelberg - Berlin. 1982. [5] Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. Москва. Наука. 1986. [6] Айду Ф.А., Вапник В.Н. Оценивание плотности вероятностей на основе метода стохастической регуляризации. Автоматика и Телемеханика. N4, 1988, стр. 84-97. [7] Карандеев Д.А., Стефанюк А.Р. Выбор параметров настройки алгоритма при восстановлении функции плотности вероятности по эмпирическим данным. Автоматика и Телемеханика, N10, 1996, стр. 95-111. [8] Рао С. Линейные статистические методы и их применения. Москва. Наука. 1968. [9] Смирнов Н.В. Теория вероятностей и математическая статистика. Избранные труды. Москва. Наука. 1970. [10] Крейн С.Г. Функциональный анализ. Москва, Наука. 1972. [11] Надарая Э.А. О непараметрических оценках плотности вероятностей и регрессии. Теория вероятностей и ее применения, т. 10, вып. 1, стр. 199-203, 1965. [12] Silverman B.W. Choosing the window width when estimating a density. Biometrika, N 1, pp. 1-11, 1978. [13] Епанечников В.А. Непараметрическая оценка многомерной плотности вероятности. Теория вероятностей и ее применение, т. 14, вып. 1, стр. 156-161, 1969. 137