Документ взят из кэша поисковой машины. Адрес оригинального документа : http://qsft.phys.msu.ru/biblioteka/lecturesPS/presentations/presentation7.pdf Дата изменения: Mon Nov 30 00:21:48 2015 Дата индексирования: Sat Apr 9 22:49:25 2016 Кодировка: Windows-1251 Поисковые слова: солнечная корона

Линейный метод наименьших квадратов Оценка порядка регрессии

Теория вероятностей и математическая статистика

30 ноября 2015 г.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Содержание

1

Линейный метод наименьших квадратов Постановка задачи Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Содержание

1

Линейный метод наименьших квадратов Постановка задачи Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи Оценка порядка регрессии Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

2

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Постановка задачи

Оценки параметров распределений и аналитическая аппроксимация зависимостей на основе экспериментальных данных являются актуальными задачами математической статистики. Для их решения часто используется линейный метод наименьших квадратов. Мы рассмотрим его геометрическую и вероятностную интерпретацию. Естественной причиной использования вероятностных оценок является необходимость учета неточности измерений и влияния неконтролируемых факторов. Алгебраический аппарат метода наименьших квадратов в 1795 году создал Карл Гаусс в возрасте 18 лет. Его метод был успешно применен в 1801 г. для вычисления параметров орбит малых космических тел и с тех пор получил распространение в связи с его простотой и эффективностью.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Предположим, что изучается зависимость параметра y от параметра x (тока от напряжения, теплоемкости от температуры, намагниченности от внешнего поля, спроса от цены и т.п.). Погрешность измерений = (x ), вообще говоря, зависит от x , а проверяемая гипотеза состоит в линейной зависимости математической модели от параметров модели {bk }K=1 и базиса линейно независимых функций {ak (x )}K=1 : k k
K

ak (xn )bk = yn + n ,
k =1

1 n N.

(1)

В этих соотношениях известны все величины, кроме параметров модели {bk }K=1 , которые нужно определить, и k случайных ошибок {n }N=1 . Здесь N число экспериментов, а n K < N число параметров модели. Задачи определения K и bk называются задачами определения порядка и параметров линейной регрессии.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Число параметров bk желательно минимизировать за счет выбора базиса, так что условие K < N является стандартным предположением, и поэтому система

yn =
1k K

ak (xn )bk ,

1nN

(2)

переопределена и точного решения не имеет. Метод наименьших квадратов может быть обоснован, если погрешности измерений одинаково распределены, независимы, не содержат систематических ошибок и имеют конечную дисперсию. В частности, если

Pm (dx ) = Pn (dx ),

En = 0,

Em n = 2

m ,n

,

2 <

Эти предположения достаточны для обоснования основной формулы метода наименьших квадратов. Для оценки доверительных интервалов используется предположение о нормальности распределения ошибок.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Уравнение (1) относительно неизвестных в матричном виде

y1 y y = 2 . . . yN
2 2 E n = n



b1 , Ab = y + , где 1 a1 (x1 2 a1 (x2 , = , A = . . . N a1 (xN

..., b

K удобно записать

), . . . , aK (x1 ) ), . . . , aK (x2 ) . ... ), . . . , aK (xN )

Если ошибки измерения имеют различные дисперсии, например, , то производится перенормировка дисперсий с помощью линейных преобразований параметров системы (1):

yn yn /n , An,k An,k /n , n n /n .

(3)

Рассматриваемые ниже статистические критерии конструируются по аналогии с использованным ранее критериями Стьюдента или Фишера, имеющим вид отношений агрегированных случайных величин. Эти отношения не зависят от дисперсии поэтому можно считать, что

En =

2

n = = const,

и

1.
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Относительно прямоугольных матриц A MN ,K предполагается линейная независимость столбцов, так что rank A = K ,

K < N.

Это условие выполнено, например, в случае, если ak (x ) = x k -1 : k yn = y (xn ) = K=1 xn -1 bk + n . k Множество значений линейного отображения A : RK RN является K -мерным подпространством RK RN . Поскольку в общем случае вектор y = Ab - лежит в более широком пространстве RN , разность y - Ab не может иметь евклидову норму меньшую, чем норма разности между вектором y и его проекцией в RK . ~ Проекция y RN в RK RN определяется как y = Ab , где b 2: аргумент минимума функции ||y - Ab ||

b =

argmin

||y - Ab ||2

или b :

b

(y - Ab , y - Ab ) = 0.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Из последнего уравнения, находим

b

(y - Ab , y - Ab ) = -2AT y + 2AT Ab = 0,

b = (AT A)

-1

AT y .

Теорема 1

Псевдорешение уравнения

(1)

имеет вид
-1

b = argminb ||y - Ab ||2 = (AT A)

AT y

(4)

Оценка b = b - (AT A)-1 AT параметров b = {b1 , . . . , bK } является несмещенной, то есть E(b - b ) = 0. Ковариационная матрица погрешности решения равна E(b - b ) (b - b ) = (AT A)-1 . Доказательство
. Имеем

y = Ab -
-1

и

(AT A)-1 AT A = I

, поэтому

b = (AT A)-1 AT y = (AT A)
Отсюда и из

AT (Ab - ) = b - (AT A)

-1

AT .

(5)

E =

0 следует

несмещенность : E(b - b ) =

0.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Для доказательства рассмотрим матрицу O = (AT A)-1 AT . Учитывая, что b - b = (AT A)-1 AT , Em n = mn , получаем:
E(bk - bk )(bj - bj ) = E m

def

O O
km

km m n

Ojn n =
T Okm Omj = m -1 kj

Okm
m n

Ojn E m n =
m

Ojm =

= (AT A)-1 AT A(AT A)
def

-1 kj

= (AT A)

Если E k m = 2 km и = (AT A)-1 , то дисперсии оценок параметров модели и правых частей переопределенной системы уравнений равны
E(bk - bk )2 = 2 kk , E(yn - yn )2 = 2 (A AT )nn

(6)

где y = Ab . Докажем второе равенство (6).
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Действительно, учитывая, что
(AT A)
i ,l -1 ki

(AT )i l (AT )il = k i ,

l

(AT )i l (AT )il = (AT A)i i , AT = Ami и El l = 2 l l , получим im
E (yn -yn )(ym - ym ) = E (A(AT A) -1

AT )n (A(AT A) (A A)
T -1 ki T

-1

AT )

m

=
i ,i ,k ,k ,l

Ank (A A)
2

T

-1 ki

(A )il A
-1 ki

T

mk

(A )

il

E l l
il

= = =

Ank (AT A)
i ,i ,k ,k ,l

(AT )il Amk (AT A)-1 (AT ) ki =
2

2

Ani Amk (AT A)
i ,k

-1 ki T in

Amk (AT A)
i ,k mn

-1 ki

AT i

n

2

A
i ,k

mk

(AT A)

-1 ki

A

= 2 (AAT )

= 2 (AAT )

nm

в силу вещественности и симметричности матрицы AAT , где def = (AT A)-1 > 0. Отсюда, в частности, следует (6).
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

AT A

=

AT A

rank AT A = K

A(AT A)

-1

AT

=

(AT A) A

-1

AT

Нетрудно видеть, что если rank A = K , то матрицы AT A и A = A(AT A)-1 AT также имеют ранг K , причем A обладает свойством T 2 проектора A = A = A и проектирует любой вектор на линейную оболочку векторов столбцов матрицы A. Последнее утверждение следует из того, что образ линейного отображения A является состоит из элементов линейной оболочки векторов-столбцов матрицы A.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Упражнение 1 Убедитесь, что если дисперсия погрешности измерений одинакова для всех точек и равна , то

P (b - b B ) =
B

e

-

(x ,(AT A)-1 x ) 2 2 K
2

(2 ) (det

2

AT

A)

1 2

dK x.

(7)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Псевдорешения и проекторы
Из (4) имеем

Ab = y + , b = (AT A)-1 AT (y + ) y = Ab = A(AT A)
-1

и

Поэтому правая часть уравнения для псевдорешения

b = (AT A)-1 AT y b равна

.

AT (y + - ) =
(8)

= A(AT A)-1 AT (Ab - ) = y + - A(AT A)-1 AT = = y + (I - A(A A)
усредненной правой частью: Операторы

T

-1

A ) .
0.

T

Следовательно, м. н. к. дает несмещенное решение уравнения с

E(y - y ) =

0и

E(b - b ) =
-1

A = A(AT A)
что

-1

AT , R
N

A = I - A(AT A)
в

AT
N -K
такие,

ортогональные проекторы из

R

K

и

R

N

RK = R

T A = A ,

2 A = A ,

A A = A,

A A = A A = 0.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Обычно в состав базиса функций {ak (x )}K входит константа, 1 т.е. один из столбцов матрицы A равен e = {1, . . . , 1} RN и, следовательно, A e = e . Из него, в частности, следует
def

e A = A e = e ,

e y = e A y = e y .


(9)

Для вычисления доверительных интервалов параметров b используются следующие величины:

Q = |(I - e )y |2 , Q1 = |y - e y |2 = |(A - e )y |2 , Q2 = |y - y |2 = |(I - A )y |2 .

(10)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

y
Геометрическая интерпретация этой формулы состоит в том, что

Q, Q

1и

Q2

являются квадратами длин гипотенузы и катетов прямоугольного треугольника на рис. 1

Q Range A = RK e y Q1

Q2

Q = |(I - e )y |2 , Q1 = |y - e y |2 = |(A - e )y |2 , Q2 = |y - y |2 = |(I - A )y |2 ,
(11)

A y


y = Ab = A y ,
Рис. 1: Вектор



y - y = (A - I )y
-1 AT ) = A .



y

и его проекции

= (I - A(A A)

T

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Катеты, отвечающие Q1 и Q2 , лежат в RK и RN -K соответственно. Длина катета Q2 равна нулю, если случайные ошибки отсутствуют. Чем больше величина

R2 =

Q1 (0, 1] Q

(12)

называемая коэффициентом детерминации Пирсона, тем меньше разности |y - y | и |b - b |. Поэтому отклонение Q1 называется объясненным, так как оно равно квадрату длины разности между проекциями y на e и Range A, а случайное отклонение Q2 называется необъясненным или остаточной суммой квадратов1 , так как оно равно квадрату длины проекции на неконтролируемые компоненты вектора ошибок, принадлежащие RN -K .

coecient of determination.

1

В англоязычной литературе употребляется соответствующий термин
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Распределение коэффициентов МНК

Следующая теорема позволяет описать доверительные интервалы, содержащие компоненты неизвестного вектора b . Теорема 2 Если компоненты вектора независимые д. с. в. из N (0, ), то 1. вектор {bk - bk }K = b - b = (AT A)-1 AT и 2-форма 1 Q2 = ( , (I - A ) ) = |y - y |2 являются независимыми с. в.; 2. компоненты {bk - bk } являются зависимыми д. с. в. из 1/2 N (0, kk ), kk = (AT A)-1 (см. (6)), Q2 2 -K ; N kk 3. распределения д. с. в.

tk =

bk - bk , ck

ck =

def

Q2 kk , N -K

Q2 = |y - y |
-K

2

(13)

совпадают с распределением Стьюдента ptN
А.М. Чеботарев, Физический факультет МГУ

(x ).

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Доказательство
hb
-b ,Q2

. 1) Пусть w RN какое-либо решение системы AT w = u . Вычислим х. ф. = b - b и Q2 :
(u , v ) = E e = = =
i (u ,b -b )+ivQ2

= d = d =

1
(2 2 ) 1 (2 ) 1
2

N

2

e e e

-

| |2 2 2 | |2 2 2

+i (u ,(AT A)-1 AT )+iv (,(I -A ))

-

+i (AT w ,(AT A)-1 AT )+iv |(I -A )|2

N

2

(2 )

N

| |2 - 2 +i (w ,A )+iv 2 |(I -A )|2

2

d =

=e =e

| w |2 - 2 A 2

(1 - 2iv 2 )

- N -K 2 -

=
N -K

- 2

(u ,(AT A)-1 u )

2

(1 - 2i 2 v )

2

= h

(b -b )

(u ) hQ2 ( 2 v ).

Для u = {0, . . . , 0, uk , 0, . . . , 0}, отсюда следует, что bk - bk N (0, (kk )1/2 ) и Q2 2 -K 2 независимые д.с.в. Отсюда N следуют утверждения 1, 2, 3.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Следствие 1 а) Если значение x определяется из условия


p
x

N 0, kk

(x )dx =

2

,

(14)

то CI , содержащий bk с вероятностью 1 - равен
CI = [bk -



kk

x , bk +



kk

x ].

(15)

б) Если ошибки измерения n имеют дисперсию , A матрица системы (8) и Q2 = (y , (1 - A )y ), то случайная величина
k =
bk - bk , ck

def

ck =

def

Q2 kk , N -K

= (AT A)

-1

(16)

не зависит от и имеет распределение Стьюдента (14) ptN
А.М. Чеботарев, Физический факультет МГУ

-K

.

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Докажем первое утверждение. Поскольку компоненты {bk - bk } 1/2 имеют распределение N (0, kk ), kk = (AT A)-1 , то kk производя замену переменной, получим P bk - bk [-x x

2 2 kk , x
kk

2 2 kk ]

2 2

=
-x



e

-

y

2

2 2

kk

2 2

kk

2 2

dy = 1 - =

x -x

kk

e- dx , 2
2

x

2

что соответствует определению доверительной вероятности. b -b Независимость распределения k = k ck k от дисперсии следует из линейной зависимости от числителя и знаменателя, а оценка числа степеней свободы этой случайной величины совпадает с рангом проектора I - A , точно также как было в теореме Стьюдента для распределения выборочного среднего, в которой при выборочной оценке дисперсии терялась одна степень свободы для вычисления выборочного среднего.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Напомним, что распределение Стьюдента с n степенями свободы имеет плотность

ptn (x ) = C

n

x2 1+ n

-

n+1
2

,

n+1 Cn = 2 n

n

2

и при n сходится к нормальному распределению N (0, 1).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Пример 1

В качестве примера рассмотрим решение задачи об аппроксимации полинома четвертого порядка (K = 5) по его значениям в N = 20 случайных точках {xn }N=1 , равномерно n распределенных на отрезке [0, 2]. Для тестирования формулы (15) использовался полином

f (x ) = 0.285 + 0.560 x - 1.976 x 2 - 1.696 x 3 + 1.142 x

4

при наличии независимых нормально распределенных ошибок измерения его значений, имеющих дисперсию 2 = 0.09. def k Для матрицы A = {xn } построен проектор A и найдены диагональные элементы kk :

|

diag

= {4.35, 94.1, 188.0, 53.3, 1.679}, Q2 = |y - y |2 = 0.76 b = {0.326, 0.046, -1.760, -1.633, 1.116}.

Значения коэффициентов bk , найденные МНК, равны
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

12 10 8 6 4

0.10 0.05 0.00 0.05

2 0 2 0.0 0.5 1.0 1.5 2.0 2.5

0.10 0.15 0.0 0.5 1.0 1.5 2.0 2.5 3.0

Рис. 2:

Значения тестовой функции

f (x )

плюс случайные

возмущения



n (слева) и разность между неизвестной функцией и

аппроксимирующим полиномом, полученным методом наименьших квадратов (справа).

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Порядок полинома и дисперсия погрешности известны. Это позволяет вычислить значения доверительных интервалов для коэффициентов

{bk },

содержащие неизвестные коэффициенты

{bk }

с вероятностью

соответствует значение

= 0.9, которой x = 1.34 (см.

в случае (14)):

N=

20,

K=

5

diag = {2.68, 60.39, 107.7, 26.6, 0.732}, Q2 = 0.59, Q2 kk , c = {0.1, 2.22, 3.97, 0.98, 0.027}, CIk = bk + ck x , ck = N -K CI = {(0.2, 0.45), (-0.55, 0.65), (-2.56, -0.96), (-2.03, -1.24), (1.05, 1.18)}.
Доверительные интервалы

b = {0.

326, 0.046,

CI точек, найденных МНК -1.761, -1.632, 1.116}, накрывают
976,

точки

b = {0.285, 0.560, -1. Q=
643.6,

-1.

696, 1.142}.

Пирсона равен

Q1 = 643.0. При этом R 2 = Q1 = 0.999, Q

коэффициент детерминации что является весьма

оптимистическим результатом на фоне
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

1.0 0.5 0.0 0.5 1.0 1.5 2.0 2.5 1 2 3 4 5

Рис. 3:

Значения коэффициентов полинома 4-й степени (черные

точки) и их оценка МНК (синие точки). Значения погрешности,

CIk = {bk + x ck }, указанные вероятность p < 0.2 для каждой

выходящие за пределы доверительных интервалов вертикальными отрзками, имеют точки.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Упражнение 2.

Упражнение 2 Пусть {(xn , yn )}N=1 набор независимых значений случайных n величин (x , y ). Гипотеза состоит в наличии линейной корреляции y = b0 + b1 x . Показать, что м. н. к. дает следующие значения параметров b0 и b1 :
b0 = y N

-x

N b1

,

b1 =

(x - x (x - x

N N

,y - y ,x - x

N N

) , )

(17)

где (x , y ) =

y

N

def 1

N n=1 xn yn N n =1 y n

скалярное произведение в RN , а

=

N

.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Постановка задачи Линейный метод наименьших квадратов Оценка порядка регрессии Псевдорешения и проекторы Распределение коэффициентов МНК Примеры и задачи

Упражнение 3.

Упражнение 3 Показать, что диагональные элементы матрицы = (AT A)-1 в предыдущей задаче (K = 2) принимают значения



1,1

=

N x2

-1 N

x2 N , -x2 N



2,2

=

N x
2
N

-1

-x

2

.

(18)

N

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Метод Форсайта

Удобным средством решения задач о коэффициентах линейной регрессии и ее порядке является метод ортогональных полиномов Дж. Форсайта. Предполагается, что функция x k может быть выражена через линейную комбинацию независимых полиномов Gj (x ) порядка j {0, 1, . . . , k }, образующих ортонормированную систему на сетке, состоящей из точек {xn }N : 1
N

Gk (xn )Gj (xn ) = (Gk , Gj ) = kj ,
n =1

1 k K.

Такая система строится рекуррентным образом:2
Рассматриваемый ниже алгоритм построения ортонормированных систем, приводящий операторы в гильбертовом пространстве к трехдиагональному виду, известен как . Существует его обобщение для банаховых пространств.
2

алгоритм Ланцоша

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Пусть

1 , G2 (xn ) = g2 ћ xn - 1 m xm . При k 2 будем N N искать базисные сеточные функции Gk +1 (x ) в виде линейных

G1 (xn ) =

комбинаций 3-х функций

Gk

-1 ,

Gk

и

xGk

:

Gk

+1

(xn ) =gk

+1

ћ xn ћ Gk (xn ) - (Gk , xGk ) ћ Gk (xn )-
(19)

- (Gk , xG
Множитель Лемма 1

k -1

) ћ Gk

-1

(xn ) .
N n=1

g

k +1 определяется из условия

2 Gk +1 (xn ) =

1

k

.

Сеточные полиномы Gk образуют ортонормированную систему. Операторы k : k = Gk ћ (Gk , ) являются ортонормированными проекторами. Доказательство
. Нетрудно видеть, что полиномы

G1 , G2

и

G3

ортонормированы. Предположим, что условие ортонормированности выполнено для полиномов

G1 , . . . , Gk

, и покажем, что

Gk

+1 и

G1 , . . . , Gk

ортогональны.
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Поскольку

(Gj , Gj ) =

1и

(Gi , Gj ) =

0 при

i, j k, i = j

, то

(Gk +1 , Gk ) =(Gk , xGk ) - (Gk , xGk )(Gk , Gk )- gk +1 - (Gk , xGk -1 )(Gk -1 , Gk ) = 0, (Gk
+1

, Gk

-1

)

(20)

g
т. к.

k +1

=(Gk , xGk

-1

) - (Gk , xGk )(Gk , Gk )(Gk
-1

-1

)-

- (Gk , xG (Gk , Gk
-1

k -1

, Gk

-1

) = 0,

)=

0и

(Gk , Gk ) =

1. Итак,

(G1 , G2 ) = (G1 , G3 ) = (G2 , G3 ) = (G2 , G4 ) = (G3 , G4 ) = 0. xG1 =
Покажем, что (G1 , G4 ) = 0, пользуясь тем, что G2 g2 + (G1 , xG1 )G1 :

(G1 , G4 ) = g4 (G1 , xG3 ) - (G1 , G3 )(G3 , xG3 ) - (G1 , G2 )(G2 , xG3 ) = g4 (xG1 , G3 ) = g4
1

g2

(G2 , G3 ) + (G1 , xG1 )(G1 , G3 )

= 0.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Теперь предположим, что (Gm , Gk ) = 0 при m < k и докажем по индукции, что (Gm , Gk +1 ) = 0 при m < k + 1, причем достаточно показать, что (Gm , Gk +1 ) = 0 при m < k - 1, так как (Gk -1 , Gk +1 ) = (Gk , Gk +1 ) = 0 в силу (20). Из (Gk , Gm ) = 0 при m < k и (19) имеем

(Gk +1 , Gm ) = (Gk , xGm ) - (Gk , xGk )(Gk , Gm )- gk +1 -(Gk , xGk -1 )(Gk -1 , Gm ) = (Gk , xGm ) = = Gk , (Gm , xGm ) Gm + (Gm
-1

, xGm ) Gm

-1

+

Gm+1 gm+1

=0

при m + 1 < k потому, что скалярные произведения (Gk , Gm ), (Gk , Gm+1 ) равны нулю по предположению индукции.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Теорема 3

Пусть A = {An,k } (N Ч K )-матрица An,k = Gk (xn ), Gk (xn ) -система ортонормированных сеточных полиномов, а компоненты вектора N (0, ) независимы. Тогда AT A = I , где I единичная (K Ч K )-матрица и

A = AAT , b = AT y = {(G1 , y ), . . . , (GK , y )}, y = AAT y = A y ,
(21)

а компоненты вектора b - b = AT независимы:

E(b - b ) = 0, E(b - b ) (b - b ) = 2 I , y - y = (I - AAT ) , E(y - y ) (y - y ) = 2 (I - AAT ).
Остаточная сумма квадратов Q2 и ее ожидание E Q2 равны

(22)

Q2 = |y - y |2 = |y |2 - |b |2 ,
А.М. Чеботарев, Физический факультет МГУ

E Q2 = 2 (N - K ).

(23)

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Доказательство

. Вычислим матричные элементы

G1 (x1 ) G2 (x1 ) G1 (x2 ) G2 (x2 ) A= ћћћ ћћћ G1 (xN ) G2 (xN )
N



ћ ћ ћ ћ

ћ ћ ћ ћ

ћ ћ ћ ћ ,

GK GK ћ GK

AT A: ( x1 ) ( x2 ) , ћћ (xN ) AT A = I

(AT A)km =
n=1
Поэтому

Gk (xn )Gm (xn ) =

km

то есть

A = A(AT A)-1 AT = AAT и из теоремы 2 и формул (6) T T T -1 T следует b = A y , y = AA y вместо b = (A A) A y, T -1 T y = A(A A) A y , а также несмещенность и некоррелированность
коэффициентов линейной регрессии:

E(b - b ) = 0,

E(b - b ) (b - b ) = 2 (AT A)-1 = 2 I,

E(y - y ) (y - y ) = 2 (I - AAT ).
Если ошибки измерений независимы и распределены нормально, то оценки коэффициентов

b

k являются независимыми д.с.в. из

N (0, )

.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Вычислим д. с. в. Q2 и ее ожидание, учитывая, что AT A = I , 2 A = A = AAT , E = 0, |Ax |2 = (x , AT Ax ) = |x |2 и (I - AAT )Ab = 0:

Q2 = |(I - A )y |2 = |y |2 - |AAT y |2 = |y |2 - |AT y |2 = |y |2 - |b |2 ,
где b = AT y ,

A = AAT и

E Q2 = E |(I - AAT )y |2 = E (Ab + ), (I - AAT )(Ab + ) = E (Ab + ), (I - AAT ) = Ab , E(I - AAT ) + E , (I - AAT ) =
2

rank

(I - AAT ) = 2 (N - K )

в силу сферической симметрии нормального распределения, если компоненты N (0, ) независимы.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Упражнение 4 Совпадают ли при фиксированных x = {xn }N сеточные 1 полиномы одного и того же порядка,
K

PK ( x ) =
k =1

bk x

k -1

,

b = (AT A)-1 AT y , b = AT y ,

Akn = ak (xn ),

K

PK (x ) =
k =1

bk Gk (x ),

Akn = Gk (xn ),

построенные ak +1 (x ) = x k полиномами gk +1 xn Gk (x

по формулам (4) с независимыми функциями или (21) c ортогональными сеточными Gk +1 (x ) = n ) - (Gk , xGk ) Gk (xn ) - (Gk , xGk -1 ) Gk -1 (xn ) ?
Кафедра Квантовой статистики и теории поля

А.М. Чеботарев, Физический факультет МГУ


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Изменение порядка регрессии

b = AT y необходимо варьировать значение K . Поэтому размер базиса K вводится как переменная остаточной суммы квадратов Q2 = Q2 (K ). В силу ортогональности сеточных полиномов Gk , коэффициент при полиноме степени K + 1 не зависит от коэффициентов при полиномах младших степеней k K :
Для выбора порядка линейной регрессии

K

PK

+1

(x ) =
k =1

Gk (x )bk + GK

+1

(x )bK N

+1

= PK (x ) + GK

+1

(x )bK

+1

,

bk = (Gk , y ) = n=1

Gk (xn )yn ,

k = 1, . . . , K + 1.
(24)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Лемма 2

Предположим, что истинный порядок регрессии не превосходит K . Если дисперсия компонент вектора не задана, то ее несмещенной ( 2 оценкой является = Q2-K ) , где NK

Q2 = (y , (I - AAT )y ) = |y |2 -

K k =1

|bk |2 = Q2 (K ) (N -K ) 2

N k =K +1

|bk |2 ,

b = AT y .

Если n N (0, ), то д. с. в. k = имеет распределение 2 -K и, в силу теоремы 2, случайные величины bk независимы. N
+ Если среднее значение K 1 равно нулю, то распределение 2 . В этом случае 1

b



(b

K+

2

2 1)

имеет

f=

(b

2 K +1 )

(N - K ) f Q2 (K )

1,N -K

.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

2 Доказательство . Выражение для несмещенной оценки следует из (23). Если порядок полинома K равен числу точек N , то система (1) число уравнений в системе (1) равно числу неизвестных. Поскольку система имеет точное решение, то Q2 (K )|K =N = 2 (N - K )|K =N = 0 = |y |2 - N=1 |bk |2 . Поэтому k 2
N k =1 |bk |2 N 2 k| N |bk |2 ,

Q2 (K ) =|y | -

+
k =K +1

|b
2

=
k =K +1

(25)

E Q2 (K ) =E|(I - A ) |2 =

Tr

(I - A ) = 2 (N - K ).

Если N (0, ) и Ek j = 2 kj , то последнее равенство означает, что Q2 (K )/ 2 2 -K . N

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Заметим, что ковариационная матрица случайных величин (bk - Ebk )/ равна IK . Действительно, учитывая, что b = AT y = AT (Ab + ) = b + AT и AT A = IK , получим
E(bk - Ebk )(bj - Ebj ) = E(AT )k (AT )j = 2 (AT A)kj = 2 kj .

Для нормально распределенных случайных величин k c нулевым средним отсюда следует независимость bk и закон 2 для (b )2 / 2 . распределения 1 k Учитывая (25) и независимость компонент случайных псевдорешений bk , находим распределение Стьюдента или Фишера для отношений bK +1 / 2 или (bK +1 )2 / 2 к Q2 (K )/(N - K ) 2 при условии EbK +1 = 0:
t = bK +1

N -K tN Q2 (K )

-K

,

f = (bK

+1

)

2

N -K f1, Q2 (K )

N -K

.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Последний результат используется для проверки гипотезы о порядке регрессии: если значение K выбрано верно, то все последующие коэффициенты bK +j или (bK +j )2 принимают небольшие значения и имеют распределения Стьюдента или Фишера соответственно:

b

K +1

N -K t Q2 (K )
(b


N -K

,

(bK

+j

)2 (N - K )

Q2 (K )

f

1,N -K

.

Например, квадрат K +j (K Q в доверительный интервал

)2 (N -K ) ) 2

с вероятностью 1 - попадает
x

P 0 (b
где pf
1

2 K +1 )

N -K x Q2 (K )
Q2 (K ) N -K

=

0

pf

1,N

-K

(x )dx = 1 - ,

,N -K

(x ) плотность распределения Фишера, то есть
.
Кафедра Квантовой статистики и теории поля

(bK +j )2

[0, c x ], где c =

А.М. Чеботарев, Физический факультет МГУ


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

NK Аналогично, bK +j Q -K ) с вероятностью 1 - попадает в ( доверительный интервал
2

P 0 bK

+j

N -K x Q2 (K )

x

=

0

p

tN

-K

(x )dx = 1 - ,

где ptN
bK +j

-K

(x ) плотность распределения Стьюдента, то есть
Q2 (K ) N -K

[0, c x ], где c =

.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Примеры аппроксимации экспериментальных данных

Пример 1 Рассмотрим задачу об определении коэффициентов полинома P3 (x ) на равномерной 15-и точечной сетке с шагом h = 0.2 на [-2, 1] при наличии ошибок из N (0, 0.1) методом ортогонализации Форсайта.
Othonormal basis
0.4 0.2 0.0 0.2 0.4 2.0 1.5 1.0 0.5 0.0 0.5

Errors of measurements
12 10 8 6 4 2 0 2.0 1.5 1.0 0.5 0.0 0.5
0.15 2.0 0.10 0.05 0.00

Error of approximation

1.5

1.0

0.5

0.0

0.5

Рис. 4:

Слева 6 ортонормированных полиномов на равномерной

сетке. На втором графике функция дисперсией

= 0.1 ( = 0.01)

2

f (x ) = 1 + x + 0.5x 2 - 1.5x

3с

и экспериментальные точки. Справа

погрешность аппроксимации
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

В системе Mathematica существует простая процедура построения аппроксимации методом наименьших квадратов, не предполагающая создания отчета:
fit[Transpose[{X , Y }], basis, x].
Basis 1

b

k

bk -estimate of b
1.0026 1.036 0.711

k

SE

k

TStat

k

PValue
10

1 1 0.5 -1.5 0 0

0.0578 0.157 0.268 0.236 0.341 0.111

17.346 6.574 2.649

-8

k

x x2 x3 x4 x5

0.0001 0.0265 0.000216 0.761 0.623

-1.405 -0.107 -0.0562

-5.947 -0.314 -0.508

Таблица показывает, что вероятность нулевых значений b4 и b5 весьма велика.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

SE аббревиатура от standard error (также residual mean square) 2 указывает оценку дисперсии ошибок k : k = (AT A)-,1 , т.е. kk оценки диагональных элементов матрицы . PValuek вероятность превышения значения tk = TStat k bk -b статистикой Стьюдента c k в предположении, что k -й k коэффициент bk равен нулю: bk - b Q2 def tk = k , ck = k ,k , Q2 = |y - y |2 . N -K ck Вероятность такого события можно оценить по формулам (13), позволяющим исключить значение дисперсии в случае одинаково распределенных ошибок измерения:


P (tk > TStatk ) =
TStat
k

p

tN

-K

(x )dx = PValue

k

при TStatk > 0, либо аналогичная вероятность P (tk < TStatk ) при TStatk > 0.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Для вывода таблицы доверительных интервалов в системе Mathematica используется процедура

Regress[Transpose[{X , Y }],basis,x, ConfidenceLevel->p, RegressionReport -> MeanPredictionCITable]
Эта таблица представляет коридор, в котором должны лежать значения аппроксимирующих полиномов при заданном значении доверительной вероятности задано

p = 0. yn

95). При заданном

p = 0. p

9 (по умолчанию в программе доверительный коридор

CI

n для

аппроксимирующего полинома содержат все экспериментальные значения . Программа оценивает дисперсию ошибок EstimatedVariance > 0.0120211 (см. формулировку следствия 2), что весьма близко к точному значению коэффициент детерминации 2 = Q2 (см. (23)):

R

2 (см. (12)) и оценку дисперсии

2 = 0.01.

Отчет о содержит

N -K

RSquared->0.9994, EstimatedVariance->0.012.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Observed y
12.8235 9.37768 7.01906 4.6498 2.87352 1.77372 1.60048 0.599575 0.535154 0.263458 0.767096 1.04149 1.67299 1.59543 1.43959

n

Predicted yn
12.8435 9.42912 6.77115 4.70898 3.12975 1.95742 1.14194 0.648408 0.446199 0.498138 0.74964 1.11787 1.48087 1.66675 1.4428

SE

n

CI

n

0.224383 0.152202 0.148457 0.125137 0.123151 0.127465 0.120695 0.114332 0.120695 0.127465 0.123151 0.125137 0.148457 0.152202 0.224383

(12.4321, 13.2548) (9.15012, 9.70812) (6.49901, 7.04329) (4.47959, 4.93837) (2.904, 3.3555) (1.72376, 2.19108) (0.920696, 1.36319) (0.438825, 0.857992) (0.224951, 0.667447) (0.26448, 0.731796) (0.523891, 0.975389) (0.888475, 1.34726) (1.20873, 1.75301) (1.38775, 1.94575) (1.03149, 1.85412)

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Пример 2 Рассмотрим экспериментальные данные о зависимости давления P насыщенного пара метана от T :
T P
110 100 90 80 70 0 20 40 60 80 100

0.1 66.2

0.2 69

0.5 73.1

1 76.5

2 80.3

5 85.9
110. 100. 90. 80. 70. 0.1

10 90.7

20 96

50 104.1

100 111.2

1.

10.

100.

Рис. 5:

Зависимость давления насыщенного пара от температуры в

обычных (слева) и двойных логарифмических координатах (справа)
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Второй график подсказывает, что целесообразно сначала построить линейную аппроксимацию в двойных логарифмических координатах x = log T , y = log P . Результат использования модуля Regress выглядит следующим образом:

y (x ) = 4.337 + 0.0678x + 0.00243x 2 + 0.000079x 3 - 0.0000124x 4 .
Estimate of bk
1 4.3376 0.0679 0.00229

SE

k

TStat

k

PValue
0 4.8ћ10

k

0.00012 0.00013 0.00004 0.000025 5.181ћ10

35427.7 524.33 56.88 3.34466 1.85

x x2 x3 x4

-13 -8

3.19ћ10

-0.000085 -6 9.58ћ10

-6

0.021 0.123

Последняя колонка содержит вероятности того, что истинные значения коэффициентов равны нулю. Коэффициент b4 = 9.58 ћ 10-6 можно считать равным нулю, хотя вероятность ошибиться, делая такой выбор, равна 1 - PValue5 = 0.87.
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

110 100 90 80 70 0 20 40 60 80 100

Рис. 6:

Теоретическая кривая и экспериментальные данные

P (T ).

Справа график, иллюстрирующий понятие стандартной ошибки.

SE

аббревиатура от

standard error

указывает оценку дисперсии

ошибок



: центрированные отрезки

[-, ]

и

соответствуют вероятностям 0.682 и 0.9 распределения

[-1.645, 1.645 ] N (0, ). k
-й

PValue tk =

k значение статистики Стьюдента в предположении, что

коэффициент

bk

равен нулю:

bk - bk , ck

PValuek = tk |

bk = 0

,

ck =

def

Q2 N -K
0 pk =

k ,k

,

Q2 = |y - y |2 . pt
N -K

Вероятность такого события можно оценить
А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля

0

PValk

(x )dx

.


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Учитывая, что значение коэффициента детерминации весьма велико (R 2 = 0.999), в качестве удовлетворительной аппроксимации экспериментальных данных можно принять зависимость

P3 (T ) = 76.522 ћ T

0.0678+0.00243 log T +0.000079 log2 T

.

(26)

Абсолютные значения погрешности |P (Tn ) - P3 (Tn )| в точках измерений не превосходят следующих значений: {0.001, 0.006, 0.015, 0.016, 0.006, 0.004, 0.014, 0.015, 0.007, 0.002}.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Пример 3 Рассмотрим данные о распределении спектральной интенсивности S потока солнечного излучения на верхней границе атмосферы в зависимости от длины волны изображенные на рис. 7
8 6 4 1000 500 0 100 200 300 400 500 600 700 2 0 100 200 300 400 500 600 700 2500 2000 1500

Рис. 7:

Экспериментальная зависимость

S ()

и log

S ()

от длины

волны и ее аналитическую аппроксимацию

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Вблизи точки = 48 нм распределение имеет острый максимум S = 2074 Вт/см2 ћмкм. Для аппроксимации этой зависимости использовался базис

{1, f ()(1 - 48 ()), f ()48 (), f

4/5

()48 ()},

где f () = ln 2074 ћ ln 48 , y (x ) = {0 при x < y , 1 при x > y }. Таблица экспериментальных данных содержит около 70 точек, и мы приводим вместо нее графики S () и log S (), на которые наложена аппроксимирующая функция, построенная методом наименьших квадратов. Аналитическое выражение найденной кривой имеет вид

ln S () = 7.816 + 3.237 f

4/5

()48 ()+

+ 4.653 f ()(1 - 48 ()) - 5.437 f ()48 ().
А.М. Чеботарев, Физический факультет МГУ Кафедра Квантовой статистики и теории поля


Линейный метод наименьших квадратов Оценка порядка регрессии

Метод Форсайта Изменение порядка регрессии Примеры аппроксимации экспериментальных данных

Значение коэффициента детерминации равно R 2 = 0.983, что указывает на удовлетворительное качество такого решения. Данный пример интересен выбором базиса, состоящего из различных функций справа и слева от точки = 48 нм. Заметим также, что наблюдаемое распределение существенно отличается от распределения Бозе для излучения черного тела при выборе масштаба, обеспечивающего положение максимума в точке = 48 нм. Этот факт является следствием смещения спектра излучения черного тела за счет спектров излучения химических элементов, присутствующих в солнечной короне.

А.М. Чеботарев, Физический факультет МГУ

Кафедра Квантовой статистики и теории поля