Документ взят из кэша поисковой машины. Адрес оригинального документа : http://www.sao.ru/precise/Laboratory/Dis_akn/node99.html
Дата изменения: Thu Jul 8 15:31:51 1999
Дата индексирования: Tue Oct 2 02:37:04 2012
Кодировка: koi8-r

   
Робастная оценка шума

При автоматической обработке KISS данных часто приходится оценивать шум фона двумерных изображений (как прямых, так и спектральных) для запуска процедуры построения 2D фона ночного неба (раздел 4.4.4), для построения изображений-масок необходимых при адаптивной фильтрации (раздел 4.4.4), или при извлечении одномерных спектров (раздел 4.4.4). При этом на распределение фона ночного неба, дисперсия которого и определяется, накладывается распределение объектов (прямых изображений или спектров), что приводит к искажению оценки шума, увеличивая ее. Поэтому, для оценивания шума в обработке KISS, используются алгоритмы из семейства робастных алгоритмов, широко используемых в настоящее время для анализа данных на фоне аномальных (импульсных) помех (Hampel et al. 1986). В основном, эти алгоритмы основаны на порядковых статистиках (Дэйвид 1979), но очень часто используются эмпирические оценки.

При использовании робастных алгоритмов всегда возникает противоречие между степенью робастности, то есть нечувствительности реализуемой оценки к экстремальным значениям выборки, и эффективностью этой оценки. Под эффективностью оценки понимается отношение дисперсии классической оптимальной линейной оценки (например, выборочного среднего) к дисперсии оценки, реализуемой с помощью рассматриваемого алгоритма. При этом сравнение оценок производится при отсутствии аномальных значений в исходной выборке.

Условно робастные методы можно разбить на два подкласса:

• методы с устранением аномальных значений при помощи некоторого критерия значимости, то есть "редактирования" исходных данных;
• методы без устранения аномальных значений.

Используемые алгоритмы принадлежат ко второму классу и позволяют реализовать достаточно быстрые робастные процедуры. В первом из этих алгоритмов используется probable deviation ( $med (\vert x-\overline{x}\vert)$, где $\overline{x}$ -- это среднее для входного распределения) (Korn & Korn 1968). Далее этот алгоритм будет называться AMD-оценкой (Absolute Median Deviation). Если $\sigma$ -- это стандартное уклонение, тогда для AMD-оценки, в случае нормального распределения, известно, что:

$$\sigma_{AMD} \approx 0.674\:\sigma$$ (4.19)

AMD-оценка давно используется в потоковой обработке наблюдений радиотелескопа РАТАН-600 (Ерухимов 1988a). Количественный анализ этого алгоритма (Ерухимов 1988b), проделанный для случая нормального шума на фоне пуассоновского потока импульсных помех, показал устойчивость данной оценки, качество которой практически не зависит от интенсивности и уровня (амплитуды) помех.

Программа, использующая AMD-оценку состоит из следующих основных шагов:

1.

Входной массив (2D или 1D) данных разбивается на N интервалов по K точек в каждом (параметр $\mu$ далее);

2.

Для каждого интервала $i=1,\ldots,N$ вычисляются:

(a)

медианная величина для входного распределения: $M_i = med\:(y_j, j=1,\ldots,K)$;

(b)

медианная величина для распределения абсолютных уклонений:
$\xi_i = med\:(\vert y_j - M_i\vert, j=1,\ldots,K)$

3.

С использованием уравнения 4.19 вычисляется $\sigma$:

$$\sigma = \frac{\sigma_{AMD}}{0.674} = \frac{med\:(\xi_i, i=1,\ldots,N)}{0.674}$$ (4.20)

Как отмечалось выше, KISS редукция использует и другие робастные оценки шума, которые выбираются входным параметром команды NOISE/IMAGE (раздел 4.4.5):

• Гистограммная оценка ( $\sigma_{His}$) -- эмпирическая оценка, разработанная автором. Алгоритм состоит из следующих шагов:

  1.

  Для входного массива данных (2D или 1D) определяется медианная величина;

  2.

  Для этого массива строится гистограмма;

  3.

  Построенная гистограмма приближается Гауссианой, а медиана берется как начальное приближение для положения центра. Параметр $\sigma$ этой функции берется в качестве оценки шума входного распределения.

• Взвешенная оценка ( $\sigma_{W}$) -- другая эмпирическая оценка, созданная Шергиным В.С. (Шергин 1993), когда оценка шума для входного распределения вычисляется с учетом веса для каждой входной точки. Для входного распределения, состоящего из N точек $x_1,x_2,\ldots,x_N$ и входного массива весов, состоящего также из N точек $w_1,w_2,\ldots,w_N$, оценка вычисляется по формуле:
  

  $$\sigma = \sqrt{\sum_{i=1}^{N}{(x_i^2*w_i)}/(\sum_{i=1}^{N}{w_i}-1)}$$ (4.21)

  
  

  Массив весов вычисляется любой другой процедурой (например, командой THR/AIP для построения мультиуровневой маски), а во входном изображении должна быть убрана постоянная составляющая фона. Веса изменяются в области [0:1].

• 3-точечная оценка ( $\sigma_{3p}$) -- самая быстрая оценка, когда время работы алгоритма прямо пропорционально размеру входного массива. Однако, эта оценка обладает наименьшей степенью робастности. Для входного распределения, состоящего из N точек $x_1,x_2,\ldots,x_N$, оценка вычисляется по формуле:
  

  $$\sigma = \sqrt{ \frac{\sum_{i=1}^{N-1}{(x_i-(x_{i-1}+x_{i+1})/2)^2}}{N-3}}$$ (4.22)

  
  

 

 

Table 4.5: Сравнение различных оценок шума

Тип	Размер области
оценки	110$\times$40	200$\times$100	300$\times$300	400$\times$300	500$\times$1k	700$\times$1200	2k$\times$2k
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)
$\sigma$	6.6	56.3	348.3	342.3	284.6	418.6	305.1
$\sigma_{3p}$	8.0	18.9	87.6	69.3	59.6	80.1	72.4
$\sigma_{AMD}\;(\mu=90)$	6.2	6.6	6.6	6.7	6.8	6.9	7.1
$\sigma_{His}$	6.1	6.4	6.4	6.6	6.7	6.7	7.6
time $_{\sigma_{AMD}} (sec)$	$\sim$1	$\sim$1	$\sim$3	$\sim$6	$\sim$9	$\sim$13	$\sim$ 71
time $_{\sigma_{His}} (sec)$	$\sim$6	$\sim$7	$\sim$10	$\sim$17	$\sim$24	$\sim$37	$\sim$ 255

  

Figure: Прямой снимок KISS поля с центром $\alpha = 09^h50^m$

В таблице 4.5 представлены результаты работы различных алгоритмов, описанных выше, для сравнения степени робастности и эффективности оценок между собой. Также приведены характерные времена работы двух наиболее часто используемых алгоритмов вычисления AMD и Гистограммной оценок, поскольку в обеих этих оценках используются алгоритмы сортировки для вычисления медианной величины, а значит время работы очень сильно увеличивается с увеличением размера входного массива данных. Оценки вычислялись для различных областей прямого снимка KISS поля с центром $\alpha = 09^h50^m$