Документ взят из кэша поисковой машины. Адрес
оригинального документа
: http://www.geogr.msu.ru/science/aero/acenter/int_sem2/Theme7.htm
Дата изменения: Mon Apr 23 13:41:25 2012 Дата индексирования: Tue Oct 2 10:21:00 2012 Кодировка: Windows-1251 |
Тема 7. Классификация и оценка результатов
В этой теме освещаются заключительные этапы классификации с обучением.
Задание 7.1. СОЗДАНИЕ ТЕСТОВЫХ УЧАСТКОВ ДЛЯ ОЦЕНКИ РЕЗУЛЬТАТОВ КЛАССИФИКАЦИИ Цель: Создать тестовые участки, по координатам, заданным экспертами. Входные данные:
Файл
delt1234.bil, содержащий фрагменты зональных снимков
(зон) 1, 2, 3, 4, МСУ-СК от 20 июля Выходные данные: Тестовые участки, добавленные в файлы delt_new.prj и butov1_57.prj. Последовательность операций: Ввести границы тестовых участков в Processor / Statistics. |
Для объективной оценки результатов классификации необходимо предварительно задать тестовые участки для каждого класса. Для этого, пользуясь знанием местности, нужно определить на снимке участки, которые должны попасть в эти классы, но не входят в число эталонных участков. Для нашего задания координаты участков были заранее определены экспертами, и теперь их предстоит ввести в файл проекта MultiSpec.
Тестовые участки задаются в том же редакторе, который мы ранее использовали для набора обучающих выборок. Для работы нужно вывести на экран снимок delt1234.bil и открыть файл проекта delt_new.prj.
Сделав окно с изображением снимка активным, выберите в меню View команду Coordinates Bar, чтобы координаты курсора в пределах снимка отображались в строке над окном.
Затем войдите в меню Processor / Statistics и примите все значения по умолчанию, нажмите ОК. В меню редактора выберите класс полупустынь (в разделе Class) и добавьте новое поле (кнопка Add to List), используя координаты из таблицы, приведенной ниже. В появляющемся диалоге Define Class and /or Field Description (Задать класс / Описание поля) задайте в разделе AreaType (тип участка) опцию Test Field (тестовый участок), нажмите ОК.
Второй тестовый участок был задан экспертами в виде полигона, поскольку участки полупустыни в выбранной области были малы по размеру. Для задания полигона отметьте опцию Polygon Enter под разделом Class в диалоге создания новых участков в редакторе. Далее набирайте вершины полигона по списку (удобно вначале увеличить изображение). Полигон замыкается двойным нажатием левой клавиши мыши.
Затем перейдите в следующий класс и продолжайте набор участков по таблице:
Номер класса |
Название класса |
Первая строка / координаты полигонов |
Последняя строка |
Первый столбец |
Последний столбец |
1 |
Полупуст. |
73 |
78 |
23 |
29 |
1 |
Полупуст. |
46 318 43 320 41 322 41 325 43 325 45 321 47 319 46 318 |
|
|
|
2 |
Луга остеп. |
322 |
329 |
93 |
104 |
2 |
Луга остеп. |
113 |
117 |
259 |
270 |
3 |
Луга разнотрав. |
417 |
429 |
255 |
264 |
4 |
Трост.-рог. луга и заросли |
658 |
671 |
172 |
184 |
5 |
Вода чистая |
594 |
604 |
448 |
456 |
6 |
Вода со взвесями |
618 |
629 |
143 |
151 |
7 |
Облака |
151 |
155 |
248 |
251 |
7 |
Облака |
158 235 153 238 155 240 158 237 161 237 162 238 163 237 158 235 |
|
|
|
Для задания тестовых участков по снимку ETM+ на северное Бутово откройте файл butovo1_57.bil, и файл проекта butov1_57.prj. По сравнению со снимком дельты Волги этот снимок охватывает меньшую территорию и имеет более простой набор классов, которые в основном хорошо разделяются. Для экономии времени мы не будем повторять в задании процедуры оценки обучающих выборок, освещенные в теме 6 (при желании можно сделать это самостоятельно). Отметим, что для этого снимка и заданного набора классов также более всего подходит классификация по методу максимального правдоподобия. Классификация по обучающим выборкам для этого снимка дает удовлетворительные результаты, хотя не удается достичь полного различения теней зданий и водоемов в связи с тем, что они имеют практически одинаковые значения в спектральных зонах ETM+.
Повторите вышеописанную процедуру по добавлению тестовых участков, используя следующую таблицу их координат:
Номер класса |
Название класса |
Первая строка |
Последняя строка |
Первый столбец |
Последний столбец |
1 |
широколиств. леса |
8 |
15 |
65 |
74 |
1 |
широколиств. леса |
67 |
71 |
2 |
11 |
2 |
смешанные леса |
124 |
131 |
7 |
11 |
3 |
хвойные леса |
112 |
116 |
31 |
35 |
4 |
разнотравн. луга |
85 |
90 |
27 |
33 |
4 |
разнотравн. луга |
69 |
73 |
36 |
42 |
5 |
здания и шоссе |
75 |
79 |
132 |
135 |
5 |
здания и шоссе |
63 |
66 |
88 |
91 |
6 |
стройплощадки |
99 |
103 |
63 |
66 |
6 |
стройплощадки |
74 |
78 |
76 |
79 |
7 |
тени зданий |
89 |
92 |
72 |
73 |
8 |
водоемы |
71 |
71 |
60 |
64 |
8 |
водоемы |
57 |
59 |
39 |
40 |
Задание 7.2. КЛАССИФИКАЦИЯ И ОЦЕНКА ЕЕ РЕЗУЛЬТАТОВ ПО ТЕСТОВЫМ УЧАСТКАМ И КАРТЕ ВЕРОЯТНОСТЕЙ Цель: Выполнить классификацию с обучением, оценить ее результаты. Входные данные:
Файл
delt1234.bil, содержащий
фрагменты зональных снимков (зон) 1, 2, 3, 4, МСУ-СК от 20 июля Выходные данные: Классифицированные изображения, таблицы результатов классификации, карта вероятностей отнесения пикселов к классам. Последовательность операций: Провести классификацию алгоритмом максимального правдоподобия, используя команду Processor / Classify (Обработка / Классификация) с опциями Write classification results to disk file (записать результаты классификации в файл на диске) и Create Probability Results File (Создать файл вероятности результатов). Проанализировать результаты по классам, используя таблицы результатов и карты вероятностей. |
В заключительном задании мы проведем
классификацию по изучаемым снимкам, используя выбранный
метод максимального правдоподобия.
Сначала откройте снимок
delt1234.bil
и файл проекта delt_new.prj.
Войдите в меню
Processor
/
Classify
и выберите алгоритм
Maximum Likelihood
(Метод максимального правдоподобия)
(раздел
Procedure).
Убедитесь, что в разделе
Classify
отмечено:
Class areas: All (Использовать все классы)
V - Test areas (holdout) (классифицировать тестовые участки). Примечание: поле Training (resubstitution) можно не отмечать, так как мы уже анализировали результаты классификации по эталонным участкам в задании 6.2.
V - Image selection: должна быть указана вся площадь снимка (Line 1- 685, column 1-478).
В разделе Write Classification results to: отметьте Disk file (формат ERDAS.GIS)
Далее отметьте V Threshold results at (граничное значение): 2%. В результате установки этого параметра пикселы, для которых вероятность отнесения к классу окажется ниже 2% (то есть пикселы, которые по значениям спектральной яркости не похожи ни на один из классов), будут объединены в категорию Background (неклассифицированные).
Ниже отметьте (граничного значения) V Create Probability Results File (Создать файл вероятности результатов). В результате будет создана карта вероятностей, показывающая для каждого пиксела вероятность его отнесения к тому классу, в который он попал. Высокие вероятности означают, что пиксел по своим значениям яркости близок к средним значениям класса по обучающей выборке.
Все остальные параметры можно оставить по умолчанию и нажать ОК. В последующих диалогах нужно будет задать имена файлов для сохранения классифицированного изображения и карты вероятности.
По ходу проведения классификации в текстовое окно выводятся различные таблицы: список исходных данных и классов (с весами, которые по умолчанию одинаковы), координаты эталонных и тестовых участков, результаты классификации по участкам (в данном случае - только по тестовым), распределение пикселов по классам в пределах снимка (%).
Рассмотрим результаты классификации по тестовым участкам, скопированные из текстового окна MultiSpec:
TEST CLASS PERFORMANCE (Результаты по тестовым участкам)
Project |
Reference |
Number of Samples in Class (Количество пикселов, попавших в класс) |
|||||||||
Class |
Class |
Accuracy+ |
Number |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
Threshold |
Name |
Number |
(%) |
Samples |
полупуст. |
луга остеп. |
луга разнотр. |
трост.и рог. луга изаросли |
вода со взвес. |
вода чист. |
облака |
|
полупуст. |
1 |
46.8 |
62 |
29 |
2 |
0 |
0 |
0 |
0 |
0 |
31 |
луга остеп. |
2 |
55.8 |
156 |
0 |
87 |
0 |
63 |
0 |
0 |
0 |
6 |
луга разнотрав. |
3 |
81.5 |
130 |
0 |
0 |
106 |
9 |
0 |
0 |
2 |
13 |
трост. и рог. луга и заросли |
4 |
98.9 |
182 |
0 |
2 |
0 |
180 |
0 |
0 |
0 |
0 |
вода со взвесями |
5 |
68.7 |
99 |
0 |
0 |
0 |
0 |
68 |
0 |
0 |
31 |
вода чистая |
6 |
59.3 |
108 |
0 |
0 |
0 |
0 |
2 |
64 |
0 |
42 |
облака |
7 |
100.0 |
37 |
0 |
0 |
0 |
0 |
0 |
0 |
37 |
0 |
|
TOTAL |
|
774 |
29 |
91 |
106 |
252 |
70 |
64 |
39 |
123 |
Reliability Accuracy (%)* |
|
|
|
100.0 |
95.6 |
100.0 |
71.4 |
97.1 |
100.0 |
94.9 |
|
OVERALL CLASS PERFORMANCE (571
/ 774) = 73.8% (Общия достоверность по всем
классам)
Kappa
Statistic (X100) =
69.1%. Kappa Variance = 0.000138.
+
(100 - percent omission error); also called producer's accuracy.
* (100 - percent commission error); also called user's accuracy.
Структура этой таблицы аналогична структуре таблицы, приведенной в задании 6.2. Однако в колонке достоверности результатов (Accuracy %) значения уменьшились по сравнению с классификацией в пределах эталонных участков. Появилась и новая колонка Threshold, в которой показано количество неклассифицированных пикселов, попадающих в пределы тестового участка для данного класса.
В целом по таблице можно сделать следующие выводы:
по всему снимку с хорошей достоверностью классифицируются 'разнотравно-тростниковые луга', 'тростниково-рогозовые луга и заросли' и 'облака';
в остальных классах достоверности невысокие, что может быть вызвано:
а) пересекающимися по спектральной яркости обучающими выборками классов и
б) наличием большого количества пикселов, не похожих по спектральной яркости ни на одну обучающую выборку.
Рассмотрим распределение пикселов по классам, также выведенное в текстовом окне:
Classification of Selected Area
Lines 1 to 685 by 1. Columns 1 to 478 by 1
CLASS DISTRIBUTION FOR SELECTED AREA
Number |
Class |
Samples |
Percent |
1 |
полупуст. |
7767 |
2.4 |
2 |
луга остеп. |
42259 |
12.9 |
3 |
луга разнотрав. |
52206 |
15.9 |
4 |
трост. и рог. |
124196 |
37.9 |
5 |
вода чистая |
9340 |
2.9 |
6 |
вода со взвесями |
8046 |
2.5 |
7 |
облака |
5162 |
1.6 |
|
Threshold |
78454 |
24.0 |
|
Total |
327430 |
100.0 |
Большое количество неклассифицированных пикселов (24%) показывает, что причиной невысокой достоверности классификации может быть именно недостаточная представительность обучающих выборок, которые не охватывают должным образом диапазон имеющихся на снимке спектральных яркостей. Это связано и с тем, что, во-первых, для занятий был выбран относительно небольшой набор классов и, во-вторых, с большим количеством на этом снимке 'смешанных' пикселов, то есть пикселов, объединивших сразу несколько объектов на местности вследствие большого размера пиксела МСУ-СК и большой пространственной неоднородности ландшафтов дельты. Спектральная яркость таких пикселов сформирована смешением яркостей разных объектов и не является представительной ни для одного из них.
Для повышения достоверности классификации в этом случае желательно вернуться к этапу набора обучающих выборок и создать выборки для тех объектов, которые выделяются при данном пространственном разрешении, а затем принудительно отнести остающиеся пикселы к наиболее вероятным классам (то есть не задавать граничное значение - threshold).
Для оценки пространственного распределения пикселов по классам в меню File / Open Image откройте файл с классифицированным изображением и файл с картой вероятности (оба были сохранены в формате .GIS). На классифицированном изображении условными цветами (отраженными в легенде) показаны классы (белым цветом по умолчанию показываются неклассифицированные пикселы). На карте вероятностей в условной шкале для каждого пиксела показаны вероятности отнесения к классу. Удобнее всего рассматривать карту вероятностей, выбрав в верхнем поле окна с картой параметр Groups (сгруппировать значения вероятностей) - тогда видна вся или почти вся легенда. Цифры в легенде показывают вероятность отнесения пикселов к классу в процентах.
Для удобства просмотра по уровням вероятности можно нажать на клавишу Shift и нажать мышкой в легенде на цветную плашку одного из классов - при этом над плашкой появляется значок 'глаза' и текущий уровень выделяется на карте белым. Если нажать одновременно клавиши Shift и Control, при выделении цветной плашки она остается в цвете, а все остальные закрашиваются белым. Эти средства просмотра действуют для любого окна с тематическим изображением (результатом классификации, кластеризации и т.п.).
Откройте в отдельном окне исходный снимок и сравните его с классифицированным изображением и картой вероятностей. Можно заключить, что большая часть неклассифицированных пикселов сгруппировалась в пределах водных объектов, которые, видимо, не были в достаточной мере описаны обучающими выборками. Остальные неклассифицированные пикселы довольно равномерно распределились по изображению, и можно предположить, что многие из них соответствуют 'смешанным' пикселам исходного снимка.
При работе над реальным проектом следовало бы создать дополнительный класс для водных объектов.
А теперь аналогичным образом повторите процедуру классификации по методу максимального правдоподобия для снимка Северного Бутово (файл butovo1_57.bil, файл проекта butov1_57.prj). С аналогичными параметрами результаты классификации по тестовым участкам должны получиться такими:
TEST CLASS PERFORMANCE
Project |
Reference |
Number of Samples in Class |
||||||||||
Class Name |
Class Number |
Accuracy+ (%) |
Number Samples |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
Threshold |
широколиств. леса |
1 |
44.6 |
130 |
58 |
9 |
4 |
0 |
0 |
0 |
0 |
0 |
59 |
смешанные леса |
2 |
92.5 |
40 |
3 |
37 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
хвойные леса |
3 |
96.0 |
25 |
0 |
0 |
24 |
0 |
0 |
0 |
0 |
0 |
1 |
разнотравн. луга |
4 |
90.9 |
77 |
0 |
0 |
0 |
70 |
0 |
0 |
0 |
0 |
7 |
здания и шоссе |
5 |
77.8 |
36 |
0 |
0 |
0 |
0 |
28 |
4 |
0 |
0 |
4 |
стройплощадки |
6 |
20.0 |
40 |
0 |
0 |
0 |
0 |
3 |
8 |
0 |
0 |
29 |
тени зданий |
7 |
87.5 |
8 |
0 |
0 |
0 |
0 |
0 |
0 |
7 |
0 |
1 |
водоемы |
8 |
54.5 |
11 |
0 |
0 |
1 |
0 |
0 |
0 |
2 |
6 |
2 |
|
TOTAL |
|
367 |
61 |
46 |
29 |
70 |
31 |
12 |
9 |
6 |
103 |
Reliability Accuracy (%)* |
95.1 |
80.4 |
82.8 |
100.0 |
90.3 |
66.7 |
77.8 |
100.0 |
|
OVERALL CLASS PERFORMANCE (238 / 367 ) = 64.9%
Kappa
Statistic (X100) = 59.6%. Kappa Variance = 0.000718.
+ (100
-
percent omission error
- ошибка пропуска);
also called producer's accuracy.
* (100
- percent commission error); also called user's accuracy.
Таким образом, наиболее высокая достоверность при классификации снимка Северное Бутово достигнута для классов смешанных и хвойных лесов, разнотравных лугов, зданий и шоссе, теней зданий. Количество неклассифицированных пикселов по всему снимку очень высоко (около половины).
Анализ исходного снимка, классифицированного изображения и карты вероятностей показывает, что многие неклассифицированные пикселы попадают на участки лесов. В отличие от снимка дельты Волги, спектральные и пространственные характеристики снимка позволяют добавить дополнительные классы.
ВОПРОСЫ ПО ТЕМЕ: В какие классы ошибочно отнеслись пикселы, находящиеся в пределах тестового участка широколиственных лесов на снимке Северного Бутово? |