Rambler's Top100Astronet    
  по текстам   по ключевым словам   в глоссарии   по сайтам   перевод   по каталогу
 

Клод Шеннон: Математическая теория связи

<< Титульный лист | Оглавление | Часть 1. Дискретные системы без шума >>

Введение

Недавнее развитие различных методов модуляции, таких как PCM или PPM, основанных на улучшении пропускной способности за счет уменьшения отношения ``сигнал-шум'', привело к возрастанию интереса к общей теории связи. Основы такой теории заложены в важных статьях Найквиста (Nyquist, H., ``Certain Factors Affecting Telegraph Speed,'' Bell System Technical Journal, April 1924, p. 324; ``Certain Topics in Telegraph Transmission Theory,'' A.I.E.E. Trans., v. 47, April 1928, p. 617.) и Хартли(Hartley, R. V. L., ``Transmission of Information,'' Bell System Technical Journal, July 1928, p. 535.). В настоящей статье мы расширим эту теорию, учтя некоторое количество новых факторов, в частности - наличие шума в канале, а также статистическую структуру исходного сигнала и природу конечного приемника информации.

Основной задачей связи является восстановление (точное или приближенное) в данной точке сигнала, отправленного в другой. Часто сигнал имеет некое значение, то есть соотносится или коррелирует с заданными состояниями некоторой системы. Однако эти семантические аспекты связи не имеют отношения к инженерной задаче, важно лишь то, что сообщение выбирается из некоторого набора возможных. Система связи должна одинаково хорошо работать со всеми возможными вариантами сообщения, а не только с тем, который будет выбран в действительности - на этапе разработки системы это еще неизвестно.

Если набор содержит конечное число сообщений, то само это число или любая его монотонная функция может служить мерой информации, получаемой при выборе одного из них, если мы примем все варианты равновероятными. Как было отмечено Хартли, наиболее естественно выбрать логарифмическую функцию. И хотя это определение должно быть существенно обобщено на случаи неравновероятных сообщений и их непрерывных множеств, мы во всех случаях будем использовать именно логарифмические меры.

Логарифмическая мера удобна по следующим причинам:

Выбор основания логарифма соответствует выбору единицы измерения информации. Если взять основание 2, то полученные единицы можно назвать ``двоичными цифрами'', или битами (binary digits -> bits, слово предложено Дж.В.Таки, J.W.Tukey) Устройство с двумя устойчивыми состояниями, такое как переключатель или триггер, способно хранить один бит информации, $N$ таких устройств - $N$ бит, так как полное число состояний $2^N$ и $\log_2 2^N=N$. При использовании же основания 10 единицы можно назвать ``десятичными цифрами''. Так как , десятичная цифра примерно соответствует $3\frac13$ бит. Цифровое колесо арифмометра имеет 10 устойчивых состояний, и потому может хранить одну десятичную цифру информации. В аналитических расчетах, при проведении дифференцирования и интегрирования, бывает полезно использовать натуральный логарифм, то есть основание $e$. Соответствующие единицы информации можно назвать натуральными. Переход от основания $a$ к $b$ сводится к умножению на $\log_b a$.


Рис. 1. Схематическое изображение общей системы связи.

Под системой связи мы будем понимать систему типа изображенной на рис.1. Такая система состоит из 5 частей:

Мы хотели бы рассмотреть некоторые общие задачи, имеющие отношение к системам связи. Для этого необходимо сначала представить различные вышеупомянутые элементы математическими величинами, отвлекаясь от их физической сущности. Системы связи можно грубо разделить на три категории: дискретные, непрерывные и смешанные. Под дискретной системой будем понимать такую, в которой и сообщение, и сигнал являются последовательностями дискретных символов. Типичным примером такой системы является телеграфия, в которой и сообщение, и сигнал являются последовательностями точек, тире и промежутков между ними. Непрерывная система - такая, в которой и сообщение, и сигнал рассматриваются как непрерывные функции, например, в радио или телевидении. В смешанной системе, соответственно, фигурируют как непрерывные, так и дискретные величины, как, например, в PCM-системе передачи речи.

Рассмотрим вначале дискретный случай. Он имеет приложения не только в теории связи, но также и в теории вычислительных машин и так далее. Вдобавок дискретные системы являются основой для рассмотрения непрерывных и смешанных, которые разбираются во второй половине статьи.


<< Титульный лист | Оглавление | Часть 1. Дискретные системы без шума >>
Публикации с ключевыми словами: математика - информация - Шеннон
Публикации со словами: математика - информация - Шеннон
См. также:
Все публикации на ту же тему >>

Оценка: 3.2 [голосов: 109]
 
О рейтинге
Версия для печати Распечатать

Астрометрия - Астрономические инструменты - Астрономическое образование - Астрофизика - История астрономии - Космонавтика, исследование космоса - Любительская астрономия - Планеты и Солнечная система - Солнце


Астронет | Научная сеть | ГАИШ МГУ | Поиск по МГУ | О проекте | Авторам

Комментарии, вопросы? Пишите: info@astronet.ru или сюда

Rambler's Top100 Яндекс цитирования