Измерение количества информации

Как измерить информацию? Часто мы говорим, что, прочитав статью в журнале или просмотрев новости, не получили никакой информации, или  наоборот, краткое сообщение может  оказаться для нас информативным. В то же время для другого человека та же самая статья может оказаться  чрезвычайно информативной, а сообщение — нет. Информативными сообщения являются тогда, когда они новы, понятны, своевременны, полезны. Но то, что для одного понятно, для другого — нет. То, что для одного полезно, ново, для другого — нет. В этом проблема определения и измерения информации.

При всем многообразии подходов к определению понятия  информации, с позиции измерения  информации мы рассмотрим два из них: определение К. Шеннона, применяемое в математической теории информации (содержательный подход), и определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использованием компьютеров (алфавитный подход) [9].

Содержательный  подход.

Согласно Шеннону, информативность сообщения характеризуется  содержащейся в нем полезной информацией — той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации.

По Шеннону, информация — уменьшение неопределенности наших знаний. 

Неопределенность  некоторого события — это количество возможных исходов данного события. Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2. 

Содержательный  подход часто называют субъективным, так как разные люди (субъекты) информацию об одном и том же предмете оценивают по-разному.

Любой компьютер предназначен для обработки, хранения, преобразования данных. Для выполнения этих функций компьютер должен обладать некоторыми свойствами представления этих данных. Представление этих данных заключается в их преобразовании в вид, удобный для последующей обработки либо пользователем, либо компьютером. В зависимости от этого данные имеют внешнее и внутреннее представление. Во внешнем представлении (для пользователя) все данные хранятся в виде файлов. Простейшими способами внешнего представления данных являются:

• числовые данные (вещественные и целые);

• текст (последовательность символов);

• изображение (графика, фотографии, рисунки, схемы);

• звук.

Внутреннее представление данных определяется физическими принципами, по которым происходит обмен сигналами между аппаратными средствами компьютера, принципами организации памяти, логикой работы компьютера.

Для автоматизации работы с данными, относящимися к различным типам, важно унифицировать их форму представления. Для этого обычно используется прием кодирования, т. е. выражение данных одного типа через данные другого типа.

Любые данные для обработки компьютером представляются последовательностью двух целых чисел – единицы и нуля. Такая форма представления данных получила название двоичного кодирования [5].