Какой буквой выражается количество возможных информационных сообщений
Перейти к содержимому

Какой буквой выражается количество возможных информационных сообщений

  • автор:

Какой буквой выражается количество возможных информационных сообщений

Попытки количественного измерения информации предпринимались неоднократно. Первые отчетливые предложения об общих способах измерения количества информации были сделаны Р. Фишером (1921 г.) в процессе решения вопросов математической статистики. Проблемами хранения информации, передачи ее по каналам связи и задачами определения количества информации занимались Р. Хартли (1928 г.) и X. Найквист (1924 г.). Р. Хартли заложил основы теории информации, определив меру количества информации для некоторых задач. Наиболее убедительно эти вопросы были разработаны и обобщены американским инженером Клодом Шенноном в 1948 г. С этого времени началось интенсивное развитие теории информации вообще и углубленное исследование вопроса об измерении ее количества в частности.
Для того чтобы применить математические средства для изучения информации, потребовалось отвлечься от смысла, содержания информации. Этот подход был общим для упомянутых нами исследователей, так как чистая математика оперирует с количественными соотношениями, не вдаваясь в физическую природу тех объектов, за которыми стоят соотношения. Например, если находится сумма двух чисел 5 и 10, то она в равной мере будет справедлива для любых объектов, определяемых этими числами. Поэтому, если смысл выхолощен из сообщений, то отправной точкой для информационной оценки события остается только множество отличных друг от друга событий и соответственно сообщений о них.
Предположим, нас интересует следующая информация о состоянии некоторых объектов: в каком из четырех возможных состояний (твердое, жидкое, газообразное, плазма) находится некоторое вещество? на каком из четырех курсов техникума учится студент?
Во всех этих случаях имеет место неопределенность интересующего нас события, характеризующаяся наличием выбора одной из четырех возможностей. Если в ответах на приведенные вопросы отвлечься от их смысла, то оба ответа будут нести одинаковое количество информации , так как каждый из них выделяет одно из четырех возможных состояний объекта и, следовательно, снимает одну и ту же неопределенность сообщения.
Неопределенность неотъемлема от понятия вероятности. Уменьшение неопределенности всегда связано с выбором (отбором) одного или нескольких элементов (альтернатив) из некоторой их совокупности. Такая взаимная обратимость понятий вероятности и неопределенности послужила основой для использования понятия вероятности при измерении степени неопределенности в теории информации. Если предположить, что любой из четырех ответов на вопросы равновероятен, то его вероятность во всех вопросах равна 1/4. Одинаковая вероятность ответов в этом примере обусловливает и равную неопределенность, снимаемую ответом в каждом из двух вопросов, и, следовательно, каждый ответ несет одинаковую информацию.
Теперь попробуем сравнить следующие два вопроса: на каком из четырех курсов техникума учится студент? Как упадет монета при подбрасывании: вверх «гербом» или «цифрой»? В первом случае возможны четыре равновероятных ответа, во втором – два. Следовательно, вероятность какого-то ответа во втором случае больше, чем в первом (1/2 > 1/4), в то время как неопределенность, снимаемая ответами, больше в первом случае. Любой из возможных ответов на первый вопрос снимает большую неопределенность, чем любой ответ на второй вопрос. Поэтому ответ на первый вопрос несет больше информации! Следовательно, чем меньше вероятность какого-либо события, тем большую неопределенность снимает сообщение о его появлении и, следовательно, тем большую информацию оно несет.
Предположим, что какое-то событие имеет m равновероятных исходов. Таким событием может быть, например, появление любого символа из алфавита, содержащего m таких символов. Как измерить количество информации, которое может быть передано при помощи такого алфавита? Это можно сделать, определив число N возможных сообщений, которые могут быть переданы при помощи этого алфавита. Если сообщение формируется из одного символа, то N = m, если из двух, то N = m · m = m2. Если сообщение содержит n символов (n – длина сообщения), то N = mn. Казалось бы, искомая мера количества информации найдена. Ее можно понимать как меру неопределенности исхода опыта, если под опытом подразумевать случайный выбор какого-либо сообщения из некоторого числа возможных. Однако эта мера не совсем удобна. При наличии алфавита, состоящего из одного символа, т.е. когда m = 1, возможно появление только этого символа. Следовательно, неопределенности в этом случае не существует, и появление этого символа не несет никакой информации. Между тем, значение N при m = 1 не обращается в нуль. Для двух независимых источников сообщений (или алфавита) с N1 и N2 числом возможных сообщений общее число возможных сообщений N = N1N2, в то время как логичнее было бы считать, что количество информации, получаемое от двух независимых источников, должно быть не произведением, а суммой составляющих величин.
Выход из положения был найден Р. Хартли, который предложил информацию I, приходящуюся на одно сообщение, определять логарифмом общего числа возможных сообщений N:

Если же все множество возможных сообщений состоит из одного (N = m = 1), то I (N) = log 1 = 0, что соответствует отсутствию информации в этом случае. При наличии независимых источников информации с N1 и N2 числом возможных сообщений
I (N) = log N = log N1N2 = log N1 + log N2,
т.е. количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источников, взятых порознь. Формула, предложенная Хартли, удовлетворяет предъявленным требованиям. Поэтому ее можно использовать для измерения количества информации.
Если возможность появления любого символа алфавита равновероятна (а мы до сих пор предполагали, что это именно так), то эта вероятность р = 1/m. Полагая, что N = m,

т.е. количество информации на каждый равновероятный сигнал равно минус логарифму вероятности отдельного сигнала.
Полученная формула позволяет для некоторых случаев определить количество информации. Однако для практических целей необходимо задаться единицей его измерения. Для этого предположим, что информация – это устраненная неопределенность. Тогда в простейшем случае неопределенности выбор будет производиться между двумя взаимоисключающими друг друга равновероятными сообщениями, например между двумя качественными признаками: положительным и отрицательным импульсами, импульсом и паузой и т.п. Количество информации, переданное в этом простейшем случае, наиболее удобно принять за единицу количества информации. Именно такое количество информации может быть получено, если применить формулу (2) и взять логарифм по основанию 2. Тогда
I = – log2 p = – log2 1/2 = log2 2 = 1.
Полученная единица количества информации, представляющая собой выбор из двух равновероятных событий, получила название двоичной единицы, или бита . Название bit образовано из двух начальных и последней букв английского выражения bi nary digi t , что значит двоичная единица. Бит является не только единицей количества информации, но и единицей измерения степени неопределенности. При этом имеется в виду неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода.
На количество информации, получаемой из сообщения, влияет фактор неожиданности его для получателя, который зависит от вероятности получения того или иного сообщения. Чем меньше эта вероятность, тем сообщение более неожиданно и, следовательно, более информативно. Сообщение, вероятность которого высока и, соответственно, низка степень неожиданности, несет немного информации.
Р. Хартли понимал, что сообщения имеют различную вероятность и, следовательно, неожиданность их появления для получателя неодинакова. Но, определяя количество информации, он пытался полностью исключить фактор «неожиданности». Поэтому формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы. На практике эти условия выполняются редко. При определении количества информации необходимо учитывать не только количество разнообразных сообщений, которые можно получить от источника, но и вероятность их получения.

Какой буквой выражается количество возможных информационных сообщений

Главное меню

Соглашение

Регистрация

Английский язык

Астрономия

Белорусский язык

Информатика

Итальянский язык

Краеведение

Литература

Математика

Немецкий язык

Обществознание

Окружающий мир

Русский язык

Технология

Физкультура

Для учителей

Дошкольникам

VIP — доступ

Автор: Бабкина Алёна Игоревна | ID: 4652 | Дата: 11.4.2015

Помещать страницу в закладки могут только зарегистрированные пользователи
Зарегистрироваться

Получение сертификата
о прохождении теста

XI Международная студенческая научная конференция Студенческий научный форум — 2019

Что такое информация? Какое определение можно дать этому понятию? Такие вопросы ставит каждый учитель при объяснении основ теоретической информатики. И здесь возникает некоторая сложность, вместо прямого определения мы приводим и изучаем свойства, виды, стараемся пояснить термин на примерах. Объяснение этому, что информация является одной из сущностью мироздания, а значит дать определение этому понятию невозможно. Его просто нет. На бытовом уровне информация ассоциируется у нас с такими понятиями как «сведения», «факты», «данные», «знания» и многие другие. Однако в действительности для нужд информатики это определение и не требуется: необходимо лишь научиться измерять информацию.

Как же измерить информацию? Этот вопрос очень непростой. Ответ на него зависит от того, что же мы понимаем под словом «информация». Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными. Существует два традиционных подхода к измерению информации: объемный (алфавитный) и вероятностный.

Алфавитный (объёмный) подход к измерению информации позволяет определить количество информации, заключенной в тексте, записанном с помощью некоторого алфавита. Этот подход разработал и описал советский учёный А.Н. Колмогоров. Подобный подход к оценке количества информации носит объективный характер, так как не зависит от получателя, принимающего сообщения. Алфавитный подход к определению количества информации не учитывает смысловое содержание информации и рассматривает информационное сообщение как последовательность знаков определенной знаковой системы. В алфавит входят все буквы, цифры, знаки препинания, скобки, пробел, специальные знаки. Полное число символов в алфавите называют мощностью алфавита и обозначают N. При алфавитном подходе считается, что каждый символ текста имеет определенный информационный вес, который обозначается i. Он символа зависит от мощности алфавита.

Информационный вес символа двоичного алфавита принят за единицу измерения информации и называется 1 бит. Количество информации одного символа (i) и мощность алфавита (N) связаны формулой: 2 i =N.

При алфавитном подходе к измерению информации количество информации зависит от размера текста и мощности алфавита. Если весь текст состоит из K символов, то при алфавитном подходе информационный объем текста (I), содержащего K символов вычисляют по формуле: I=K*i ,где I — информационный объем текста, K — количество символов в тексте, i — информационный объем одного символа. Максимального размера алфавита не существует. Но есть алфавит, который назвали достаточным. Его мощность равна 256 символов. N=256; 256=2 i , i=8, т.е. один символ этого алфавита весит 8 бит, который назвали байтом, т.е. 1 байт = 8 бит.

Вероятностный (энтропийный) подход – это подход, который учитывает ценность информации, содержащейся в сообщении для его получателя. К. Шеннон определил понятие «информация», как снятую неопределенность. Общая мера неопределенностей называется энтропией. В этом подходе количество информации – это мера уменьшения неопределённости знаний при получении информационных сообщений. Количество информации в сообщении определяется тем, насколько уменьшается эта мера после получения сообщения.

В вероятностном подходе 1 бит – это количество информации, которое мы получаем из опыта с двумя равновероятностными исходами. Для человека получение новой информации приводит к расширению знаний или к уменьшению неопределенности. Например, сообщение о том, что завтра среда, не приводит к уменьшению неопределенности, поэтому оно не содержит информацию. А теперь, пусть у нас имеется монета, которую мы бросаем на ровную поверхность. Сообщение о том, что выпал орёл при подбрасывании монеты уменьшает нашу неопределенность в два раза и несёт в себе 1 бит информации.

Американский учёный Р. Хартли процесс получения информации рассматривал как выбор одного сообщения из множества равновероятных сообщений, а количество информации, содержащееся в выбранном сообщении, определял как двоичный логарифм N. Таким образом, он вывел ф ормулу, которая связывает между собой количество возможных информационных сообщений (N) и количество информации ( I ), которое несет полученное сообщение: I = log 2 N, где N =1/ P . Но не всегда можно однозначно определить являются ли события равновероятностными или нет.

Для этого американский учёный К. Шеннон предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений. В опыте с k исходами вероятности наступления равны P 1 , P 2 ,…, P k каждый исход несёт в себе информацию

Тогда по формуле Шеннона

Эта формула принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны (т.е. значения Р k могут различаться).

Таким образом, мы рассмотрели два подхода к измерению информации: алфавитный (объемный) и вероятностный (энтропийный).

Количество информации
план-конспект урока по информатике и икт (8 класс) по теме

— познакомить с содержательным подходом к измерению информации.

— уметь определять информационный объём в различных единицах измерения количества информации;

— знать формулу для определения количества информационных сообщений, количество информации в сообщении;

— уметь решать задачи на определение количества информационных сообщений и количества информации, которое несёт полученное сообщение.

  1. Организационный момент.
  2. Устная работа.

Ответить на вопросы:

  1. Что такое знаковая система?
  2. Какие знаковые системы вы знаете?
  3. Что такое кодирование информации?
  4. Поясните слов код и длина кода?
  5. Приведите примеры кодов и определите их длину?
  6. Какие виды информации кодируются в компьютерах?

3. Теоретически основы урока.

Процесс познания приводит к накоплению информации (знаний), то есть к уменьшению незнания .

Измерить объём накопленных знаний нельзя, а вот оценить уменьшение незнания можно, если известно количество возможных вариантов исхода.

Количество информации – мера уменьшения неопределённости знаний при получении информационных сообщений.

Единица количества информации – бит .

1 бит – это количество информации в сообщении, которое уменьшает неопределённость в два раза.

Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несёт полученное сообщение:

N – Количество вариантов исхода;

I – Количество информации, которое несёт сообщение.

4. Объяснение нового материала.

Учитель приводит примеры:

  • При бросании монеты возможны два варианта исхода (орёл или решка). Заранее не известен результат, мы имеем некоторую неопределённость. После падения монеты виден один вариант вместо двух (неопределённость исчезла).
  • До проверки контрольной работы учителем возможны четыре вариант исхода («2», «3», «4», «5»). После получения оценки остался один вариант (неопределённость исчезла).

Рассмотренные примеры позволяют сделать вывод: чем больше неопределённости первоначальной ситуации (чем больше вариантов исхода), тем больше количество информации содержится в сообщении, снимающем эту неопределённость.

Единица количества информации – бит.

1 бит – это количество информации в сообщении, которое уменьшает неопределённость в два раза.

1 случай: i=2 бита (4=2 2 )

2 случай: i=4 бита (16=2 4 )

i – количество информации при различном количестве вариантов исхода.

где N – количество вариантов исхода;

I – количество информации, которое несёт сообщение.

Существуют кратные байту единицы измерения количества информации:

1 Кбайт = 2 10 = 1024 байт;

1 Мбайт = 2 10 = 1024 Кбайт

1 Гбайт = 2 10 = 1024 Мбайт

Существуют также более крупные единицы: Терабайт, Петабайт, Эксабайт.

  1. При приёме некоторого сообщения получили 5 бит информации. Сколько вариантов исхода было до получения сообщения?

Ответ: 32 вариантов исхода

  1. До получения сообщения было 8 вариантов исхода. Сколько информации будет получено в сообщении о том, что произошёл один из возможных вариантов события?

N=2 i , 8=2 i , i=3 бита

Ответ: сообщение содержит 3 бита.

Задания для самостоятельного выполнения:

Задание 1: Определить количество информации, полученное при вытаскивании одного шарика из коробки с шариками разного цвета, если в коробке 4 шарика; 8 шариков; 16 шариков.

N 1 = 4, N 2 = 8, N 3 = 16

4=2 i , 2 2 =2 i , i 1 =2 бита

8=2 i , 2 3 =2 i , i 2 = 3 бита

16=2 i , 2 4 =2 i , i 3 =4 бита

Ответ: i 1 =2 бита, i 2 = 3 бита, i 3 =4 бита

Задание 2: Сколько бит информации получено из сообщения «Вася живёт на пятом этаже», если в доме 16 этажей?

N=2 i , 16=2 i , 2 4 =2 i , i=4 бита

Ответ: сообщение содержит 4 бита.

Задание 3: Сколько различных изображений лежало в стопке, если сообщение о вытащенной картинке несёт 3 бита информации?

Ответ: 8 изображений в стопке.

Задание 4: Производится бросание симметричной четырёхгранной пирамидки. Какое количество информации мы получаем в зрительном сообщении о её падении на одну из граней?

N=2 i , 4=2 i , 2 4 =2 i , i=2 бита

Задание 5: Из непрозрачного мешочка вынимают шарики с номерами и известно, что информационное сообщение о номере шарика несёт 5 битов информации. Определите количество шариков в мешочке.

N=2 i , N=2 5 , N=32

Ответ: 32 шарика в мешке.

Задание 5: Какое количество информации при игре в крестики – нолики на поле размером 4 х 4 клетки получит второй игрок после первого хода первого игрока?

Число возможных информационных сообщений о положении крестика равно количеству клеток, т.е. 4*4=16, поэтому

N=2 i , 16=2 i , 2 4 =2 i , i=4.

Задание 6: Какое количество информации при игре в крестики – нолики на поле размером 8 х 8 клетки получит второй игрок после первого хода первого игрока?

Число возможных информационных сообщений о положении крестика равно количеству клеток, т.е. 8*8=64, поэтому

N=2 i , 64=2 i , 2 6 =2 i , i=6.

Учебник: §1.3.1, 1.3.2.

Письменно: Приведите примеры сообщений, уменьшающих неопределённость в 2 раза, 4 раза, 8 раз.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *