Количество информации с точки зрения содержательного подхода

С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком. Рассматривается следующая ситуация:

1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;

2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;

3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.

Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:

1. Все возможные варианты события равновероятны. Их число конечно и равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны:

i>, i = 1..N. Здесь по-прежнему N — число возможных вариантов события.

Равновероятные события. Если обозначить буквой i количество информации в сообщении о том, что произошло одно из N равновероятных событий, то величины i и N связаны между собой формулой Хартли:

Величина i измеряется в битах. Отсюда следует вывод:

1 бит — это количество информации в сообщении об одном из двух равновероятных событий.

Формула Хартли — это показательное уравнение. Если i — неизвестная величина, то решением уравнения (1) будет:

Формулы (1) и (2) тождественны друг другу. Иногда в литературе формулой Хартли называют (2).

Пример 1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?

В колоде 32 карты. В перемешанной колоде выпадение любой карты — равновероятные события. Если i — количество информации в сообщении о том, что выпала конкретная карта (например, дама пик), то из уравнения Хартли:

Отсюда: i = 5 бит.

Пример 2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Считая выпадение любой грани событием равновероятным, запишем формулу Хартли: 2 i = 6. Отсюда: i = log₂6 = 2,58496 бит.

Неравновероятные события (вероятностный подход)

Если вероятность некоторого события равна p, а i (бит) — это количество информации в сообщении о том, что произошло это событие, то данные величины связаны между собой формулой:

Решая показательное уравнение (3) относительно i, получаем:

Формула (4) была предложена К.Шенноном, поэтому ее называют формулой Шеннона.

Методические рекомендации

Обсуждение связи между количеством информации в сообщении и его содержанием может происходить на разных уровнях глубины.

Качественный подход

Качественный подход, который может использоваться на уровне пропедевтики базового курса информатики (5–7-е классы) или в базовом курсе (8–9-е классы).

На данном уровне изучения обсуждается следующая цепочка понятий: информация — сообщение — информативность сообщения.

Исходная посылка: информация — это знания людей, получаемые ими из различных сообщений. Следующий вопрос: что такое сообщение? Сообщение — это информационный поток (поток данных), который в процессе передачи информации поступает к принимающему его субъекту. Сообщение — это и речь, которую мы слушаем (радиосообщение, объяснение учителя), и воспринимаемые нами зрительные образы (фильм по телевизору, сигнал светофора), и текст книги, которую мы читаем, и т.д.

Вопрос об информативности сообщения следует обсуждать на примерах, предлагаемых учителем и учениками. Правило: информативным назовем сообщение, которое пополняет знания человека, т.е. несет для него информацию. Для разных людей одно и то же сообщение с точки зрения его информативности может быть разным. Если сведения “старые”, т.е. человек это уже знает, или содержание сообщения непонятно человеку, то для него это сообщение неинформативно. Информативно то сообщение, которое содержит новые и понятные сведения.

Примеры неинформативных сообщений для ученика 8-го класса:

1)“Столица Франции — Париж” (не новое);

2) “Коллоидная химия изучает дисперсионные состояния систем, обладающих высокой степенью раздробленности” (не понятное).

Пример информативного сообщения (для тех, кто этого не знал): “Эйфелева башня имеет высоту 300 метров и вес 9000 тонн”.

Введение понятия “информативность сообщения” является первым подходом к изучению вопроса об измерении информации в рамках содержательной концепции. Если сообщение неинформативно для человека, то количество информации в нем, с точки зрения этого человека, равно нулю. Количество информации в информативном сообщении больше нуля.

Количественный подход в приближении равновероятности

Данный подход может изучаться либо в углубленном варианте базового курса в основной школе, либо при изучении информатики в 10–11-х классах на базовом уровне.

Рассматривается следующая цепочка понятий: равновероятные события — неопределенность знаний — бит как единица измерения информации — формула Хартли — решение показательного уравнения для N равного целым степеням двойки.

Раскрывая понятие равновероятности, следует отталкиваться от интуитивного представления детей, подкрепив его примерами. События равновероятны, если ни одно из них не имеет преимущества перед другими.

Введя частное определение бита, которое было дано выше, затем его следует обобщить:

Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации.

Это определение подкрепляется примерами сообщений об одном событии из четырех (2 бита), из восьми (3 бита) и т.д.

На данном уровне можно не обсуждать варианты значений N, не равные целым степеням двойки, чтобы не сталкиваться с проблемой вычисления логарифмов, которые в курсе математики пока не изучались. Если же у детей будут возникать вопросы, например: “Сколько информации несет сообщение о результате бросания шестигранного кубика”, — то объяснение можно построить следующим образом. Из уравнения Хартли: 2 i = 6. Поскольку 2 2 3 , следовательно, 2 i = 1/1 = 1. Отсюда, i = 0 бит.

Формула Хартли (1) является частным случаем формулы (3). Если имеется N равновероятных событий (результат бросания монеты, игрального кубика и т.п.), то вероятность каждого возможного варианта равна p = 1/N. Подставив в (3), снова получим формулу Хартли: 2 i = N. Если бы в примере 3 автобусы № 5 и № 7 приходили бы к остановке из 100 раз каждый по 50, то вероятность появления каждого из них была бы равна 1/2. Следовательно, количество информации в сообщении о приходе каждого автобуса равно i = log₂2 = 1 биту. Пришли к известному варианту информативности сообщения об одном из двух равновероятных событий.

Пример 4. Рассмотрим другой вариант задачи об автобусах. На остановке останавливаются автобусы № 5 и № 7. Сообщение о том, что к остановке подошел автобус № 5, несет 4 бита информации. Вероятность появления на остановке автобуса с № 7 в два раза меньше, чем вероятность появления автобуса № 5. Сколько бит информации несет сообщение о появлении на остановке автобуса № 7?

Запишем условие задачи в следующем виде:

Вспомним связь между вероятностью и количеством информации: 2 i = 1/p

Подставляя в равенство из условия задачи, получим:

Из полученного результата следует вывод: уменьшение вероятности события в 2 раза увеличивает информативность сообщения о нем на 1 бит. Очевидно и обратное правило: увеличение вероятности события в 2 раза уменьшает информативность сообщения о нем на 1 бит. Зная эти правила, предыдущую задачу можно было решить “в уме”.

Суть содержательного подхода к измерению информации сформулировал в своих трудах Клод Шеннон. Ученый определил информацию как меру неопределенности (энтропию) события.

Информация – это снятая неопределенность. Величина неопределенности некоторого события – это количество возможных исходов этого события.

Чем более вероятно наступление какого-либо события, тем меньшее количество информации несет для нас сообщение о наступлении этого события.

Определим единицу измерения количества информации. Для этого рассмотрим эксперимент с бросанием монеты. Неопределенность знаний о результате падения монеты будет заключаться в двух возможных равновероятных исходах: орел или решка. Сообщение об исходе эксперимента (например, выпала «решка») уменьшит неопределенность в два раза.

Один бит – это такое количество информации, которое уменьшает неопределенность в два раза.

Если бросать монетку несколько раз, то, например, за пять бросков получим количество информации 5 бит. Данный пример иллюстрирует закон аддитивности количества информации: в случае независимых событий общее количество информации равно сумме количеств информации в сообщениях о каждом из событий.

Формула Хартли

Если все исходы какого-то события равновероятны, то количество информации о наступление того или иного исхода определяется формулой Хартли, которую впервые записал в 1928 году американский инженер Ральф Хартли:
i = log₂ N
Здесь i – количество информации, содержащееся в сообщении о наступлении одного из равновероятных исходов события.

Из формулы Хартли, воспользовавшись определением логарифма, получим:
N = 2 i

Формула Шеннона

Представим, что в опыте с бросанием монеты, последняя окажется несимметричной. В этом случае выпадения «орла» и «решки» имеют различные вероятности реализации. Формулу Хартли для таких случаев применять нельзя.

К. Шеннон в 1948 году предложил для вычисления количества информации в случае не равновероятных событий следующую формулу:

I = p₁ * log₂ (1 / p₁) + p₂ * log₂ (1 / p₂) + . + p_N * log₂ (1 / p_N)
где I — количество информации,
N — количество возможных событий,
p_i — вероятность (частота) наступления i-го события

С математической точки зрения результат, вычисленный по формуле К. Шеннона, – это среднее количество информации, полученное о наступлении одного из возможных событий.

Copyright © 2014-2018, Урок информатики
Все права защищены

Содержательный подход к измерению информации.

Подходы к понятию информации и измерению информации.

Термин информация имеет множество определений. «Информация» происходит от латинского слова «informatio», что означает разъяснение, изложение, осведомление. Информация всегда представляется в виде сообщения. Сообщение – это форма представления каких-либо сведений в виде речи, текста, изображения, цифровых данных, графиков, таблиц и т.д. В широком смысле информация – это сведения, совокупность каких-либо данных, знаний. Наряду с понятие информация в информатике часто употребляется понятие данные. Данные – это результаты наблюдений над объектами и явлениями, которые по каким-то причинам не используются, а только хранятся. Как только данные начинают использовать в каких-либо практических целях, они превращаются в информацию.

1. По отношению к окружающей среде:

2. По способам восприятия:

3. По форме представления для персонального компьютера:

· полнота – наличие достаточных сведений;

· актуальность – степень соответствия информации текущему моменту времени;

· достоверность – насколько информация соответствует истинному положению дел;

· ценность – насколько информация важна для решения задачи;

· точность – степень близости к действительному состоянию объекта, процесса, явления;

· понятность – выражение информации на языке, понятном тем, кому она предназначена.

Важным вопросом является измерение количества информации. Как понять, сколько информации мы получили в том или ином сообщении? Разные люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. При этом нельзя объективно оценить количество информации, содержащейся даже в простом сообщении. Поэтому, когда информация рассматривается как новизна сообщения для получателя (бытовой подход), не ставится вопрос об измерении количества информации.

Существует три основные интерпретации понятия «информация».
Научная интерпретация. Информация — исходная общенаучная категория, отражающая структуру материи и способы ее познания, несводимая к другим, более простым понятиям.
Абстрактная интерпретация. Информация — некоторая последовательность символов, которые несут как вместе, так в отдельности некоторую смысловую нагрузку для исполнителя.
Конкретная интерпретация. В данной плоскости рассматриваются конкретные исполнители с учетом специфики их систем команд и семантики языка. Так, например, для машины информация — нули и единицы; для человека — звуки, образы, и т.п.

Можно выделить следующие подходы к определению информации:

Традиционный (обыденный)— используется в информатике:

Информация– это сведения, знания, сообщения о положении дел, которые человек воспринимает из окружающего мира с помощью органов чувств (зрения, слуха, вкуса, обоняния, осязания).

Вероятностный — используется в теории об информации: Информация– это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределённости и неполноты знаний.

Для человека: Информация – это знания, которые он получает из различных источников с помощью органов чувств.

Вся информация, которую обрабатывает компьютер, представлена двоичным кодом с помощью двух цифр – 0 и 1. Эти два символа 0 и 1 принято называть битами (от англ. binary digit – двоичный знак). Бит– наименьшая единица измерения объема информации.

Таблица 1. Единицы измерения информации.

Вопрос: «Как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

В информатике используются различные подходы к измерению информации:

Содержательный подход к измерению информации.

Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.

Количество информации, заключенное в сообщении, определяется по формуле Хартли:

2. Алфавитный (технический) подход к измерению информации— основан на подсчете числа символов в сообщении.

Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой, то количество информации, заключенное в сообщениивычисляется по формуле:

I_c – информационный объем сообщения

К – количество символов

N – мощность алфавита (количество символов)

i — информационный объем 1 символа

2. Информационные объекты различных видов.

Мы живем в реальном мире, окруженные разнообразными материальными объектами. Наличие информации об объектах реального мира порождает другой мир, неотделимый от сознания конкретных людей, где существует только информация. Этому миру мы даем разнообразные названия. Одно из таких названий — информационная картина мира.

Познание реального мира происходит через информационную картину мира. Человек формирует собственное представление о реальном мире, получая и осмысливая информацию о каждом реальном объекте, процессе или явлении. При этом у каждого человека существует своя информационная картина мира, которая зависит от множества факторов как субъективного, так и объективного порядка. Конечно, большую роль здесь играет уровень образованности человека. Информационные картины мира у школьника, студента и преподавателя будут существенно различаться. Чем объемнее и разнообразнее информация, которую может воспринять человек, тем более красочной получается эта картина. Так, например, информационная картина мира у ребенка совсем не такая, как у его родителей.

Один из способов познания реального мира — это моделирование, которое прежде всего связано с отбором необходимой информации и построением информационной модели. Однако любая информационная модель отражает реальный объект только в ограниченном аспекте — в соответствии с поставленной человеком целью. Отсюда и возникает определенная «ущербность» восприятия мира, если человек изучает его только с одной стороны, определяемой одной целью. Всестороннее познание окружающего мира возможно только тогда, когда существуют разные информационные модели, соответствующие разным целям.

Предположим, мы создали несколько информационных моделей для одного объекта реального мира. Их количество определяется количеством заданных целей. Например, информационные модели нашей планеты у школьника, астронома, метеоролога и геодезиста будут существенно различаться, так как у них разные цели, а значит, и информация, отобранная ими и положенная в основу информационной модели, будет разной.

При разработке модель постоянно сопоставляется с объектом-прототипом для оценки ее соответствия оригиналу.

Что же произойдет, если мы будем иметь дело только с информационными моделями, отстранившись от реального мира? В этом случае отпадает необходимость в понятии адекватности, так как, устранив объект, мы тем самым разорвем виртуальную связь, устанавливающую объектно-модельное отношение. А это значит, что мы полностью погрузимся в виртуальный, несуществующий мир, где циркулирует только информация. Сравнивать модель будет не с чем, а значит, отпадет необходимость в самом моделировании.

Таким образом, модель превращается в некий самостоятельный объект, который представляет собой совокупность информации.

Вспомнив понятие объекта, которое определяется как некоторая часть окружающего мира, рассматриваемая как единое целое, можно высказать предположение, что информационную модель, которая не имеет связи с объектом-оригиналом, тоже можно считать объектом, но не материальным, а информационным. Таким образом, информационный объект получается из информационной модели путем «отчуждения» информации от объекта-оригинала.

Информационный объект — это совокупность логически связанной информации. Тогда информационный мир будет представлять собой множество разнообразных информационных объектов.

Информационный объект, «отчужденный» от объекта-оригинала, можно хранить на различных материальных носителях. Простейший материальный носитель информации — это бумага. Есть также магнитные, электронные, лазерные и другие носители информации.

С информационными объектами, зафиксированными на материальном носителе, можно производить те же действия, что и с информацией при работе на компьютере: вводить их, хранить, обрабатывать, передавать. Однако технология работы с информационными объектами будет несколько иная, нежели с информационными моделями. Создавая информационную модель, мы определяли цель моделирования и в соответствии с ней выделяли существенные признаки, делая акцент на исследовании. В случае с информационным объектом мы имеем дело с более простой технологией, так как никакого исследования проводить не надо. Здесь вполне достаточно традиционных этапов переработки информации: ввода, хранения, обработки, передачи.

При работе с информационными объектами большую роль играет компьютер. Используя возможности, которые предоставляют пользователю офисные технологии, можно создавать разнообразные профессиональные компьютерные документы, которые будут являться разновидностями информационных объектов. Все, что создается в компьютерных средах, будет являться информационным объектом.

Литературное произведение, газетная статья, приказ — примеры информационных объектов в виде текстовых документов.

Рисунки, чертежи, схемы — это информационные объекты в видеографических документов.

Ведомость начисления заработной платы, таблица стоимости произведенных покупок в оптовом магазине, смета на выполнение работ и прочие виды документов в табличной форме, где производятся автоматические вычисления по формулам, связывающим ячейки таблицы, — это примеры информационных объектов в виде электронных таблиц.

Результат выборки из базы данных — это тоже информационный объект.

Довольно часто мы имеем дело с составными документами, в которых информация представлена в разных формах. Такие документы могут содержать и текст, и рисунки, и таблицы, и формулы, и многое другое. Школьные учебники, журналы, газеты — это хорошо знакомые всем примеры составных документов, являющихся информационными объектами сложной структуры. Для создания составных документов используются программные среды, в которых предусмотрена возможность представления информации в разных формах.

Другими примерами сложных информационных объектов могут служить создаваемые на компьютере презентации и гипертекстовые документы. Презентацию составляет совокупность компьютерных слайдов, которые обеспечивают не только представление информации, но и ее показ по заранее созданному сценарию. Гипертекстом может быть назван документ, в котором имеются гиперссылки на другие части этого же документа или другие документы.

Не нашли то, что искали? Воспользуйтесь поиском:

Лучшие изречения: Для студента самое главное не сдать экзамен, а вовремя вспомнить про него. 9116 — | 6862 — или читать все.

193.124.117.139 © studopedia.ru Не является автором материалов, которые размещены. Но предоставляет возможность бесплатного использования. Есть нарушение авторского права? Напишите нам | Обратная связь.

Отключите adBlock!
и обновите страницу (F5)
очень нужно

Содержательный подход к измерению информации

за привлеченного слушателя на курсы профессиональной переподготовки

Лекция 8. Единицы измерения информации. Содержательный подход к измерению информации .

Мы постоянно что-то измеряем — время, длину, скорость, массу. И для каждой величины есть своя единица измерения, а зачастую несколько. Метры и километры, килограммы и тонны, секунды и часы — все это нам знакомо. А как же измерить информацию? Для информации тоже придумали единицу измерения и назвали ее бит .

Бит — это минимальная единица измерения информации.

В одном бите содержится очень мало информации. Он может принимать только одно из двух значений (1 или 0, да или нет, истина или ложь). Измерять информацию в битах очень неудобно — числа получаются огромные. Ведь не измеряют же массу автомобиля в граммах.

Например, если представить объем флешки в 4Гб в битах мы получим 34 359 738 368 бит. Представьте, пришли вы в компьютерный магазин и просите продавца дать вам флешку объемом 34 359 738 368 бит. Вряд ли он вас поймет

Поэтому в информатике и в жизни используются производные от бита единицы измерения информации. Но у них у всех есть замечательное свойство — они являются степенями двойки с шагом 10.

Итак, возьмем число 2 и возведем его в нулевую степень. Получим 1 (любое число в нулевой степени равно 1). Это будет байт.

В одном байте 8 бит.

Теперь возведем 2 в 10-ю степень — получим 1024. Это килобайт (Кбайт).

В одном килобайте 1024 байт.

Если возвести 2 в 20 степень — получим мегабайт (Мбайт).

1Мбайт = 1024 Кбайт.

И так далее. Удобнее эти данные отобразить в виде таблицы:

Единицы измерения информации

В содержательном подходе количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку.

Вспомним, что с «человеческой» точки зрения информация — это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания.

Вы уже знаете, что за единицу измерения информации принимается 1 бит.

1 бит — минимальная единица измерения количества информации.

Проблема измерения информации исследована в теории информации, основатель которой — Клод Шеннон .

В теории информации для бита дается следующее определение:

Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.

Что такое неопределенность знания, поясним на примерах.

Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка. Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны .

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.

Игральный же кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.

Еще пример: спортсмены-лыжники перед забегом путем жеребьевки определяют свои порядковые номера на старте. Допустим, что имеется 100 участников соревнований, тогда неопределенность знания спортсмена о своем номере до жеребьевки равна 100 .

Следовательно, можно сказать так:

Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, вытаскивание жребия и др.) — это количество возможных результатов.

Вернемся к примеру с монетой. После того как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Определился один из двух возможных результатов. Неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение об одном из двух равновероятных результатов некоторого события несет 1 бит информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий.

Тогда количество информации i , содержащееся в сообщении о том, что произошло одно из N равновероятных событий, можно определить из формулы Хартли:

Данная формула является показательным уравнением относительно неизвестного i .

Из математики известно, что решение такого уравнения имеет вид:

i=log2N — логарифм N по основанию 2 .

Если N равно целой степени двойки ( 2,4,8,16 и т. д.), то такое уравнение можно решить «в уме».

Шахматная доска состоит из 64 полей: 8 столбцов на 8 строк.

Какое количество бит несет сообщение о выборе одного шахматного поля?

Поскольку выбор любой из 64 клеток равновероятен, то количество бит находится из формулы:

i=log264=6, так как 26=64 .

В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей двоичных логарифмов .

Количество информации с точки зрения содержательного подхода

Вопрос: «Как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

Содержательный подход к измерению информации.

Для человека информация — это знания человека. Рассмотрим вопрос с этой точки зрения.
Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.
Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: «2×2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.
Но для того чтобы сообщение было информативно оно должно еще быть понятно. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Определение «значение определенного интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах», скорее всего, не пополнит знания и старшеклассника, т.к. оно ему не понятно. Для того, чтобы понять данное определение, нужно закончить изучение элементарной математики и знать начала высшей.
Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет в то же время понятным, а значит, будет нести информацию для человека.
Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.

Очевидно, различать лишь две ситуации: «нет информации» — «есть информация» для измерения информации недостаточно. Нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так:

Например, после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил. Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».
Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Рассмотрим еще один пример.

На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?

Применим метод половинного деления. Зададим несколько вопросов уменьшающих неопределенность знаний в два раза.

Задаем вопросы:
— Книга лежит выше четвертой полки?
— Нет.
— Книга лежит ниже третьей полки?
— Да .
— Книга — на второй полке?
— Нет.
— Ну теперь все ясно! Книга лежит на первой полке!

Каждый ответ уменьшал неопределенность в два раза.

Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу:

Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2 I = N.

Пример: Вы бросаете монету, загадывая, что выпадет: орел или решка?

Решение: Есть два варианта возможного результата бросания монеты. Ни один из этих вариантов не имеет преимущества перед другим (равновероятны). Перед подбрасыванием монеты неопределенность знаний о результате равна двум.

После совершения действия неопределенность уменьшилась в 2 раза. Получили 1 бит информации.

Ответ: Результат подбрасывания монеты принес 1 бит информации.

Содержательный подход к измерению информации: всё, что нужно знать

Перед тем как приступить к измерению информации, давайте введём определение и разберёмся, с чем имеем дело.

Определение

Информация — это сведения, сообщения, данные во всех своих проявлениях, формах независимо от их содержания. Даже полная белиберда, написанная на клочке бумаги может считаться информацией. Однако это определение из российского федерального закона.

Из международных стандартов можно выделить следующие значения:

• знания о предметах, фактах, идеях, значениях, мнениях, которыми обмениваются люди в конкретном контексте;
• знания о фактах, событиях, значениях, вещах, понятиях, которые в конкретном контексте имеют определённый смысл.

Данные — это материализованная форма представления информации, хотя в некоторых текстах эти два понятия могут быть использованы как синонимы.

Способы измерения

Понятие информации определяется по-разному. Измеряется она тоже по-разному. Можно выделить следующие основные подходы к измерению информации:

1. Алфавитный подход.
2. Вероятностный подход.
3. Содержательный подход к измерению информации.

Все они соответствуют различным определениям и имеют различных авторов, мнение которых касательно данных различалось. Вероятностный подход был создан А.Н. Колмогоровым и не учитывал субъект передачи информации, то есть он измеряет ее количество независимо от того, насколько она важна для передающего и принимающего её субъекта. Содержательный подход к измерению информации, созданный К. Шенноном, учитывает больше переменных и является своего рода оценкой важности этих данных для принимающей стороны. Но давайте рассмотрим всё по порядку.

Вероятностный подход

Как было уже сказано, подходы к измерению количества информации очень различаются. Этот подход был разработан Шенноном в 1948 году. Он заключается в том, что количество информации зависит от количества событий и их вероятности. Вычислить количество полученных сведений при этом подходе можно по нижеследующей формуле, в которой I — это искомое количество, N — число событий и p_i — это вероятность каждого конкретного события.

Абсолютно самодостаточный метод вычисления количества информации. Он не учитывает, что именно написано в сообщении, и не связывает количество написанного с содержанием. Для вычисления количества информации нам необходимо знать мощность алфавита и объём текста. По сути, мощность алфавита не ограничена. Однако в компьютерах используется достаточный алфавит мощностью в 256 символов. Таким образом мы можем посчитать, сколько информации несёт в себе один символ печатного текста на компьютере. Поскольку 256=2 8 , то один символ составляет 8 бит данных.

1 бит — это минимальное, неделимое количество информации. По Шеннону, это такое количество данных, которое снижает неопределённость знаний в два раза.

1024 байта = 1 килобайт.

1024 килобайта = 1 мегабайт.

Как видите, подходы к измерению информации очень различаются. Существует еще один способ измерить ее количество. Он позволяет оценить не только количество, но и качество. Содержательный подход к измерению информации позволяет учесть полезность данных. Также этот подход означает, что количество сведений, заключенных в сообщении, определено количеством новых знаний, которые получит человек.

Если выражаться математическими формулами, то количество сведений, равное 1биту, должно уменьшать неопределённость знаний человека в 2 раза. Таким образом, воспользуемся следующей формулой для определения количества информации:

Х=log₂Н , где Х — количество получаемых данных, а Н — количество равновероятных исходов. Для примера решим задачку.

Пусть у нас есть трёхгранная пирамидка с четырьмя сторонами. При подбрасывании её вверх есть шанс, что она упадёт на одну из четырёх сторон. Таким образом, Н=4 (количество равновероятностных исходов). Как вы понимаете, шанс, что наш объект упадёт на одну из граней и так останется стоять, меньше, чем если подбрасывать монету и ожидать, что она встанет ребром.

Как видите, результат 2. Но что это за цифра? Как было уже сказано, минимальная неделимая единица измерения — бит. В итоге, после падения мы получили 2 бита информации.

Подходы к измерению информации используют логарифмы для вычислений. Для упрощения этих действий можете воспользоваться калькулятором либо специальной таблицей логарифмов.

Где вам могут пригодиться знания, полученные в этой статье, особенно данные про содержательный подход к измерению информации? Без сомнения, на экзамене по информатике. Рассмотренный вопрос позволяет лучше ориентироваться в компьютерных технологиях, в частности, в размерах внутренней и внешней памяти. На деле эти знания практической ценности не имеют, разве что в науке. Ни один работодатель не заставит вас вычислять количество информации в напечатанном документе или написанной программе. Разве что в программировании, где вам будет необходимо задать размер памяти, выделяемой под переменную.

Содержательный подход к измерению информации

Другое название содержательного подхода – вероятностный. Вероятность — степень возможности появления какого-либо определенного события в тех или иных условиях. Два события называются равновероятными (или равновозможными), если нет никаких объективных причин считать, что одно из них может наступить чаще, чем другое.

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной кости, имеющей N граней. Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1, 2, . . . N.

Введем в рассмотрение численную величину, измеряющую неопределенность — энтропию (обозначим ее H). Согласно развитой теории, в случае равновероятного выпадания каждой из граней величины N и H связаны между собой формулой Хартли H = log₂N.

Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, H будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты при котором возможны два исхода: «орел», «решка»). Такая единица количества информации и является «битом».

Приведем примеры равновероятных сообщений: при бросании монеты: «выпала решка», «выпал орел»; на странице книги: «количество букв чётное», «количество букв нечётное».

Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Вероятность события А определяется формулой:

где m — число элементарных исходов, благоприятствующих А;

n — число всех возможных элементарных исходов испытания.

Легко заметить, что если вероятности p₁, . p_Nравны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Рассмотрим следующий пример. Пусть при бросании несимметричной четырехгранной пирамидки вероятности выпадения граней будут следующими: p₁=1/2, p₂=1/4, p₃=1/8, p₄=1/8, тогда количество информации, получаемое после броска, можно рассчитать по формуле:

Для симметричной четырехгранной пирамидки количество информации будет: H=log₂4=2(бит).

Заметим, что для симметричной пирамидки количество информации оказалось больше, чем для несимметричной пирамидки. Максимальное значение количества информации достигается для равновероятных событий.

1. Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет?

N=8 – количество дискет (число событий)

2. Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8 после первого хода первого игрока, играющего крестиками?

N=64 – количество полей

3. Сообщение о том, что ваш друг живет на десятом этаже несет в себе 4 бита информации. Сколько этажей в доме?

4. В коробке 5 синих и 15 красных шариков. Какое количество информации несет сообщение, что из коробки достали синий шарик?

N=15+5=20 всего шариков

K=5 – синих (его достали)

5. Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 10 белых, 20 красных, 30 синих и 40 зеленых шариков?

K=10+20+30+40=100 – общее количество шариков

6. Студенты группы изучают один из трех языков: английский, немецкий или французский. Причем 12 студентов не учат английский. Сообщение, что случайно выбранный студент Петров изучает английский, несет log₂3 бит информации, а что Иванов изучает французский – 1 бит. Сколько студентов изучают немецкий язык?

Y– учат французский

X– учат английский, 12 не учат английский. Всего 12+Xстудентов

Содержательный подход к оценке количества информации

В зависимости от задачи, которую перед собой ставит человек, можно использовать разные способы представления информации. Для того чтобы послушать музыку, нет необходимости переводить её в нотную запись. А вот чтобы научиться её играть, лучше воспользоваться нотами, чем подбирать мелодию на слух. Формализованные языки используются для кодирования информации. Определенный набор символов алфавита образует слово, а число этих символов – это его длина. При изменении длины слова будет меняться и информация, заключенная в нем. Чтобы разобраться в изменениях информации, необходима ее оценка, т.е. измерение количества.

Подходы к оценке количества информации

Как понять, какое количество информации получил человек в том или ином сообщении?

Разные люди, получившие одинаковые сообщения, по-разному оценивают количество информации, содержащейся в них. Это происходит потому, что знания людей в вопросах, о которых идет речь в сообщениях, до их получения были различными. Таким образом те, у кого знания в рассматриваемом вопросе были не значительны, сочтут, что получили много полезной информации, те же, кто знал больше, могут отметить, что информации не получили вовсе. Отсюда напрашивается вывод, что количество информации в сообщении зависит от того, насколько новым содержание этого сообщения будет для получателя.

Попробуй обратиться за помощью к преподавателям

В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. При этом нельзя объективно оценить количество информации, содержащейся даже в простом сообщении. Поэтому, когда информация рассматривается как новизна сообщения для получателя (бытовой подход), не ставится вопрос об измерении ее количества. Задача измерения информации не так проста, как кажется на первый взгляд. Различные подходы к измерению информации обусловлены различными подходами к её определению и кодированию:

1. Субъективное восприятие сообщения (содержало ли оно новую для вас информацию или нет, насколько эта информация была полезной) делает невозможным его количественную оценку при обыденном подходе к понятию «информация».
2. Подход к информации как мере уменьшения неопределённости знания позволяет применять вероятностный подход к её измерению.
3. Подход, основанный на подсчёте числа символов в сообщении (количества данных), называется алфавитным.

Задай вопрос специалистам и получи
ответ уже через 15 минут!

Содержательный подход к оценке количества информации

Рассмотрим более подробно первый подход к измерению количества информации, его называют содержательным.

Для человека информация — это его знания об окружающей его действительности. Получение человеком новой информации приводит к расширению этих знаний. Если некое сообщение приводит к уменьшению неопределенности знания в каком-либо вопросе, то можно с уверенностью сказать, что это сообщение содержит информацию.

Таким образом, можно утверждать, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, программа телепередач на завтра — информативное сообщение, а сообщение о вчерашних телепрограммах неинформативно, т.к. нам это уже известно.

С точки зрения содержательного подхода, сообщение об уже известном для человека событии не содержит информации. Например, сообщение учителя на уроке информатики: «Сейчас вы будете изучать информатику» не содержит информации для школьников, на каком уроке они находятся. Сообщение содержит информацию в том случае, когда из некоторых возможных, так как такое уменьшает неопределенность знания. Например, урок информатики может проводиться как в обычном, так и в компьютерном кабинете. В этом случае сообщение «Урок информатики будет проведен в компьютерном кабинете» содержит информацию для учащихся, поскольку они получили новое знание о месте проведения урока информатики.

Нетрудно понять, что информативность одних и тех же сообщений может быть различной для разных людей. Например, азы грамматики информативны для первоклассника, который только начинает учиться писать, и совсем неинформативны для старшеклассников.

Однако для того, чтобы сообщение было информативным, оно должно быть, как минимум, понятным. А значит быть логически связанным с предыдущими знаниями человека в этом вопросе. Так, например, программа низкого уровня, написанная на машинном языке, вероятнее всего не пополнит знаний старшеклассника, так как будет ему не понятна, поскольку он, в свою очередь, изучает на информатике один из языков программирования высокого уровня, как более простой, а ему предлагают знания из области специальных.

Получение всяких знаний должно идти поэтапно: от простого к сложному. Только в этом случае каждое новое сообщение будет понятным, а значит информативным.

Единица измерения количества информации

Очевидно, если различать только $2$ ситуации: когда нет информации, или есть информация, то для измерения ее количества этого будет не достаточно. Необходимо определиться с единицей измерения, и тогда возможной станет оценка количества информации, в каком сообщении – ее больше, в каком — меньше.

Такая единица измерения информации существует, она была определена в науке, которая называется теорией информации. Эта единица носит название «бит».

Один бит информации – это сообщение, уменьшающее неопределенность знаний в два раза.

Например, после сдачи зачета или экзамена студент страдает от неопределенности, поскольку ему не известна оценка, которую он получил. После объявления преподавателем результатов он получает $1$ из $2$ информационных сообщений: «зачет» или «незачет», а после экзамена $1$ из $4$ информационных сообщений: $«2»$, $«3»$, $«4»$ или $«5»$.

Первое информационное сообщение приводит к уменьшению неопределенности знания в $2$ раза, так как получено $1$ из $2$ возможных информационных сообщений. Второе сообщение об оценке за экзамен приводит к уменьшению неопределенности знания в $4$ раза, так как получено $1$ из $4$ возможных информационных сообщений.

Неопределенность знаний о некотором событии — это количество возможных результатов события.

Рассмотрим еще один пример.

На стене в подъезде восемь почтовых ящиков. Письмо может находиться в любом из них. Сколько информации содержит сообщение о том, где находится письмо?

Применим метод половинного деления. Зададим несколько вопросов уменьшающих неопределенность знаний в два раза. Задаем вопросы:

— Письмо находится правее четвертого ящика?

— Письмо находится левее третьего ящика?

— Письмо — во втором ящике?

— Ответ ясен! Письмо находится в первом ящике!

Каждый ответ уменьшал неопределенность в $2$ раза.

Всего было задано $3$ вопроса. Соответственно набрано $3$ бита информации. И если бы сразу было сказано, что письмо находится в первом ящике, то этим сообщением были бы переданы те же $3$ бита информации.

Так и не нашли ответ
на свой вопрос?

Просто напиши с чем тебе
нужна помощь