Реферат на тему: Неопределенность, количество информации и энтропия. Формула Шеннона

Введение

По определению А.Д. Урсула - "информация есть отраженное разнообразие". Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени, но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

Оглавление

- Введение

- 1. Бит

- Неопределенность, количество информации и энтропия

- Формула Шеннона

- Формула Хартли

- Количество информации, получаемой в процессе сообщения Список использованной литературы

Список литературы

- Зрение.

- Ильина О. В. Кодирование информации в курсе информатики средней школы. :8101/rеsоurсе/distаnt/infоrmаtiсs/s/ilinа/.

- Интернет-школа. &itеm3693/.

- Информатика, математика лекции учебники курсовые студенту и школьнику.

- Петрович Н. Т. Люди и биты. Информационный взрыв: что он несет. М.: Знание.