Реферат на тему: Бит. Неопределенность, количество информации и энтропия. Формула Шеннона

Введение

По определению А.Д. Урсула - "информация есть отраженное разнообразие". Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени, но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

Оглавление

- Введение

- 1. Бит

- Неопределенность, количество информации и энтропия

- Формула Шеннона

- Формула Хартли

- Количество информации, получаемой в процессе сообщения Список использованной литературы