Формула К. Шеннона и степень неопределенности
1. Какова степень неопределенности (энтропия), содержащаяся в событии после получения одного сообщения, если канал
1. Какова степень неопределенности (энтропия), содержащаяся в событии после получения одного сообщения, если канал связи использует Формулу К. Шеннона? Вероятность получения первого сообщения составляет 0,3, второго - 0,2, третьего - 0,14, а вероятности получения четвертого и пятого сообщений равны между собой.
2. Какова степень неопределенности (энтропия), содержащаяся в опыте после реализации одного из шести событий? Вероятность первого события составляет 0,15, второго - 0,25, третьего - 0,2, четвертого - 0,12, пятого - 0,12, шестого - 0,1.
3. Какова степень неопределенности (энтропия), содержащаяся в событии после приема одного сообщения, если канал связи использует Формулу К. Шеннона? Вероятность получения первого сообщения составляет 0,3, второго - 0,2, третьего - 0,14, а вероятности получения четвертого и пятого сообщений равны между собой.
2. Какова степень неопределенности (энтропия), содержащаяся в опыте после реализации одного из шести событий? Вероятность первого события составляет 0,15, второго - 0,25, третьего - 0,2, четвертого - 0,12, пятого - 0,12, шестого - 0,1.
3. Какова степень неопределенности (энтропия), содержащаяся в событии после приема одного сообщения, если канал связи использует Формулу К. Шеннона? Вероятность получения первого сообщения составляет 0,3, второго - 0,2, третьего - 0,14, а вероятности получения четвертого и пятого сообщений равны между собой.
28.07.2024 05:01
Написать свой ответ:
Описание: Формула К. Шеннона является одной из основных концепций теории информации. Она используется для измерения уровня неопределенности или энтропии в системе. Формула К. Шеннона выглядит следующим образом:
H = - Σ (p(i) * log2(p(i)))
где H - степень неопределенности (энтропия), p(i) - вероятность получения сообщения i.
Для решения первой задачи необходимо вычислить степень неопределенности после получения одного сообщения. Вероятности получения сообщений даны: p(1) = 0,3, p(2) = 0,2, p(3) = 0,14, и вероятности p(4) и p(5) равны между собой. Воспользуемся формулой К. Шеннона:
H = - (0,3 * log2(0,3) + 0,2 * log2(0,2) + 0,14 * log2(0,14) + 2 * p(4) * log2(p(4)))
Для второй задачи, где имеется шесть событий, нам даны вероятности первых пяти событий и одно из них будет реализовано. Вероятности заданы следующим образом: p(1) = 0,15, p(2) = 0,25, p(3) = 0,2, p(4) = 0,12, p(5) = 0,12, p(6) = 0,1. Снова используем формулу К. Шеннона:
H = - (0,15 * log2(0,15) + 0,25 * log2(0,25) + 0,2 * log2(0,2) + 0,12 * log2(0,12) + 0,12 * log2(0,12) + 0,1 * log2(0,1))
Совет: Для более легкого понимания формулы К. Шеннона и работы с неопределенностью, рекомендуется ознакомиться с базовыми концепциями теории информации. Изучение примеров использования формулы поможет закрепить материал.
Ещё задача: Найдите степень неопределенности для следующей ситуации: Вероятности событий равны p(1) = 0,4, p(2) = 0,3, p(3) = 0,1, p(4) = 0,05, p(5) = 0,05, p(6) = 0,1.