Энтропия и источники информации
Кто имеет компетенцию в информатике, будет в состоянии разобраться с тестированием. Какая формула определяет энтропию
Кто имеет компетенцию в информатике, будет в состоянии разобраться с тестированием. Какая формула определяет энтропию неравновероятного источника информации? Выберите один вариант ответа: а. формула Фано, б. формула Шеннона, в. формула Котельникова, г. формула Хартли.
Вопрос 2: Какова максимальная энтропия алфавита из 256 символов? Выберите один вариант ответа: а. 32 бита/символ, б. 128 бит/символ, в. 8 бит/символ, г. 5 бит/символ.
Вопрос 3: Какова избыточность алфавита, если его энтропия составляет 2,5 бита/символ, а объем - 32 символа? Выберите один вариант ответа: а. 25 %, б. 12,5 %, в. 50 %, г. 25 %.
Вопрос 4: Каков объем информации в сообщении?
Вопрос 2: Какова максимальная энтропия алфавита из 256 символов? Выберите один вариант ответа: а. 32 бита/символ, б. 128 бит/символ, в. 8 бит/символ, г. 5 бит/символ.
Вопрос 3: Какова избыточность алфавита, если его энтропия составляет 2,5 бита/символ, а объем - 32 символа? Выберите один вариант ответа: а. 25 %, б. 12,5 %, в. 50 %, г. 25 %.
Вопрос 4: Каков объем информации в сообщении?
04.12.2023 02:15
Написать свой ответ:
Разъяснение: Энтропия - это мера неопределенности или информативности источника данных. Формула Шеннона используется для определения энтропии неравновероятного источника информации. Формула Шеннона выражается следующим образом: H = - Σ (pᵢ * log₂(pᵢ)), где pᵢ - вероятность появления i-го символа.
Согласно предоставленным вопросам:
1. Для определения энтропии неравновероятного источника информации используется формула Шеннона (ответ б).
2. Максимальная энтропия алфавита из 256 символов равна 8 бит/символ (ответ в). Поскольку 256 = 2^8, то требуется 8 бит для представления каждого символа.
3. Избыточность алфавита определяется как разница между максимальной энтропией и фактической энтропией. В данном случае, объем aлфавита равен 32, а энтропия составляет 2,5 бита/символ. Следовательно, избыточность алфавита равна 12,5% (ответ б).
Совет: Для лучшего понимания концепции энтропии и источников информации рекомендуется изучить основы теории информации и принципы кодирования.
Дополнительное упражнение: Определите энтропию алфавита, состоящего из 4 символов, если вероятности появления символов равны 0.4, 0.3, 0.2 и 0.1 соответственно. (Ответ округлите до двух знаков после запятой).