Энтропийный коэффициент качества шума

Пожалуйста, напишите формулу вычисления коэффициента не словами, а в математическом виде или приложите изображение. Непонятно что на что надо делить — либо саму экспоненту, либо степень её.

Есть проблемы с вставкой математической формулы в окно текста сообщения, а вставка рисунка не работает. Поэтому пока уточню, что е в степени H это числитель дроби, а сигма умноженная на корень квадратный из 2 х пи х е это знаменатель.

Символьную математическую формулу с сохранением форматирования вставить в окно не удается, но надеюсь дополнительное пояснение вам понятно

Да, форму теперь стала однозначно понимаемой. Проблема теперь стоит в понимании теории. не могли бы вы привести ссылку на письменный или электронный источник?

В документе на который вы даете ссылку в формуле энтропийного коэффициента качества шума, думаю, закралась ошибка — потерялась в знаменателе — дисперсия D (квадрат СКО-сигмы), она же потерялась в формуле расчета энтропии Н, а исходная формула распределения вероятностей по нормальному закону верная.
Вот ссылка на учебник:
посмотрите раздел маскирующие шумы стр. 142-146 и их контроль стр. 160-162

Добрый день.
Как идет процессcс понимания теории статистического измерения шума?
Чтобы я тоже участвовал, прошу вас выслать на адрес v_kinzyakaev(собака)eureca.ru математические формулы используемые в программе «Гистограф» при вычислении параметра «Отклонение в поле рассеяния от нормального закона»
и энтропии.
P.S. М.б для полного раскрытия темы переписку целесообразно продолжить по е мейл?

Теория статистического измерения шума не такая сложная вещь, можно разобраться за разумное время.
Параметр «Отклонение в поле рассеяния» вычисляется по следующей формуле: d = 1/N * SUM[i:1..N](|g(i)-h(i)|/g(i)) * 100%
Думаю, что по почте общаться нецелесообразно.

При энтропии 5,24 коэффициент качества шумового сигнала получается 0,02.

В литературе, которую привели вы, в формуле энтропийного коэффициента качества в знаменателе стоит сигма в квадрате за знаком корня. В вашем словесном описании сигма стоит за знаком корня и в квадрат не возводится. Если следовать формуле из книги, то коэффициент равен 0,02; если вычислять по вашей формуле (то есть внести сигму в квадрате под знак корня), то коэффициент равен 0,97 (что соответствует требованиям нормативно-методических документов).
«Отклонение в поле рассеяния» никак не связано с энтропийным коэффициентом качества.

Уважаемый Сергей Бегишев.
Спасибо за работу и ответы, но для моего понимания не хватает подробностей.
С формулой расчета коэффициента качества шума мы пришли к общему знаменателю. Осталось понять как расчитать энтропию закона распределения шумового сигнала — H. Подскажите как и какие программы Вы использовали?
Формула расчета энтропии H (суммирование произведения плотности вероятности p на натуральный логарифм p) в учебнике Железняка на стр. 162 совпадает с другими источниками по статистическому измерению, значит она верная.
Пожалуйста, по возможности, технологию этого расчета с использованием zetlab осветите подробнее.

Энтропию я рассчитывал по формуле, которую вы указали. Сам расчёт я проводил в программе «Гистограф» — просто добавил соответствующий код в программу. В новую версию ZETLab+Analiztor можно включить программу «Гистограф» с расчётом энтропии и коэффициента качества.

Огромное спасибо Сергей!
Через какое время можно будет обратиться в тех.поддержку за новой версией программы «Гистограф»?
Пригодится ли вам официальное (бумажное) письмо-запрос по этой доработке программного обеспечения от нашей фирмы?

Исправления и дополнения в программу я уже внёс. Однако письмо пригодится для того, чтобы наши менеджеры связались с вами в рабочем порядке и сообщили по готовности. Для этого лучше воспользоваться электронной почтой.

Сейчас данная проблема решена и можно обращаться к менеджерам.

Для ответа в этой теме необходимо авторизоваться.

Источник

Статьи

Акционерное общество «Научно-технический центр радиоэлектронной борьбы»

Универсальный показатель для оценки эффективности маскирующих и имитационных радиопомех

Автор: Пашук Михаил Федорович,

первый заместитель генерального директора

Автор: Панычев Сергей Николаевич,

ведущий научный сотрудник «Центра системных исследований и разработок», доктор технических наук

Автор: Суровцев Сергей Владимирович,

начальник отдела «Центра системных исследований и разработок»

Одним из основных способов радиоэлектронной борьбы является применение маскирующих шумовых помех. Такие помехи также широко применяют при защите информации от утечки по различным каналам [1]. Для оценки качества таких помех используют как энергетические, так и вероятностные энтропийные показатели. К наиболее употребляемым на практике энергетическим показателям качества шумовых помех относятся: спектральная плотность мощности шума, коэффициент подавления, защитное отношение.

В качестве энтропийных показателей эффективности шумовых маскирующих радиопомех применяют следующие показатели:

– энтропия плотности распределения вероятностей (ПРВ) мгновенных значений амплитуд помех (числовая характеристика, которая характеризует дезинформационное действие шума при приеме сигнала в шумах);

– энтропийная мощность реального шума;

– энтропийный коэффициент качества шума (ЭККШ) (нормируемая характеристика серийно выпускаемых генераторов маскирующих шумов).

Маскирующие шумовые помехи являются универсальными для радиоэлектронного подавления и маскировки сигналов во всем возможном частотном диапазоне их существования. Обычно они реализуются на практике шумовыми генераторами – постановщиками заградительных по частоте помех. Степень близости генерируемых шумов к идеальному гауссову шуму оценивается показателем ЭККШ. Недостатком этого вида помех является их невысокая энергетическая эффективность.

Вместе с тем, теория и практика постановки помех и маскирования сигналов показывает, что во многих практически важных ситуациях наиболее эффективной помехой является не гауссов шум, а имитационная помеха: помеха с характеристиками информационного параметра, близкими по свойствам к подавляемому или маскируемому сигналу. Объясняется это не только большей спектральной плотностью мощности помехи, но и близостью статистических свойств полезных сигналов и имитационной помехи. Теоретическое обоснование такого рода помех приводится в ряде работ В. Железняка и А. Хорева (укажем одну совместную их работу [2]). Оценка качества имитационных прицельных по частоте помех имеет свою специфику, которую необходимо учитывать при практическом применении показателей качества радиоэлектронного подавления или защиты информации. При этом важно учитывать, что закон распределения мгновенных значений амплитуд помехи имеет жесткую функциональную связь с ее энергетическим спектром.

Современная теория оценки эффективности имитационных радиопомех [3] базируется на моделях оценки относительных информационных потерь за счет влияния помех на цифровые приемные устройства. При этом в основу этих моделей положены известные энергетические показатели (коэффициент подавления, защитное отношение) с учетом влияния видов и параметров законов распределения мгновенных значений амплитуд сигналов и помех на эффективность процессов радиоэлектронного подавления или маскирования сигналов. Таким образом, в упомянутой работе впервые предложен показатель, объединяющий как энергетические, так и вероятностно-информационные свойства шумов и помех.

Целью настоящей статьи является обоснование универсального показателя, пригодного для оценки энергетической и информационной эффективности маскирующих и имитационных помех, применяемых в технических средствах радиоэлектронного подавления и защиты информации.

Обоснование универсального показателя эффективности маскирующих и имитационных помех

Универсальный показатель для оценки эффективности маскирующих и имитационных помех должен удовлетворять следующим требованиям:

– простота, наглядность, возможность экспериментальной оценки по простой инженерной методике;

– инвариантность к видам и параметрам помех (пригодность для оценки качества имитационных или маскирующих помех любого вида);

– возможность количественного учета вклада энергетических и информационно-статистических свойств помех в общий показатель эффективности маскирующих или имитационных радиопомех;

– показатель должен быть связан с традиционно применяемыми энергетическими и энтропийными показателями качества маскирующих и имитационных шумов и помех.

Указанным требованиям удовлетворяет следующий показатель (назовем его энтропийным коэффициентом подавления (ЭКП)). Введем его в следующем виде:

(1)

где — плотность распределения вероятностей (ПРВ) мгновенных значений амплитуд помехи (шума) в полосе приема;

— ПРВ мгновенных значений амплитуд подавляемого или маскируемого сигнала.

Предложенный показатель (1) учитывает одновременно как энергетические, так и вероятностные свойства помех и полезных сигналов (которые в общем случае также могут иметь вероятностные свойства). При этом отношение моментных характеристик – математических ожиданий ПРВ и в (1) есть энергетическое отношение помеха-сигнал по амплитуде или численное значение коэффициента подавления. Отношение дисперсий законов распределений и соответствует энергетическому отношению помеха-сигнал по мощности.

Статистическая мера различия форм законов распределения ПРВ и в (1) характеризует вероятностную эффективность имитационных и маскирующих шумов и помех. Если формы законов распределений сигнала и имитационной помехи близки, то такая помеха является эффективной. С ПРВ мгновенных значений амплитуд помех и сигналов можно оперировать как с математическими функциями. В результате деления функции на функцию получается функция ПРВ мгновенных значений амплитуд , однозначно характеризующая результирующую энергетическую и информационно-вероятностную эффективность маскирующих или имитационных помех.

На основе общего показателя качества шумов и помех (1) можно предложить и другие частные показатели, которые традиционно применяются в моделях оценки качества помех. Так, например, вычисление энтропии ПРВ позволяет заменить отношение функций ПРВ на отношение числовых характеристик (энтропии и ). Напомним, что энтропия ПРВ – это численная характеристика, показывающая отличие конкретной формы ПРВ мгновенных значений сигналов и помех от формы стандартного гауссова распределения. В этом случае функция заменяется точечной оценкой, а именно числом, соответствующим отношению энтропий ПРВ.

Из анализа (1) следует, что энергетические и информационно-вероятностные характеристики в предложенном показателе тесно связаны между собой. Так, например, форма закона распределения помехи или шума влияет на энергетическое отношение помеха-сигнал (энергетический коэффициент подавления). В свою очередь, увеличение математического ожидания или дисперсии мгновенных амплитуд помехи может приводить к изменению формы ПРВ . Это обстоятельство необходимо учитывать при обосновании и выборе оптимальных в энергетическом и (или) информационно-вероятностном смысле помехи. При этом изменение формы ПРВ мгновенных амплитуд помехи соответствующим образом позволяет снизить требования к мощности помехи, достаточной для радиоэлектронного подавления или маскирования сигнала с тем же качеством. Существующие показатели для оценки качества помех не позволяют в полной мере учитывать взаимосвязь энергетических и информационно-вероятностных характеристик сигналов и помех.

На основании показателя (1) может быть сформулирован энтропийный критерий качества шумов и помех в следующем виде:

(2)

где ЭКП (1) при воздействии на типовой приемник сигнала стандартного белого гауссова шума;

— ЭКП при воздействии на приемник реального шума либо имитационной помехи.

Из (2) следует ясный физический смысл энтропийного коэффициента качества шума: это степень ухудшения информационно-энергетического показателя (ЭКП) при применении вместо стандартного гауссова шума реальной помехи. Замена функционалов в (2) на точечные оценки позволяет нормировать этот критерий. Он изменяется от 0 до 1, значению 1 при этом соответствует гауссов шум.

Таким образом, учет законов распределений амплитуд сигналов и помех позволит более адекватно оценивать эффективность технических мероприятий по организации радиоэлектронной борьбы и защиты информации.

Методика оценки количественных значений показателя

Показатель (1) и критерий (2) связывают энергетические характеристики шумов и помех (отношение помеха-сигнал) с вероятностными характеристиками помех и сигналов (ПРВ мгновенных значений амплитуд или законы распределения амплитуд сигналов и помех). Предложим практически реализуемую инженерную методику их количественной оценки с помощью современной цифровой измерительной техники.

Технология преобразования стационарного энергетического спектра маскирующего шума (а равно имитационной помехи или сигнала) в ПРВ (закон) распределения мгновенных значений амплитуд включает три этапа:

на первом этапе энергетический спектр помехи посредством математической операции обратного преобразования Фурье преобразуют во временную последовательность изменения амплитуд шума;

на втором этапе сигнальной обработки определяют диапазон разброса амплитуд шума от минимального до максимального значения и разбивают этот диапазон на равномерные интервалы. После этого производят подсчет относительных частот попадания мгновенных отсчетов амплитуд в каждый интервал;

после построения и сглаживания гистограммы распределения мгновенных значений амплитуд шума в графическом либо аналитическом виде воспроизводится ПРВ или закон распределения амплитуд шума.

Математическое ожидание закона распределения, как уже отмечалось, есть усредненная амплитуда шума, а форма ПРВ позволяет оценить близость маскирующего шума по статистическим свойствам к идеальному белому шуму (имеющему наилучшие маскирующие свойства) либо к закону распределения амплитуд полезного сигнала.

(3)

где — номер уровня напряжения исследуемого сигнала шума или помехи;

N – количество уровней напряжения исследуемого электрического сигнала;P> (4)

(5)

(6)

По результатам измерений вероятностей (6) строят гистограмму закона распределений мгновенных значений исследуемого сигнального процесса .

После построения гистограммы вычисляют средневзвешенное значение (оценку математического ожидания) обрабатываемого массива мгновенных значений электрического сигнала шума или помехи на интервале по формуле

после чего рассчитывают среднеквадратическое отклонение напряжения электрического сигнала шума (помехи) по формуле (8)

На заключительных этапах алгоритмизированной процедуры определения универсального показателя качества помех и шумов вычисляют следующие параметры:

энтропию плотности распределения вероятностей мгновенных значений напряжения электрического сигнала помехи или шума по формуле

(9)

энтропийный коэффициент качества шума с любым законом распределения мгновенных значений напряжения

(10)

Измерительные процедуры (3) – (9) повторяют при подаче вместо шума или помехи полезного сигнала на вход измерительного приемника.

Таким образом, измерительная процедура определения показателей качества помех выполняется последовательно в два этапа. На первом этапе на вход исследуемого цифрового приемника подают помеху заданного вида, а на втором этапе – типовой (тестовый) полезный информационный сигнал.

Завершается практическая реализация определения оцениваемого показателя или критерия в соответствии с предложенной технологией нахождением частного от деления функций в соответствии с формулами (1) или (2).

Предложены информационно-энергетические показатели (критерии) для оценки качества шумовых и имитационных радиопомех. В основу оценки количественных значений этих показателей положены плотности распределения мгновенных значений амплитуд сигналов и помех. Инструментально-расчетный метод оценки показателей включает процедуры измерения законов распределения сигналов и помех с помощью цифровых анализаторов спектра и вычисления по измеренным данным частных показателей энергетической и информационно-вероятностной эффективности радиопомех. Применение указанных показателей существенно повышает адекватность современных моделей оценки качества широкого класса радиопомех.

2. Панычев С.Н., Самоцвет Н.А., Суровцев С.В. Когнитивный алгоритм корреляционно-фильтровой обработки сложных сигналов на фоне гауссовых шумов. – в сб. трудов XX Международной конференции «Радиолокация, навигация, связь» (RLNC 2014). – Воронеж, ВГУ, 2014, с.1053 – 1065.

3. Хибель М. Основы векторного анализа цепей / Михаэль Хибель. – пер. с англ. проф. С.М. Смольского; под ред. У. Филипп. – М.: Издательский дом МЭИ, 2009. – 500 с.

5. Патент РФ № 2350023. Способ оценки качества маскирующего акустического (вибро-акустического шума). Авторы Тупота В.И. и др., опубл. в БИ 20.03.2009 г.

6. Гуменюк А.С. Алгоритмы анализа структуры сигналов и данных: монография / А.С. Гуменюк, Ю.Н. Кликушин, В.Ю. Кобенко, В.Н. Цыганенко. – Омск: изд-во ОмГТУ, 2010. – 272 с.

Источник

Шум в больших данных. Анализ на основе энтропии информации

На рисунке 1 представлено табличное распределение 4 случайных функций (взято из Википедии).

Рис. 1. Табличное распределение четырех случайных функций

На рисунке 2 представлены параметры распределения этих случайных функций

Рис. 2. Параметры распределений четырех случайных функций

И их графики на рисунке 3.

Рис. 3. Графики четырех случайных функций

Проблема различения этих функций решается достаточно просто, путем сопоставления моментов высших порядков и их нормированных показателей: коэффициента асимметрии и коэффициента эксцесса. Данные показатели представлены на рисунке 4.

Рис. 4. Показатели моментов третьего и четвертого порядка и коэффициентов асимметрии и эксцесса четырех случайных функций

Как видно из таблицы рисунка 4, комбинация этих показателей для всех функций различна.
Первый вывод, который, напрашивался естественным образом, что информация о взаимном расположении точек сохраняется в параметрах распределения на более высоком уровне, чем дисперсия случайного распределения.

Множество аналитиков пытаются выделить частные уравнения регрессии в больших данных и пока, на сегодняшний день, это методом подбора уравнения с наименьшей остаточной дисперсией. Тут особо добавить не получилось. Но обратил внимание на то, что это все информация, а у информации есть показатель энтропии. И она, энтропия, имеет свои границы от 0, когда информация полностью определена до белого шума. И белый шум, в канале передачи, имеет равномерное распределение.

Когда требуется проанализировать данные, то изначально предполагается, что в них есть связанные данные, которые необходимо формализовать в виде взаимосвязи. А это предполагает, что данные не являются белым шумом. То есть первый этап это подбор уравнения регрессии и определение остаточной дисперсии. Если регрессия подобрана правильно, то остаточная дисперсия будет подчиняться закону нормального распределения. Посмотрим и, на рисунках 5-7, представлены формулы энтропий для равномерно распределенной и нормально распределенной случайной величины.

Рис. 5. Формула дифференциальной энтропии для нормально распределенной величины (Афанасьев В.В. Теория вероятностей в вопросах и задачах. Министерство образования и науки Российской Федерации Ярославский государственный педагогический университет имени К. Д. Ушинского)

Рис. 6. Формула дифференциальной энтропии для нормально распределенной величины (Пугачев В.С. Теория случайных функций и ее применение к задачам автоматического управления. Изд. 2-ое, перераб. и допол. — М.: Физматлит, 1960. — 883 с.)

Рис. 7. Формула дифференциальной энтропии для равномерно распределенной величины (Пугачев В.С. Теория случайных функций и ее применение к задачам автоматического управления. Изд. 2-ое, перераб. и допол. — М.: Физматлит, 1960. — 883 с.)

Далее покажем на примере. Но предварительно возьмем условия что каждая из четырех функций это координата гиперплоскости, то есть одновременно проверим работу модели в многомерном пространстве. Проведем свертку гиперкуба до плоскости. Механизм представим на рисунке 8.

Рис. 8. Исходные данные с механизмом свертки

Рис. 9. Сводная группировка на рисунке.

Рис. 10. Параметры распределений четырех случайных функций и сводной группировки.

Рассмотрим механизм выбора величины интервала разбиения. Первоначальные условия представлены на рисунке 11.

Рис. 11. Первоначальные условия разбиения на интервалы.

Условие 1. Он должен быть с ненулевой вероятностью на области вариации, так как в противном случае, энтропия равна бесконечности. Как для первоначальной выборки, так и для остаточной.

Условие 2. Так как нельзя игнорировать возможность выброса, в новых данных, и т.п., то для крайних интервалов, необходимо установить вероятность по нормальному, либо другому общепринятому теоретическому закону распределения вероятностей, по принципу вероятности хвостов.

Условие 3. Шаг интервала должен обеспечивать минимально необходимое количество интервалов на разбросе остаточной выборки.

Условие 4. Количество интервалов должно быть нечетное.

Условие 5. Количество интервалов должно обеспечивать надежное согласование с теоретическим законом распределения, выбранного для исследования.

Рис. 12. Остаточный ряд распределения

Определим механизм выбора интервалов на рисунке 13.

Рис. 13. Алгоритм выбора интервалов

Основной проблемой, на мой взгляд, было принятие решения о необходимости вводить или не вводить хвостовые интервалы. Если для остаточной дисперсии это выглядело достаточно естественно, то для основного ряда, достаточно натянуто.

Рис. 14. Результаты обработки значений данных при определении информационной энтропии

Выводы. Где этот инструмент можно применить

Сравнивая результирующие показатели таблицы на рисунке 14, видно, что они отреагировали на изменение структуры данных. А это значит, что инструмент имеет чувствительность, и позволяет решать задачи аналогичные задаче «квартета Энскомба».

Без сомнения эти задачи можно решать и с помощью моментов высших порядков. Но по своей сути, информационная энтропия зависит от дисперсии случайной величины, то есть, это сторонняя характеристика дисперсии. А значит, может нам указать интервалы, где использования дисперсионного анализа может привести к конкретному результату.

Числовая характеристика энтропии дает возможность проведение корреляционного анализа с независимыми переменными. Как один из примеров проявления возможной связи, следующий: Допустим на интервале от а до b увеличилась, в существенной степени, шумность ряда данных, сопоставляя значения независимых переменных, обнаружили, что переменная хn вошла в диапазон более 5 ед., после того как она, переменная, снизилась ниже +5, шум снизился. Далее можно сделать дополнительную проверку и, если эта гипотеза подтвердиться, то в дальнейших исследованиях запретить переменной xn повышаться выше +5. Так как в этом случае данные становятся бесполезными.

Предполагаю, что есть и другие варианты использования данного инструмента.

Источник