| Страница: 2 из 5 <-- предыдущая следующая --> | Перейти на страницу: |
| 1-е событие - | это событие, которое происходит в 1-м вероятностном пространстве |
| 2-е событие - | это событие, которое происходит во 2-м вероятностном пространстве |
| n - событие - | это событие, которое происходит в n-м вероятностном пространстве |
Рассмотрим два вероятностных пространства.
| I | II |
| | |
Очевидно, что неопределенность испытания до испытания в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в I нельзя ни одному из событий отдать предпочтения, а во II событие E3происходит чаще.
Энтропия- мера неопределенности исхода испытания (до испытания).
Первым, кто функционально задал выражение для энтропии был Шеннон.
,
Для вероятностного пространства:
Энтропия задается выражением:
. Если P1=0, то PiЧlogPi=0.
Самим показать, что:
1. Если вероятностное пространство не имеет определенности, т.е. какое-то из Pi=1, а остальные равны 0, то энтропия равна нулю.
2. Если элементарный исход равновероятен, т.е.
, то энтропия принимает максимальное значение.
0ЈPiЈ1,
1)
,
т.о. вероятности p1, p2, ..., psобращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к.
.
2) Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ..., psи найдем условный экстремум этой функции, при условии, что
.
Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции:
.
Дифференцируя по p1, p2, ..., psи приравнивая производные нулю получим систему:
i=1, ..., s
Откуда видно, что экстремум достигается при равных между собой p1.
Т.к.
, то p1= p2=, ..., = ps= 1/s.
Еденицей измерения энтропии является энтропия вероятностного пространства вида:
, которая называется 1 бит.
Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.
Рассмотрим два вероятностных пространства:
Проводим композицию двух испытаний. Композиционное пространство имеет вид:
i=1, ..., s1 j=1, ..., s2
С точки зрения качественного анализа максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний.
Биномиальное распределение.
n испытаний называютсясистемой испытаний Бернулли, если испытания независимы, в каждом из них происходит событие
, либо
с вероятностью наступления P(A) = p;
Найдем вероятность того, что в результате проведенных n испытаний событие А произошло m раз:
Рассмотрим композицию n независимых испытаний и построим композиционное пространство элементарных событий.
Общий вид элемента этого пространства следующий:
| где | |
При этом вероятность наступления такого события равна:
(умножение при независимых событиях)
Найдем вероятность наступления любого элементарного события из композиционного пространства:
Рассмотрим в композиционном вероятностном пространстве событие: в n испытаниях событие A произошло m раз.
Событие A состоит из
- общее кол-во элементарных событий, в которое входит событие А. А произошло m раз,
- n-m раз. Вероятность каждого из этих элементарных событий одинакова и равна:
Следовательно, на основании III аксиомы теории вероятности результат равняется:
(сложение вероятностей)
Случайная величина
Пусть имеется вероятностное пространство вида
.
Случайной величинойназывается измеримая числовая скалярная функция
, элементами которой являются элементарные события.
Числовая скалярная функция - это функция, удовлетворяющая следующему условию:
событие
- алгебре и, следовательно, имеет вероятность наступления.
Если произведено испытание, в результате которого произошло некоторое элементарное событие
. В соответствии с функцией
этому элементарному событию соответствует число, которое называетсяреализациейслучайной величины x в данном испытании.
В соответствии с определением случайной величины вводится числовая скалярная функция F(x),
, определенная для каждого действительного x и по определению равная вероятности наступления события:
Эта функция называется функцией распределения случайной величины
.
Рассмотрим три события:
где a
Свойства:
Покажем, что из факта
A2Мs-алгебре
A1Мs-алгебре
и равенства
следует, что A3Мs.
По определениюs-алгебры A3измерима, поэтому можно принять III аксиому теории вероятности:
F(x) - неубывающая функция
Если x
т.к.
, то преобразования верны.
Для всех технических приложений функцию распределения можно считать направленной слева.
В силу того, что функция распределения не убывает, она однозначно задает стчетно-аддитивную меру на поле, порожденном всеми полуинтервалами ненулевой длины.
По введенному полю построим борелевскую алгебру. Обозначим ееb. Возьмем произвольное число BМbне принадлежащее полю. Это точка или сегмент. Т.к. множество
получено с помощью счетной суммы или счетного пересечения множеств принадлежащихs-алгебре, то и это множество принадлежитs-алгебре и, следовательно, существует вероятность наступления события B. Следовательно, имеет место следующее эквивалентное определение измеримой функции.
Функция
называется измеримой, если для любого BОbмножество
алгебре
где
множество, полученное следующим образом:
Функция g(x) называется борелевской функцией, если для любого BМbмножество
Борелевская функция- функция, определяемая на системе борелевских множеств.
В функциональном анализе показано, что все известные аналитические функции являются борелевскими.
ТЕОРЕМА:
Пусть g(x) борелевская функция,
- случайная величина, т.е. измеримая функция. Тогда функция
является измеримой и, следовательно, случайной величиной.
Берем произвольное BМb.
по определению борелевской функции.
Рассмотрим множество
т.к.
измеримая функция и
, то AМs-алгебре
Следовательно, функция
- измеримая функция, т.е. случайная величина.
Теорема Колмогорова
Любая числовая скалярная функция, которая удовлетворяет свойствам, которым удовлетворяет функция распределения, является функцией распределения и однозначно задает вероятностное пространство вида:
b- борелевская алгебра;
P - мера на борелевской алгебре;
R1- числовая скалярная ось.
Введем функцию F(x)
Эта функция определена для всех x, неубывающая, непрерывная сверху. Показать самим, что такая функция однозначно задает счетно-аддитивную меру на поле, порожденном всеми полуинтервалами ненулевой длины.
Докажем, что 0 Согласно терминологии, если функция y=f(x) непрерывна на отрезке [a, b], то она ограничена. Поскольку наша функция не убывающая, то максимум и минимум она соответственно будет иметь такой:
т.е. 0
2. Пусть имеем следующие функции.
Построим борелеву алгебру на поле, тогда по теореме о продолжении счетно-аддитивная функция, определенная на поле, без изменения аксиом теории вероятности, однозначно распространяется на все элементы борелевой алгебры, не принадлежащие полю. Т.о. вероятностное пространство построено, теорема доказана.
Смысл теоремы.
Теорема Колмогорова позволяет утверждать, что если вы исследуете случайную величину, то не надо строить абстрактное пространство элементарных событий,s-алгебру, счетно-аддитивную меру, конкретный вид функции
. Нашей задачей будет лишь то, что считая R1- числовой скалярной осью - пространство элементарных событий, мы должны найти функцию распределения F(x), использую статистику: результата конкретного испытания над случайной величиной:
X1, X2, ..., Xn
Дискретные случайные величины
Случайная величина называетсядискретной, если в результате испытания она может принять значение из конечного либо счетного множества возможных числовых значений.
Случайные величины в дальнейшем будем обозначать большими буквами:
X, Y, Z
Вероятностное пространство дискретной случайной величины задается в виде:
, n - конечное или бесконечное.
Пример:
Испытание - композиция n-независимых испытаний, в каждом из которых происходит событие A с вероятностью p, либо
с вероятностью 1-p.
Вероятностное пространство
В этом примереs-алгеброй является множество всех подмножеств пространства элементарных событий. Введенную нами случайную величину x по определению можно задать:
- верхняя строчка - это совокупность возможных числовых значений, которые может принимать случайная величина;
- нижняя строчка - вероятность наступления этих числовых значений.
Практически во всех задачах естествознания отсутствует промежуточный этап: испытание,W- пространство всех возможных исходов испытания,
- числовая скалярная функция, элементы которойwМW.
На самом деле структура:
- испытание;
- исход испытания;
- число на числовой оси.
Вероятностные характеристики дискретных случайных величин.
Математическим ожиданием случайной величины X называется число вида
xi- все возможные различные конкретные исходы испытания;
pi- вероятности их наступления.
Математическое ожидание является как бы аналогом центра масс точечной механической системы:
Как центр масс:
Смысл характеристики мат.ожидания заключается в следующем: это точка на числовой оси, относительно которой группируются результаты конкретных испытаний над дискретной случайной величиной.
Свойства математического ожидания
1. MC=C
2. MCX=CMX
Построим таблицу для случайной величины CX:
по определению математического ожидания:
3. M(X+a)=MX+a, a=const
Построим таблицу для случайной величины x+a
Доказать следствие
4. M(aX+b)=aMX+b, где a, b - константы
Пусть случайная величина Y является функцией f(x) от случайной величины X. Построим вероятностное пространство случайной величины Y.
Верхняя строчка является пространством элементарных событий для случайной величины Y. В противном случае верхняя строчка является пространством элементарных событий для величины Y.
Все одинаковые числа в верхней строчке заменяется одним, вероятность наступления которого равна сумме соответствующих вероятностей.
Следствие.
Математическое ожиданиеслучайной величины Y равняется:
Начальным моментом К-гопорядка случайной величины X называется математическое ожидание случайной величины Xk.
Центрированная случайная величина- это величина, равная X’=X-MX
Покажем, что математическое ожидание MX’ равно 0.
Центральным моментом К-гопорядка называется начальный момент К-го порядка случайной величины X’
при решении реальных задач практические вероятности рiнеизвестны, но считая, что вероятность - это частость, при большом числе испытаний
Дисперсией случайной величины X, называется центральный момент второго порядка случайной величины X.
Дисперсия является мерой концентрации результатов конкретных испытаний над случайной величиной X.
Свойства.
1. Чем меньше дисперсия, тем более тесно группируются результаты конкретных испытаний относительно математического ожидания.
Пусть дисперсия мала, тогда мало каждое слагаемое суммы (xi-n)2pi. Тогда для , xiкоторое по модулю резко отличается от математического ожиданияn, pi- мало. Следовательно, большую вероятность наступления могут иметь лишь те xi, которые по модулю мало отличаются от математического ожидания.
2. Если дисперсия равна 0, то X - const.
3.
D(X+C)=DX
Y=X+C
Y’=Y-MY=X+C-M(X+C)=X+C-MX-C=X-MX=X’
DY=M(Y’)2=M(X’)2=DX
4.
DCX=C2DX
Y=CX
DY= M(Y’)2=M(Y’)2
Y’=Y-MY=CX-MCX=CX-MCX=C(X-MX)=CX’
DY= M(Y’)2=M(CX’)2=C2M(X’)2=C2DX
5.
Построим функцию распределения для дискретной случайной величины. Для удобства договоримся, что случайные величины располагаются в порядке возрастания.
т.е. по определению для любого действительного X, F(x) численно равно вероятности наступления следующего события: в результате испытаний над X оно приняло значение строго меньше x.
Производная функция
Характеристической функцией случайной величины X называется функция действительного аргумента вида
Производящей функцией называется скалярная функция вида:
| Страница: 2 из 5 <-- предыдущая следующая --> | Перейти на страницу: |
| © 2007 ReferatBar.RU - Главная | Карта сайта | Справка |