Теория вероятностей. Базовые термины и понятия. Основное понятие теории вероятности. Законы теории вероятности Теория вероятности что такое p
Теория вероятностей - математическая наука, позволяющая по вероятностям одних случайных событий находить вероятности других случайных событий, связанных каким-либо образом с первыми.
Утверждение о том, что какое-либо событие наступает с вероятностью , равной, например, ½, ещё не представляет само по себе окончательной ценности, так как мы стремимся к достоверному знанию. Окончательную познавательную ценность имеют те результаты теории вероятностей, которые позволяют утверждать, что вероятность наступления какого-либо события А весьма близка к единице или (что то же самое) вероятность не наступления события А весьма мала. В соответствии с принципом "пренебрежения достаточно малыми вероятностями" такое событие справедливо считают практически достоверным. Ниже (в разделе Предельные теоремы) показано, что имеющие научный и практический интерес выводы такого рода обычно основаны на допущении, что наступление или не наступление события А зависит от большого числа случайных, мало связанных друг с другом факторов. Поэтому можно также сказать, что теория вероятностей есть математическая наука, выясняющая закономерности, которые возникают при взаимодействии большого числа случайных факторов.
Предмет теории вероятностей.
Для описания закономерной связи между некоторыми условиями S и событием А, наступление или не наступление которого при данных условиях может быть точно установлено, естествознание использует обычно одну из следующих двух схем:
а) при каждом осуществлении условий S наступает событие А. Такой вид, например, имеют все законы классической механики, которые утверждают, что при заданных начальных условиях и силах, действующих на тело или систему тел, движение будет происходить однозначно определённым образом.
б) При условиях S событие А имеет определённую вероятность P (A / S), равную р. Так, например, законы радиоактивного излучения утверждают, что для каждого радиоактивного вещества существует определённая вероятность того, что из данного количества вещества за данный промежуток времени распадётся какое-либо число N атомов.
Назовем частотой события А в данной серии из n испытаний (то есть из n повторных осуществлений условий S) отношение h = m/n числа m тех испытаний, в которых А наступило, к общему их числу n. Наличие у события А при условиях S определённой вероятности, равной р, проявляется в том, что почти в каждой достаточно длинной серии испытаний частота события А приблизительно равна р.
Статистические закономерности, то есть закономерности, описываемые схемой типа (б), были впервые обнаружены на примере азартных игр, подобных игре в кости. Очень давно известны также статистические закономерности рождения, смерти (например, вероятность новорождённому быть мальчиком равна 0,515). Конец 19 в. и 1-я половина 20 в. отмечены открытием большого числа статистических закономерностей в физике, химии, биологии и т.п.
Возможность применения методов теории вероятностей к изучению статистических закономерностей, относящихся к весьма далёким друг от друга областям науки, основана на том, что вероятности событий всегда удовлетворяют некоторым простым соотношениям, о которых будет сказано ниже (см. раздел Основные понятия теории вероятностей). Изучение свойств вероятностей событий на основе этих простых соотношений и составляет предмет теории вероятностей.
Основные понятия теории вероятностей.
Наиболее просто определяются основные понятия теории вероятностей как математической дисциплины в рамках так называемой элементарной теории вероятностей. Каждое испытание Т, рассматриваемое в элементарной теорией вероятностей, таково, что оно заканчивается одним и только одним из событий E1, E2,..., ES (тем или иным, в зависимости от случая). Эти события называются исходами испытания. С каждым исходом Ek связывается положительное число рк - вероятность этого исхода. Числа pk должны при этом в сумме давать единицу. Рассматриваются затем события А, заключающиеся в том, что "наступает или Ei, или Ej,..., или Ek". Исходы Ei, Ej,..., Ek называются благоприятствующими А, и по определению полагают вероятность Р (А) события А, равной сумме вероятностей благоприятствующих ему исходов:
P (A) = pi + ps + … + pk. (1)
Частный случай p1 = p2 =... ps = 1/S приводит к формуле
Р (А) = r/s. (2)
Формула (2) выражает так называемое классическое определение вероятности, в соответствии с которым вероятность какого-либо события А равна отношению числа r исходов, благоприятствующих А, к числу s всех "равновозможных" исходов. Классическое определение вероятности лишь сводит понятие "вероятности" к понятию "равновозможности", которое остаётся без ясного определения.
Пример. При бросании двух игральных костей каждый из 36 возможных исходов может быть обозначен (i, j), где i - число очков, выпадающее на первой кости, j - на второй. Исходы предполагаются равновероятными. Событию А - "сумма очков равна 4", благоприятствуют три исхода (1; 3), (2; 2), (3; 1). Следовательно, Р (A) = 3/36 = 1/12.
Исходя из каких-либо данных событий, можно определить два новых события: их объединение (сумму) и совмещение (произведение). Событие В называется объединением событий A 1, A 2,..., Ar,-, если оно имеет вид: "наступает или A1, или А2,..., или Ar".
Событие С называется совмещением событий A1, А.2,..., Ar, если оно имеет вид: "наступает и A1, и A2,..., и Ar". Объединение событий обозначают знаком È, а совмещение - знаком Ç. Таким образом, пишут:
B = A1 È A2 È … È Ar, C = A1 Ç A2 Ç … Ç Ar.
События А и В называют несовместными, если их одновременное осуществление невозможно, то есть если не существует среди исходов испытания ни одного благоприятствующего и А, и В.
С введёнными операциями объединения и совмещения событий связаны две основные теоремы В. т. - теоремы сложения и умножения вероятностей.
Теорема сложения вероятностей. Если события A1, A2,..., Ar таковы, что каждые два из них несовместны, то вероятность их объединения равна сумме их вероятностей.
Так, в приведённом выше примере с бросанием двух костей событие В - "сумма очков не превосходит 4", есть объединение трёх несовместных событий A2, A3, A4, заключающихся в том, что сумма очков равна соответственно 2, 3, 4. Вероятности этих событий 1/36; 2/36; 3/36. По теореме сложения вероятность Р (В)равна
1/36 + 2/36 + 3/36 = 6/36 = 1/6.
Условную вероятность события В при условии А определяют формулой
что, как можно показать, находится в полном соответствии со свойствами частот. События A1, A2,..., Ar называются независимыми, если условная вероятность каждого из них при условии, что какие-либо из остальных наступили, равна его "безусловной" вероятности
Теорема умножения вероятностей. Вероятность совмещения событий A1, A2,..., Ar равна вероятности события A1,умноженной на вероятность события A2, взятую при условии, что А1 наступило,..., умноженной на вероятность события Ar при условии, что A1, A2,..., Ar-1 наступили. Для независимых событий теорема умножения приводит к формуле:
P (A1 Ç A2 Ç … Ç Ar) = P (A1) Ї P (A2) Ї … Ї P (Ar), (3)
то есть вероятность совмещения независимых событий равна произведению вероятностей этих событий. Формула (3) остаётся справедливой, если в обеих её частях некоторые из событий заменить на противоположные им.
Пример. Производится 4 выстрела по цели с вероятностью попадания 0,2 при отдельном выстреле. Попадания в цель при различных выстрелах предполагаются независимыми событиями. Какова вероятность попадания в цель ровно три раза?
Каждый исход испытания может быть обозначен последовательностью из четырёх букв [напр., (у, н, н, у) означает, что при первом и четвёртом выстрелах были попадания (успех), а при втором и третьем попаданий не было (неудача)]. Всего будет 2Ї2Ї2Ї2 = 16 исходов. В соответствии с предположением о независимости результатов отдельных выстрелов следует для определения вероятностей этих исходов использовать формулу (3) и примечание к ней. Так, вероятность исхода (у, н. н, н) следует положить равной 0,2Ї0,8Ї0,8Ї0,8 = 0,1024; здесь 0,8 = 1-0,2 - вероятность промаха при отдельном выстреле. Событию "в цель попадают три раза" благоприятствуют исходы (у, у, у, н), (у, у, н, у), (у, н, у, у). (н, у, у, у), вероятность каждого одна и та же:
0,2Ї0,2Ї0,2Ї0,8 =...... =0,8Ї0,2Ї0,2Ї0,2 = 0,0064;
следовательно, искомая вероятность равна
4Ї0,0064 = 0,0256.
Обобщая рассуждения разобранного примера, можно вывести одну из основных формул теории вероятностей: если события A1, A2,..., An независимы и имеют каждое вероятность р, то вероятность наступления ровно m из них равна
Pn (m) = Cnmpm (1 - p) n-m; (4)
здесь Cnm обозначает число сочетаний из n элементов по m. При больших n вычисления по формуле (4) становятся затруднительными. Пусть в предыдущем примере число выстрелов равно 100, и ставится вопрос об отыскании вероятности х того, что число попаданий лежит в пределах от 8 до 32. Применение формулы (4) и теоремы сложения даёт точное, но практически мало пригодное выражение искомой вероятности
Приближённое значение вероятности х можно найти по теореме Лапласа
причём ошибка не превосходит 0,0009. Найденный результат показывает, что событие 8 £ m £ 32 практически достоверно. Это самый простой, но типичный пример использования предельных теорем теории вероятностей.
К числу основных формул элементарной теории вероятностей относится также так называемая формула полной вероятности: если события A1, A2,..., Ar попарно несовместны и их объединение есть достоверное событие, то для любого события В его вероятность равна сумме
Теорема умножения вероятностей оказывается особенно полезной при рассмотрении составных испытаний. Говорят, что испытание Т составлено из испытаний T1, T2,..., Tn-1, Tn, есликаждый исход испытания Т есть совмещение некоторых исходов Ai, Bj,..., Xk, Yl соответствующих испытаний T1, T2,..., Tn-1, Tn. Из тех или иных соображений часто бывают известны вероятности
Некоторые программисты после работы в области разработки обычных коммерческих приложений задумываются о том, чтобы освоить машинное обучение и стать аналитиком данных. Часто они не понимают, почему те или иные методы работают, и большинство методов машинного обучения кажутся магией. На самом деле, машинное обучение базируется на математической статистике, а та, в свою очередь, основана на теории вероятностей. Поэтому в этой статье мы уделим внимание базовым понятиям теории вероятностей: затронем определения вероятности, распределения и разберем несколько простых примеров.
Возможно, вам известно, что теория вероятностей условно делится на 2 части. Дискретная теория вероятностей изучает явления, которые можно описать распределением с конечным (или счетным) количеством возможных вариантов поведения (бросания игральных костей, монеток). Непрерывная теория вероятностей изучает явления, распределенные на каком-то плотном множестве, например на отрезке или в круге.
Можно рассмотреть предмет теории вероятностей на простом примере. Представьте себя разработчиком шутера. Неотъемлемой частью разработки игр этого жанра является механика стрельбы. Ясно, что шутер в котором всё оружие стреляет абсолютно точно, будет малоинтересен игрокам. Поэтому, обязательно нужно добавлять оружию разброс. Но простая рандомизация точек попадания оружия не позволит сделать его тонкую настройку, поэтому, корректировка игрового баланса будет сложна. В то же время, используя случайные величины и их распределения можно проанализировать то, как будет работать оружие с заданным разбросом, и поможет внести необходимые корректировки.
Пространство элементарных исходов
Допустим, из некоторого случайного эксперимента, который мы можем многократно повторять (например, бросание монеты), мы можем извлечь некоторую формализуемую информацию (выпал орел или решка). Эта информация называется элементарным исходом, при этом целесообразно рассматривать множество всех элементарных исходов, часто обозначаемое буквой Ω (Омега).
Структура этого пространства целиком зависит от природы эксперимента. Например, если рассматривать стрельбу по достаточно большой круговой мишени, - пространством элементарных исходов будет круг, для удобства размещенный с центром в нуле, а исходом - точка в этом круге.
Кроме того, рассматривают множества элементарных исходов - события (например, попадание в «десятку» - это концентрический круг маленького радиуса с мишенью). В дискретном случае всё достаточно просто: мы можем получить любое событие, включая или исключая элементарные исходы за конечное время. В непрерывном же случае всё гораздо сложнее: нам понадобится некоторое достаточно хорошее семейство множеств для рассмотрения, называемое алгеброй по аналогии с простыми вещественными числами, которые можно складывать, вычитать, делить и умножать. Множества в алгебре можно пересекать и объединять, при этом результат операции будет находиться в алгебре. Это очень важное свойство для математики, которая лежит за всеми этими понятиями. Минимальное семейство состоит всего из двух множеств - из пустого множества и пространства элементарных исходов.
Мера и вероятность
Вероятность - это способ делать выводы о поведении очень сложных объектов, не вникая в принцип их работы. Таким образом, вероятность определяется как функция от события (из того самого хорошего семейства множеств), которая возвращает число - некоторую характеристику того, насколько часто может происходить такое событие в реальности. Для определённости математики условились, что это число должно лежать между нулем и единицей. Кроме того, к этой функции предъявляются требования: вероятность невозможного события нулевая, вероятность всего множества исходов единичная, и вероятность объединения двух независимых событий (непересекающихся множеств) равна сумме вероятностей. Другое название вероятности - вероятностная мера. Чаще всего используется Лебегова мера , обобщающая понятия длина, площадь, объём на любые размерности (n -мерный объем), и таким образом она применима для широкого класса множеств.
Вместе совокупность множества элементарных исходов, семейства множеств и вероятностной меры называется вероятностным пространством . Рассмотрим, каким образом можно построить вероятностное пространство для примера со стрельбой в мишень.
Рассмотрим стрельбу в большую круглую мишень радиуса R , в которую невозможно промахнуться. Множеством элементарных событий положим круг с центром в начале координат радиуса R . Поскольку мы собираемся использовать площадь (меру Лебега для двумерных множеств) для описания вероятности события, то будем использовать семейство измеримых (для которых эта мера существует) множеств.
Примечание На самом деле, это технический момент и в простых задачах процесс определения меры и семейства множеств не играет особой роли. Но понимать, что эти два объекта существуют, необходимо, ведь во многих книгах по теории вероятности теоремы начинаются со слов: «Пусть (Ω,Σ,P) - вероятностное пространство … ».
Как уже сказано выше, вероятность всего пространства элементарных исходов должна равняться единице. Площадь (двумерная мера Лебега, которую мы обозначим λ 2 (A) , где А – событие) круга по хорошо известной со школы формуле равна π *R 2 . Тогда мы можем ввести вероятность P(A) = λ 2 (A) / (π *R 2) , и эта величина уже будет лежать между 0 и 1 для любого события А.
Если предположить, что попадание в любую точку мишени равновероятно, поиск вероятности попадания стрелком в какую-то то область мишени сводится к поиску площади этого множества (отсюда можно сделать вывод, что вероятность попадания в конкретную точку нулевая, ведь площадь точки равна нулю).
Например, мы хотим узнать, какова вероятность того, что стрелок попадёт в «десятку» (событие A – стрелок попал в нужное множество). В нашей модели, «десятка» представляется кругом с центром в нуле и радиусом r. Тогда вероятность попадания в этот круг P(A) = λ 2 /(A)π *R 2 = π * r 2 /(π R 2)= (r/R) 2 .
Это одна из самых простых разновидностей задач на «геометрическую вероятность», - большинство таких задач требуют поиска площади.
Случайные величины
Случайная величина – функция, переводящая элементарные исходы в вещественные числа. К примеру, в рассмотренной задаче мы можем ввести случайную величину ρ(ω) – расстояние от точки попадания до центра мишени. Простота нашей модели позволяет явно задать пространство элементарных исходов: Ω = {ω = (x,y) такие числа, что x 2 +y 2 ≤ R 2 } . Тогда случайная величина ρ(ω) = ρ(x,y) = x 2 +y 2 .
Средства абстракции от вероятностного пространства. Функция распределения и плотность
Хорошо, когда структура пространства хорошо известна, но на самом деле так бывает далеко не всегда. Даже если структура пространства известна, она может быть сложна. Для описания случайных величин, если их выражение неизвестно, существует понятие функции распределения, которую обозначают F ξ (x) = P(ξ < x) (нижний индекс ξ здесь означает случайную величину). Т.е. это вероятность множества всех таких элементарных исходов, для которых значение случайной величины ξ на этом событии меньше, чем заданный параметр x .
Функция распределения обладает несколькими свойствами:
- Во-первых, она находится между 0 и 1 .
- Во-вторых, она не убывает, когда ее аргумент x растёт.
- В третьих, когда число -x очень велико, функция распределения близка к 0 , а когда само х большое, функция распределения близка к 1 .
Вероятно, смысл этой конструкции при первом чтении не слишком понятен. Одно из полезных свойств – функция распределения позволяет искать вероятность того, что величина принимает значение из интервала. Итак, P (случайная величина ξ принимает значения из интервала ) = F ξ (b)-F ξ (a) . Исходя из этого равенства, можем исследовать, как изменяется эта величина, если границы a и b интервала близки.
Пусть d = b-a , тогда b = a+d . А следовательно, F ξ (b)-F ξ (a) = F ξ (a+d) - F ξ (a) . При малых значениях d , указанная выше разность так же мала (если распределение непрерывное). Имеет смысл рассматривать отношение p ξ (a,d)= (F ξ (a+d) - F ξ (a))/d . Если при достаточно малых значениях d это отношение мало отличается от некоторой константы p ξ (a) , не зависящей от d, то в этой точке случайная величина имеет плотность, равную p ξ (a) .
Примечание Читатели, которые ранее сталкивались понятием производной, могут заметить что p ξ (a) – производная функции F ξ (x) в точке a . Во всяком случае, можно изучить понятие производной в посвященной этой теме статье на сайте Mathprofi.
Теперь смысл функции распределения можно определить так: её производная (плотность p ξ , которую мы определили выше) в точке а описывает, насколько часто случайная величина будет попадать в небольшой интервал с центром в точке а (окрестность точки а) по сравнению с окрестностями других точек. Другими словами, чем быстрее растёт функция распределения, тем более вероятно появление такого значения при случайном эксперименте.
Вернемся к примеру. Мы можем вычислить функцию распределения для случайной величины, ρ(ω) = ρ(x,y) = x 2 +y 2 , которая обозначает расстояние от центра до точки случайного попадания в мишень. По определению F ρ (t) = P(ρ(x,y) < t) . т.е. множество {ρ(x,y) < t)} – состоит из таких точек (x,y) , расстояние от которых до нуля меньше, чем t . Мы уже считали вероятность такого события, когда вычисляли вероятность попадания в «десятку» - она равна t 2 /R 2 . Таким образом, Fρ(t) = P(ρ(x,y) < t) = t 2 /R 2 , для 0 Мы можем найти плотность p ρ этой случайной величины. Сразу заметим, что вне интервала она нулевая, т.к. функция распределения на этом промежутке неизменна. На концах этого интервала плотность не определена. Внутри интервала её можно найти, используя таблицу производных (например из на сайте Mathprofi) и элементарные правила дифференцирования. Производная от t 2 /R 2 равна 2t/R 2 . Значит, плотность мы нашли на всей оси вещественных чисел. Ещё одно полезное свойство плотности – вероятность того, что функция принимает значение из промежутка, вычисляется при помощи интеграла от плотности по этому промежутку (ознакомиться с тем, что это такое, можно в статьях о собственном , несобственном , неопределенном интегралах на сайте Mathprofi). При первом чтении, интеграл по промежутку от функции f(x) можно представлять себе как площадь криволинейной трапеции. Ее сторонами являются фрагмент оси Ох, промежуток (горизонтальной оси координат), вертикальные отрезки, соединяющие точки (a,f(a)), (b,f(b)) на кривой с точками (a,0), (b,0) на оси Ох. Последней стороной является фрагмент графика функции f от (a,f(a)) до (b,f(b)) . Можно говорить об интеграле по промежутку (-∞; b] , когда для достаточно больших отрицательных значений, a значение интеграла по промежутку будет меняться пренебрежимо мало по сравнению с изменением числа a. Аналогичным образом определяется и интеграл по промежуткам }
