Головна   Всі книги

Зв'язок гессиана і матриці внесків в градієнт з інформаційною матрицею

Гессиан і інформаційна матриця

Покажемо, який зв'язок існує між інформаційною матрицею і гессианом. Зробимо це тільки у разі безперервного розподілу. Той же метод доказу очевидним образом розповсюджується на дискретні розподіли.

Застосовуючи правило диференціювання логарифма до логарифмічної функції правдоподібності, отримаємо наступну тотожність:

dl - і дЛ dO - Л dO

Продіфференцируєм по OT:

d2l 1 д2Л 1 ЛЛ

dOdOT Л dOdOT Л2 dOT dO

Звідси, знову скориставшись правилом диференціювання логарифма, отримаємо

Н -

d2l 1 д2Л l l

dOdOJ Л dOdOJ dOJ dO

Знайдемо тепер очікування обох частин в точці O0 (при істинних параметрах розподілу):

d2l

Е (Н (Ю)) -E (OO(O0))

0

2

_ j f(OY) 1 d^(O0;)(Y) _ ДМО _ yAO°, у) л^У) dOdOJ dY- Е(dOJ dO).

Другий член різниці є по визначенню інформаційна матриця

I(O0). Інтеграл рівний нулю при умові, що операції інтегрування і

диференціювання перестановочни (для цього досить, зокрема, щоб простір залежної змінної У не залежало від в або густина розподілу по краях У була прагнула до нуля):

d d2

OO j дад dF-OO 1 -

Таким чином, використовуючи скорочено позначення Н(F, O0) - Н0 і

I(O0) - 20,

- Е (Н0) - I0

- інформаційна матриця рівна математичному очікуванню гессиана функції правдоподібності зі знаком мінус. Та ж сама властивість вірна асим

птотически (знову означається I ^(O0) - ij0):

Матриця внесків в градієнт і інформаційна матриця

Передусім доведемо, що математичне очікування градієнта в точці

2

O0 дорівнює нулю (Е g (F, O0) - 0):

dl

Е g (F, O0) - j g(F, O0) ЛУМ dY - j ^FA) Л (УЛ) dF _ 1 дЛ, дЛ

j aFO) Ю (F, O0) Л (у,°0) dF-j M (F, O0) dF=

dd - gO! AW dF- ПРО - 0.

Як вже говорилося, функцію правдоподібності можна розбити по внесках окремих спостережень: l(F, ПРО) - Z lj(Yj, ПРО).

Те ж саме можна проробити з градієнтом. Визначимо матрицю внесків в градієнт окремих спостережень G як

dlGj

(ПРО) - dO (ПРО).

dlj d dl При цьому Z-Gjj - щ = ~Opili- щ = g j.

Використовуючи міркування, аналогічні приведеним вище, можна показати, що Е Gij(Y, 0 про) = про.

Ми так розділили функцію правдоподібності на внески окремих спостережень, що Е(Gi(Y, 0o) Gs(Y, 6o)J) = о, де Gl(Y, 6o) і Gs(Y, 6o) - рядки матриці Go = G(Y, 6o), що відносяться до різних спостережень i і s. (Оскільки елементи матриці Go мають нульове математичне очікування, то це означає що рядка матриці Go, що відносяться до різних спостережень, некорре- лировани.) Доведемо цю властивість.

Функція правдоподібності i-го спостереження по визначенню є густина розподілу Yi (у разі безперервного розподілу) умовна по інформації, що міститься в спостереженнях 1,. .., i - 1 (умовна по Y1,. .., Yi-1

). Визначимо цю інформаційну безліч Qi. Будемо обчислювати математичне очікування по частинах - спочатку умовне, а потім від нього безумовне (правило повного мат. очікування). Передбачимо, що iРавенство Е (Gs(Y, 0o)' j^i) = про доводиться в точності по тій же схемі, що і доведене вище Е g(Y, 6o) = про. Використовуючи цю властивість, отримаємо

Е(GoTGo) = Е(I Go iTGo i) = Е(Z Go i)(Т(I Go)) = Е(go goT).

i i i

Останнє вираження є по визначенню інформаційна матриця. Таким чином,

Е(GqTGQ) = І O..

.. Таблиця 1. Основні елементи національної і світовий валютних систе:  Таблиця 1. Основні елементи національної і світовий валютних систе: Національна валютна система Світова валютна система Національна валюта Резервні валюти, міжнародні рахункові валютні одиниці Умови конвертованості національної валюти Умови взаємної конвертованості валют Паритет національної валюти
Таблиця «Нематеріальні активи».: Є расшифровочной таблицею до статті балансу «Нематеріальні:  Таблиця «Нематеріальні активи».: Є расшифровочной таблицею до статті балансу «Нематеріальні активи» (стор. 110 зразки ф. №1), представляючи наявність, надходження і вибуття нематеріальних активів (НА) в аналітичному розрізі по видах нематеріальних активів у відповідності з ПБУ
Таблиця «Фінансові вкладення».: У відповідності з п. 41 ПБУ 19/02 «Облік фінансових вкладень» в:  Таблиця «Фінансові вкладення».: У відповідності з п. 41 ПБУ 19/02 «Облік фінансових вкладень» в бухгалтерській звітності фінансові вкладення, в залежності від терміну звертання (погашення), повинні поділятися на короткострокові і довгострокові. Згідно п.19 ПБУ 4/99 активи і
з 4. Табличний стандарт (Tabular Standard): Наступний план, належний нашому обговоренню, це план, що захищається:  з 4. Табличний стандарт (Tabular Standard): Наступний план, належний нашому обговоренню, це план, що захищається проф. Marchall'ом і Комітетом британської асоціації [См.: Report of the British Association for the Advancement of Science, 1890. P. 488, вмісний виписку проекту акту парламенту
ТАБЕЛЬНИЙ ОБЛІК: щоденний облік часу роботи кожного працівника підприємства.:  ТАБЕЛЬНИЙ ОБЛІК: щоденний облік часу роботи кожного працівника підприємства.
Сировина: включає в себе сільськогосподарську продукцію (еница, бавовну,:  Сировина: включає в себе сільськогосподарську продукцію (пшениця, бавовна, фрукти, овочі і т. п.) і природні продукти (риба, ліс, сира нафта, залізняк і т. п.). Маркетинг продуктів сільського господарства дещо відрізняється від маркетингу природних
НЕ ЗВ'ЯЗУЮЧІ СЕБЕ ФОРМАЛЬНІСТЮ, ЛЮБ'ЯЗНІ, ЖОРСТКІ, НЕГНУЧКІ:  НЕ ЗВ'ЯЗУЮЧІ СЕБЕ ФОРМАЛЬНІСТЮ, ЛЮБ'ЯЗНІ, ЖОРСТКІ, НЕГНУЧКІ ГОСПОДАРІ: Фактично перед кожною діловою поїздкою для «Чейза» протягом всієї моєї 35-літньої кар'єри я затверджував зазделегідь складений графік зустрічей. У разі поїздки в Китай все було інакше. На момент прибуття в Пекін у нас не було уявлення ні про