На головну сторінку   Всі книги

Теорема Гаусса-Маркова

У огляді ми розглядали оцінки невідомого математичного очікування ц випадкової величини х за даними вибіркових спостережень. Хоч ми інтуїтивно використали в якості оцінки для р вибіркове середнє х, було показано, що воно є лише однією з нескінченного числа можливих незміщених оцінок цього параметра.

Причина переваги вибіркової середньої всім іншим оцінкам складається в тому, що при певних припущеннях воно є найбільш ефективним.

Аналогічні міркування застосовні і до коефіцієнтів регресії. Ми побачимо, що оцінки по звичайному методу найменших квадратів є не тільки незміщеними оцінками коефіцієнтів регресії, але і найбільш ефективними в тому випадку, якщо виконані умови Гаусса-Маркова. З іншого боку, якщо умови Гаусса-Маркова не виконані, то, взагалі говорячи, можна знайти оцінки, які будуть більш ефективними в порівнянні з оцінками, отриманими звичайним методом найменших квадратів.

У даній роботі не приводиться загальний розгляд цих питань. Ми дамо лише ілюстрацію. Передбачимо, що ми маємо залежність, задану рівнянням (3.1), і зосередимо увагу на оцінках для р. Людина, не знайомий з регресним аналізом, побачивши діаграму розкиду для вибірки спостережень, може спробувати дістати оцінку тангенса кута нахилу шляхом простого об'єднання першого і останнього спостережень і ділення приросту висоти на горизонтальний відрізок між ними, як показано на мал.

Оцінка ' в цьому випадку буде визначатися таким чином:

(3.30)

1} = Ун zfL

Які властивості цієї оцінки? Спочатку ми досліджуємо, чи є вона незміщеної. Використовуючи рівняння (3.1) застосовно до першого і останнього спостережень, отримаємо:

Отже,

(3.31)

(3.32)

(3.33)

Уі =а + р*1 +щ; у" = а + рх"+і".

- +і"- Р*1 - Щ р, і"-Щ

Х" -XI Х" - *1 ¦

Таким чином, ми розіклали «наївну» оцінку на дві що становлять: істинне значення і залишковий член. Це розкладання виконане подібно тому, як це зроблене в розділі 3.1 для оцінки МНК. Однак залишковий член є іншим. Передбачаючи Е (і) = 0, ми маємо, що математичні очікування, як і,, так і ип, рівні нулю, але тоді математичне очікування залишкового члена в рівнянні (33.3) також дорівнює нулю. Таким чином, незважаючи на те що ця оцінка так «наївна», вона є незміщеною.

Це, зрозуміло, не єдина оцінка, яка нарівні з оцінкою, отриманою методом МНК, володіє властивістю несмещенности.

Ви можете дістати ще одну оцінку такого типу шляхом об'єднання двох довільно вибраних спостережень, а якщо ви хочете розглянути менш «наївні» процедури, то тут відкриваються справді безмежні можливості.

Рис. 3.3. «Наївна» оцінка b

Інтуїтивно легко зрозуміти, що ми не віддамо «перевагу наївній» оцінці типу

оцінці МНК. На відміну від оцінки МНК, в якій враховується кожне спостереження, в «наївній» оцінці береться тільки перше і останнє спостереження і не використовується велика частина інформації, що є у вибірці. «Наївна» оцінка залежить від значень залишкового члена і в даних двох спостереженнях, тоді як оцінка по методу найменших квадратів об'єднує всі значення залишкового члена і більш ефективно використовує можливість того, що ці значення в деякій мірі взаємно «гасяться».

При порівнянні з менш «наївними» оцінками перевага оцінки МНК в ефективності може бути не так очевидною. Проте в тому випадку, якщо умови Гаусса-Маркова для залишкового члена виконані, коефіцієнти регресії, побудованої звичайним методом найменших квадратів, будуть найкращими лінійними незміщеними оцінками (best linear unbiased estimators, або BLUE): незміщеними, як вже було показано; лінійними, оскільки вони є лінійними функціями значень у, найкращими, оскільки вони є найбільш ефективними в класі всіх незміщених лінійних оцінок. Теорема Гаусса-Маркова доводить цей (короткий виклад, що не використовує матричної алгебри, дано в роботі Дж. Томаса [Thomas, 1983, section 8.3]).

Вправи

Дослідник обгрунтовано вважає, що залежність між двома змінними х і у задається рівнянням (3.1). Використовуючи вибірку з л спостережень, він оцінює р, обчислюючи середнє значення у, ділене на середнє значення х. Проаналізуйте властивості цієї оцінки. Що зміниться, якщо передбачити, що а = Про?

Дослідник обгрунтовано вважає, що залежність між двома змінними х і у задається рівнянням (3.1). Використовуючи вибірку з п спостережень тимчасового ряду, він оцінює р як Cov (у, t)/Cov (х, t), де t - змінна часу, яка по визначенню рівна одиниці в першому спостереженні, двом - у другому і т. д. Проаналізуйте властивості цієї оцінки. (Можна показати, що її теоретична дисперсія рівна теоретичній дисперсії відповідної оцінки МНК, діленій на г2 " де гх, - коефіцієнт кореляції між X і /.) 5.3. Теоретичні основи податкової політики держави:  5.3. Теоретичні основи податкової політики держави: Податкова політика держави засновується на наукових концепціях, що отримали теоретичне визнання і практичне застосування. Ці концепції детально розглядалися раніше в розділі 2: класична, кейнсианская, неокласична,
з 2. Теоретичні основи криміналістичної діагностики:  з 2. Теоретичні основи криміналістичної діагностики: Первинне поняття діагнозу зв'язувалося з медициною, з методом розпізнавання хвороби. По мірі розвитку науки і техніки, інтеграції знань і методів, їх перенесення з однієї області знання в іншу з'являються і реалізовуються поняття діагностики
2. ТЕОРЕТИЧНІ ОСНОВИ ИСПОЛЬЗОВАНИЯНАЛОГОВИХ ІНСТРУМЕНТІВ В:  2. ТЕОРЕТИЧНІ ОСНОВИ ИСПОЛЬЗОВАНИЯНАЛОГОВИХ ІНСТРУМЕНТІВ В СИРОВИННОМУ СЕКТОРІ: Проаналізуємо теоретичні основи побудови механізму вилучення рентних доходів. Передусім, розглянемо наступні основні інструменти: рентні платежі; податки на прибуток;-податок на додану вартість; роялті, бонуси і акцизні податки. Ми будемо
Теоретичні основи аналізу відкритої економіки, платіжний баланс і:  Теоретичні основи аналізу відкритої економіки, платіжний баланс і його рівновага [V]: Дослідження макроекономічних проблем в масштабах відкритої економіки звичайно стикається з двома тенденціями, що визначають сучасні економічні труднощі: інтернаціоналізація ринків і нестабільність міжнародної грошової системи. Процес
Теоретичні концепції про походження права і держави:  Теоретичні концепції про походження права і держави: При вивченні цієї теми необхідно звернути увагу на різноманіття теорій походження права і держави, якого обуслов- 1 Теорія держави і права. Л., 1987. С. 28. лено різними причинами, в тому числі і різними методами дослідження.
Теоретична і практична значущість дослідження.:  Теоретична і практична значущість дослідження.: Розуміння категорії, що Пропонується "заперечення права" може сприяти подальшому розвитку широкого правопонимания і його обгрунтуванню з точки зору сучасного гуманітарного знання загалом. Воно дозволяє уточнити висновки, отримані в
Теоретична ковариация: Якщо х і у - випадкові величини, то теоретична ковариация про^:  Теоретична ковариация: Якщо х і у - випадкові величини, то теоретична ковариация про^ визначається як математичне очікування твору відхилень цих величин від їх середніх значень: pop.cov(х, у) = oXJ, =? {(х-цЛ.)(у-ц,)}, (1.11) де