Metoda celor mai mici pătrate (OLS, ing. Cele mai mici pătrate obișnuite, MCO) -- o metodă matematică utilizată pentru rezolvarea diferitelor probleme, bazată pe minimizarea sumei abaterilor pătrate ale unor funcții de la variabilele dorite. Poate fi folosit pentru a „rezolva” sisteme de ecuații supradeterminate (când numărul de ecuații depășește numărul de necunoscute), pentru a găsi o soluție în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate), pentru a aproxima valorile punctuale prin vreo funcție. OLS este una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului.
Esența metodei celor mai mici pătrate
Fie un set de variabile (parametri) necunoscute, fie un set de funcții din acest set de variabile. Sarcina este de a selecta astfel de valori ale lui x, astfel încât valorile acestor funcții să fie cât mai apropiate de unele valori. În esență, vorbim despre „soluția” unui sistem supradeterminat de ecuații în sensul indicat de apropierea maximă a părților din stânga și din dreapta ale sistemului. Esența LSM este de a alege ca „măsură de proximitate” suma abaterilor pătrate ale părților din stânga și din dreapta - . Astfel, esența LSM poate fi exprimată astfel:
Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, prin diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile necunoscute, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate permite găsirea unui vector „optim” în sensul a proximității maxime a vectorilor și sau a proximității maxime a vectorului de abatere față de zero (proximitatea înțeleasă în sensul distanței euclidiene).
Exemplu - sistem de ecuații liniare
În special, metoda celor mai mici pătrate poate fi folosită pentru a „rezolva” sistemul de ecuații liniare
unde matricea nu este pătrată, ci dreptunghiulară (mai precis, rangul matricei A este mai mare decât numărul de variabile necesare).
Un astfel de sistem de ecuații, în cazul general, nu are soluție. Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector pentru a minimiza „distanța” dintre vectori și. Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ale ecuațiilor sistemului, adică. Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații
Folosind operatorul de pseudo-inversie, soluția poate fi rescrisă astfel:
unde este matricea pseudoinversa pentru.
Această problemă poate fi, de asemenea, „rezolvată” folosind așa-numitul LSM ponderat (vezi mai jos), atunci când diferite ecuații ale sistemului primesc ponderi diferite din considerente teoretice.
Fundamentarea strictă și determinarea limitelor aplicabilității semnificative a metodei au fost date de A. A. Markov și A. N. Kolmogorov.
MCO în analiza de regresie (aproximarea datelor)[modifica | editați textul wiki] Să fie valori ale unei variabile (pot fi rezultatele observațiilor, experimentelor etc.) și variabilelor corespunzătoare. Sarcina este de a aproxima relația dintre și de către o funcție cunoscută până la niște parametri necunoscuți, adică de a găsi cele mai bune valori ale parametrilor care aduc valorile cât mai aproape de valorile reale. De fapt, acest lucru se rezumă la cazul „rezolvării” unui sistem supradeterminat de ecuații cu privire la:
În analiza de regresie, și în special în econometrie, sunt utilizate modele probabilistice ale relației dintre variabile.
unde sunt așa-numitele erori aleatoare ale modelului.
În consecință, abaterile valorilor observate de la valorile modelului sunt deja presupuse în modelul însuși. Esența LSM (obișnuită, clasică) este găsirea unor astfel de parametri sub care suma abaterilor pătrate (erori, pentru modelele de regresie sunt adesea numite reziduuri de regresie) să fie minimă:
unde este engleza. Suma reziduală a pătratelor este definită ca:
În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește de cele mai mici pătrate neliniare (NLS sau NLLS - Non-Linear Least Squares). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema de minimizare, este necesar să găsim punctele staționare ale funcției prin diferențierea acesteia în raport cu parametrii necunoscuți, echivalând derivatele la zero și rezolvând sistemul de ecuații rezultat:
MCO în cazul regresiei liniare[modifica | editați textul wiki]
Fie dependența de regresie liniară:
Fie y un vector coloană de observații ale variabilei explicate și o matrice de observații ale factorilor (rândurile matricei sunt vectori ai valorilor factorilor într-o observație dată, coloanele sunt un vector al valorilor unei date date factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma:
Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu
în consecință, suma pătratelor reziduurilor de regresie va fi egală cu
Diferențiând această funcție în raport cu vectorul parametru și echivalând derivatele la zero, obținem un sistem de ecuații (sub formă de matrice):
În forma matricei descifrate, acest sistem de ecuații arată astfel:
unde toate sumele sunt preluate peste toate valorile admisibile.
Dacă în model este inclusă o constantă (ca de obicei), atunci pentru toate, prin urmare, în colțul din stânga sus al matricei sistemului de ecuații este numărul de observații, iar în elementele rămase din primul rând și prima coloană - doar suma valorilor variabilelor: și primul element din partea dreaptă a sistemului -- .
Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru modelul liniar:
În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă (în sistemul de ecuații când se împarte la n, în loc de sume apar mediile aritmetice). Dacă datele sunt centrate în modelul de regresie, atunci în această reprezentare prima matrice are semnificația matricei de covarianță a factorilor eșantionului, iar a doua este vectorul de covarianță a factorilor cu variabila dependentă. Dacă, în plus, datele sunt, de asemenea, normalizate la abaterea standard (adică, eventual standardizate), atunci prima matrice are semnificația unei matrice de corelație eșantion de factori, al doilea vector - vectorul de corelații de eșantion de factori cu o variabilă dependentă.
O proprietate importantă a estimărilor celor mai mici pătrate pentru modelele cu o constantă este că linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită:
În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a unui singur parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul minimului sumei abaterilor pătrate de la aceasta.
Cele mai simple cazuri speciale[modifica | editați textul wiki]
În cazul regresiei liniare perechi, când se estimează dependența liniară a unei variabile față de alta, formulele de calcul sunt simplificate (puteți face fără algebra matriceală). Sistemul de ecuații are forma:
De aici este ușor să găsiți estimări pentru coeficienți:
Deși modelele constante sunt în general de preferat, în unele cazuri se știe din considerente teoretice că constanta ar trebui să fie zero. De exemplu, în fizică, relația dintre tensiune și curent are forma; măsurând tensiunea și curentul, este necesar să se estimeze rezistența. În acest caz, vorbim despre model. În acest caz, în loc de un sistem de ecuații, avem o singură ecuație
Prin urmare, formula de estimare a unui singur coeficient are forma
Proprietățile statistice ale estimărilor MOL[modifica | editați textul wiki]
În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare condiționată de factori trebuie să fie egală cu zero. Această condiție, în special, este îndeplinită dacă așteptarea matematică a erorilor aleatoare este egală cu zero, iar factorii și erorile aleatoare sunt variabile aleatoare independente.
Prima condiție poate fi considerată întotdeauna îndeplinită pentru modelele cu o constantă, deoarece constanta presupune o așteptare matematică diferită de zero de erori (prin urmare, modelele cu o constantă sunt în general de preferat). covarianța regresiei celor mai mici pătrate
A doua condiție – condiția factorilor exogeni – este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu permite obținerea de estimări calitative în acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că condiția de exogeneitate este îndeplinită. În cazul general, pentru consistența estimărilor, este suficient să se îndeplinească condiția de exogeneitate împreună cu convergența matricei către o matrice nesingulară cu o creștere a dimensiunii eșantionului la infinit.
Pentru ca, pe lângă consecvență și imparțialitate, estimările LSM (obișnuite) să fie și eficiente (cele mai bune din clasa estimărilor liniare nepărtinitoare), trebuie îndeplinite proprietăți suplimentare ale unei erori aleatorii:
Varianța constantă (aceeași) a erorilor aleatoare în toate observațiile (fără heteroscedasticitate):
Lipsa corelației (autocorelarea) erorilor aleatorii în diferite observații între ele
Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie
Un model liniar care îndeplinește aceste condiții se numește clasic. Estimările LLS pentru regresia liniară clasică sunt estimări imparțiale, consecvente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză folosesc uneori abrevierea BLUE (Best Linear Unbiased Estimator) - cea mai bună estimare liniară imparțială; în literatura internă, se dă mai des teorema Gauss - Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu:
Eficiența înseamnă că această matrice de covarianță este „minimă” (orice combinație liniară de coeficienți, și în special coeficienții înșiși, au o varianță minimă), adică, în clasa estimărilor liniare nepărtinitoare, estimările MCO sunt cele mai bune. Elementele diagonale ale acestei matrice, varianțele estimărilor coeficienților, sunt parametri importanți ai calității estimărilor obținute. Cu toate acestea, nu este posibil să se calculeze matricea de covarianță deoarece varianța erorii aleatoare este necunoscută. Se poate dovedi că estimarea imparțială și consistentă (pentru modelul liniar clasic) a varianței erorilor aleatoare este valoarea:
Înlocuind această valoare în formula pentru matricea de covarianță, obținem o estimare a matricei de covarianță. Estimările rezultate sunt, de asemenea, imparțial și consecvente. De asemenea, este important ca estimarea varianței erorii (și deci variațiile coeficienților) și estimările parametrilor modelului să fie variabile aleatoare independente, ceea ce face posibilă obținerea de statistici de testare pentru testarea ipotezelor despre coeficienții modelului.
Trebuie remarcat faptul că, dacă ipotezele clasice nu sunt îndeplinite, estimările parametrilor celor mai mici pătrate nu sunt estimările cele mai eficiente (rămânând imparțial și consecvent). Cu toate acestea, estimarea matricei de covarianță se înrăutățește și mai mult - devine părtinitoare și inconsecventă. Aceasta înseamnă că concluziile statistice despre calitatea modelului construit în acest caz pot fi extrem de nesigure. O modalitate de a rezolva ultima problemă este utilizarea estimărilor speciale ale matricei de covarianță, care sunt consecvente în cazul încălcării ipotezelor clasice (erori standard în forma White și erori standard în forma Newey-West). O altă abordare este utilizarea așa-numitelor cele mai mici pătrate generalizate.
Cele mai mici pătrate generalizate[modifica | editați textul wiki]
Articolul principal: Cele mai mici pătrate generalizate
Metoda celor mai mici pătrate permite o generalizare largă. În loc de a minimiza suma pătratelor reziduurilor, se poate minimiza o formă pătratică definită pozitiv a vectorului de reziduuri, unde este o matrice de greutate simetrică pozitiv-definită. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe din teoria matricelor simetrice (sau operatorilor), există o descompunere pentru astfel de matrici. Prin urmare, această funcționalitate poate fi reprezentată după cum urmează
adică acest funcţional poate fi reprezentat ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares).
S-a demonstrat (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor . minime pătrate generalizate (GLS, GLS - Generalized Least Squares) - LS-metoda cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: .
Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma
Matricea de covarianță a acestor estimări, respectiv, va fi egală cu
De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca, pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.
MCO ponderat[modifica | editați textul wiki]
În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). În acest caz, suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație:
De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard presupusă a erorilor aleatoare), iar datelor ponderate se aplică cele mai mici pătrate normale.
Alegerea tipului de funcție de regresie, de ex. tipul modelului considerat al dependenței lui Y de X (sau X de Y), de exemplu, un model liniar y x \u003d a + bx, este necesar să se determine valorile specifice ale coeficienților model.
Pentru diferite valori ale lui a și b, este posibil să construim un număr infinit de dependențe de forma y x =a+bx, adică există un număr infinit de linii pe planul de coordonate, dar avem nevoie de o astfel de dependență încât corespunde în cel mai bun mod valorilor observate. Astfel, problema se reduce la selectarea celor mai buni coeficienți.
Căutăm o funcție liniară a + bx, bazată doar pe un anumit număr de observații disponibile. Pentru a găsi funcția cu cea mai bună potrivire la valorile observate, folosim metoda celor mai mici pătrate.
Se notează: Y i - valoarea calculată prin ecuația Y i =a+bx i . y i - valoarea măsurată, ε i =y i -Y i - diferența dintre valorile măsurate și cele calculate, ε i =y i -a-bx i .
Metoda celor mai mici pătrate necesită ca ε i , diferența dintre yi măsurat și valorile lui Y i calculate din ecuație, să fie minimă. Prin urmare, găsim coeficienții a și b astfel încât suma abaterilor pătrate ale valorilor observate de la valorile de pe dreapta de regresie să fie cea mai mică:
Investigand aceasta functie a argumentelor a si cu ajutorul derivatelor la un extrem, putem demonstra ca functia ia o valoare minima daca coeficientii a si b sunt solutii ale sistemului:
(2)
Dacă împărțim ambele părți ale ecuațiilor normale la n, obținem:
Dat fiind 
(3)
obține 
, de aici, înlocuind valoarea lui a în prima ecuație, obținem:
În acest caz, b se numește coeficient de regresie; a se numește membrul liber al ecuației de regresie și se calculează prin formula:
Linia dreaptă rezultată este o estimare pentru dreapta de regresie teoretică. Avem:
Asa de, 
este o ecuație de regresie liniară.
Regresia poate fi directă (b>0) și inversă (b Exemplul 1. Rezultatele măsurării valorilor X și Y sunt date în tabel:
| x i | -2 | 0 | 1 | 2 | 4 |
| y eu | 0.5 | 1 | 1.5 | 2 | 3 |
Presupunând că există o relație liniară între X și Y y=a+bx, determinați coeficienții a și b folosind metoda celor mai mici pătrate.
Soluţie. Aici n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8
iar sistemul normal (2) are forma 
Rezolvând acest sistem, obținem: b=0,425, a=1,175. Prin urmare y=1,175+0,425x.
Exemplul 2. Există un eșantion de 10 observații ale indicatorilor economici (X) și (Y).
| x i | 180 | 172 | 173 | 169 | 175 | 170 | 179 | 170 | 167 | 174 |
| y eu | 186 | 180 | 176 | 171 | 182 | 166 | 182 | 172 | 169 | 177 |
Este necesar să găsiți o ecuație de regresie eșantion Y pe X. Construiți o dreaptă de regresie eșantion Y pe X.
Soluţie. 1. Să sortăm datele după valorile x i și y i . Primim un nou tabel:
| x i | 167 | 169 | 170 | 170 | 172 | 173 | 174 | 175 | 179 | 180 |
| y eu | 169 | 171 | 166 | 172 | 180 | 176 | 177 | 182 | 182 | 186 |
Pentru a simplifica calculele, vom alcătui un tabel de calcul în care vom introduce valorile numerice necesare.
| x i | y eu | x i 2 | x i y i |
| 167 | 169 | 27889 | 28223 |
| 169 | 171 | 28561 | 28899 |
| 170 | 166 | 28900 | 28220 |
| 170 | 172 | 28900 | 29240 |
| 172 | 180 | 29584 | 30960 |
| 173 | 176 | 29929 | 30448 |
| 174 | 177 | 30276 | 30798 |
| 175 | 182 | 30625 | 31850 |
| 179 | 182 | 32041 | 32578 |
| 180 | 186 | 32400 | 33480 |
| ∑x i =1729 | ∑y i =1761 | ∑x i 2 299105 | ∑x i y i =304696 |
| x=172,9 | y=176,1 | x i 2 =29910,5 | xy=30469,6 |
Conform formulei (4), calculăm coeficientul de regresie
și prin formula (5)
Astfel, ecuația de regresie a probei arată ca y=-59,34+1,3804x.
Să trasăm punctele (x i ; y i) pe planul de coordonate și să marchem dreapta de regresie.
Fig 4
Figura 4 arată cum sunt situate valorile observate în raport cu linia de regresie. Pentru a estima numeric abaterile lui y i de la Y i , unde y i sunt valori observate, iar Y i sunt valori determinate prin regresie, vom face un tabel:
| x i | y eu | Y eu | Y i -y i |
| 167 | 169 | 168.055 | -0.945 |
| 169 | 171 | 170.778 | -0.222 |
| 170 | 166 | 172.140 | 6.140 |
| 170 | 172 | 172.140 | 0.140 |
| 172 | 180 | 174.863 | -5.137 |
| 173 | 176 | 176.225 | 0.225 |
| 174 | 177 | 177.587 | 0.587 |
| 175 | 182 | 178.949 | -3.051 |
| 179 | 182 | 184.395 | 2.395 |
| 180 | 186 | 185.757 | -0.243 |
Valorile Y i sunt calculate conform ecuației de regresie.
Abaterea notabilă a unor valori observate de la linia de regresie se explică prin numărul mic de observații. Când se studiază gradul de dependență liniară a lui Y față de X, se ia în considerare numărul de observații. Forța dependenței este determinată de valoarea coeficientului de corelație.
Are multe aplicații, deoarece permite o reprezentare aproximativă a unei anumite funcții de către altele mai simple. LSM poate fi extrem de util în procesarea observațiilor și este utilizat în mod activ pentru a estima unele cantități din rezultatele măsurătorilor altora care conțin erori aleatorii. În acest articol, veți învăța cum să implementați calculele celor mai mici pătrate în Excel.
Enunțarea problemei pe un exemplu specific
Să presupunem că există doi indicatori X și Y. Mai mult, Y depinde de X. Deoarece OLS este de interes pentru noi din punct de vedere al analizei de regresie (în Excel, metodele sale sunt implementate folosind funcții încorporate), ar trebui să procedăm imediat a lua în considerare o problemă specifică.
Deci, fie X aria de vânzare a unui magazin alimentar, măsurată în metri pătrați, iar Y cifra de afaceri anuală, definită în milioane de ruble.
Se cere sa se faca o prognoza a ce cifra de afaceri (Y) va avea magazinul daca are una sau alta zona de vanzare. Evident, funcția Y = f (X) este în creștere, deoarece hipermarketul vinde mai multe mărfuri decât taraba.
Câteva cuvinte despre corectitudinea datelor inițiale utilizate pentru predicție
Să presupunem că avem un tabel construit cu date pentru n magazine.
Conform statisticilor matematice, rezultatele vor fi mai mult sau mai puțin corecte dacă se examinează datele de pe cel puțin 5-6 obiecte. De asemenea, rezultatele „anomale” nu pot fi folosite. În special, un mic butic de elită poate avea o cifră de afaceri de multe ori mai mare decât cifra de afaceri a magazinelor mari din clasa „masmarket”.
Esența metodei
Datele din tabel pot fi afișate pe planul cartezian ca puncte M 1 (x 1, y 1), ... M n (x n, y n). Acum soluția problemei se va reduce la selectarea unei funcții de aproximare y = f (x), care are un grafic care trece cât mai aproape de punctele M 1, M 2, .. M n .
Desigur, puteți utiliza un polinom de grad înalt, dar această opțiune nu este doar dificil de implementat, ci pur și simplu incorectă, deoarece nu va reflecta tendința principală care trebuie detectată. Soluția cea mai rezonabilă este să căutați o dreaptă y = ax + b, care aproximează cel mai bine datele experimentale și, mai precis, coeficienții - a și b.
Scorul de precizie
Pentru orice aproximare, evaluarea acurateței sale este de o importanță deosebită. Notați cu e i diferența (abaterea) dintre valorile funcționale și experimentale pentru punctul x i , adică e i = y i - f (x i).
Evident, pentru a evalua acuratețea aproximării, puteți utiliza suma abaterilor, adică atunci când alegeți o linie dreaptă pentru o reprezentare aproximativă a dependenței lui X de Y, ar trebui să se acorde preferință celei care are cea mai mică valoare a suma e i în toate punctele luate în considerare. Cu toate acestea, nu totul este atât de simplu, deoarece, împreună cu abaterile pozitive, practic vor fi prezente și cele negative.
Puteți rezolva problema folosind modulele de abatere sau pătratele acestora. Această din urmă metodă este cea mai utilizată. Este utilizat în multe domenii, inclusiv în analiza de regresie (în Excel, implementarea sa se realizează folosind două funcții încorporate) și și-a dovedit de mult eficacitatea.
Metoda celor mai mici pătrate
În Excel, după cum știți, există o funcție de asumare automată încorporată care vă permite să calculați valorile tuturor valorilor situate în intervalul selectat. Astfel, nimic nu ne va împiedica să calculăm valoarea expresiei (e 1 2 + e 2 2 + e 3 2 + ... e n 2).
În notația matematică, aceasta arată astfel:
Deoarece inițial a fost luată decizia de a aproxima folosind o linie dreaptă, avem:
Astfel, sarcina de a găsi o linie dreaptă care descrie cel mai bine o relație specifică între X și Y echivalează cu calcularea minimului unei funcții a două variabile:
Acest lucru necesită egalarea la zero derivate parțiale în raport cu noile variabile a și b și rezolvarea unui sistem primitiv format din două ecuații cu 2 necunoscute de forma:
După transformări simple, inclusiv împărțirea la 2 și manipularea sumelor, obținem:
Rezolvând-o, de exemplu, prin metoda lui Cramer, obținem un punct staționar cu anumiți coeficienți a * și b * . Acesta este minimul, adică pentru a prezice ce cifră de afaceri va avea magazinul pentru o anumită zonă, este potrivită linia dreaptă y = a * x + b *, care este un model de regresie pentru exemplul în cauză. Desigur, nu vă va permite să găsiți rezultatul exact, dar vă va ajuta să vă faceți o idee dacă cumpărarea unui magazin cu credit pentru o anumită zonă va da roade.
Cum se implementează metoda celor mai mici pătrate în Excel
Excel are o funcție pentru calcularea valorii celor mai mici pătrate. Are următoarea formă: TREND (valori Y cunoscute; valori X cunoscute; valori X noi; constantă). Să aplicăm formula pentru calcularea MOL în Excel la tabelul nostru.
Pentru a face acest lucru, în celula în care ar trebui să fie afișat rezultatul calculului prin metoda celor mai mici pătrate în Excel, introduceți semnul „=” și selectați funcția „TENDINȚA”. În fereastra care se deschide, completați câmpurile corespunzătoare, evidențiind:
- intervalul de valori cunoscute pentru Y (în acest caz date pentru cifra de afaceri);
- interval x 1 , …x n , adică dimensiunea spațiului comercial;
- și valorile cunoscute și necunoscute ale lui x, pentru care trebuie să aflați dimensiunea cifrei de afaceri (pentru informații despre locația lor pe foaia de lucru, consultați mai jos).
În plus, există o variabilă logică „Const” în formulă. Dacă introduceți 1 în câmpul corespunzător acestuia, atunci aceasta va însemna că trebuie efectuate calcule, presupunând că b \u003d 0.
Dacă trebuie să cunoașteți prognoza pentru mai mult de o valoare x, atunci după introducerea formulei, nu trebuie să apăsați „Enter”, ci trebuie să introduceți combinația „Shift” + „Control” + „Enter” („Enter” ) pe tastatură.
Unele caracteristici
Analiza de regresie poate fi accesibilă chiar și pentru manechin. Formula Excel pentru prezicerea valorii unui tablou de variabile necunoscute – „TENDINȚA” – poate fi folosită chiar și de cei care nu au auzit niciodată de metoda celor mai mici pătrate. Este suficient doar să cunoști câteva caracteristici ale muncii sale. În special:
- Dacă aranjați intervalul de valori cunoscute ale variabilei y într-un rând sau coloană, atunci fiecare rând (coloană) cu valori cunoscute ale lui x va fi perceput de program ca o variabilă separată.
- Dacă intervalul cu x cunoscut nu este specificat în fereastra TREND, atunci în cazul utilizării funcției în Excel, programul o va considera ca o matrice formată din numere întregi, al căror număr corespunde intervalului cu valorile date. a variabilei y.
- Pentru a scoate o matrice de valori „prevăzute”, expresia tendinței trebuie introdusă ca formulă matrice.
- Dacă nu sunt specificate noi valori x, atunci funcția TREND le consideră egale cu cele cunoscute. Dacă nu sunt specificate, atunci tabloul 1 este luat ca argument; 2; 3; 4;…, care este proporțional cu intervalul cu parametrii deja dați y.
- Intervalul care conține noile valori x trebuie să aibă aceleași sau mai multe rânduri sau coloane ca și intervalul cu valorile y date. Cu alte cuvinte, trebuie să fie proporțional cu variabilele independente.
- O matrice cu valori x cunoscute poate conține mai multe variabile. Cu toate acestea, dacă vorbim despre unul singur, atunci este necesar ca intervalele cu valorile date ale lui x și y să fie proporționale. În cazul mai multor variabile, este necesar ca intervalul cu valorile y date să se încadreze într-o coloană sau un rând.
Funcția FORECAST
Este implementat folosind mai multe funcții. Una dintre ele se numește „PREDICȚIE”. Este similar cu TREND, adică oferă rezultatul calculelor folosind metoda celor mai mici pătrate. Cu toate acestea, numai pentru un X, pentru care valoarea lui Y este necunoscută.
Acum cunoașteți formulele Excel pentru manechine care vă permit să preziceți valoarea viitoarei valori a unui indicator în funcție de o tendință liniară.
Este utilizat pe scară largă în econometrie sub forma unei interpretări economice clare a parametrilor săi.
Regresia liniară se reduce la găsirea unei ecuații de formă
sau
Tip ecuație permite valorile parametrilor date X au valori teoretice ale caracteristicii efective, substituind valorile reale ale factorului în ea X.
Construirea unei regresii liniare se reduce la estimarea parametrilor ei − Ași în. Estimările parametrilor de regresie liniară pot fi găsite prin diferite metode.
Abordarea clasică a estimării parametrilor de regresie liniară se bazează pe cele mai mici pătrate(MNK).
LSM permite obținerea unor astfel de estimări ale parametrilor Ași în, sub care suma abaterilor pătrate ale valorilor reale ale trăsăturii rezultate (y) din calculat (teoretic) minim minim:
Pentru a găsi minimul unei funcții, este necesar să se calculeze derivatele parțiale în raport cu fiecare dintre parametri. Ași bși echivalează-le cu zero.
Notăm cu S, atunci:
Transformând formula, obținem următorul sistem de ecuații normale pentru estimarea parametrilor Ași în:
Rezolvând sistemul de ecuații normale (3.5) fie prin metoda eliminării succesive a variabilelor, fie prin metoda determinanților, găsim estimările parametrilor dorite. Ași în.
Parametru în numit coeficient de regresie. Valoarea acestuia arată modificarea medie a rezultatului cu o modificare a factorului cu o unitate.
Ecuația de regresie este întotdeauna completată cu un indicator al strângerii relației. Când se utilizează regresia liniară, coeficientul de corelație liniară acționează ca un astfel de indicator. Există diverse modificări ale formulei coeficientului de corelație liniară. Unele dintre ele sunt enumerate mai jos:
După cum știți, coeficientul de corelație liniară este în limitele: -1 ≤ ≤ 1.
Pentru a evalua calitatea selecției unei funcții liniare, se calculează pătratul
Un coeficient de corelație liniară numit coeficient de determinare. Coeficientul de determinare caracterizează proporția varianței caracteristicii efective y, explicată prin regresie, în varianța totală a trăsăturii rezultate:
În consecință, valoarea 1 - caracterizează proporția de dispersie y, cauzate de influența altor factori neluați în considerare în model.
Întrebări pentru autocontrol
1. Esența metodei celor mai mici pătrate?
2. Câte variabile oferă o regresie pe perechi?
3. Ce coeficient determină strânsoarea conexiunii dintre modificări?
4. În ce limite se determină coeficientul de determinare?
5. Estimarea parametrului b în analiza corelației-regresiune?
1. Christopher Dougherty. Introducere în econometrie. - M.: INFRA - M, 2001 - 402 p.
2. S.A. Borodich. Econometrie. Minsk LLC „Noi cunoștințe” 2001.
3. R.U. Rakhmetova Un scurt curs de econometrie. Tutorial. Almaty. 2004. -78s.
4. I.I. Eliseeva.Econometrie. - M.: „Finanțe și statistică”, 2002
5. Revista lunară de informare și analitică.
Modele economice neliniare. Modele de regresie neliniară. Conversia variabilelor.
Modele economice neliniare..
Conversia variabilelor.
coeficient de elasticitate.
Dacă există relații neliniare între fenomenele economice, atunci acestea sunt exprimate folosind funcțiile neliniare corespunzătoare: de exemplu, o hiperbolă echilaterală , parabole de gradul doi etc.
Există două clase de regresii neliniare:
1. Regresii care sunt neliniare în raport cu variabilele explicative incluse în analiză, dar liniare în raport cu parametrii estimați, de exemplu:
Polinoame de diferite grade - , ;
Hiperbola echilaterală - ;
Funcția semilogaritmică - .
2. Regresii care sunt neliniare în parametrii estimați, de exemplu:
Putere -;
Demonstrativ -;
Exponenţial - .
Suma totală a abaterilor pătrate ale valorilor individuale ale atributului rezultat la din valoarea medie este cauzată de influența multor factori. Împărțim condiționat întregul set de motive în două grupuri: factorul x studiatși alti factori.
Dacă factorul nu afectează rezultatul, atunci linia de regresie de pe grafic este paralelă cu axa Ohși
Atunci întreaga dispersie a atributului rezultat se datorează influenței altor factori, iar suma totală a abaterilor pătrate va coincide cu reziduul. Dacă alți factori nu afectează rezultatul, atunci ai legat Cu X funcțional, iar suma reziduală a pătratelor este zero. În acest caz, suma abaterilor pătrate explicate prin regresie este aceeași cu suma totală a pătratelor.
Deoarece nu toate punctele câmpului de corelație se află pe dreapta de regresie, împrăștierea lor are loc întotdeauna ca datorită influenței factorului X, adică regresie la pe X,şi cauzate de acţiunea altor cauze (variaţie inexplicabilă). Adecvarea liniei de regresie pentru prognoză depinde de ce parte din variația totală a trăsăturii laține seama de variația explicată
Evident, dacă suma abaterilor pătrate datorate regresiei este mai mare decât suma reziduală a pătratelor, atunci ecuația de regresie este semnificativă statistic și factorul X are un impact semnificativ asupra rezultatului. y.
, adică cu numărul de libertate de variație independentă a caracteristicii. Numărul de grade de libertate este legat de numărul de unități ale populației n și de numărul de constante determinate din aceasta. În raport cu problema studiată, numărul de grade de libertate ar trebui să arate câte abateri independente de la P
Evaluarea semnificației ecuației de regresie în ansamblu este dată cu ajutorul lui F- Criteriul lui Fisher. În acest caz, se propune o ipoteză nulă că coeficientul de regresie este egal cu zero, adică. b= 0 și, prin urmare, factorul X nu afectează rezultatul y.
Calculul direct al criteriului F este precedat de o analiză a varianței. Centrală este expansiunea sumei totale a abaterilor pătrate ale variabilei la din valoarea medie laîn două părți - „explicat” și „neexplicat”:
Suma totală a abaterilor pătrate;
Suma pătratelor abaterii explicată prin regresie;
Suma reziduală a abaterii pătrate.
Orice sumă a abaterilor pătrate este legată de numărul de grade de libertate , adică cu numărul de libertate de variație independentă a caracteristicii. Numărul de grade de libertate este raportat la numărul de unități de populație nşi cu numărul de constante determinate din acesta. În raport cu problema studiată, numărul de grade de libertate ar trebui să arate câte abateri independente de la P posibil este necesar pentru a forma o sumă dată de pătrate.
Dispersia pe grad de libertateD.
Raporturi F (criteriul F):
Dacă ipoteza nulă este adevărată, atunci factorul și variațiile reziduale nu diferă unul de celălalt. Pentru H 0, este necesară o infirmare, astfel încât varianța factorului să depășească de câteva ori rezidualul. Statisticianul englez Snedecor a dezvoltat tabele de valori critice F-relaţii la diferite niveluri de semnificaţie ale ipotezei nule şi un număr diferit de grade de libertate. Valoarea tabelului F-criteriul este valoarea maximă a raportului varianțelor care poate apărea dacă acestea diverge aleatoriu pentru un anumit nivel de probabilitate a prezenței unei ipoteze nule. Valoarea calculată F-relația este recunoscută ca fiind de încredere dacă o este mai mare decât cea tabelară.
În acest caz, ipoteza nulă despre absența unei relații de trăsături este respinsă și se face o concluzie despre semnificația acestei relații: F fapt > F tabel H 0 este respins.
Dacă valoarea este mai mică decât tabelul F fapt ‹, F tab, atunci probabilitatea ipotezei nule este mai mare decât un nivel dat și nu poate fi respinsă fără riscul serios de a trage o concluzie greșită despre prezența unei relații. În acest caz, ecuația de regresie este considerată nesemnificativă statistic. N o nu se abate.
Eroarea standard a coeficientului de regresie
Pentru a evalua semnificația coeficientului de regresie, valoarea acestuia este comparată cu eroarea sa standard, adică se determină valoarea reală t-Testul elevului: care este apoi comparat cu valoarea tabelului la un anumit nivel de semnificație și cu numărul de grade de libertate ( n- 2).
Eroare standard parametru A:
Semnificația coeficientului de corelație liniară este verificată pe baza mărimii erorii coeficient de corelație r:
Varianta totală a unei caracteristici X:
Regresia liniară multiplă
Construirea modelului
Regresie multiplă este o regresie a unei caracteristici eficiente cu doi sau mai mulți factori, adică un model al formei
Regresia poate da un rezultat bun în modelare dacă influența altor factori care afectează obiectul de studiu poate fi neglijată. Comportamentul variabilelor economice individuale nu poate fi controlat, adică nu este posibil să se asigure egalitatea tuturor celorlalte condiții pentru evaluarea influenței unui factor studiat. În acest caz, ar trebui să încercați să identificați influența altor factori prin introducerea lor în model, adică să construiți o ecuație de regresie multiplă: y = a+b 1 x 1 +b 2 +…+b p x p + .
Scopul principal al regresiei multiple este de a construi un model cu un număr mare de factori, determinând în același timp influența fiecăruia dintre ei în mod individual, precum și impactul lor cumulat asupra indicatorului modelat. Specificarea modelului include două domenii de întrebări: selecția factorilor și alegerea tipului de ecuație de regresie
Metoda celor mai mici pătrate (OLS, ing. Ordinary Least Squares, MCO)- o metodă matematică utilizată pentru rezolvarea diverselor probleme, bazată pe minimizarea sumei abaterilor pătrate ale unor funcții de la variabilele dorite. Poate fi folosit pentru a „rezolva” sisteme de ecuații supradeterminate (când numărul de ecuații depășește numărul de necunoscute), pentru a găsi o soluție în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate), pentru a aproxima valorile punctuale a unei anumite funcţii. OLS este una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului.
YouTube enciclopedic
1 / 5
✪ Metoda celor mai mici pătrate. Subiect
✪ Cele mai mici pătrate, lecția 1/2. Funcție liniară
✪ Econometrie. Cursul 5. Metoda celor mai mici pătrate
✪ Mitin I. V. - Prelucrarea rezultatelor fizice. experiment - metoda celor mai mici pătrate (Lectura 4)
✪ Econometrie: Esența metodei celor mai mici pătrate #2
Subtitrări
Poveste
Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci s-au folosit metode deosebite, în funcție de tipul de ecuații și de ingeniozitatea calculatoarelor și, prin urmare, calculatoare diferite, plecând de la aceleași date de observație, au ajuns la concluzii diferite. Gauss (1795) este creditat cu prima aplicare a metodei, iar Legendre (1805) a descoperit-o și publicat-o în mod independent sub numele său modern (fr. Methode des moindres quarres). Laplace a conectat metoda cu teoria probabilităților, iar matematicianul american Adrain (1808) a considerat aplicațiile probabilistice ale acesteia. Metoda este răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții.
Esența metodei celor mai mici pătrate
Lăsa x (\displaystyle x)- trusa n (\displaystyle n) variabile necunoscute (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- set de funcții din acest set de variabile. Problema este să alegi astfel de valori x (\displaystyle x) astfel încât valorile acestor funcții să fie cât mai apropiate de unele valori y i (\displaystyle y_(i)). În esență, vorbim despre „soluția” sistemului de ecuații supradeterminat f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)în sensul indicat, proximitatea maximă a părților din stânga și din dreapta ale sistemului. Esența LSM este de a alege ca „măsură a proximității” suma abaterilor pătrate ale părților din stânga și din dreapta | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Astfel, esența LSM poate fi exprimată astfel:
∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, prin diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile necunoscute, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim” x (\displaystyle x)în sensul proximităţii maxime a vectorilor y (\displaystyle y)și f (x) (\displaystyle f(x)) sau proximitatea maximă a vectorului de abatere e (\displaystyle e) la zero (proximitatea se înțelege în sensul distanței euclidiene).
Exemplu - sistem de ecuații liniare
În special, metoda celor mai mici pătrate poate fi folosită pentru a „rezolva” sistemul de ecuații liniare
A x = b (\displaystyle Ax=b),Unde A (\displaystyle A) matrice de dimensiuni dreptunghiulare m × n , m > n (\displaystyle m\times n,m>n)(adică numărul de rânduri ale matricei A este mai mare decât numărul de variabile necesare).
Un astfel de sistem de ecuații, în general, nu are soluție. Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector x (\displaystyle x) pentru a minimiza „distanța” dintre vectori A x (\displaystyle Ax)și b (\displaystyle b). Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ale ecuațiilor sistemului, adică (A x - b) T (A x - b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min _(x)). Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații
A T A x = A T b ⇒ x = (A T A) - 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).MCO în analiza de regresie (aproximarea datelor)
Să fie n (\displaystyle n) valorile unor variabile y (\displaystyle y)(acestea pot fi rezultatele observațiilor, experimentelor etc.) și variabilele corespunzătoare x (\displaystyle x). Provocarea este de a face relația între y (\displaystyle y)și x (\displaystyle x) aproximată printr-o funcție cunoscută până la niște parametri necunoscuți b (\displaystyle b), adică găsiți de fapt cele mai bune valori ale parametrilor b (\displaystyle b), aproximând la maxim valorile f (x, b) (\displaystyle f(x,b)) la valorile reale y (\displaystyle y). De fapt, aceasta se reduce la cazul „soluției” unui sistem supradeterminat de ecuații în raport cu b (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n).
În analiza de regresie, și în special în econometrie, sunt utilizate modele probabilistice ale relației dintre variabile.
Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
Unde ε t (\displaystyle \varepsilon _(t))- așa-zisul erori aleatorii modele.
În consecință, abaterile valorilor observate y (\displaystyle y) de la model f (x, b) (\displaystyle f(x,b)) deja asumat în modelul în sine. Esența LSM (obișnuită, clasică) este găsirea unor astfel de parametri b (\displaystyle b), la care suma abaterilor pătrate (erori, pentru modelele de regresie sunt adesea numite reziduuri de regresie) e t (\displaystyle e_(t)) va fi minim:
b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS (b)),Unde R S S (\displaystyle RSS)- Engleză. Suma reziduală a pătratelor este definită ca:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește despre cele mai mici pătrate neliniare(NLS sau NLLS - ing. Cele mai mici pătrate neliniare). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema minimizării, este necesar să găsiți punctele staționare ale funcției R S S (b) (\displaystyle RSS(b)), diferențiându-l în raport cu parametrii necunoscuți b (\displaystyle b), echivalând derivatele cu zero și rezolvând sistemul de ecuații rezultat:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).LSM în cazul regresiei liniare
Fie dependența de regresie liniară:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).Lăsa y este vectorul coloană de observații ale variabilei care se explică și X (\displaystyle X)- aceasta este (n × k) (\displaystyle ((n\times k)))- matricea de observații a factorilor (rânduri ale matricei - vectori de valori ale factorilor din această observație, pe coloane - vector de valori ale acestui factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma:
y = Xb + ε (\displaystyle y=Xb+\varepsilon ).Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu
y ^ = X b , e = y - y ^ = y - X b (\displaystyle (\pălărie (y))=Xb,\quad e=y-(\pălărie (y))=y-Xb).în consecință, suma pătratelor reziduurilor de regresie va fi egală cu
R S S = e T e = (y - X b) T (y - X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).Diferențierea acestei funcție în raport cu vectorul parametru b (\displaystyle b)și echivalând derivatele cu zero, obținem un sistem de ecuații (sub formă de matrice):
(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).În forma matricei descifrate, acest sistem de ecuații arată astfel:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x tk x∑ tdis 3 ⋮ b k) = (∑ x3 tdis ∑ t∑ t∑ t∑ t∑ t∮ t∑ t∮ t∑ (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t) )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) unde toate sumele sunt preluate peste toate valorile admisibile t (\displaystyle t).
Dacă o constantă este inclusă în model (ca de obicei), atunci x t 1 = 1 (\displaystyle x_(t1)=1) pentru toți t (\displaystyle t), prin urmare, în colțul din stânga sus al matricei sistemului de ecuații se află numărul de observații n (\displaystyle n), iar în elementele rămase din primul rând și prima coloană - doar suma valorilor variabilelor: ∑ x t j (\displaystyle \sum x_(tj))și primul element din partea dreaptă a sistemului - ∑ y t (\displaystyle \sum y_(t)).
Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru modelul liniar:
b ^ O L S = (X T X) - 1 X T y = (1 n X T X) - 1 1 n X T y = V x - 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă (în sistemul de ecuații când se împarte la n, în loc de sume apar mediile aritmetice). Dacă datele din modelul de regresie centrat, atunci în această reprezentare prima matrice are semnificația unei matrice de covarianță eșantion de factori, iar a doua este vectorul de covarianțe ale factorilor cu o variabilă dependentă. Dacă, în plus, datele sunt de asemenea normalizat la SKO (adică, în cele din urmă standardizate), atunci prima matrice are semnificația matricei de corelație eșantion de factori, al doilea vector - vectorul de corelații de eșantion de factori cu variabila dependentă.
O proprietate importantă a estimărilor LLS pentru modele cu o constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a unui singur parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul pentru suma minimă a abaterilor pătrate de la aceasta.
Cele mai simple cazuri speciale
În cazul regresiei liniare pe perechi y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), când se estimează dependența liniară a unei variabile față de alta, formulele de calcul sunt simplificate (puteți face fără algebra matriceală). Sistemul de ecuații are forma:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).De aici este ușor să găsiți estimări pentru coeficienți:
( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))În ciuda faptului că, în general, modelele cu o constantă sunt de preferat, în unele cazuri se știe din considerente teoretice că constanta a (\displaystyle a) ar trebui să fie egal cu zero. De exemplu, în fizică, relația dintre tensiune și curent are forma U = I ⋅ R (\displaystyle U=I\cdot R); măsurând tensiunea și curentul, este necesar să se estimeze rezistența. În acest caz, vorbim despre un model y = b x (\displaystyle y=bx). În acest caz, în loc de un sistem de ecuații, avem o singură ecuație
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
Prin urmare, formula de estimare a unui singur coeficient are forma
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
Cazul unui model polinomial
Dacă datele sunt ajustate printr-o funcție de regresie polinomială a unei variabile f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), apoi, grade percepând x i (\displaystyle x^(i)) ca factori independenţi pentru fiecare i (\displaystyle i) este posibilă estimarea parametrilor modelului pe baza formulei generale de estimare a parametrilor modelului liniar. Pentru aceasta, este suficient să se țină seama în formula generală de faptul că la o asemenea interpretare x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))și x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Prin urmare, ecuațiile matriceale în acest caz vor lua forma:
(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 y] = [∑ 0 b 1 y] ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum\limits _(n)x_(t)&\ldots &\sum\limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)
Proprietățile statistice ale estimărilor MOL
În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: condiționată de factori, așteptarea matematică a unei erori aleatoare trebuie să fie egală cu zero. Această condiție este îndeplinită, în special, dacă
- așteptarea matematică a erorilor aleatoare este zero și
- factorii și erorile aleatoare sunt valori independente aleatoare .
A doua condiție – condiția factorilor exogeni – este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu permite obținerea de estimări calitative în acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că condiția de exogeneitate este îndeplinită. În cazul general, pentru consistența estimărilor este suficientă satisfacerea condiției de exogeneitate împreună cu convergența matricei. V x (\displaystyle V_(x)) la o matrice nedegenerată pe măsură ce dimensiunea eșantionului crește la infinit.
Pentru ca, pe lângă consecvență și imparțialitate, estimările LSM (obișnuite) să fie și eficiente (cele mai bune din clasa estimărilor liniare nepărtinitoare), trebuie îndeplinite proprietăți suplimentare ale unei erori aleatorii:
Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de erori aleatoare V (ε) = σ 2 eu (\displaystyle V(\varepsilon)=\sigma ^(2)I).
Un model liniar care satisface aceste condiții se numește clasic. Estimatorii MOL pentru regresia liniară clasică sunt estimatori imparțiali, consecvenți și cei mai eficienți din clasa tuturor estimatorilor liniari imparțiali (în literatura engleză, abrevierea este uneori folosită albastru (Cel mai bun estimator liniar imparțial) este cea mai bună estimare liniară imparțială; în literatura internă, este mai des citată teorema Gauss - Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu:
V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
Eficiența înseamnă că această matrice de covarianță este „minimă” (orice combinație liniară de coeficienți, și în special coeficienții înșiși, au o varianță minimă), adică, în clasa estimărilor liniare nepărtinitoare, estimările MCO sunt cele mai bune. Elementele diagonale ale acestei matrice - varianțele estimărilor coeficienților - sunt parametri importanți ai calității estimărilor obținute. Cu toate acestea, nu este posibil să se calculeze matricea de covarianță deoarece varianța erorii aleatoare este necunoscută. Se poate dovedi că estimarea imparțială și consistentă (pentru modelul liniar clasic) a varianței erorilor aleatoare este valoarea:
S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)).
Înlocuind această valoare în formula pentru matricea de covarianță, obținem o estimare a matricei de covarianță. Estimările rezultate sunt, de asemenea, imparțial și consecvente. De asemenea, este important ca estimarea varianței erorii (și deci variațiile coeficienților) și estimările parametrilor modelului să fie variabile aleatoare independente, ceea ce face posibilă obținerea de statistici de testare pentru testarea ipotezelor despre coeficienții modelului.
Trebuie remarcat faptul că, dacă ipotezele clasice nu sunt îndeplinite, estimările parametrilor celor mai mici pătrate nu sunt cele mai eficiente și, unde W (\displaystyle W) este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe, pentru matrice (sau operatori) simetrice există o descompunere W = P T P (\displaystyle W=P^(T)P). Prin urmare, această funcționalitate poate fi reprezentată după cum urmează e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), adică acest funcțional poate fi reprezentat ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares).
S-a demonstrat (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor . MOL generalizat (OMNK, GLS - Cele mai mici pătrate generalizate)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: W = V ε - 1 (\displaystyle W=V_(\varepsilon )^(-1)).
Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma
B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
Matricea de covarianță a acestor estimări, respectiv, va fi egală cu
V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- unu)).
De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca, pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.
Cele mai mici pătrate ponderate
În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). În acest caz, suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: e T W mi = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard presupusă a erorilor aleatoare), iar datelor ponderate se aplică cele mai mici pătrate normale.
ISBN 978-5-7749-0473-0.
