Extrapolarea - aceasta este o metodă de cercetare științifică, care se bazează pe diseminarea tendințelor, modelelor, relațiilor trecute și prezente cu dezvoltarea viitoare a obiectului de prognoză. Metodele de extrapolare includ metoda mediei mobile, metoda netezirii exponențiale, metoda celor mai mici pătrate.
Esență metoda celor mai mici pătrate constă în minimizarea sumei abaterilor pătrate dintre valorile observate şi cele calculate. Valorile calculate se găsesc în funcție de ecuația selectată - ecuația de regresie. Cu cât distanța dintre valorile reale și cele calculate este mai mică, cu atât prognoza este mai precisă pe baza ecuației de regresie.
Analiza teoretică a esenței fenomenului studiat, a cărui modificare este afișată printr-o serie temporală, servește drept bază pentru alegerea unei curbe. Considerații despre natura creșterii nivelurilor seriei sunt uneori luate în considerare. Deci, dacă creșterea producției este de așteptat într-o progresie aritmetică, atunci netezirea este efectuată în linie dreaptă. Dacă se dovedește că creșterea este exponențială, atunci netezirea trebuie făcută în funcție de funcția exponențială.
Formula de lucru a metodei celor mai mici pătrate : Y t+1 = a*X + b, unde t + 1 este perioada de prognoză; Уt+1 – indicator prezis; a și b - coeficienți; X - simbol al timpului.
Coeficienții a și b se calculează după următoarele formule:
unde, Uf - valorile reale ale seriei de dinamică; n este numărul de niveluri din seria temporală;
Netezirea seriilor de timp prin metoda celor mai mici pătrate servește la reflectarea tiparelor de dezvoltare a fenomenului studiat. În exprimarea analitică a unei tendințe, timpul este considerat ca o variabilă independentă, iar nivelurile seriei acționează în funcție de această variabilă independentă.
Dezvoltarea unui fenomen nu depinde de câți ani au trecut de la punctul de plecare, ci de ce factori au influențat dezvoltarea lui, în ce direcție și cu ce intensitate. Din aceasta rezultă clar că dezvoltarea unui fenomen în timp apare ca urmare a acțiunii acestor factori.
Stabilirea corectă a tipului de curbă, tipul de dependență analitică de timp este una dintre cele mai dificile sarcini ale analizei pre-predictive. .
Alegerea tipului de funcție care descrie tendința, ai cărui parametri sunt determinați prin metoda celor mai mici pătrate, este în majoritatea cazurilor empirică, prin construirea unui număr de funcții și compararea lor între ele în ceea ce privește valoarea rădăcinii. -eroare pătratică medie, calculată prin formula:
unde Uf - valorile reale ale seriei de dinamică; Ur – valorile calculate (netezite) ale seriei de timp; n este numărul de niveluri din seria temporală; p este numărul de parametri definiți în formulele care descriu tendința (tendința de dezvoltare).
Dezavantajele metodei celor mai mici pătrate :
- atunci când se încearcă descrierea fenomenului economic studiat folosind o ecuație matematică, prognoza va fi precisă pentru o perioadă scurtă de timp și ecuația de regresie ar trebui recalculată pe măsură ce devin disponibile noi informații;
- complexitatea selecției ecuației de regresie, care poate fi rezolvată folosind programe de calculator standard.
Un exemplu de utilizare a metodei celor mai mici pătrate pentru a dezvolta o prognoză
Sarcină . Există date care caracterizează nivelul șomajului în regiune, %
- Construiți o prognoză a ratei șomajului în regiune pentru lunile noiembrie, decembrie, ianuarie, folosind metodele: medie mobilă, netezire exponențială, cele mai mici pătrate.
- Calculați erorile din prognozele rezultate folosind fiecare metodă.
- Comparați rezultatele obținute, trageți concluzii.
Soluția celor mai mici pătrate
Pentru rezolvare, vom alcătui un tabel în care vom face calculele necesare:
Să definim simbolul timpului ca o numerotare consecutivă a perioadelor bazei de prognoză (coloana 3). Calculați coloanele 4 și 5. Calculați valorile seriei Ur vor fi determinate de formula Y t + 1 = a * X + b, unde t + 1 este perioada de prognoză; Уt+1 – indicator prezis; a și b - coeficienți; X - simbol al timpului.
Coeficienții a și b sunt determinați prin următoarele formule:
unde, Uf - valorile reale ale seriei de dinamică; n este numărul de niveluri din seria temporală.
a = / = - 0,17
b \u003d 22,13 / 10 - (-0,17) * 55 / 10 \u003d 3,15
Calculăm eroarea relativă medie folosind formula:
ε = 28,63/10 = 2,86% exactitatea prognozeiînalt.
Concluzie : Compararea rezultatelor obţinute în calcule metoda mediei mobile , netezire exponenţială și metoda celor mai mici pătrate, putem spune că eroarea relativă medie în calcule prin metoda de netezire exponențială se încadrează în 20-50%. Aceasta înseamnă că acuratețea predicției în acest caz este doar satisfăcătoare.
În primul și al treilea caz, acuratețea prognozei este mare, deoarece eroarea relativă medie este mai mică de 10%. Dar metoda mediei mobile a făcut posibilă obținerea unor rezultate mai fiabile (prognoză pentru noiembrie - 1,52%, prognoză pentru decembrie - 1,53%, prognoză pentru ianuarie - 1,49%), deoarece eroarea relativă medie la utilizarea acestei metode este cea mai mică - 1 ,treisprezece%.
Metoda celor mai mici pătrate
În lecția finală a subiectului, ne vom familiariza cu cea mai cunoscută aplicație FNP, care găsește cea mai largă aplicație în diverse domenii ale științei și practicii. Poate fi fizică, chimie, biologie, economie, sociologie, psihologie și așa mai departe și așa mai departe. Prin voința sorții, de multe ori trebuie să mă ocup de economie și, prin urmare, astăzi vă voi aranja un bilet către o țară uimitoare numită Econometrie=) … Cum nu vrei asta?! E foarte bine acolo - trebuie doar să te decizi! …Dar ceea ce probabil că vrei cu siguranță este să înveți cum să rezolvi problemele cele mai mici pătrate. Și mai ales cititorii harnici vor învăța să le rezolve nu doar cu acuratețe, ci și FOARTE RAPID ;-) Dar mai întâi expunerea generală a problemei+ exemplu înrudit:
Să fie studiați indicatorii într-o anumită materie care au o expresie cantitativă. În același timp, există toate motivele să credem că indicatorul depinde de indicator. Această ipoteză poate fi atât o ipoteză științifică, cât și bazată pe bun simț elementar. Să lăsăm totuși știința deoparte și să explorăm zone mai apetisante - și anume, magazinele alimentare. Se notează prin:
– spațiu comercial al unui magazin alimentar, mp,
- cifra de afaceri anuală a unui magazin alimentar, milioane de ruble.
Este destul de clar că, cu cât suprafața magazinului este mai mare, cu atât cifra de afaceri este mai mare în majoritatea cazurilor.
Să presupunem că după efectuarea de observații / experimente / calcule / dans cu tamburina, avem la dispoziție date numerice: 
Cu magazinele alimentare, cred că totul este clar: - aceasta este zona primului magazin, - cifra de afaceri anuală a acestuia, - zona celui de-al doilea magazin, - cifra de afaceri anuală etc. Apropo, nu este deloc necesar să aveți acces la materiale clasificate - o evaluare destul de precisă a cifrei de afaceri poate fi obținută folosind statistici matematice. Cu toate acestea, nu vă lăsați distras, cursul de spionaj comercial este deja plătit =)
Datele tabelare pot fi scrise și sub formă de puncte și descrise în mod obișnuit pentru noi. Sistemul cartezian .
Să răspundem la o întrebare importantă: de câte puncte sunt necesare pentru un studiu calitativ?
Cu cât mai mare cu atât mai bine. Setul minim admis este format din 5-6 puncte. În plus, cu o cantitate mică de date, rezultatele „anormale” nu ar trebui incluse în eșantion. Deci, de exemplu, un mic magazin de elită poate ajuta ordine de mărime mai mult decât „colegii lor”, distorsionând astfel modelul general care trebuie găsit!
Dacă este destul de simplu, trebuie să alegem o funcție, programa care trece cât mai aproape de puncte 
. O astfel de funcție este numită aproximând
(aproximare - aproximare) sau functie teoretica
. În general, aici apare imediat un „pretendint” evident - un polinom de grad înalt, al cărui grafic trece prin TOATE punctele. Dar această opțiune este complicată și adesea pur și simplu incorectă. (deoarece graficul se va „vânta” tot timpul și reflectă slab tendința principală).
Astfel, funcția dorită trebuie să fie suficient de simplă și, în același timp, să reflecte adecvat dependența. După cum ați putea ghici, una dintre metodele pentru găsirea unor astfel de funcții este numită cele mai mici pătrate. În primul rând, să analizăm esența sa într-un mod general. Fie ca o funcție să aproximeze datele experimentale: 
Cum se evaluează acuratețea acestei aproximări? Să calculăm și diferențele (abaterile) dintre valorile experimentale și cele funcționale (studiam desenul). Primul gând care îmi vine în minte este de a estima cât de mare este suma, dar problema este că diferențele pot fi negative. (De exemplu, 
)
iar abaterile ca urmare a unei astfel de însumări se vor anula reciproc. Prin urmare, ca o estimare a preciziei aproximării, se sugerează să ia suma module abateri:
sau în formă pliată: (pentru cei care nu stiu:
este pictograma sumei și
- variabilă auxiliară - „contor”, care ia valori de la 1 la
)
.
Aproximând punctele experimentale cu diferite funcții, vom obține valori diferite și este evident unde această sumă este mai mică - acea funcție este mai precisă.
O astfel de metodă există și este numită metoda modulului minim. Cu toate acestea, în practică a devenit mult mai răspândită. metoda celor mai mici pătrate, în care posibilele valori negative sunt eliminate nu prin modul, ci prin pătrarea abaterilor:
, după care eforturile sunt direcționate către selectarea unei astfel de funcție încât suma abaterilor pătrate 
era cât se poate de mică. De fapt, de aici și numele metodei.
Și acum revenim la un alt punct important: după cum sa menționat mai sus, funcția selectată ar trebui să fie destul de simplă - dar există și multe astfel de funcții: liniar , hiperbolic , exponenţială , logaritmică , pătratică etc. Și, bineînțeles, aici aș vrea imediat să „reduiesc domeniul de activitate”. Ce clasă de funcții să alegeți pentru cercetare? Tehnica primitivă, dar eficientă:
- Cel mai simplu mod de a atrage puncte pe desen și analizați locația acestora. Dacă tind să fie în linie dreaptă, atunci ar trebui să cauți ecuație în linie dreaptă 
cu valori optime și . Cu alte cuvinte, sarcina este de a găsi ACEPTĂ coeficienți - astfel încât suma abaterilor pătrate să fie cea mai mică.
Dacă punctele sunt situate, de exemplu, de-a lungul hiperbolă, atunci este clar că funcția liniară va da o aproximare slabă. În acest caz, căutăm cei mai „favorabili” coeficienți pentru ecuația hiperbolei 
- cele care dau suma minima de patrate 
.
Acum observați că în ambele cazuri vorbim funcţiile a două variabile, ale căror argumente sunt opțiuni de dependență căutate:
Și, în esență, trebuie să rezolvăm o problemă standard - să găsim minim de o funcție a două variabile.
Amintiți-vă exemplul nostru: să presupunem că punctele „magazin” tind să fie situate în linie dreaptă și că există toate motivele să credem că prezența dependență liniară cifra de afaceri din zona de tranzactionare. Să găsim astfel de coeficienți „a” și „fi”, astfel încât suma abaterilor pătrate 
era cel mai mic. Totul ca de obicei - mai întâi derivate parțiale de ordinul I. Conform regula liniarității puteți diferenția chiar sub pictograma sumă: 
Dacă doriți să folosiți aceste informații pentru un eseu sau un curs, vă voi fi foarte recunoscător pentru linkul din lista de surse, nu veți găsi nicăieri astfel de calcule detaliate: 
Să facem un sistem standard: 
Reducem fiecare ecuație cu un „doi” și, în plus, „despărțim” sumele: 
Notă
: analizați independent de ce „a” și „fi” pot fi scoase din pictograma sumă. Apropo, formal acest lucru se poate face cu suma 
Să rescriem sistemul într-o formă „aplicată”: 
după care începe să fie trasat algoritmul pentru rezolvarea problemei noastre:
Cunoaștem coordonatele punctelor? Noi stim. Sume 
putem gasi? Uşor. Compunem cel mai simplu sistem de două ecuații liniare cu două necunoscute("a" și "beh"). Rezolvăm sistemul, de exemplu, metoda lui Cramer, rezultând un punct staționar . Control condiție suficientă pentru un extremum, putem verifica că în acest moment funcția 
ajunge precis minim. Verificarea este asociată cu calcule suplimentare și, prin urmare, o vom lăsa în culise. (dacă este necesar, cadrul lipsă poate fi vizualizatAici
)
. Tragem concluzia finală:
Funcţie 
cel mai bun mod (cel puțin în comparație cu orice altă funcție liniară) apropie punctele experimentale . În linii mari, graficul său trece cât mai aproape de aceste puncte. In traditie econometrie funcţia de aproximare rezultată se mai numeşte ecuația de regresie liniară pereche
.
Problema luată în considerare este de mare importanță practică. În situația cu exemplul nostru, ecuația vă permite să preziceți ce fel de cifră de afaceri ("yig") va fi la magazinul cu una sau alta valoare a zonei de vânzare (unul sau altul sens al lui „x”). Da, prognoza rezultată va fi doar o prognoză, dar în multe cazuri se va dovedi a fi destul de precisă.
Voi analiza o singură problemă cu numerele „reale”, deoarece nu există dificultăți în ea - toate calculele sunt la nivelul curriculum-ului școlar din clasele 7-8. În 95 la sută din cazuri, vi se va cere să găsiți doar o funcție liniară, dar la sfârșitul articolului voi arăta că nu este mai dificil să găsiți ecuațiile pentru hiperbola optimă, exponent și alte funcții.
De fapt, rămâne să distribuiți bunătățile promise - astfel încât să învățați cum să rezolvați astfel de exemple nu numai cu acuratețe, ci și rapid. Studiem cu atenție standardul:
Sarcină
În urma studierii relației dintre doi indicatori, s-au obținut următoarele perechi de numere: 
Folosind metoda celor mai mici pătrate, găsiți funcția liniară care aproximează cel mai bine empiric (cu experienta) date. Realizați un desen pe care, într-un sistem de coordonate dreptunghiular cartezian, să trasați punctele experimentale și un grafic al funcției de aproximare 
. Aflați suma abaterilor pătrate dintre valorile empirice și teoretice. Aflați dacă funcția este mai bună (în ceea ce privește metoda celor mai mici pătrate) puncte experimentale aproximative.
Rețineți că valorile „x” sunt valori naturale, iar aceasta are o semnificație caracteristică, despre care voi vorbi puțin mai târziu; dar ele, desigur, pot fi fracționate. În plus, în funcție de conținutul unei anumite sarcini, atât valorile „X” cât și „G” pot fi complet sau parțial negative. Ei bine, ni s-a dat o sarcină „fără chip” și o începem decizie:
Găsim coeficienții funcției optime ca soluție a sistemului: 
În scopul unei notații mai compacte, variabila „contor” poate fi omisă, deoarece este deja clar că însumarea se realizează de la 1 la .
Este mai convenabil să calculați sumele necesare într-o formă tabelară: 
Calculele pot fi efectuate pe un microcalculator, dar este mult mai bine să utilizați Excel - atât mai rapid, cât și fără erori; vezi un scurt video:
Astfel, obținem următoarele sistem:
Aici puteți înmulți a doua ecuație cu 3 și scădeți al 2-lea din prima ecuație termen cu termen. Dar acesta este noroc - în practică, sistemele nu sunt adesea dotate și, în astfel de cazuri, economisesc metoda lui Cramer:
, astfel încât sistemul are o soluție unică.
Hai să facem o verificare. Înțeleg că nu vreau, dar de ce să sari peste greșelile în care nu le poți rata? Înlocuiți soluția găsită în partea stângă a fiecărei ecuații a sistemului:
Se obțin părțile corecte ale ecuațiilor corespunzătoare, ceea ce înseamnă că sistemul este rezolvat corect.
Astfel, funcția de aproximare dorită: – de la toate funcțiile liniare datele experimentale sunt cel mai bine aproximate prin aceasta.
Spre deosebire de Drept
dependenţa cifrei de afaceri a magazinului de suprafaţa acestuia, dependenţa constatată este verso
(principiul „cu cât mai mult – cu atât mai puțin”), iar acest fapt este imediat relevat de negativ coeficient unghiular. Funcţie 
ne informează că odată cu creșterea unui anumit indicator cu 1 unitate, valoarea indicatorului dependent scade in medie cu 0,65 unități. După cum se spune, cu cât prețul hrișcii este mai mare, cu atât se vinde mai puțin.
Pentru a reprezenta graficul funcției de aproximare, găsim două dintre valorile acesteia:
și executați desenul: 
Linia construită se numește linie de tendință
(și anume, o linie de tendință liniară, adică, în cazul general, o tendință nu este neapărat o linie dreaptă). Toată lumea este familiarizată cu expresia „a fi în trend”, și cred că acest termen nu are nevoie de comentarii suplimentare.
Calculați suma abaterilor pătrate 
între valorile empirice şi teoretice. Din punct de vedere geometric, aceasta este suma pătratelor lungimii segmentelor „crimson”. (dintre care două sunt atât de mici încât nici nu le poți vedea).
Să rezumăm calculele într-un tabel: 
Ele pot fi din nou efectuate manual, doar în cazul în care voi da un exemplu pentru primul punct: 
dar este mult mai eficient să faci modul deja cunoscut:
Să repetăm: care este sensul rezultatului? Din toate funcțiile liniare funcţie exponentul este cel mai mic, adică este cea mai bună aproximare din familia sa. Și aici, apropo, întrebarea finală a problemei nu este întâmplătoare: ce se întâmplă dacă funcția exponențială propusă 
va fi mai bine să aproximăm punctele experimentale?
Să găsim suma corespunzătoare a abaterilor pătrate - pentru a le distinge, le voi desemna cu litera „epsilon”. Tehnica este exact aceeași: 
Și din nou pentru fiecare calcul de incendiu pentru primul punct: 
În Excel, folosim funcția standard EXP (Sintaxa poate fi găsită în Ajutor Excel).
Concluzie: , deci funcția exponențială aproximează punctele experimentale mai rău decât dreapta .
Dar trebuie remarcat aici că „mai rău” este nu înseamnă încă, Ce s-a întâmplat. Acum am construit un grafic al acestei funcții exponențiale - și trece, de asemenea, aproape de puncte 
- atât de mult încât fără un studiu analitic este greu de spus care funcție este mai exactă.
Aceasta completează soluția și revin la întrebarea valorilor naturale ale argumentului. În diverse studii, de regulă, economice sau sociologice, lunile, anii sau alte intervale de timp egale sunt numerotate cu „X” natural. Luați în considerare, de exemplu, următoarea problemă:
Avem următoarele date despre cifra de afaceri cu amănuntul a magazinului pentru prima jumătate a anului:
Folosind alinierea analitică în linie dreaptă, găsiți volumul vânzărilor pentru iulie.
Da, nicio problemă: numerotăm lunile 1, 2, 3, 4, 5, 6 și folosim algoritmul obișnuit, în urma căruia obținem o ecuație - singurul lucru când vine vorba de timp este de obicei litera „te ” (deși nu este critic). Ecuația rezultată arată că în prima jumătate a anului, cifra de afaceri a crescut cu o medie de 27,74 UM. pe luna. Obțineți o prognoză pentru iulie (luna #7): eu.
Și sarcini similare - întunericul este întunecat. Cei care doresc pot folosi un serviciu suplimentar si anume my Calculator Excel (versiunea demo), care rezolvă problema aproape instantaneu! Versiunea de lucru a programului este disponibilă în schimb sau pentru plata simbolica.
La sfârșitul lecției, o scurtă informație despre găsirea dependențelor de alte tipuri. De fapt, nu este nimic special de spus, deoarece abordarea fundamentală și algoritmul de soluție rămân aceleași.
Să presupunem că locația punctelor experimentale seamănă cu o hiperbolă. Apoi, pentru a găsi coeficienții celei mai bune hiperbole, trebuie să găsiți minimul funcției - cei care doresc pot efectua calcule detaliate și pot ajunge la un sistem similar: 
Din punct de vedere tehnic formal, se obține din sistemul „liniar”. 
(să-l marchem cu un asterisc)înlocuind „x” cu . Ei bine, sumele 
calculați, după care la coeficienții optimi „a” și „fi” la mana.
Dacă există toate motivele să credem că punctele sunt aranjate de-a lungul unei curbe logaritmice, apoi pentru a căuta valorile optime și a găsi minimul funcției 
. Formal, în sistem (*) ar trebui înlocuit cu: 
Când calculați în Excel, utilizați funcția LN. Mărturisesc că nu îmi va fi greu să creez calculatoare pentru fiecare dintre cazurile luate în considerare, dar tot va fi mai bine dacă „programați” singuri calculele. Tutoriale video pentru a ajuta.
Cu dependența exponențială, situația este puțin mai complicată. Pentru a reduce problema la cazul liniar, luăm logaritmul funcției și al utilizării proprietățile logaritmului:
Acum, comparând funcția obținută cu funcția liniară , ajungem la concluzia că în sistem (*) trebuie înlocuit cu , și - cu . Pentru comoditate, notăm: 
Vă rugăm să rețineți că sistemul este rezolvat în raport cu și și, prin urmare, după găsirea rădăcinilor, nu trebuie să uitați să găsiți coeficientul în sine.
Pentru a aproxima punctele experimentale parabola optimă 
, ar trebui găsit minim de o funcție de trei variabile 
. După efectuarea acțiunilor standard, obținem următoarea „funcționare” sistem:
Da, desigur, aici sunt mai multe sume, dar nu există deloc dificultăți atunci când utilizați aplicația preferată. Și, în sfârșit, vă voi spune cum să verificați rapid folosind Excel și să construiți linia de tendință dorită: creați o diagramă de dispersie, selectați oricare dintre punctele cu mouse-ul și faceți clic dreapta selectați opțiunea „Adăugați o linie de tendință”. Apoi, selectați tipul de diagramă și pe filă "Opțiuni" activați opțiunea „Afișați ecuația pe diagramă”. Bine
Ca întotdeauna, vreau să închei articolul cu o frază frumoasă și aproape că am tastat „Fii în tendințe!”. Dar în timp s-a răzgândit. Și nu pentru că ar fi formulat. Nu știu cum de cineva, dar nu vreau să urmăresc deloc tendința promovată americană și mai ales europeană =) Prin urmare, vă doresc fiecăruia dintre voi să rămâi la propria linie!
http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html
Metoda celor mai mici pătrate este una dintre cele mai comune și mai dezvoltate datorită ei simplitatea și eficiența metodelor de estimare a parametrilor modelelor econometrice liniare. În același timp, trebuie avută o anumită precauție atunci când îl utilizați, deoarece modelele construite folosindu-l pot să nu îndeplinească o serie de cerințe privind calitatea parametrilor lor și, ca urmare, să nu reflecte „bine” modelele de dezvoltare a procesului.
Să luăm în considerare mai detaliat procedura de estimare a parametrilor unui model econometric liniar folosind metoda celor mai mici pătrate. Un astfel de model în formă generală poate fi reprezentat prin ecuația (1.2):
y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .
Datele inițiale la estimarea parametrilor a 0 , a 1 ,..., a n este vectorul valorilor variabilei dependente y= (y 1 , y 2 , ... , y T)" și matricea valorilor variabilelor independente
în care prima coloană, formată din unele, corespunde coeficientului modelului .
Metoda celor mai mici pătrate și-a primit numele pe baza principiului de bază conform căruia estimările parametrilor obținute pe baza ei ar trebui să satisfacă: suma pătratelor erorii de model ar trebui să fie minimă.
Exemple de rezolvare a problemelor prin metoda celor mai mici pătrate
Exemplul 2.1.Întreprinderea comercială are o rețea formată din 12 magazine, informații despre activitățile cărora sunt prezentate în tabel. 2.1.
Conducerea companiei ar dori să știe în ce măsură dimensiunea cifrei de afaceri anuale depinde de spațiul de vânzare cu amănuntul al magazinului.
Tabelul 2.1
| Numărul magazinului | Cifra de afaceri anuală, milioane de ruble | Suprafata comerciala, mii m2 |
| 19,76 | 0,24 | |
| 38,09 | 0,31 | |
| 40,95 | 0,55 | |
| 41,08 | 0,48 | |
| 56,29 | 0,78 | |
| 68,51 | 0,98 | |
| 75,01 | 0,94 | |
| 89,05 | 1,21 | |
| 91,13 | 1,29 | |
| 91,26 | 1,12 | |
| 99,84 | 1,29 | |
| 108,55 | 1,49 |
Soluția celor mai mici pătrate. Să desemnăm - cifra de afaceri anuală a celui de-al-lea magazin, milioane de ruble; - suprafata de vanzare a celui de-al-lea magazin, mii m2.
Fig.2.1. Scatterplot pentru Exemplul 2.1
Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.1).
Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este dependentă pozitiv de zona de vânzare (adică, y va crește odată cu creșterea ). Cea mai potrivită formă de conexiune funcțională este liniar.
Informațiile pentru calcule suplimentare sunt prezentate în tabel. 2.2. Folosind metoda celor mai mici pătrate, estimăm parametrii modelului econometric liniar cu un singur factor
Tabelul 2.2
| t | YT | x 1t | y t 2 | x1t2 | x 1t y t |
| 19,76 | 0,24 | 390,4576 | 0,0576 | 4,7424 | |
| 38,09 | 0,31 | 1450,8481 | 0,0961 | 11,8079 | |
| 40,95 | 0,55 | 1676,9025 | 0,3025 | 22,5225 | |
| 41,08 | 0,48 | 1687,5664 | 0,2304 | 19,7184 | |
| 56,29 | 0,78 | 3168,5641 | 0,6084 | 43,9062 | |
| 68,51 | 0,98 | 4693,6201 | 0,9604 | 67,1398 | |
| 75,01 | 0,94 | 5626,5001 | 0,8836 | 70,5094 | |
| 89,05 | 1,21 | 7929,9025 | 1,4641 | 107,7505 | |
| 91,13 | 1,29 | 8304,6769 | 1,6641 | 117,5577 | |
| 91,26 | 1,12 | 8328,3876 | 1,2544 | 102,2112 | |
| 99,84 | 1,29 | 9968,0256 | 1,6641 | 128,7936 | |
| 108,55 | 1,49 | 11783,1025 | 2,2201 | 161,7395 | |
| S | 819,52 | 10,68 | 65008,554 | 11,4058 | 858,3991 |
| Media | 68,29 | 0,89 |
Prin urmare,
Prin urmare, cu o creștere a suprafeței de tranzacționare cu 1 mie m 2, restul fiind egale, cifra de afaceri medie anuală crește cu 67,8871 milioane ruble.
Exemplul 2.2. Conducerea întreprinderii a observat că cifra de afaceri anuală depinde nu numai de zona de vânzare a magazinului (vezi exemplul 2.1), ci și de numărul mediu de vizitatori. Informațiile relevante sunt prezentate în tabel. 2.3.
Tabelul 2.3
Decizie. Indicați - numărul mediu de vizitatori ai magazinului pe zi, mii de persoane.
Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.2).
Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este legată pozitiv de numărul mediu de vizitatori pe zi (adică, y va crește odată cu creșterea ). Forma dependenței funcționale este liniară.
Orez. 2.2. Scatterplot, de exemplu 2.2
Tabelul 2.4
| t | x 2t | x 2t 2 | yt x 2t | x 1t x 2t |
| 8,25 | 68,0625 | 163,02 | 1,98 | |
| 10,24 | 104,8575 | 390,0416 | 3,1744 | |
| 9,31 | 86,6761 | 381,2445 | 5,1205 | |
| 11,01 | 121,2201 | 452,2908 | 5,2848 | |
| 8,54 | 72,9316 | 480,7166 | 6,6612 | |
| 7,51 | 56,4001 | 514,5101 | 7,3598 | |
| 12,36 | 152,7696 | 927,1236 | 11,6184 | |
| 10,81 | 116,8561 | 962,6305 | 13,0801 | |
| 9,89 | 97,8121 | 901,2757 | 12,7581 | |
| 13,72 | 188,2384 | 1252,0872 | 15,3664 | |
| 12,27 | 150,5529 | 1225,0368 | 15,8283 | |
| 13,92 | 193,7664 | 1511,016 | 20,7408 | |
| S | 127,83 | 1410,44 | 9160,9934 | 118,9728 |
| In medie | 10,65 |
În general, este necesar să se determine parametrii modelului econometric cu doi factori
y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t
Informațiile necesare pentru calcule ulterioare sunt prezentate în tabel. 2.4.
Să estimăm parametrii unui model econometric liniar cu doi factori folosind metoda celor mai mici pătrate.
Prin urmare,
Evaluarea coeficientului = 61,6583 arată că, toate celelalte fiind egale, cu o creștere a suprafeței de vânzare cu 1 mie m 2, cifra de afaceri anuală va crește cu o medie de 61,6583 milioane de ruble.
Estimarea coeficientului = 2,2748 arată că, cu toate acestea, cu o creștere a numărului mediu de vizitatori la 1 mie de persoane. pe zi, cifra de afaceri anuală va crește cu o medie de 2,2748 milioane de ruble.
Exemplul 2.3. Folosind informațiile prezentate în tabel. 2.2 și 2.4, estimați parametrul unui model econometric cu un singur factor
unde este valoarea centrată a cifrei de afaceri anuale a celui de-al-lea magazin, milioane de ruble; - valoarea centrată a numărului mediu zilnic de vizitatori la al-lea magazin, mii de persoane. (vezi exemplele 2.1-2.2).
Decizie. Informațiile suplimentare necesare pentru calcule sunt prezentate în tabel. 2.5.
Tabelul 2.5
| -48,53 | -2,40 | 5,7720 | 116,6013 | |
| -30,20 | -0,41 | 0,1702 | 12,4589 | |
| -27,34 | -1,34 | 1,8023 | 36,7084 | |
| -27,21 | 0,36 | 0,1278 | -9,7288 | |
| -12,00 | -2,11 | 4,4627 | 25,3570 | |
| 0,22 | -3,14 | 9,8753 | -0,6809 | |
| 6,72 | 1,71 | 2,9156 | 11,4687 | |
| 20,76 | 0,16 | 0,0348 | 3,2992 | |
| 22,84 | -0,76 | 0,5814 | -17,413 | |
| 22,97 | 3,07 | 9,4096 | 70,4503 | |
| 31,55 | 1,62 | 2,6163 | 51,0267 | |
| 40,26 | 3,27 | 10,6766 | 131,5387 | |
| Sumă | 48,4344 | 431,0566 |
Folosind formula (2.35), obținem
Prin urmare,
http://www.cleverstudents.ru/articles/mnk.html
Exemplu.
Date experimentale despre valorile variabilelor Xși la sunt date în tabel. 
Ca urmare a alinierii lor, funcția 
Folosind metoda celor mai mici pătrate, aproximați aceste date cu o dependență liniară y=ax+b(găsiți opțiuni Ași b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen.
Decizie.
În exemplul nostru n=5. Completam tabelul pentru comoditatea calculării sumelor care sunt incluse în formulele coeficienților necesari. 
Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.
Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.
Valorile ultimei coloane a tabelului sunt sumele valorilor de pe rânduri.
Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții Ași b. Înlocuim în ele valorile corespunzătoare din ultima coloană a tabelului: 
Prin urmare, y=0,165x+2,184 este linia dreaptă de aproximare dorită.
Rămâne să aflăm care dintre rânduri y=0,165x+2,184 sau aproximează mai bine datele originale, adică să facă o estimare folosind metoda celor mai mici pătrate.
Dovada.
Așa că atunci când este găsit Ași b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie 
a fost pozitiv definit. Să o arătăm.
Diferenţialul de ordinul doi are forma: 
i.e
Prin urmare, matricea formei pătratice are forma 
iar valorile elementelor nu depind de Ași b.
Să arătăm că matricea este definită pozitivă. Acest lucru necesită ca unghiul minori să fie pozitiv.
Minor unghiular de ordinul întâi 
. Inegalitatea este strictă, deoarece punctele
Metoda celor mai mici pătrate (LSM) vă permite să estimați diferite cantități folosind rezultatele multor măsurători care conțin erori aleatorii.
MNC caracteristic
Ideea principală a acestei metode este că suma erorilor pătrate este considerată un criteriu pentru acuratețea soluționării problemei, care se urmărește a fi minimizată. Atunci când se utilizează această metodă, pot fi aplicate atât abordări numerice, cât și abordări analitice.
În special, ca implementare numerică, metoda celor mai mici pătrate implică realizarea cât mai multor măsurători ale unei variabile aleatoare necunoscute. Mai mult, cu cât mai multe calcule, cu atât soluția va fi mai precisă. Pe acest set de calcule (date inițiale) se obține un alt set de soluții propuse, din care apoi se selectează cea mai bună. Dacă mulțimea de soluții este parametrizată, atunci metoda celor mai mici pătrate se va reduce la găsirea valorii optime a parametrilor.
Ca abordare analitică a implementării LSM pe setul de date inițiale (măsurători) și setul de soluții propus, se definesc unele (funcționale), care pot fi exprimate printr-o formulă obținută ca o anumită ipoteză care trebuie confirmată. . În acest caz, metoda celor mai mici pătrate se reduce la găsirea minimului acestei funcționale pe setul de erori pătrate ale datelor inițiale.
Rețineți că nu erorile în sine, ci pătratele erorilor. De ce? Faptul este că adesea abaterile măsurătorilor de la valoarea exactă sunt atât pozitive, cât și negative. La determinarea mediei, suma simplă poate duce la o concluzie incorectă cu privire la calitatea estimării, deoarece anularea reciprocă a valorilor pozitive și negative va reduce puterea de eșantionare a setului de măsurători. Și, în consecință, acuratețea evaluării.
Pentru a preveni acest lucru, se însumează abaterile la pătrat. Mai mult decât atât, pentru a egaliza dimensiunea valorii măsurate și estimarea finală, din suma erorilor pătrate,
Unele aplicații ale MNC-urilor
MNC este utilizat pe scară largă în diverse domenii. De exemplu, în teoria probabilității și statistica matematică, metoda este utilizată pentru a determina o astfel de caracteristică a unei variabile aleatoare precum abaterea standard, care determină lățimea intervalului de valori ale unei variabile aleatoare.
Metoda celor mai mici pătrate (OLS, ing. Ordinary Least Squares, MCO)- o metodă matematică utilizată pentru rezolvarea diverselor probleme, bazată pe minimizarea sumei abaterilor pătrate ale unor funcții de la variabilele dorite. Poate fi folosit pentru a „rezolva” sisteme de ecuații supradeterminate (atunci când numărul de ecuații depășește numărul de necunoscute), pentru a găsi o soluție în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate), pentru a aproxima valorile punctuale a unei anumite funcţii. MCO este una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului.
YouTube enciclopedic
1 / 5
✪ Metoda celor mai mici pătrate. Subiect
✪ Cele mai mici pătrate, lecția 1/2. Funcție liniară
✪ Econometrie. Cursul 5. Metoda celor mai mici pătrate
✪ Mitin I. V. - Prelucrarea rezultatelor fizice. experiment - metoda celor mai mici pătrate (Lectura 4)
✪ Econometrie: Esența metodei celor mai mici pătrate #2
Subtitrări
Poveste
Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci s-au folosit metode deosebite, în funcție de tipul ecuațiilor și de ingeniozitatea calculatoarelor și, prin urmare, calculatoare diferite, pornind de la aceleași date observaționale, au ajuns la concluzii diferite. Gauss (1795) este creditat cu prima aplicare a metodei, iar Legendre (1805) a descoperit-o și publicat-o independent sub numele său modern (fr. Methode des moindres quarres). Laplace a conectat metoda cu teoria probabilităților, iar matematicianul american Adrain (1808) a considerat aplicațiile probabilistice ale acesteia. Metoda este răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții.
Esența metodei celor mai mici pătrate
Lasa x (\displaystyle x)- trusa n (\displaystyle n) variabile necunoscute (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- set de funcții din acest set de variabile. Problema este să alegi astfel de valori x (\displaystyle x) astfel încât valorile acestor funcții să fie cât mai apropiate de unele valori y i (\displaystyle y_(i)). În esență, vorbim despre „soluția” sistemului de ecuații supradeterminat f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)în sensul indicat, proximitatea maximă a părților din stânga și din dreapta ale sistemului. Esența LSM este de a alege ca „măsură a proximității” suma abaterilor pătrate ale părților din stânga și din dreapta | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Astfel, esența LSM poate fi exprimată astfel:
∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, prin diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică, în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile necunoscute, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim” x (\displaystyle x)în sensul proximităţii maxime a vectorilor y (\displaystyle y)și f (x) (\displaystyle f(x)) sau proximitatea maximă a vectorului de abatere e (\displaystyle e) la zero (proximitatea se înțelege în sensul distanței euclidiene).
Exemplu - sistem de ecuații liniare
În special, metoda celor mai mici pătrate poate fi folosită pentru a „rezolva” sistemul de ecuații liniare
A x = b (\displaystyle Ax=b),Unde A (\displaystyle A) matrice de dimensiuni dreptunghiulare m × n , m > n (\displaystyle m\times n,m>n)(adică numărul de rânduri ale matricei A este mai mare decât numărul de variabile necesare).
Un astfel de sistem de ecuații, în general, nu are soluție. Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector x (\displaystyle x) pentru a minimiza „distanța” dintre vectori A x (\displaystyle Ax)și b (\displaystyle b). Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ale ecuațiilor sistemului, adică (A x - b) T (A x - b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min _(x)). Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații
A T A x = A T b ⇒ x = (A T A) - 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).MCO în analiza de regresie (aproximarea datelor)
Să fie n (\displaystyle n) valorile unor variabile y (\displaystyle y)(acestea pot fi rezultatele observațiilor, experimentelor etc.) și variabilele corespunzătoare x (\displaystyle x). Provocarea este de a face relația între y (\displaystyle y)și x (\displaystyle x) aproximativă prin o funcție cunoscută până la niște parametri necunoscuți b (\displaystyle b), adică găsiți de fapt cele mai bune valori ale parametrilor b (\displaystyle b), aproximând la maxim valorile f (x, b) (\displaystyle f(x,b)) la valorile reale y (\displaystyle y). De fapt, aceasta se reduce la cazul „soluției” unui sistem supradeterminat de ecuații în raport cu b (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
În analiza de regresie, și în special în econometrie, sunt utilizate modele probabilistice ale relației dintre variabile.
Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
Unde ε t (\displaystyle \varepsilon _(t))- așa-zisul erori aleatorii modele.
În consecință, abaterile valorilor observate y (\displaystyle y) de la model f (x, b) (\displaystyle f(x,b)) deja asumat în modelul în sine. Esența LSM (obișnuită, clasică) este găsirea unor astfel de parametri b (\displaystyle b), la care suma abaterilor pătrate (erori, pentru modelele de regresie sunt adesea numite reziduuri de regresie) e t (\displaystyle e_(t)) va fi minim:
b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS (b)),Unde R S S (\displaystyle RSS)- Engleză. Suma reziduală a pătratelor este definită ca:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește despre cele mai mici pătrate neliniare(NLS sau NLLS - ing. Cele mai mici pătrate neliniare). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema minimizării, este necesar să găsiți punctele staționare ale funcției R S S (b) (\displaystyle RSS(b)), diferențiându-l în raport cu parametrii necunoscuți b (\displaystyle b), echivalând derivatele cu zero și rezolvând sistemul de ecuații rezultat:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).LSM în cazul regresiei liniare
Fie dependența de regresie liniară:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).Lasa y este vectorul coloană de observații ale variabilei care se explică și X (\displaystyle X)- Acest (n × k) (\displaystyle ((n\times k)))- matricea de observații a factorilor (rânduri ale matricei - vectori de valori ale factorilor din această observație, pe coloane - vector de valori ale acestui factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma:
y = Xb + ε (\displaystyle y=Xb+\varepsilon ).Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu
y ^ = X b , e = y - y ^ = y - X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).în consecință, suma pătratelor reziduurilor de regresie va fi egală cu
R S S = e T e = (y - X b) T (y - X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).Diferențierea acestei funcție în raport cu vectorul parametru b (\displaystyle b)și echivalând derivatele cu zero, obținem un sistem de ecuații (sub formă de matrice):
(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).În forma matricei descifrate, acest sistem de ecuații arată astfel:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t k x∑ tdis 3 ⋮ b k) = (∑ x3 y∑ tdis ∑ t∑ t∑ t∑ t∮ t∑ t∮ t (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t) )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) unde toate sumele sunt preluate peste toate valorile admisibile t (\displaystyle t).
Dacă o constantă este inclusă în model (ca de obicei), atunci x t 1 = 1 (\displaystyle x_(t1)=1) pentru toți t (\displaystyle t), prin urmare, în colțul din stânga sus al matricei sistemului de ecuații se află numărul de observații n (\displaystyle n), iar în elementele rămase din primul rând și prima coloană - doar suma valorilor variabilelor: ∑ x t j (\displaystyle \sum x_(tj))și primul element din partea dreaptă a sistemului - ∑ y t (\displaystyle \sum y_(t)).
Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru modelul liniar:
b ^ O L S = (X T X) - 1 X T y = (1 n X T X) - 1 1 n X T y = V x - 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă (în sistemul de ecuații când se împarte la n, în loc de sume apar mediile aritmetice). Dacă datele din modelul de regresie centrat, atunci în această reprezentare prima matrice are semnificația unei matrice de covarianță eșantion de factori, iar a doua este vectorul de covarianțe ale factorilor cu o variabilă dependentă. Dacă, în plus, datele sunt de asemenea normalizat la SKO (adică în cele din urmă standardizate), atunci prima matrice are semnificația matricei de corelație a eșantionului de factori, al doilea vector - vectorul de corelații a eșantionului de factori cu variabila dependentă.
O proprietate importantă a estimărilor LLS pentru modele cu o constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a unui singur parametru (constanta însăși) este egală cu valoarea medie a variabilei care se explică. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul pentru suma minimă a abaterilor pătrate de la aceasta.
Cele mai simple cazuri speciale
În cazul regresiei liniare pe perechi y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), când se estimează dependența liniară a unei variabile față de alta, formulele de calcul sunt simplificate (puteți face fără algebra matriceală). Sistemul de ecuații are forma:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).De aici este ușor de găsit estimări pentru coeficienți:
( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases)) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline) (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))În ciuda faptului că, în general, modelele cu o constantă sunt de preferat, în unele cazuri se știe din considerente teoretice că constanta a (\displaystyle a) ar trebui să fie egal cu zero. De exemplu, în fizică, relația dintre tensiune și curent are forma U = I ⋅ R (\displaystyle U=I\cdot R); măsurând tensiunea și curentul, este necesar să se estimeze rezistența. În acest caz, vorbim despre un model y = b x (\displaystyle y=bx). În acest caz, în loc de un sistem de ecuații, avem o singură ecuație
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
Prin urmare, formula de estimare a unui singur coeficient are forma
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
Cazul unui model polinomial
Dacă datele sunt ajustate printr-o funcție de regresie polinomială a unei variabile f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), apoi, grade percepând x i (\displaystyle x^(i)) ca factori independenţi pentru fiecare i (\displaystyle i) este posibilă estimarea parametrilor modelului pe baza formulei generale de estimare a parametrilor modelului liniar. Pentru aceasta, este suficient să se țină seama în formula generală de faptul că la o asemenea interpretare x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))și x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Prin urmare, ecuațiile matriceale în acest caz vor lua forma:
(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 n y] =∑ 0 b 1 y] ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum\limits _(n)x_(t)&\ldots &\sum\limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)
Proprietățile statistice ale estimărilor MOL
În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru imparțialitatea estimărilor celor mai mici pătrate, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare condiționată de factori trebuie să fie egală cu zero. Această condiție este îndeplinită, în special, dacă
- așteptarea matematică a erorilor aleatoare este zero și
- factorii și erorile aleatoare sunt valori independente aleatoare .
A doua condiție – condiția factorilor exogeni – este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consistente (adică chiar și o cantitate foarte mare de date nu permite obținerea de estimări calitative în acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, în contrast cu o eroare aleatorie, ceea ce înseamnă automat că condiția exogenă este satisfăcută. În cazul general, pentru consistența estimărilor este suficientă satisfacerea condiției de exogeneitate împreună cu convergența matricei. V x (\displaystyle V_(x)) la o matrice nedegenerată pe măsură ce dimensiunea eșantionului crește la infinit.
Pentru ca, pe lângă consecvență și imparțialitate, estimările (obișnuite) ale celor mai mici pătrate să fie și eficiente (cele mai bune din clasa estimărilor liniare nepărtinitoare), trebuie îndeplinite proprietăți suplimentare ale unei erori aleatorii:
Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de erori aleatoare V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză, abrevierea este uneori folosită albastru (Cel mai bun estimator liniar imparțial) este cea mai bună estimare liniară imparțială; în literatura internă, este mai des citată teorema Gauss - Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu:
V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
Eficiența înseamnă că această matrice de covarianță este „minimă” (orice combinație liniară de coeficienți, și în special coeficienții înșiși, au o varianță minimă), adică, în clasa estimărilor liniare nepărtinitoare, estimările MCO sunt cele mai bune. Elementele diagonale ale acestei matrice - varianțele estimărilor coeficienților - sunt parametri importanți ai calității estimărilor obținute. Cu toate acestea, nu este posibil să se calculeze matricea de covarianță deoarece varianța erorii aleatoare este necunoscută. Se poate dovedi că estimarea imparțială și consistentă (pentru modelul liniar clasic) a varianței erorilor aleatoare este valoarea:
S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)).
Înlocuind această valoare în formula pentru matricea de covarianță, obținem o estimare a matricei de covarianță. Estimările rezultate sunt, de asemenea, imparțial și consecvente. De asemenea, este important ca estimarea varianței de eroare (și, prin urmare, variațiile coeficienților) și estimările parametrilor modelului să fie variabile aleatoare independente, ceea ce face posibilă obținerea de statistici de testare pentru testarea ipotezelor despre coeficienții modelului.
Trebuie remarcat faptul că, dacă ipotezele clasice nu sunt îndeplinite, estimările parametrilor celor mai mici pătrate nu sunt cele mai eficiente și, unde W (\displaystyle W) este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe, pentru matrice (sau operatori) simetrice există o descompunere W = P T P (\displaystyle W=P^(T)P). Prin urmare, această funcționalitate poate fi reprezentată după cum urmează e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), adică acest funcțional poate fi reprezentat ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares).
Se dovedește (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor. MOL generalizat (OMNK, GLS - Cele mai mici pătrate generalizate)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: W = V ε - 1 (\displaystyle W=V_(\varepsilon )^(-1)).
Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma
B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
Matricea de covarianță a acestor estimări, respectiv, va fi egală cu
V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- unu)).
De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.
Cele mai mici pătrate ponderate
În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). În acest caz, suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: e T W mi = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard presupusă a erorilor aleatoare), iar datelor ponderate se aplică cele mai mici pătrate normale.
ISBN 978-5-7749-0473-0.
Exemplu.
Date experimentale despre valorile variabilelor Xși la sunt date în tabel. 
Ca urmare a alinierii lor, funcția 
Folosind metoda celor mai mici pătrate, aproximați aceste date cu o dependență liniară y=ax+b(găsiți opțiuni Ași b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen.
Esența metodei celor mai mici pătrate (LSM).
Problema este de a găsi coeficienții de dependență liniară pentru care funcția a două variabile Ași b 
ia cea mai mică valoare. Adică având în vedere datele Ași b suma abaterilor pătrate ale datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.
Astfel, soluția exemplului se reduce la găsirea extremului unei funcții a două variabile.
Derivarea formulelor pentru găsirea coeficienților.
Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale unei funcții în raport cu variabile Ași b, echivalăm aceste derivate cu zero. 
Rezolvăm sistemul de ecuații rezultat prin orice metodă (de exemplu metoda de substitutie sau ) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM). 
Cu date Ași b funcţie ia cea mai mică valoare. Dovada acestui fapt este dată.
Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , , și parametrul n- cantitatea de date experimentale. Se recomandă ca valorile acestor sume să fie calculate separat. Coeficient b găsit după calcul A.
Este timpul să ne amintim de exemplul original.
Decizie.
În exemplul nostru n=5. Completam tabelul pentru comoditatea calculării sumelor care sunt incluse în formulele coeficienților necesari. 
Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.
Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.
Valorile ultimei coloane a tabelului sunt sumele valorilor de pe rânduri.
Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții Ași b. Înlocuim în ele valorile corespunzătoare din ultima coloană a tabelului: 
Prin urmare, y=0,165x+2,184 este linia dreaptă de aproximare dorită.
Rămâne să aflăm care dintre rânduri y=0,165x+2,184 sau aproximează mai bine datele originale, adică să facă o estimare folosind metoda celor mai mici pătrate.
Estimarea erorii metodei celor mai mici pătrate.
Pentru a face acest lucru, trebuie să calculați sumele abaterilor pătrate ale datelor originale din aceste linii 
și 
, o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în ceea ce privește metoda celor mai mici pătrate. 
De la , apoi linia y=0,165x+2,184 aproximează mai bine datele originale.
Ilustrare grafică a metodei celor mai mici pătrate (LSM).
Totul arată grozav în topuri. Linia roșie este linia găsită y=0,165x+2,184, linia albastră este , punctele roz sunt datele originale.
Pentru ce este, pentru ce sunt toate aceste aproximări?
Eu personal folosesc pentru a rezolva probleme de netezire a datelor, probleme de interpolare și extrapolare (în exemplul original, vi se poate cere să găsiți valoarea valorii observate y la x=3 sau când x=6 conform metodei MNC). Dar vom vorbi mai multe despre asta mai târziu într-o altă secțiune a site-ului.
Dovada.
Așa că atunci când este găsit Ași b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie a fost pozitiv definit. Să o arătăm.
Diferenţialul de ordinul doi are forma: 
i.e
Prin urmare, matricea formei pătratice are forma 
iar valorile elementelor nu depind de Ași b.
Să arătăm că matricea este definită pozitivă. Acest lucru necesită ca unghiul minori să fie pozitiv.
Minor unghiular de ordinul întâi 
. Inegalitatea este strictă, deoarece punctele nu coincid. Acest lucru va fi implicat în cele ce urmează.
Minor unghiular de ordinul doi 
Să demonstrăm asta 
prin metoda inducţiei matematice .
Concluzie: valori găsite Ași b corespund celei mai mici valori a funcției , prin urmare, sunt parametrii doriti pentru metoda celor mai mici pătrate.
