Método dos mínimos quadrados

O Método dos Mínimos Quadrados (MMQ), ou Mínimos Quadrados Ordinários (MQO) ou OLS (do inglês Ordinary Least Squares) é uma técnica de otimização matemática que procura encontrar o melhor ajuste para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre o valor estimado e os dados observados (tais diferenças são chamadas resíduos).

É a forma de estimação mais amplamente utilizada na Geodésia e também na econometria. Consiste em um estimador que minimiza a soma dos quadrados dos resíduos da regressão, de forma a maximizar o grau de ajuste do modelo aos dados observados.

Um requisito para o método dos mínimos quadrados é que o fator imprevisível (erro) seja distribuído aleatoriamente e essa distribuição seja normal. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mínimos quadrados é o estimador não-enviesado de mínima variância linear na variável resposta.

Outro requisito é que o modelo é linear nos parâmetros, ou seja, as variáveis apresentam uma relação linear entre si. Caso contrário, deveria ser usado um modelo de regressão não-linear ou linearizar o modelo por meio da aproximação até a primeira ordem do uso da Série de Taylor.

Credita-se Carl Friedrich Gauss como o desenvolvedor das bases fundamentais do método dos mínimos quadrados, em 1795, quando Gauss tinha apenas dezoito anos. Entretanto, Adrien-Marie Legendre foi o primeiro a publicar o método em 1805, em seu Nouvelles méthodes pour la détermination des orbites des comètes. Gauss publicou suas conclusões apenas em 1809.

História

Fundação

O método dos mínimos quadrados mostrou -se dos campos da astronomia e geodésia , à medida que cientistas e matemáticos procuravam proporcionar soluções para os desafios de navegar nos oceanos da Terra durante a Era da Exploração . A descrição precisa do comportamento dos corpos celestes era a chave para permitir que os navios navegassem em mar aberto, onde os marinheiros não podiam mais depender de avistamentos em terra para navegação.

O método foi o culminar de vários avanços ocorridos ao longo do século XVIII:

·        A combinação de diferentes observações como sendo a melhor estimativa do valor verdadeiro; os erros diminuem com a agregação em vez de aumentar, talvez expressos pela primeira vez por Roger Cotes em 1722.

·        A combinação de diferentes observações feitas nas mesmas condições, ao contrário de simplesmente tentar o melhor para observar e registrar uma única observação com precisão. A abordagem era conhecida como método das médias. Esta abordagem foi usada notavelmente por Tobias Mayer enquanto estudava as librações da lua em 1750, e por Pierre-Simon Laplace em seu trabalho para explicar as diferenças no movimento de Júpiter e Saturno em 1788.

·        A combinação de diferentes observações feitas em diferentes condições. O método veio a ser conhecido como o método do menor desvio absoluto. Foi notadamente realizado por Roger Joseph Boscovich em seu trabalho sobre a forma da Terra em 1757 e por Pierre-Simon Laplace para o mesmo problema em 1799.

·        O desenvolvimento de um critério que pode ser avaliado para determinar quando a solução com o erro mínimo foi alcançada. Laplace tentou especificar uma forma matemática da densidade de probabilidade dos erros e definir um método de estimativa que minimiza o erro de estimativa. Para este propósito, Laplace usou uma distribuição exponencial bilateral simétrica que agora chamamos de distribuição de Laplace para modelar a distribuição do erro, e usou a soma dos desvios absolutos como erro de estimativa. Ele achava que essas eram as suposições mais simples que poderia fazer e esperava obter a média aritmética como a melhor estimativa. Em vez disso, seu estimador foi a mediana posterior.

O método

A primeira exposição clara e concisa do método dos mínimos quadrados foi publicada por Legendre em 1805.  A técnica é descrita como um procedimento algébrico para ajustar equações lineares aos dados e Legendre demonstra o novo método analisando os mesmos dados que Laplace para a forma da terra. O valor do método dos mínimos quadrados de Legendre foi imediatamente reconhecido pelos principais astrônomos e geodesistas da época. ^{[ citação necessária ]}

Em 1809, Carl Friedrich Gauss publicou seu método de cálculo das órbitas dos corpos celestes. Naquela obra, ele afirmou ter possuído o método dos mínimos quadrados desde 1795. Isso naturalmente levou a uma disputa de prioridade com Legendre. No entanto, para crédito de Gauss, ele foi além de Legendre e conseguiu conectar o método dos mínimos quadrados aos princípios da probabilidade e à distribuição normal . Ele conseguiu completar o programa de Laplace de especificar uma forma matemática da densidade de probabilidade para as observações, dependendo de um número finito de parâmetros desconhecidos, e definir um método de estimativa que minimiza o erro de estimativa. Gauss mostrou que a média aritméticaé de fato a melhor estimativa do parâmetro de localização, alterando a densidade de probabilidade e o método de estimativa. Ele então mudou o problema perguntando que forma a densidade deveria ter e que método de estimativa deveria ser usado para obter a média aritmética como estimativa do parâmetro de localização. Nessa tentativa, ele inventou a distribuição normal.

Uma das primeiras demonstrações da força do método de Gauss veio quando ele foi usado para prever a localização futura do recém-descoberto asteróide Ceres . Em 1 de janeiro de 1801, o astrônomo italiano Giuseppe Piazzi descobriu Ceres e foi capaz de rastrear seu caminho por 40 dias antes que se perdesse no brilho do sol. Com base nesses dados, os astrônomos desejavam determinar a localização de Ceres depois que ela emergiu atrás do sol, sem resolver as complicadas equações não lineares de Kepler do movimento planetário. As únicas previsões que permitiram com sucesso ao astrônomo húngaro Franz Xaver von Zach realocar Ceres foram aquelas realizadas por Gauss, de 24 anos, usando análise de mínimos quadrados.

Em 1810, depois de ler o trabalho de Gauss, Laplace, depois de provar o teorema do limite central , usou-o para dar uma grande amostra de justificação para o método dos mínimos quadrados e da distribuição normal. Em 1822, Gauss foi capaz de afirmar que a abordagem de mínimos quadrados para análise de regressão é ótima no sentido de que em um modelo linear onde os erros têm uma média de zero, não são correlacionados e têm variâncias iguais, o melhor estimador linear imparcial de os coeficientes é o estimador de mínimos quadrados. Este resultado é conhecido como teorema de Gauss-Markov .

O conceito da análise de mínimos quadrados também foi formulada de forma independente pelo americano Robert Adrain em 1808. Nos dois séculos posteriores, os pesquisadores da teoria dos erros e da estatística encontraram muitas maneiras diferentes de implementar os mínimos quadrado

Demonstração do Problema

Gráfico 1 - Os resíduos são plotados em relação aos valores de $x$. As flutuações aleatórias sobre $r_{i}=0$ indicam que o modelo linear é apropriado.

O objetivo desse método consiste em ajustar os parâmetros de uma função modelo para que ela se ajuste melhor à um conjunto de dados. Um conjunto de dados simples consiste em n pontos (pares ordenados) $(x_{i},y_{i})$, i = 1, ..., n, onde $x_{i}$ é uma variável independente e $y_{i}$ é uma variável dependente cujo valor é encontrado por observação.

A função modelo tem fórmula $f(x,\beta )$, onde m parâmetros ajustáveis são mantidos no vetor β. O objetivo é encontrar os valores dos parâmentros para o modelo que "melhor" se ajusta aos dados.

O ajuste do modelo é feito por seu resíduo, definido como a diferênça entre o valor real da variável dependente e o valor predito pelo modelo:

$r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})$

Gráfico 2 - Os resíduos são plotados em relação aos valores de $x$. A forma parabólica das flutuações sobre $r_{i}=0$ indicam que o modelo parabólico é apropriado.

O método dos quadrados mínimos, então, encontra os valores dos parâmentros ideiais, minimizando a soma $S$, dos quadrados residuais: $S=\sum _{i=1}^{n}r_{i}^{2}$

Um exemplo de modelo em duas dimensões é o da linha reta. Denotando a intercepção em y como $\beta _{0}$ e a inclinação como $\beta _{1}$, a função do modelo é dada por:

$f(x,{\boldsymbol {\beta }})=\beta _{0}+\beta _{1}x$

Pode ocorrer de um conjunto de dados possuir mais de uma variável independente. Por exemplo, ao ajustar um plano a um conjunto de medidas de alturas, o plano é função de duas variáveis independentes, $x$ e $z$, digamos. No caso mais geral, pode haver uma ou mais variáveis independentes e uma ou mais variáveis dependentes em cada par ordenado.

No Gráfico 1 está representado um gráfico residual ilustrando flutuações aleatóreas sobre $r_{i}=0$, indicando que o modelo linear $(Y_{i}=\alpha +\beta x_{i}+U_{i})$ é apopriado, onde $U_{i}$ é uma variável independente e aleatória.

Se os pontos residuais tivessem algum tipo de forma e não estivessem flutuando aleatoriamente, um modelo linear não seria apropriado. Por exemplo, se o gráfico residual tivesse uma forma parabólica, conforme visto no Gráfico 2, um modelo parabólico $(Y_{i}=\alpha +\beta x_{i}+\gamma x_{i}^{2}+U_{i})$ seria mais apropriado para o conjunto.

Os resíduos para um modelo parabólico podem ser calculados pela fórmula $r_{i}=y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}-{\widehat {\gamma }}x_{i}^{2}.$

Regressão simples

Queremos estimar valores de determinada variável $y\,\!$. Para isso, consideramos os valores de outra variável $x\,\!$ que acreditamos ter poder de explicação sobre $y\,\!$ conforme a fórmula:

$y=\alpha +\beta x+\varepsilon ,\!$

onde:

• $\alpha \,\!$: Parâmetro do modelo chamado de constante (porque não depende de $x\,\!$).
• $\beta \,\!$: Parâmetro do modelo chamado de coeficiente da variável $x\,\!$.
• $\varepsilon \,\!$: Erro - representa a variação de $y\,\!$ que não é explicada pelo modelo.

Também temos uma base de dados com $n\,\!$ valores observados de $y\,\!$ e de $x\,\!$. Perceba que, usando a base de dados, $y\,\!$ e $x\,\!$ são vetores, ou seja, representam uma lista de valores, um para cada observação da base de dados. O método dos mínimos quadrados ajuda a encontrar as estimativas de $\alpha \,\!$ e $\beta \,\!$. Como o nome diz, serão somente estimativas desses parâmetros, porque o valor real dos parâmetros são desconhecidos. Portanto, ao fazer a estimativa, mudamos a notação de algumas variáveis:

${\begin{aligned}\alpha &\rightarrow a\\\beta &\rightarrow b\\\varepsilon &\rightarrow e\end{aligned}}$

Deste modo, ao estimar o modelo usando a base de dados, estamos estimando, na verdade:

$y_{i}=a+bx_{i}+e_{i}\,\!$

onde $i\,\!$ indica cada uma das $n\,\!$ observações da base de dados e $e\,\!$ passa a ser chamado de resíduo, ao invés de erro. Em alguns livros, a notação para as estimativas dos parâmetros é um pouco diferente. Ao invés de substituir a letra, apenas adiciona-se o símbolo chapéu (${\hat {}}$).

O método dos mínimos quadrados minimiza a soma dos quadrado dos resíduos, ou seja, minimiza $\sum _{i=1}^{n}e_{i}^{2}$.

A ideia por trás dessa técnica é que, minimizando a soma do quadrado dos resíduos, encontraremos $a\,\!$ e $b\,\!$ que trarão a menor diferença entre a previsão de $y\,\!$ e o $y\,\!$ realmente observado.

Substituindo $e_{i}\,\!$ por $y_{i}-a-bx_{i}\,\!$, temos:

$S(a,b)=\sum _{i=1}^{n}\left(y_{i}-a-bx_{i}\right)^{2}$

A minimização se dá ao derivar $S(a,b)\,\!$ em relação a $a\,\!$ e $b\,\!$ utilizando a regra da cadeia e então igualar a zero:

${\begin{aligned}{\partial S \over \partial a}&={\partial S \over \partial x}*{\partial x \over \partial a}\\{\partial S \over \partial x}&=2\sum _{i=1}^{n}\left(y_{i}-a-bx_{i}\right)\\{\partial x \over \partial a}&=-1\\{\partial S \over \partial a}&=-2\sum _{i=1}^{n}\left(y_{i}-a-bx_{i}\right)=0\\{\partial S \over \partial b}&=-2\sum _{i=1}^{n}x_{i}\left(y_{i}-a-bx_{i}\right)=0\\\end{aligned}}$

Distribuindo e dividindo a primeira expressão por $2n\,\!$ temos:

${\begin{aligned}&{\frac {-2\sum _{i=1}^{n}y_{i}}{2n}}+{\frac {2\sum _{i=1}^{n}a}{2n}}+{\frac {2\sum _{i=1}^{n}bx_{i}}{2n}}={\frac {0}{2n}}\\&{\frac {-\sum _{i=1}^{n}y_{i}}{n}}+{\frac {\sum _{i=1}^{n}a}{n}}+{\frac {b\sum _{i=1}^{n}x_{i}}{n}}=0\\&-{\bar {y}}+a+b{\bar {x}}=0\\&a={\bar {y}}-b{\bar {x}}\end{aligned}}$

onde ${\bar {y}}$ é a média amostral de $y\,\!$ e ${\bar {x}}$ é a média amostral de $x\,\!$.

Substituindo esse resultado na segunda expressão temos:

${\begin{aligned}&-2\sum _{i=1}^{n}x_{i}\left(y_{i}-{\bar {y}}+b{\bar {x}}-bx_{i}\right)=0\\&\sum _{i=1}^{n}\left[x_{i}\left(y_{i}-{\bar {y}}\right)+x_{i}b\left({\bar {x}}-x_{i}\right)\right]=0\\&\sum _{i=1}^{n}x_{i}\left(y_{i}-{\bar {y}}\right)+b\sum _{i=1}^{n}x_{i}\left({\bar {x}}-x_{i}\right)=0\\&b={\frac {\sum _{i=1}^{n}x_{i}\left(y_{i}-{\bar {y}}\right)}{\sum _{i=1}^{n}x_{i}\left(x_{i}-{\bar {x}}\right)}}\end{aligned}}$

Alguns livros também usam uma fórmula diferente que gera o mesmo resultado:

$b={\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}$

Exemplo de regressão simples

Considere a seguinte base de dados:

$i$	$y\,\!$ Consumo	$x\,\!$ Renda
1	122	139
2	114	126
3	86	90
4	134	144
5	146	163
6	107	136
7	68	61
8	117	62
9	71	41
10	98	120

Aplicando as fórmulas acima, chega-se em:

${\begin{aligned}b&={\frac {7.764,40}{15.671,60}}=0,4954\\a&=106,30-0,4954\times 108,20=52,69\end{aligned}}$

portanto,

$Consumo=52,69+0,4954\times Renda+e\,\!$

Interpretação: Tirando a parte do Consumo que não é influenciada pela Renda, o incremento de $ 1 na Renda causa um incremento esperado de $ 0,4954 no Consumo.

Regressão múltipla

A regressão múltipla apresenta um funcionamento parecido com o da regressão simples, porém, leva em consideração diversas variáveis explicativas $x\,\!$ influenciando $y\,\!$ ao mesmo tempo:

$y=\beta _{0}+x_{1}\beta _{1}+x_{2}\beta _{2}+x_{3}\beta _{3}+\dots +x_{k}\beta _{k}+\varepsilon$

Ao usar a base de dados com $k\,\!$ variáveis explicativas e $n\,\!$ observações, o modelo pode ser escrito na forma matricial:

${\begin{pmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\\dots \\y_{n}\end{pmatrix}}={\begin{pmatrix}1&x_{11}&x_{21}&\dots &x_{k1}\\1&x_{12}&x_{22}&\dots &x_{k2}\\1&x_{13}&x_{23}&\dots &x_{k3}\\1&x_{14}&x_{24}&\dots &x_{k4}\\\dots &\dots &\dots &\dots &\dots \\1&x_{1n}&x_{2n}&\dots &x_{kn}\end{pmatrix}}\times {\begin{pmatrix}b_{0}\\b_{1}\\b_{2}\\\dots \\b_{k}\end{pmatrix}}+{\begin{pmatrix}e_{1}\\e_{2}\\e_{3}\\e_{4}\\\dots \\e_{n}\end{pmatrix}}$

, onde $x_{ji}\,\!$ representa o valor da $j\,\!$-ésima variável da $i\,\!$-ésima observação. A fórmula também pode ser escrita na forma resumida:

$y=Xb+e\,\!$

A solução de mínimos quadrados continua sendo alcançada através da minimização da soma do quadrado dos resíduos $\sum _{i=1}^{n}e_{i}^{2}$, que pode ser reescrito como $e'e\,\!$, onde o apóstrofe significa que a matriz foi transposta.

Substituindo $e\,\!$ por $y-Xb\,\!$, temos:

${\begin{aligned}S\left(b\right)&=\left(y-Xb\right)^{\mathsf {T}}\left(y-Xb\right)\\&=y^{\mathsf {T}}y-y^{\mathsf {T}}Xb-b^{\mathsf {T}}X^{\mathsf {T}}y+b^{\mathsf {T}}X^{\mathsf {T}}Xb\end{aligned}}$

A minimização pode ser obtida ao derivar $S\left(b\right)\,\!$ em relação a $b\,\!$ e igualar a zero. O primeiro termo não depende de $b\,\!$, os segundo e terceiro termos são iguais e o quarto termo é uma forma quadrática dos elementos de $b\,\!$.

${\begin{aligned}&{\partial S \over \partial b}=-2X^{\mathsf {T}}y+2X^{\mathsf {T}}Xb=0\\&X^{\mathsf {T}}Xb=X^{\mathsf {T}}y\,\!\\&b=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}y\end{aligned}}$

Exemplo de regressão múltipla

Considere a base de dados usada no exemplo da regressão simples, porém, acrescente mais uma variável explicativa (taxa de juros):

$i$	$y\,\!$ Consumo	$x_{1}\,\!$ Renda	$x_{2}\,\!$ Taxa de Juros
1	122	139	11,5%
2	114	126	12,0%
3	86	90	10,5%
4	134	144	9,0%
5	146	163	10,0%
6	107	136	12,0%
7	68	61	10,5%
8	117	62	8,0%
9	71	41	10,0%
10	98	120	11,5%

Aplicando a fórmula acima, chega-se a:

$b=\left(\left({\begin{smallmatrix}1&1&1&\cdots \\139&126&90&\cdots \\0,115&0,12&0,105&\cdots \end{smallmatrix}}\right)\times \left({\begin{smallmatrix}1&139&0,115\\1&126&0,12\\1&90&0,105\\\cdots &\cdots &\cdots \end{smallmatrix}}\right)\right)^{-1}\times \left({\begin{smallmatrix}1&1&1&\cdots \\139&126&90&\cdots \\0,115&0,12&0,105&\cdots \end{smallmatrix}}\right)\times \left({\begin{smallmatrix}122\\114\\86\\\cdots \end{smallmatrix}}\right)=\left({\begin{smallmatrix}148,52\\0,6136\\-10,3441\end{smallmatrix}}\right)$

portanto,

$Consumo=148,52+0,6136\times Renda-10,3441\times Taxa\,de\,Juros+e\,\!$

Interpretação: Tirando a parte do Consumo que não é influenciada pela Taxa de Juros, o incremento de $ 1 na Renda causa um incremento esperado de $ 0,6136 no Consumo; além disso, o incremento de 1 ponto percentual (0,01) na Taxa de Juros causa um decréscimo esperado de $ 10,3441 no Consumo.

Premissas

Ao usar o método dos mínimos quadrados, assumimos algumas premissas a respeito das variáveis:

• Os regressores são fixos: As variáveis da matriz $X\,\!$ não são estocásticas.
• Erro é aleatório com média 0: O erro $\varepsilon \,\!$ é aleatório e sua esperança $E\left(\varepsilon \right)=0\,\!$.
• Homoscedasticidade: A variância do erro é constante.
  Ver também: heteroscedasticidade
• Sem correlação: Não existe correlação entre os erros das observações, ou seja, $E\left(\varepsilon _{i}\varepsilon _{j}\right)=0\,\!$ para qualquer $i\neq j\,\!$.
• Parâmetros são constantes: $\alpha \,\!$ e $\beta \,\!$ são valores fixos desconhecidos.
• Modelo é linear: Os dados da variável dependente $y\,\!$ foram gerados pelo processo linear $y=X\beta +\epsilon \,\!$.
• Erro tem distribuição normal: O erro é distribuído conforme a curva de distribuição normal.

Caso alguma dessas premissas não seja verdadeira, o método pode gerar resultados sub-ótimos ou com viés.

Coeficiente de determinação R²

Ver artigo principal: R²

O Coeficiente de determinação, também chamado de R² é uma medida de qualidade do modelo em relação à sua habilidade de estimar corretamente os valores da variável resposta $y\,\!$.

$R^{2}=1-{\frac {SQ_{\text{res}}}{SQ_{\text{tot}}}}$ , sendo SQres o Somatório dos Quadrados dos Resíduos e SQtot o Somatório dos Quadrados Total

ou R² ajustado:

${\bar {R^{2}}}=1-{\frac {n-1}{n-(k+1)}}\left(1-R^{2}\right)\,\!$

Exemplo de R² e R² ajustado

O valor do coeficiente de determinação, quando aplicado ao caso da regressão simples permite obter o seguinte resultado:

$R^{2}=1-{\frac {\sum _{i=1}^{N}\left[y_{i}-(b\times x+a)\right]^{2}}{\sum _{i=1}^{N}\left(y_{i}-{\bar {y}}\right)^{2}}}=1-{\frac {2111.275}{5978.1}}=0,6456$

E, usando os dados do exemplo de regressão múltipla, podemos calcular:

$R^{2}=1-{\frac {671,54}{5.958,10}}=0,88729$

Isso significa que 88,729% da variância de $y\,\!$ é explicada pela variância de $X\,\!$.

${\bar {R^{2}}}=1-{\frac {10-1}{10-(2+1)}}\left(1-0,88729\right)=0,85509$

Teste de significância dos coeficientes

Ver artigos principais: Estatistica t e Valor p

Se uma variável $x_{j}\,\!$ realmente possui poder explicativo sobre $y\,\!$, seu coeficiente $b_{j}\,\!$ deve ser estatisticamente diferente de zero. Ou seja, deve ser suficientemente maior ou menor do que zero para que tenhamos confiança de que a variável realmente possui poder explicativo. Caso isso não seja verdade, a variável poderia ser retirada do modelo sem que exista grande perda da sua qualidade. Para verificar se os coeficientes são significantes, levamos em consideração que o estimador $b\,\!$ tem distribuição normal centrada em $\beta \,\!$ e com variância $\sigma ^{2}\left(X'X\right)^{-1}$, onde $\sigma ^{2}\,\!$ é a variância do erro $\varepsilon \,\!$. Ou seja:

$b\sim N\left(\beta ,\sigma ^{2}\left(X'X\right)^{-1}\right)$

Porém, como o erro não é observado, usamos a aproximação amostral $s^{2}\,\!$:

$s^{2}={\frac {e'e}{n-(k+1)}}$

, onde $(k+1)\,\!$ representa o número de variáveis explicativas mais a constante.

Considerando que a hipótese nula é a de que $\beta _{j}=0\,\!$, então a estatística t para a variável j é:

$t_{j}={\frac {b_{j}}{s{\sqrt {a_{jj}}}}}\sim t\left(n-k-1\right)$

, onde $a_{jj}\,\!$ é o j-ésimo elemento da diagonal de $\left(X'X\right)^{-1}$.

Aplicando o valor de $t_{j}\,\!$ na curva acumulada da distribuição t de Student com $n-k-1\,\!$ graus de liberdade, pode-se obter o nível de confiança necessário para que a hipótese nula seja rejeitada.

Ver também: Testes de hipóteses

Exemplo de teste de significância dos coeficientes

Usando os dados do exemplo de regressão múltipla, podemos calcular:

$s={\sqrt {\tfrac {671,54}{10-(2+1)}}}=9,7946$

$\left(X'X\right)^{-1}=\left(\left({\begin{smallmatrix}1&1&1&\cdots \\139&126&90&\cdots \\0,115&0,12&0,105&\cdots \end{smallmatrix}}\right)\times \left({\begin{smallmatrix}1&139&0,115\\1&126&0,12\\1&90&0,105\\\cdots &\cdots &\cdots \end{smallmatrix}}\right)\right)^{-1}=\left({\begin{smallmatrix}7,2254&0,0010&-68,8504\\0,0010&0,0001&-0,0849\\-68,8504&-0,0849&743,1920\end{smallmatrix}}\right)$

${\begin{aligned}t_{0}&={\tfrac {148,52}{9,7946{\sqrt {7,2254}}}}=5,6412\\t_{1}&={\tfrac {0,6136}{9,7946{\sqrt {0,0001}}}}=6,2647\\t_{2}&={\tfrac {-1.034,41}{9,7946{\sqrt {743,1920}}}}=-3,8740\\\end{aligned}}$

Na distribuição t de Student com 7 (10-2-1) graus de liberdade, o valor de $|t_{j}|\,\!$ que garante um nível de confiança de 95% é 2,3646. Como $|t_{0}|\,\!$ é maior que 2,3646, a hipótese nula de que $\beta _{0}=0\,\!$ é rejeitada com, pelo menos 95% de confiança. O mesmo também ocorre para $|t_{1}|{\text{ e }}|t_{2}|\,\!$.

Implementação em Octave

Muitas vezes é desejado ajustar um conjunto de dados do tipo $(x_{1},f(x_{1})),(x_{2},f(x_{2})),...,(x_{m},f(x_{m}))$ utilizando alguma função que não seja tão simples como uma reta, como por exemplo uma exponencial, um seno, um polinômio, etc. Neste caso, é possível utilizar o Método dos Mínimos Quadrados para ajustar o conjunto de dados com a função escolhida.

Seja $\phi (x)=\alpha _{1}g_{1}(x)+\alpha _{2}g_{2}(x)+...+\alpha _{n}g_{n}(x)$ a função que irá ajustar o conjunto de dados, o Método dos Mínimos Quadrados irá determinar quais são os melhores parâmetros $\alpha _{i}$, com $i=1,2,\,...,n$ que irá melhor aproximar a função $\phi (x)$ ao conjunto de dados. Uma discussão mais detalhada pode ser encontrada em .

Segue abaixo a implementação em Octave do Método dos Mínimos Quadrados para um exemplo.

...Autor: Pedro Albert
...Ajuste de curva pelo Método dos Mínimos Quadrados

function ajuste_mmq 
  ...defina abaixo os pontos (xk,fk) que irão sofrer o ajuste
  xk=[0 1 2 3 4]; ...substitua os dados de entrada conforme desejar
  fk=[1 2 4 8 16];
  m=length(xk);
  
  g=ajuste_g(xk);
  n=rows(g);
  
  for j=1:n
    b(j)=sum(fk.*g(j,:));
    for i=1:n
      A(i,j)=sum(g(i,:).*g(j,:));
    endfor
  endfor
  b=b';
  alpha=A\b
  
  x=linspace(xk(1),xk(m),400);
  g=ajuste_g(x);
  y=0;
  for i=1:n
    y=y+alpha(i)*g(i,:);
  endfor
  
  plot(xk,fk,"r*",x,y,"b-")
endfunction

...defina no corpo da função abaixo as funções que irão ajustar os pontos (xk,fk)
function [g]=ajuste_g(x)
  
  g(1,:)=x.^2;
  g(2,:)=exp(x);
  g(3,:)=sin(x);
  g(4,:)=2.^x;
  ...mais funções g(i,:)=f(x) podem ser adicionadas conforme o exemplo acima
  
endfunction

Ver também

• Mínimos quadrados generalizados - MQG
• Máxima verossimilhança
• Método dos momentos generalizados - MMG
• Regressão
• Econometria
• Decomposição em Valores Singulares - a técnica computacional moderna para regressão e projeção ortogonal.

Ligações externas

• (em inglês) - Método dos mínimos quadrados por David Manthey
• (em inglês) - O operador contrabarra ou '\' no Scilab [1]