計量経済学: 計量経済学が解き放たれ、データ主導の経済学を習得する

By Fouad Sabry

計量経済学とは

計量経済学の分野では、経済関係に実証的な証拠を提供することを目的として、統計手法を利用して経済データを分析します。 より具体的には、「適切な推論方法によって関連付けられた、理論と観察の同時発展に基づく実際の経済現象の定量的分析」を指します。 経済学の入門書である教科書では、計量経済学は経済学者が「山ほどのデータをふるいにかけ、単純な関係を抽出する」ことを可能にするツールとして説明されています。 計量経済学の分野では、ヤン・ティンバーゲンが建国の父 2 人のうちの 1 人とされています。 もう一人のラグナー・フリッシュは、このフレーズを今日使われているような形で最初に使用した人でもあります。

どのようなメリットがあるか

(I) 以下のトピックに関する洞察と検証:

第 1 章: 計量経済学

第 2 章: 最小二乗法

第 3 章: ガウス?マルコフ定理

第 4 章: 回帰分析

第 5 章: 一貫した推定量

第 6 章: 操作変数の推定

第 7 章: プロビット モデル

第 8 章: 通常の最小二乗法

第 9 章: 単純線形回帰

第 10 章: 無関係に見える回帰

第 11 章: ブルーシュ?異教徒 テスト

第 12 章: コクラン?オーカット推定

第 13 章: 一般化最小二乗法

第 14 章: 統計モデルの仕様

第 15 章 : 不均一分散性整合性標準誤差

第 16 章: ヘックマン補正

第 17 章: 多項式回帰

第 18 章: 誤差補正モデル

第 19 章: 変数内誤差モデル

第 20 章: 線形回帰

第 21 章: 等分散性と不均一分散性

(II) 以下に関する一般のよくある質問に答える

(III) さまざまな分野での計量経済学の使用例の実例。

(IV) 計量経済学を包括的に理解するための 1,200 を超える用語を収録した豊富な用語集。 (電子書籍のみ)。

対象者

専門家、学部生および大学院生、愛好家、愛好家、および基本的な知識や知識を超えたいと考えている人 あらゆる種類の計量経済学の情報。

 

 

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Dec 16, 2023
• ISBN: 9791222075655

Book preview

第1章 計量経済学

計量経済学とは、経済関係に経験的意義を吹き込むために、統計的手法を経済データに適用することです。計量経済学者は、客観性、有効性、一貫性などの望ましい統計的特性を持つ推定量を求めています。応用計量経済学は、理論的な計量経済学と実世界のデータを使用して、経済理論を評価し、計量モデルを開発し、経済史を調べ、経済予測を行います。

重回帰モデルは、計量経済学の基本的なツールです。2 つの変数の線形回帰の推定は、独立変数と従属変数のペアの値を表すデータ点を通る線をフィッティングすることでグラフィカルに表すことができます。

GDP成長率と失業率の関係を表すオークンの法則。

回帰分析を使用して、適合線を求めます。

たとえば、GDP成長率と失業率を結びつける関係であるオークンの法則について考えてみましょう。

この関係は線形回帰で表され、失業率の変化 ( \Delta \ {\text{Unemployment}}

) は切片 ( \beta _{0}

)、GDP成長率の所定の値に傾き係数を掛けたもの \beta _{1}

と誤差項 \varepsilon

:

\Delta \ {\text{Unemployment}}=\beta _{0}+\beta _{1}{\text{Growth}}+\varepsilon .

不明なパラメータ \beta _{0}

そして \beta _{1}

と推定できます。

ここは \beta _{0}

は 0.83 と推定され、 \beta _{1}

は -1.77 と推定されます。

つまり、GDP成長率が1%ポイント上昇すると、失業率は1.77%ポイント低下すると予測され、その他の要因は変わらない。

次に、モデルの統計的有意性をテストして、仮説どおり、GDP成長率の増加が失業率の低下と関連しているかどうかを判断できます。

の見積もりが \beta _{1}

0と有意差がない場合、この検定では成長率の変化と失業率の相関関係を確立できません。

多項式最小二乗法では、独立変数(GDP成長率)の関数としての従属変数(失業率)の予測の分散が与えられます。

計量経済学は、統計理論と数理統計学を用いて、計量経済学の手法を評価・発展させます。計量経済学者は、客観性、有効性、一貫性などの望ましい統計的特性を持つ推定量を求めています。推定器は、その期待値がパラメーターの真の値に対応する場合、偏りがありません。サンプルサイズが大きくなるにつれて真の値に収束する場合、一貫性があります。また、その標準誤差が、特定のサンプルサイズに対して他の不偏推定量の標準誤差よりも小さい場合、効率的です。最小二乗法 (OLS) は、ガウス・マルコフの仮定の下で BLUE または「最良線形不偏推定量」(「最良」は最も効率的で不偏な推定量を指す) を提供するため、推定によく使用されます。これらの仮定に反する場合、または他の統計的特性が望まれる場合は、最尤推定、モーメントの一般化法、一般化最小二乗法などの他の推定手法が採用されます。伝統的、古典的、または「頻度主義的」アプローチよりもベイズ統計を好む人々は、事前の信念を組み込んだ推定量を提唱しています。

応用計量経済学は、理論的な計量経済学と実世界のデータを使用して、経済理論の評価、計量モデルの開発、経済史の分析、および経済予測を行います。経済学では、需要と供給の均衡などの方程式系や不等式を調べるのが一般的です。その結果、計量経済学の分野は、連立方程式を使用してモデルを特定して推定するための手法を開発しました。これらの手法は、システム解析や制御理論におけるシステム同定の分野など、他の科学分野で採用されている手法に匹敵します。システムを直接操作しなくても、研究者はそのような手法を使用してモデルを推定し、その経験的結果を調査できる可能性があります。

回帰分析は、計量経済学者が採用する基本的な統計手法の1つです。手法には、回帰不連続性計画、操作変数、差分内差などがあります。

労働経済学の分野からの計量経済学的関係の簡単な例は次のとおりです。

\ln({\text{wage}})=\beta _{0}+\beta _{1}({\text{years of education}})+\varepsilon .

この例では、ある人の賃金の自然対数が、その人が学校で過ごした年数の線形関数であると仮定しています。

パラメーター \beta _{1}

教育の1年延長に起因する賃金の自然対数の増加を測定します。

用語 \varepsilon

は、賃金に直接影響を与える可能性のある他のすべての要因を表す確率変数です。

計量経済学の目的は、パラメータを推定することです。 \beta _{0}{\mbox{ and }}\beta _{1}

確率変数に関する特定の仮定の下で \varepsilon

.

たとえば、 \varepsilon

は教育年数と相関していないため、方程式は通常の最小二乗法を使用して近似できます。

研究者が個人を異なる教育レベルに無作為に割り当てることができれば、結果のデータセットを使用して、教育年数の変化が収入に及ぼす影響を推定できます。これらの実験は現実には行えません。代わりに、計量経済学者は、複数の次元で異なる個人に支払われる教育年数と給与を観察します。これらのデータから、上記の式の教育年数に関する推定係数は、教育が賃金に及ぼす影響と、他の変数が教育と相関している場合、賃金に対する他の変数の効果の両方を反映しています。たとえば、特定の場所で生まれた人は、賃金や教育レベルが高い場合があります。計量経済学者が上記の式で出生地をコントロールしない限り、出生地が賃金に及ぼす影響は、教育が賃金に及ぼす影響に誤って起因する可能性がある。

出生地をコントロールする最も明白な方法は、上記の式に出生地の影響の尺度を含めることです。

出生地の除外、という仮定 \epsilon

が教育と相関していないと、モデルが誤って指定されます。

操作変数ではない追加の測定共変量を方程式に組み込むことは別の方法ですが、 \beta _{1}

識別。

Econometrica、Journal of Econometrics、The Review of Economics and Statistics、Econometric Theory、Journal of Applied Econometrics、Econometric Reviews、The Econometrics Journal、Journal of Business & Economic Statisticsは、主要な計量経済学ジャーナルです。

他のタイプの統計分析と同様に、適切に指定されていない計量経済モデルは、2つの変数が相関しているが因果関係がないという偽の関係を示す可能性があります。マクロスキーは、主要な経済学雑誌における計量経済学の使用に関する研究で、一部の経済学者はp値を報告し(点帰無仮説の有意性の検定というフィッシャーの伝統に従って)、タイプIIのエラーの懸念を無視していると結論付けました。一部のエコノミストは、(統計的有意性は別として)影響の大きさの推定を報告し、その経済的意義を論じることを怠っている。彼女はまた、一部の経済学者は、モデルを選択するとき、特に回帰に含める変数を決定するときに、経済的推論を使用しないと主張しています。

{チャプター1終了}

第2章:最小二乗法

最小二乗法は、回帰分析の標準的なアプローチであり、過剰決定システム(未知数よりも多くの方程式が存在する方程式のセット)の解を近似するために使用されます。これは、個々の方程式の結果で得られた残差の二乗和を最小化することによって実現されます。残差は、観測値とモデルによって提供される適合値との差です。

最も重要な用途は、データフィッティングの分野です。問題に独立変数 (x 変数) の不確実性が大きい場合、単純回帰法と最小二乗法に問題があります。このような場合、最小二乗法の代わりに、変数誤差モデルの適合に必要な方法論を検討することができます。[好例:]問題が独立変数(x変数)にかなりの不確実性がある場合、単純回帰法と最小二乗法に問題があります。

最小二乗法の見出しに分類される問題には、線形または通常の最小二乗法と非線形最小二乗法の 2 種類があります。2つのタイプの区別は、すべての未知数で残差が線形であるかどうかに基づいています。統計回帰分析では、解くべき問題の1つを線形最小二乗問題と呼び、閉形式の解があります。反復細分化法は、非線形問題を解くためによく使用されます。各反復では、システムは線形のシステムに基づいてほぼモデル化されるため、基本的な計算は両方のシナリオで同じになります。

独立変数の関数としての従属変数の予測の分散と、適合曲線からの偏差は、どちらも多項式最小二乗法で記述されます。

観測値が、自然の十分な統計量と穏やかな条件が満たされる同一性を持つ指数族からのものである場合 (たとえば、正規分布、指数分布、ポアソン分布、二項分布の場合)、標準化最小二乗推定値と最尤推定値は同じです。これは、恒等性を自然で十分な統計量とするすべての指数族に当てはまります。最小二乗法の手法は、モーメント推定量の方法として独自の権利で開発することができます。

以下の推論は、ほぼ完全に線形関数の観点から説明されています。それにもかかわらず、最小二乗法の使用は許容されるだけでなく、より一般的な関数のファミリに対しても実行可能です。また、最小二乗法は、(フィッシャー情報を使用して)尤度に局所二次近似を繰り返し適用することにより、拡張線形モデルを適合させるために使用できます。これは、フィッシャー情報を使用する場合に可能です。

アドリアン・マリー・ルジャンドルは、最小二乗法(1805年)を最初に開発して発表した人物として認められており、大航海時代、科学者や数学者は最小二乗の概念を使用して地球の水域を横断する問題に答えを出すよう努めました。このアプローチは、彼らの努力の結果として、天文学と測地学の科学から生まれました。天体の振る舞いを正確に記述することは、船乗りが航行のために陸上の目撃情報に頼ることができなくなった広い海を船が航行できるようにするための鍵でした。これは、海岸での目撃情報が入手できなくなったため、そうでした。

このアプローチは、18世紀の間に起こった多くの発展の頂点を表していました。

集計は、実際の値の可能な限り正確な推定値に到達するために、いくつかのオブザベーションを組み合わせるプロセスです。このプロセスの結果として、間違いは増えるのではなく減少する傾向があり、おそらく1722年にロジャー・コーツによって最初に明確にされた。

1つの観測を可能な限り正確な方法で観察し、記録する努力をするのではなく、同じ状況下で行われた多くの観測を組み合わせるプロセス。この戦略は、しばしば平均の手法と呼ばれていました。1750年に月の天秤座を調査していたトビアス・メイヤーと、1788年に木星と土星の運動の変化の説明に取り組んでいたピエール・シモン・ラプラスは、それぞれの研究でこの手法を採用した2人の著名な人物でした。

さまざまな状況下で行われた多数の個別の観察の組み合わせ。「絶対偏差の最小法」という名前は、時間の経過とともに技術に与えられました。1757年、ロジャー・ジョセフ・ボスコヴィッチが地球の形に関する著作で使用し、ピエール・シモン・ラプラスが1799年に同じ号で使用しました。両氏とも、この分野への貢献で知られています。

誤差の少ない解が得られたかどうかを識別するために調べることができる基準の構築は、基準開発と呼ばれるものです。ラプラスは、推定誤差を最小にし、誤りの確率密度を数学的に表現する推定方法を提案しようとしました。ラプラスは、対称な両側指数分布を使用して誤差分布をモデル化し、現在はラプラス分布と呼んでいます。彼は、絶対偏差の合計を推定の誤差として利用しました。彼は、これらが自分にできる最も単純な仮定であると信じており、算術平均を可能な限り正確な推定値として達成したいと考えていました。代わりに、彼は後方の中央値を推定値として頼りました。

1805年、フランスの数学者ルジャンドルは、包括的で明確な最小二乗法の手法について最初の説明を提供しました。もちろん、これはルジャンドルとの優先順位に関する意見の相違をもたらしました。しかし、ガウスがルジャンドルの研究を超えて、最小二乗法の手法を確率の法則や正規分布とうまく組み合わせることができたのは、ガウスの功績です。これは賞賛に値する成果です。彼は、有限個の未知のパラメータに依存して、観測の確率密度の数学的形式を指定し、推定の誤差を最小化する推定方法を定義する必要があったラプラスのプログラムを完成させることに成功しました。さらに、彼は有限数の未知のパラメータに依存する観測の確率密度の数学的形式を指定しました。ガウスは、確率密度と推定の手法の両方を変更することにより、算術平均が実際に位置パラメーターの最良の推定値であることを示しました。彼は、算術平均が最良の推定値であることを証明するためにこれを行いました。次に、密度がどのような形になるべきか、位置パラメータの推定値として算術平均を得るためにどのような推定手法を使用すべきかを問うことで、この問題を新しい方向に導きました。これにより、問題は一巡しました。この努力の結果、彼は正規分布を思いつきました。

ガウスのアプローチの力は、最近発見された小惑星ケレスが将来どこに行き着くかを決定するために使用されたときに初めて示されました。これは、この方法の有用性を示す最初の例の1つでした。イタリアの天文学者ジュゼッペ・ピアッツィは、1801年1月1日にケレスを発見しました。彼は、太陽の明るさで覆い隠されるまでの40日間、その動きを観察することができました。天文学者たちは、ケレスが太陽の背後から現れたとき、ケレスの位置を特定したかったのですが、そのためにケプラーの難しい非線形の惑星運動方程式を解きたくはありませんでした。最小二乗法を用いて、ハンガリーの天文学者フランツ・クサーヴァー・フォン・ザックがケレスの移転に成功するのに十分な精度の予測は、24歳のガウスが行った予測だけでした。

1810年、ガウスの著作を読んだ後、ラプラスは中心極限定理を証明し、それを利用して最小二乗法と正規分布の手法の大規模な標本正当化を確立しました。これは、ガウスの作品がフランス語に翻訳された後に行われました。1822年、ガウスは、回帰分析を行う最小二乗法が利用可能な最も効果的な方法であることを実証することができました。これは、誤差の平均がゼロで、無相関で、分散が等しい線形モデルでは、最小二乗推定量が係数の最適な線形不偏推定量であることを示すことによって達成されました。この発見に付けられた名前は、ガウス・マルコフの定理です。

最小二乗法の分析の概念も、1808年にアメリカのロバート・アドレインによって個別に考案されました。その後の2世紀を通じて、間違いの理論や統計学の研究者たちは、最小二乗法を実践するためのさまざまなアプローチを考案しました。

目標は、モデル関数のパラメーターを最適化して、特定のデータ収集にできるだけ近づけることです。

単純なデータセットは、n個の点(データペア)で構成されます (x_{i},y_{i})\!

, I = 1, ..., n ここで、 x_{i}\!

が独立変数で、 y_{i}\!

は、値が観測によって検出される従属変数です。

model 関数の形式は、 {\displaystyle f(x,{\boldsymbol {\beta }})}

ここで、 m 個の 調整可能なパラメーターがベクトルに保持されます {\boldsymbol {\beta }}

.

目的は、利用可能なデータに「最適」なモデルのパラメータの値を決定することです。

モデルの残差は、データ・ポイントにどの程度適合しているかを評価するために使用されるメトリックであり、従属変数の実際の値と、モデルが従属変数の値であると予測する値との間の不均衡と呼ばれます。

{\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}

残差の二乗和を最小化するアプローチは最小二乗法と呼ばれ、理想的なパラメータ値を発見するために使用されます。 S

:

{\displaystyle S=\sum _{i=1}^{n}r_{i}^{2}.}

最も単純なケースでは、 {\displaystyle f(x_{i},{\boldsymbol {\beta }})=\beta }

最小二乗法の結果は、入力データの算術平均です。

直線のモデルは、2 次元しかないモデルの良い例です。

y 切片を次のように表します。 \beta _{0}

そして傾きを \beta _{1}

の場合、モデル関数は次式で与えられます。 f(x,\boldsymbol \beta)=\beta_0+\beta_1 x

.

このパラダイムの完全に練られた例については、線形最小二乗法を参照してください。

複数の独立変数が 1 つのデータ ポイントを構成する可能性があります。たとえば、平面を一連の高さ測定値に当てはめようとすると、平面自体は 2 つの独立変数 (x と z など) の関数と見なされます。各データ ポイントには、1 つ以上の独立変数と 1 つ以上の従属変数が存在する可能性がありますが、これは決して唯一の可能なシナリオではありません。

右には、 {\displaystyle r_{i}=0}

これは、線形モデル {\displaystyle (Y_{i}=\alpha +\beta x_{i}+U_{i})}

が適切です。

U_{i}

は独立した確率変数です。

残差点が何らかの形を示し、無計画に変動しない場合、線形モデルはこの状況には適していません。

たとえば、残差プロットが右のような形(放物線形状)の場合、放物線モデルになります

{\displaystyle (Y_{i}=\alpha +\beta x_{i}+\gamma x_{i}^{2}+U_{i})}

はデータに適しています。

放物線モデルの残差は、次式で計算できます。 {\displaystyle r_{i}=y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}-{\widehat {\gamma }}x_{i}^{2}}

.

この回帰の定式化では、従属変数の観測誤差のみが考慮されます (ただし、代替の合計最小二乗回帰では、両方の変数の誤差を説明できます)。2 つのまったく異なる設定があり、それぞれに独自の結果があります。

予測のための回帰の使用。この場合、モデルが適合したシナリオに類似したシナリオで使用できる予測ルールを提供するために、モデルがデータに適合します。この場合、そのような将来のアプリケーションに対応する従属変数は、フィットに使用されるデータに存在するものと同じ種類の観測誤差の影響を受けやすくなります。したがって、このようなデータを説明するために最小の平方数で予測するルールは、論理的に首尾一貫しており、推奨されます。

「本当のつながり」に合うように退行するプロセス。独立変数の誤差はゼロであるか、重要でない点まで厳密に制御されているという仮定があり、これは最小二乗法を使用してフィッティングにつながる正規回帰分析で暗黙的です。これらの種類の方法は、パラメータ推定値、仮説検定、および独立変数の観測誤差の存在を考慮に入れた信頼区間につながる可能性があります。独立変数の誤差が無視できない場合は、測定誤差のモデルを使用できます。これらのモデルを使用して、パラメーターの推定、仮説の検定、および信頼区間の決定を行うことができます。合計最小二乗法は、モデルの当てはめに使用できる代替方法です。この手法は、モデルフィッティングで使用できる目的関数を生成するプロセスにおいて、多くの誤差の原因の影響のバランスをとるための実用的なアプローチを採用していると見なすことができます。

勾配をゼロに設定した場合、この方法を用いて平方和の最小値を求めることができる。モデルに m 個のパラメータがある場合、m 個の勾配方程式もあります。

{\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,}

そして、それ以来 r_i=y_i-f(x_i,\boldsymbol \beta)

、勾配の方程式はなる。

{\displaystyle -2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.}

勾配方程式は、最小二乗法に関するあらゆる問題を解くために使用できます。各固有のチャレンジでは、モデルとその偏導関数に使用する独自のカスタム式のセットが必要です。

問題のモデルにパラメータの線形結合がある場合、この種の回帰モデルを線形モデルと呼びます。 {\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x),}

ここで、関数 \phi _{j}

は x

.

させる {\displaystyle X_{ij}=\phi _{j}(x_{i})}

独立変数と従属変数を行列に入れる X

そして Y

、それぞれ、 以下は、最小二乗法を計算する方法の例です。

なお、 D

は、すべてのデータのセットです。

{\displaystyle L(D,{\boldsymbol {\beta }})=\left\|Y-X{\boldsymbol {\beta }}\right\|^{2}=(Y-X{\boldsymbol {\beta }})^{\mathsf {T}}(Y-X{\boldsymbol {\beta }})=Y^{\mathsf {T}}Y-Y^{\mathsf {T}}X{\boldsymbol {\beta }}-{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}Y+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}}

損失の傾きは次のとおりです。

{\displaystyle {\frac {\partial L(D,{\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\frac {\partial \left(Y^{\mathsf {T}}Y-Y^{\mathsf {T}}X{\boldsymbol {\beta }}-{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}Y+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}\right)}{\partial {\boldsymbol {\beta }}}}=-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}}

損失の勾配をゼロに設定し、 {\boldsymbol {\beta }}

の場合、次のようになります。

{\displaystyle -2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}=0\Rightarrow X^{\mathsf {T}}Y=X^{\mathsf {T}}X{\boldsymbol {\beta }}}{\displaystyle {\boldsymbol {\hat {\beta }}}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y}

いくつかの例では、非線形最小二乗問題に対する閉形式の解があります。それにもかかわらず、ほとんどの場合、そのような解決策はありません。

閉形式の解がない場合は、数値アルゴリズムを使用してパラメータの値を見つけます \beta

これにより、目的が最小限に抑えられます。

大部分のアルゴリズムでは、パラメーターの開始値を選択する必要があります。

次に、パラメータは反復的な方法で研ぎ澄まされ、値は反復近似のプロセスによって取得されます。

{\displaystyle {\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j},}

ここで、括弧内の数値は反復を表し、増分のベクトルを表します \Delta \beta _{j}

をシフトベクトルと呼びます。

非常に一般的ないくつかのアルゴリズムでは、各反復で、モデルは次の 1 次のテイラー級数展開への近似によって線形化できます。 {\boldsymbol \beta }^{k}

:

{\displaystyle {\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\left(\beta _{j}-{\beta _{j}}^{k}\right)\\&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}.\end{aligned}}}

ヤコビアン J は、独立変数とパラメーターだけでなく、定数にも依存しているため、その値は 1 つの反復から次の反復にシフトします。残差は、次式に従って分布します。

{\displaystyle r_{i}=y_{i}-f^{k}(x_{i},{\boldsymbol {\beta }})-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\,\Delta \beta _{j}.}

の平方和を最小化するには、 r_{i}

の場合、勾配方程式はゼロに設定され、 \Delta \beta _{j}

:

{\displaystyle -2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}\right)=0,}

これを再配置すると、正規方程式として知られるm個の連立一次方程式が得られます。

{\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\,\Delta \beta _{k}=\sum _{i=1}^{n}J_{ij}\,\Delta y_{i}\qquad (j=1,\ldots ,m).}

正規方程式は、行列の表記を使用して次のように表されます。

{\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\Delta \mathbf {y} .}

ガウス・ニュートン法は、これらの方程式を指針としています。

LLSQ (線形最小二乗法) におけるモデル f の関数は、次の形式のパラメーターの線形結合です。 f = X_{i1}\beta_1 + X_{i2}\beta_2 +\cdots

モデルは、直線、放物線、または本質的に線形であるその他の関数の組み合わせを表すことができます。

パラメータは、非線形最小二乗法(NLLSQ)の関数として表されます。 \beta^2, e^{\beta x}

といった具合です。

デリバティブが {\displaystyle \partial f/\partial \beta _{j}}

が一定であるか、独立変数の値にのみ依存している場合、 モデルはすべてのパラメータと線形関係にあります。

そうでない場合、モデルは非線形です。

NLLSQを使用して問題を解くには、パラメータの開始値を指定する必要がありますが、LLSQでは開始値は必要ありません。

NLLSQ問題を解くために、解法では、ヤコビアンがLLSQと同様の方法で計算可能であることが要求されることがよくあります。偏導関数を計算しようとすると、複雑な解析式が発生することがあります。解析式を取得することが不可能な場合は、偏導関数を数値近似を使用して計算するか、多くの場合有限差分を使用してヤコビアン推定値を確立する必要があります。

非収束は、アルゴリズムが最小値を見つけられないこととしてよく知られており、NLLSQで頻繁に発生する状態です。

LLSQは普遍的に凹面であるため、収束しなくても問題ありません。

NLLSQを解く方法はしばしば反復的であり、収束要件が満たされたときに完了と見なされるためには、解法を停止する必要があります。LLSQの回答を計算するために、直接的な手法を使用できます。ただし、多数のパラメーターを持つ問題を解こうとする場合は、ガウス・ザイデル法などの反復アプローチを使用するのが一般的です。

LLSQを使用している間、解決策は1つしかありません。ただし、NLLSQ を使用する場合、平方和は多くの最小値を持つ可能性があります。

LLSQは、誤差と結果の予測に使用されている変数の間に相関関係がない場合、偏りのない推定値を生成しますが、この要件が満たされている場合でも、NLLSQ推定値は歪んでいることがよくあります。

非線形最小二乗問題の解を探すときは、これらの違いを常に考慮する必要があります。

物理学の分野から取られた簡単な例を考えてみましょう。フックの法則は、ばねの延長yは、それに加えられる力Fに比例し、ばねはこの規則に従って動作する必要があると主張しています。

y=f(F,k)=kF\!

は比較の基礎を形成し、F はそれ自体で変更できる変数です。

力がどれだけ安定しているかを知るために、k、 データの集合体を生成するために、さまざまな力を用いて多数の測定を行い、 (F_i, y_i),\ i=1,\dots,n\!

ここで、 yi は測定されたばねの伸びです。

すべての実験的観察には、ある程度の不正確さがあります。 \varepsilon

その結果、本研究成果に基づく実証モデルを提案することができます。 y_i = kF_i + \varepsilon_i. \,

未知のパラメータkの近似値を得るために使用できるさまざまなアプローチがあります。最小二乗法を使用してkの値を推定するのは、データ内のm変数のn個の方程式が1つの未知数方程式とn個の方程式を持つ過剰決定システムを構成するためです。削減する必要がある正方形の合計は次のとおりです。

{\displaystyle S=\sum _{i=1}^{n}(y_{i}-kF_{i})^{2}.}

最小二乗法を使用した力定数kの推定は、次式で与えられます。

{\displaystyle {\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.}

力を加えるとバネが伸びることを前提に運転しています。最小二乗法を使用して力定数を計算した後、フックの法則を使用して拡張に関する予測を行うことができます。

単位重みと最小二乗法を使用した計算、または線形回帰を使用した計算では、j 番目のパラメーターに関連付けられた変動は、 \operatorname {var}({\hat {\beta }}_{j})

は、ほとんどの場合、

{\displaystyle \operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{-1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj},}{\displaystyle {\hat {\sigma }}^{2}\approx {\frac {S}{n-m}}}{\displaystyle C=\left(X^{\mathsf {T}}X\right)^{-1},}

ここで、真の誤差分散 σ2 は、残差平方和 (目的関数) を最小化する値 S に基づく、縮小カイ 2 乗と呼ばれる統計量である推定値に置き換えられます。

分母 n − m は、統計に関連する自由度です。一般化については、有効自由度を参照してください。

共分散行列は「C」で表されます。です。

パラメータの確率分布が理解されている場合、または漸近近似が実行されている場合、信頼限界を決定することができます。同様に、残差の確率分布を決定または仮定できる場合は、残差に対して統計的検定を実行できます。実験ミスの確率分布がわかっている場合、または仮定される可能性がある場合は、分析の基礎として使用する従属変数の線形結合の確率分布を決定できます。誤差が正規分布であると仮定すると、データに関する結論を導き出すのは簡単です。この仮定は、パラメータの推定値と残差が、独立と見なされる変数の値に関係なく、同様に正規分布を持つことも意味します。

データの統計解析を行うためには、実験ミスの性質に関する仮定を確立する必要があります。間違いが正規分布に従うという仮定を立てるのが標準的な方法です。中心極限定理は、多くの状況でこれが十分な近似であるという考えに信憑性を与えます。

ガウスとマルコフの定理。誤差の期待値が独立変数を条件とし、無相関で分散が等しい線形モデルでは、最小二乗推定量は観測値の線形結合の中で最適な線形不偏推定量です。これは、最小二乗推定量が、観測値とモデルの間の差の二乗和を最小化する推定量であるためです。「最良」と見なされるためには、最小二乗法を使用して導出されたパラメータ推定量の分散が可能な限り小さくなる必要があります。すべての誤りが同じ分布から生じている場合、等分散の仮定は正しいと見なすことができます。

誤差が正規分布に従う場合、最小の二乗を必要とする推定量は、線形モデルで最大の尤度を必要とする推定量と同じです。

それにもかかわらず、間違いが正規分布に従わないと想像してみましょう。このようなシナリオでは、中心極限定理を適用すると、サンプルが十分に大きい限り、パラメータ推定値は基本的に正規分布になることが示唆されることがよくあります。これは、サンプルサイズが適切であれば当てはまります。この理由と、誤差平均が独立因子から独立しているという重要な条件を考えると、誤差項の分布は回帰分析では関連する問題ではありません。これは、誤差平均が独立変数に依存しないためです。具体的には、誤差項が正規分布に従うかどうかを考慮することは重要ではありません。

重み付き最小二乗法と呼ばれる一般化最小二乗法の特殊なケースは、Ωのすべての非対角エントリ(残差の相関行列)がnullの場合に発生します。オブザベーションの分散(共分散行列の対角線上)が等しくない(不均一分散性)可能性があります。

別の言い方をすれば、不均一分散性とは、 Y_{i}

の値に依存します。 x_{i}

これにより、残差プロットは、より大きなものに向かって「扇状化」効果を生み出します Y_{i}

右の残差プロットに見られる値。

別の言い方をすれば、等分散性とは、 Y_{i}