Régression polynomiale

Cet article est une ébauche concernant les mathématiques.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Régression polynomiale
Type
Apprentissage supervisé, régression locale, regression (en), régressionVoir et modifier les données sur Wikidata

modifier - modifier le code - modifier WikidataDocumentation du modèle

Régression polynomiale cubique

Voir l’image vierge

Régression polynomiale cubique (degré 3) :

  • la courbe bleue est la courbe ayant servi à générer les données (on y a ajouté un bruit aléatoire) ;
  • la courbe verte est le graphe du polynôme obtenu par régression ;
  • l'intervalle de confiance, en rouge, a été obtenu par la méthode de Scheffé.
Régression sur un nuage de points par un polynôme de degré croissant.

La régression polynomiale est une analyse statistique qui décrit la variation d'une variable aléatoire expliquée à partir d'une fonction polynomiale d'une variable aléatoire explicative. C'est un cas particulier de régression linéaire multiple, où les observations sont construites à partir des puissances d'une seule variable.

Présentation

Si l'on appelle (Xi, Yi) la i-ème réalisation du couple de variables aléatoires, on recherche le polynôme

P n ( x ) = a n x n + a n − 1 x n − 1 + … + a 1 x + a 0 , {\displaystyle P_{n}(x)=a_{n}x^{n}+a_{n-1}x^{n-1}+\ldots +a_{1}x+a_{0},}

permettant d'écrire

Y i = P n ( X i ) + ε i {\displaystyle Y_{i}=P_{n}(X_{i})+\varepsilon _{i}}

le résidu εi, ou perturbation, étant « le plus petit » dans le sens des moindres carrés.

La régression polynomiale est une régression linéaire multiple : on peut écrire la relation, pour Xi,p = Xp
i :

Y i = a n ⋅ X i , n + a n − 1 ⋅ X i , n − 1 + … + a 1 ⋅ X i , 1 + a 0 + ε i . {\displaystyle Y_{i}=a_{n}\cdot X_{i,n}+a_{n-1}\cdot X_{i,n-1}+\ldots +a_{1}\cdot X_{i,1}+a_{0}+\varepsilon _{i}.}

Cas particuliers

La régression linéaire est une régression polynomiale de degré 1.

Applications

Un certain nombre de lois physiques s'expriment sous la forme de polynômes. La régression polynomiale permet alors d'estimer les valeurs des paramètres de la loi.

La méthode de lissage et de dérivation de Savitzky-Golay utilise une régression polynomiale sur un intervalle glissant.

Résolution par la méthode des moindres carrés

Considérons un jeu de données (Xi, Yi)1 ≤ i ≤ n. On veut effectuer une régression par un polynôme de degré trois :

P 3 ( x ) = a x 3 + b x 2 + c x + d . {\displaystyle P_{3}(x)=ax^{3}+bx^{2}+cx+d.}

Le carré du résidu s'écrit :

ε ( x , y ) 2 = ( P 3 ( x ) − y ) 2 {\displaystyle \varepsilon (x,y)^{2}=\left(P_{3}(x)-y\right)^{2}}

soit

ε ( x , y ) 2 =   x 6 a 2 + 2 x 5 a b + 2 x 4 a c + 2 x 3 a d − 2 x 3 y a + x 4 b 2 + 2 x 3 b c + 2 x 2 b d − 2 x 2 y b + x 2 c 2 + 2 x c d − 2 x y c + d 2 − 2 y d + y 2 . {\displaystyle {\begin{aligned}\varepsilon (x,y)^{2}=\ x^{6}a^{2}+2x^{5}ab+2x^{4}ac+2x^{3}ad-2x^{3}ya\\+x^{4}b^{2}+2x^{3}bc+2x^{2}bd-2x^{2}yb\\+x^{2}c^{2}+2xcd-2xyc\\+d^{2}-2yd\\+y^{2}{\text{.}}\end{aligned}}}

On note alors:

ε i := ε ( X i , Y i ) {\displaystyle \varepsilon _{i}:=\varepsilon (X_{i},Y_{i})}

Les valeurs a, b, c, d minimisent la somme des carrés des résidus e :

e = ∑ i ε i 2 {\displaystyle e=\sum _{i}\varepsilon _{i}^{2}}

On appelle

S j = ∑ i X i j {\displaystyle \mathrm {S} _{j}=\sum _{i}\mathrm {X} _{i}^{j}}

et

T j = ∑ i X i j Y i {\displaystyle \mathrm {T} _{j}=\sum _{i}\mathrm {X} _{i}^{j}\mathrm {Y} _{i}}

Si le paramètre a est plus élevé ou plus bas, la valeur de e augmente. La valeur de e est donc minimale pour le a recherché, c'est-à-dire que la dérivée partielle de e par rapport à a doit être nulle :

∂ e ∂ a = 0 ⟹ 2 a S 6 + 2 b S 5 + 2 c S 4 + 2 d S 3 − 2 T 3 = 0 {\displaystyle {\frac {\partial e}{\partial a}}=0\Longrightarrow 2a\mathrm {S} _{6}+2b\mathrm {S} _{5}+2c\mathrm {S} _{4}+2d\mathrm {S} _{3}-2\mathrm {T} _{3}=0} .

On peut faire de même pour chaque paramètre, ce qui donne un système d'équations linéaires :

( S 6 S 5 S 4 S 3 S 5 S 4 S 3 S 2 S 4 S 3 S 2 S 1 S 3 S 2 S 1 S 0 ) ⋅ ( a b c d ) = ( T 3 T 2 T 1 T 0 ) . {\displaystyle {\begin{pmatrix}\mathrm {S} _{6}&\mathrm {S} _{5}&\mathrm {S} _{4}&\mathrm {S} _{3}\\\mathrm {S} _{5}&\mathrm {S} _{4}&\mathrm {S} _{3}&\mathrm {S} _{2}\\\mathrm {S} _{4}&\mathrm {S} _{3}&\mathrm {S} _{2}&\mathrm {S} _{1}\\\mathrm {S} _{3}&\mathrm {S} _{2}&\mathrm {S} _{1}&\mathrm {S} _{0}\end{pmatrix}}\cdot {\begin{pmatrix}a\\b\\c\\d\end{pmatrix}}={\begin{pmatrix}\mathrm {T} _{3}\\\mathrm {T} _{2}\\\mathrm {T} _{1}\\\mathrm {T} _{0}\end{pmatrix}}{\text{.}}}

Voir aussi

Sur les autres projets Wikimedia :

  • Régression polynomiale avec Scilab, sur Wikibooks
  • Régression (statistiques)
  • Interpolation polynomiale
  • Compression de courbe
  • icône décorative Portail des mathématiques