\[\begin{split}\newcommand{\N}{\mathbb N}
\newcommand{\Z}{\mathbb Z}
\newcommand{\Q}{\mathbb Q}
\newcommand{\R}{\mathbb R}
\newcommand{\C}{\mathbb C}
\newcommand{\ba}{\mathbf{a}}
\newcommand{\bb}{\mathbf{b}}
\newcommand{\bc}{\mathbf{c}}
\newcommand{\bd}{\mathbf{d}}
\newcommand{\be}{\mathbf{e}}
\newcommand{\bbf}{\mathbf{f}}
\newcommand{\bF}{\mathbf{F}}
\newcommand{\bh}{\mathbf{h}}
\newcommand{\bi}{\mathbf{i}}
\newcommand{\bj}{\mathbf{j}}
\newcommand{\bk}{\mathbf{k}}
\newcommand{\bN}{\mathbf{N}}
\newcommand{\bn}{\mathbf{n}}
\newcommand{\bo}{\mathbf{0}}
\newcommand{\bp}{\mathbf{p}}
\newcommand{\bq}{\mathbf{q}}
\newcommand{\br}{\mathbf{r}}
\newcommand{\bR}{\mathbf{R}}
\newcommand{\bs}{\mathbf{s}}
\newcommand{\bT}{\mathbf{T}}
\newcommand{\bu}{\mathbf{u}}
\newcommand{\bv}{\mathbf{v}}
\newcommand{\bw}{\mathbf{w}}
\newcommand{\bx}{\mathbf{x}}
\newcommand{\by}{\mathbf{y}}
\newcommand{\bz}{\mathbf{z}}
\newcommand{\re}{\operatorname{Re}}
\newcommand{\im}{\operatorname{Im}}
\newcommand{\bA}{\mathbf{A}}
\newcommand{\cE}{\mathcal{E}}
\newcommand{\cB}{\mathcal{B}}
\newcommand{\cC}{\mathcal{C}}
\newcommand{\dist}{\operatorname{d}}
\newcommand{\diag}{\operatorname{diag}}
\newcommand{\proj}{\operatorname{proj}}
\newcommand{\rank}{\operatorname{rank}}
\newcommand{\Span}{\operatorname{span}}
\newcommand{\row}{\operatorname{row}}
\newcommand{\col}{\operatorname{col}}
\newcommand{\Null}{\operatorname{null}}
\newcommand{\id}{\operatorname{id}}
\newcommand{\piste}{\boldsymbol{\cdot}}
\newcommand{\kappale}{\newline \hspace{17pt}}
\newcommand{\kohta}[1]{\textbf{#1)}\hspace{5px}}
\newcommand{\kohtav}[1]{\hspace{7pt}\textbf{#1)}\hspace{5px}}
\newcommand{\tilaa}{\vspace{7pt}\\}
\newcommand{\bigfrac}[2]{{\displaystyle{\frac{#1}{#2}}}}
\newcommand{\smallfrac}[2]{{\textstyle{\frac{#1}{#2}}}}
\newcommand{\xn}[2]{(#1_1,#1_2,\ldots,#1_{#2})}
\newcommand{\vastaus}[1]{\null\hfill({\footnotesize#1})}
\newcommand{\mathvastaus}[1]{\eqno{\mbox{({\footnotesize#1})}}}
\newcommand{\ep}[1]{\textnormal{ (\cite[#1]{ep})}}
\newcommand{\pysty}[1]{\left[\begin{array}{@{}r@{}}#1\end{array}\right]}
\newcommand{\sij}[2]{\bigg/_{\mspace{-15mu}#1}^{\,#2}}
\newcommand{\qedhere}{}\end{split}\]
Taylorin kaava
Kerrataan aluksi yhden muuttujan reaaliarvoisen funktion approksimointia polynomeilla opintojaksolta Differentiaali- ja integraalilaskenta. Jos funktiolla \(f\colon\R\to\R\) on jatkuva kertaluvun \(m+1\) derivaatta \(f^{(m+1)}\) jossakin pisteen \(a\) ympäristössä, niin pätee Taylorin kaava
(1)\[\begin{split}\begin{aligned}
f(a+h)=&f(a)+f'(a)h+\frac{f''(a)}{2!}h^2+\frac{f^{(3)}(a)}{3!}h^3\\
&+\cdots+\frac{f^{(m)}(a)}{m!}h^m+\frac{f^{(m+1)}(z)}{(m+1)!}h^{m+1},
\end{aligned}\end{split}\]
missä \(z\) on \(a\):n ja \((a+h)\):n välissä. Merkitsemällä \(x=a+h\) saadaan
\[\begin{split}\begin{aligned}
f(x)=&f(a)+f'(a)(x-a)+\frac{f''(a)}{2!}(x-a)^2+\frac{f^{(3)}(a)}{3!}(x-a)^3\\
&+\cdots+\frac{f^{(m)}(a)}{m!}(x-a)^m+\frac{f^{(m+1)}(z)}{(m+1)!}(x-a)^{m+1}.
\end{aligned}\end{split}\]
Funktiota \(f\) voidaan siis approksimoida Taylorin polynomilla
\[\begin{aligned}
P_m(x)=f(a)+f'(a)(x-a)+\frac{f''(a)}{2!}(x-a)^2+\cdots+\frac{f^{(m)}(a)}{m!}(x-a)^m
\end{aligned}\]
siten, että virhe on muotoa
\[R_m(x)=\frac{f^{(m+1)}(z)}{(m+1)!}(x-a)^{m+1}
=\frac{f^{(m+1)}(z)}{(m+1)!}h\cdot h^m=:\epsilon_m(h)h^m,\]
missä \(\epsilon_m(h)\to0\), kun \(h\to0\), sillä \(f^{(m+1)}\) on jatkuvana funktiona rajoitettu \(a\):n lähellä. Verrataan tätä lineaarisen ensimmäisen asteen arvion virheeseen \(\epsilon(h)h\). Seuraavaan kuvaan on piirretty funktioiden \(h^m\), \(m=1,2,3,4,5\), kuvaajat välillä \(h\in[0,1]\).
Huomataan, että pienillä \(h\) (\(|h|\ll1\)) tekijä \(h^m\) ja siten myös virhe \(\epsilon_m(h)h^m\) pienenee oleellisesti \(m\):n kasvaessa, jos \(\epsilon_m(h)\) pysyy kurissa (kuten monissa sovelluksissa käy). Siten tarkkuus paranee, kun otetaan käyttöön Taylorin polynomin korkeampiasteisia termejä.
Kahden muuttujan funktion differentioituvuuden määritelmän antamaa lineaarista arviota (6) voidaan samalla tavoin parantaa käyttämällä korkeampia osittaisderivaattoja:
Lause 4.2.1 ((m):nnen asteen Taylorin kaava kahden muuttujan funktiolle)
Olkoot funktion \(f\colon\R^2\to\R\) kaikki kertaluvun \(m+1\) osittaisderivaatat jatkuvia pisteen \((a,b)\in\R^2\) ympäristössä. Tällöin
\[\begin{aligned}
f(a+h,b+k)=\sum_{j=0}^m\frac{1}{j!}\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)^jf(a,b)+\epsilon(h,k)\|(h,k)\|^m,
\end{aligned}\]
missä \(\epsilon(h,k)\to0\), kun \((h,k)\to(0,0)\).
Tässä lauseke \(\displaystyle\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)^jf\) lasketaan esimerkiksi Pascalin kolmion avulla:
\[\begin{split}\begin{aligned}
\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)^0f&=f\\
\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)^1f&=h\frac{\partial f}{\partial x}+k\frac{\partial f}{\partial y}\\
\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)^2f&=\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)f\\
&=h^2\frac{\partial^2 f}{\partial x^2}
+2hk\frac{\partial^2 f}{\partial x\,\partial y}
+k^2\frac{\partial^2 f}{\partial y^2}\\
\bigg(h\frac{\partial}{\partial x}+k\frac{\partial}{\partial y}\bigg)^3f&=
h^3\frac{\partial^3 f}{\partial x^3}+3h^2k\frac{\partial^3 f}{\partial x^2\,\partial y}+3hk^2\frac{\partial^3 f}{\partial x\,\partial y^2}+k^3\frac{\partial^3 f}{\partial y^3}
\end{aligned}\end{split}\]
Erityisesti toisen asteen arvio (\(m=2\)) tulee muotoon
(2)\[\begin{split}\boxed{\begin{aligned}
&f(a+h,b+k)=f(a,b)+h\frac{\partial f}{\partial x}(a,b)+k\frac{\partial f}{\partial y}(a,b)\\
&\quad+\frac12\bigg(h^2\frac{\partial^2 f}{\partial x^2}(a,b)
+2hk\frac{\partial^2 f}{\partial x\,\partial y}(a,b)
+k^2\frac{\partial^2 f}{\partial y^2}(a,b)\bigg)\\
&\quad+\epsilon(h,k)\|(h,k)\|^2.
\end{aligned}}\end{split}\]
Merkitään lauseessa 4.2.1 \(x=a+h\) ja \(y=b+k\). Taylorin kaavan polynomia
\[\boxed{P_m(x,y)=\sum_{j=0}^m\frac{1}{j!}\bigg((x-a)\frac{\partial}{\partial x}+(y-b)\frac{\partial}{\partial y}\bigg)^jf(a,b)}\]
kutsutaan funktion \(f(x,y)\) :math:`m`:nnen asteen Taylorin polynomiksi ja arviota \(f(x,y)\approx P_m(x,y)\) funktion \(f\) \(m\):nnen asteen polynomiapproksimaatioksi pisteen \((a,b)\) suhteen.
Lauseen perustelu tapauksessa \(m=2\)
Piilota/näytä todistus
Parametrisoidaan pisteiden \((a,b)\) ja \((a+h,b+k)\) välinen jana (ks. määritelmän 4.1.2 jälkeinen kuva): \(\br(t)=(a+th,b+tk)\), \(0\le t\le1\). Määritellään funktio \(F\colon[0,1]\to\R\) asettamalla \(F(t)=f(\br(t))\). Nyt \(\br'(t)=(h,k)\), joten ketjusäännön (2) mukaan
\[\begin{split}\begin{aligned}
F'(t)&=\nabla f(\br(t))\piste\br'(t)
=\left(\frac{\partial f}{\partial x}(\br(t)),\,\frac{\partial f}{\partial x}(\br(t))\right)\piste(h,k)\\
&=\frac{\partial f}{\partial x}(\br(t))h+\frac{\partial f}{\partial y}(\br(t))k.
\end{aligned}\end{split}\]
\(\dfrac{\partial f}{\partial x}(\br(t))\) on yhdiste funktioista \(\dfrac{\partial f}{\partial x}(x,y)\) ja \(\br(t)\) ja \(\dfrac{\partial f}{\partial y}(\br(t))\) on yhdiste funktioista \(\dfrac{\partial f}{\partial y}(x,y)\) ja \(\br(t)\), joten derivoimalla \(F'(t)\):tä toiseen kertaan saadaan ketjusääntöä (2) soveltamalla
\[\begin{split}\begin{aligned}
&F''(t)=\frac{d}{dt}\left(\frac{\partial f}{\partial x}(\br(t))\right)h+
\frac{d}{dt}\left(\frac{\partial f}{\partial y}(\br(t))\right)k\\
&=\nabla\left(\frac{\partial f}{\partial x}(\br(t))\right)\piste\br'(t)h+\nabla\left(\frac{\partial f}{\partial y}(\br(t))\right)\piste\br'(t)k\\
&=\left(\frac{\partial^2f}{\partial x^2}(\br(t)),\,\frac{\partial^2f}{\partial y\,\partial x}(\br(t))\right)\piste(h,k)h
+\left(\frac{\partial^2f}{\partial x\,\partial y}(\br(t)),\,\frac{\partial^2f}{\partial y^2}(\br(t))\right)\piste(h,k)k\\
&=\frac{\partial^2f}{\partial x^2}(\br(t))h^2+\frac{\partial^2f}{\partial y\,\partial x}(\br(t))kh+\frac{\partial^2f}{\partial x\,\partial y}hk+\frac{\partial^2f}{\partial y^2}(\br(t))k^2\\
&=\frac{\partial^2f}{\partial x^2}(\br(t))h^2+2\frac{\partial^2f}{\partial x\,\partial y}(\br(t))hk+\frac{\partial^2f}{\partial y^2}(\br(t))k^2.
\end{aligned}\end{split}\]
Solvelletaan nyt yhden muuttujan Taylorin kaavaa (1) funktioon \(F\) pisteessä \(a=0\) arvolla \(h=1\) ja jätetään merkintöjen lyhentämiseksi piste \(\br(t)\) merkitsemättä:
\[\begin{split}\begin{aligned}
&f(a+h,b+k)=F(1)=F(0)+F'(0)+\frac{F''(0)}{2!}+\frac{F'''(z)}{3!}\\
&=f(a,b)+\frac{\partial f}{\partial x}h+\frac{\partial f}{\partial y}k+\frac12\left(\frac{\partial^2f}{\partial x^2}h^2+2\frac{\partial^2f}{\partial x\,\partial y}hk+\frac{\partial^2f}{\partial y^2}k^2\right)+\frac{F'''(z)}{3!}.
\end{aligned}\end{split}\]
Laskemalla \(F'''(t)\) voidaan osoittaa, että virhetermi on muotoa
\(F'''(z)/3!=\epsilon(h,k)\|(h,k)\|^2\).
Esimerkki 4.2.2
Laske funktion \(f(x,y)=e^{xy}\) 1.–3. asteen Taylorin polynomit pisteen \((0,2)\) suhteen ja approksimoi niillä arvoa \(f(0{,}2,\,1{,}9)\).
Piilota/näytä ratkaisu
\(f(0,2)=1\) ja osittaisderivaatat pisteessä \((x,y)=(0,2)\) ovat
\[\begin{split}\begin{aligned}
\dfrac{\partial f}{\partial x}&=ye^{xy}=2\\[10pt]
\dfrac{\partial f}{\partial y}&=xe^{xy}=0
\end{aligned}\end{split}\]
joten 1. kertaluvun Taylorin polynomi eli linearisointi on
\[P_1(x,y)=1+2(x-0)+0(y-2)=1+2x.\]
Toisen kertaluvun osittaisderivaatat pisteessä \((x,y)=(0,2)\) ovat
\[\begin{split}\begin{aligned}
\dfrac{\partial^2 f}{\partial x^2}&=y^2e^{xy}=4\\[10pt]
\dfrac{\partial^2 f}{\partial x\,\partial y}&=(1+xy)e^{xy}=1\\[10pt]
\dfrac{\partial^2 f}{\partial y^2}&=x^2e^{xy}=0
\end{aligned}\end{split}\]
joten
\[\begin{split}\begin{aligned}
P_2(x,y)&=P_1(x,y)+\dfrac12\left(4(x-0)^2+2(x-0)(y-2)+0(y-2)^2\right)\\
&=1+2x^2+xy.
\end{aligned}\end{split}\]
Kolmannen kertaluvun osittaisderivaatat pisteessä \((x,y)=(0,2)\) ovat
\[\begin{split}\begin{aligned}
\dfrac{\partial^3 f}{\partial x^3}&=y^3e^{xy}=8 & \dfrac{\partial^3 f}{\partial x\,\partial y^2}&=(x^2y+2x)e^{xy}=0\\[10pt]
\dfrac{\partial^3 f}{\partial x^2\,\partial y}&=(xy^2+2y)e^{xy}=4 &
\dfrac{\partial^3 f}{\partial y^3}&=x^3e^{xy}=0
\end{aligned}\end{split}\]
joten
\[\begin{split}\begin{aligned}
P_3(x,y)&=P_2(x,y)+\dfrac16\big(8(x-0)^3+12(x-0)^2(y-2)\\
&+0(x-0)(y-2)^2+0(y-2)^3\big)
=1-2x^2+xy+\frac43x^3+2x^2y.
\end{aligned}\end{split}\]
Polynomien antamat arviot ja vertailun vuoksi tarkka viisidesimaalinen likiarvo:
\[\begin{split}\begin{aligned}
P_1(0{,}2,\,1{,}9)&=1{,}40000\\
P_2(0{,}2,\,1{,}9)&=1{,}46000\\
P_3(0{,}2,\,1{,}9)&\approx1{,}46267\\
f(0{,}2,\,1{,}9)&\approx1{,}46228
\end{aligned}\end{split}\]
Merkitsemällä arviossa (2)
\[\begin{split}\begin{aligned}
H_f(x,y)=\begin{bmatrix}
\dfrac{\partial^2 f}{\partial x^2}(x,y)&\dfrac{\partial^2 f}{\partial x\,\partial y}(x,y)\\[10pt]
\dfrac{\partial^2 f}{\partial y\,\partial x}(x,y)&\dfrac{\partial^2 f}{\partial y^2}(x,y)
\end{bmatrix}
=\begin{bmatrix}
D_xD_xf(x,y)&D_xD_yf(x,y)\\
D_yD_xf(x,y)&D_yD_yf(x,y)
\end{bmatrix}
\end{aligned}\end{split}\]
voidaan toisen asteen sulkulauseke kirjoittaa lyhyesti
\[\begin{split}\begin{aligned}
\begin{bmatrix}h&k\end{bmatrix}H_f(a,b)\begin{bmatrix}h\\k\end{bmatrix}
\end{aligned}\end{split}\]
ja toisen asteen Taylorin kaava siten
\[\begin{split}\begin{aligned}
f(a+h,b+k)=&f(a,b)+f'(a,b)\begin{bmatrix}h\\k\end{bmatrix}
+\frac12\begin{bmatrix}h&k\end{bmatrix}H_f(a,b)\begin{bmatrix}h\\k\end{bmatrix}\\
&+\epsilon(h,k)\|(h,k)\|^2.
\end{aligned}\end{split}\]
Tämä yleistyy \(n\):n muuttujan funktioille:
Merkintää \(D_iD_jf(\bx)=\dfrac{\partial^2 f}{\partial x_i\,\partial x_j}(\bx)\) käyttäen voidaan kirjoittaa
\[\begin{split}H_f(\bx)=
\begin{bmatrix}
D_1D_1f(\bx)&D_1D_2f(\bx)&\cdots&D_1D_nf(\bx)\\
D_2D_1f(\bx)&D_2D_2f(\bx)&\cdots&D_2D_nf(\bx)\\
\vdots &\vdots &\ddots&\vdots\\
D_nD_1f(\bx)&D_nD_2f(\bx)&\cdots&D_nD_nf(\bx)
\end{bmatrix}.\end{split}\]
Jos funktion \(f\colon\R^n\to\R\) kaikki toisen kertaluvun osittaisderivaatat ovat jatkuvia, niin
\[H_f(\bx)=Df'(\bx).\]
Matlabissa Hessen matriisi voidaan laskea komennolla
Lause 4.2.4 (Toisen asteen Taylorin kaava (n):n muuttujan funktiolle)
Olkoot funktion \(f\colon\R^n\to\R\) kaikki kolmannen kertaluvun osittaisderivaatat jatkuvia pisteen \(\ba\in\R^n\) ympäristössä. Tällöin
\[\begin{aligned}
f(\ba+\bh)=f(\ba)+f'(\ba)\bh+\frac12\bh^TH_f(\ba)\bh+\epsilon(\bh)\|\bh\|^2,
\end{aligned}\]
missä \(\epsilon(\bh)\to0\), kun \(\bh\to\bo\).
Merkitään \(\bx=\ba+\bh\). Toisen asteen Taylorin polynomi voidaan nyt kirjoittaa muodossa
(3)\[P_2(\bx)=f(\ba)+f'(\ba)(\bx-\ba)+\frac12(\bx-\ba)^TH_f(\ba)(\bx-\ba).\]
Esimerkki 4.2.5
Laske funktion \(f(x,y,z)=\sqrt{x^2+y^2+z^2}\) toisen asteen Taylorin polynomi pisteen \((2,2,1)\) suhteen.
Piilota/näytä ratkaisu
Nyt
\[f'(x,y,z)=
\begin{bmatrix}
\dfrac{x}{\sqrt{x^2+y^2+z^2}} & \dfrac{y}{\sqrt{x^2+y^2+z^2}} & \dfrac{z}{\sqrt{x^2+y^2+z^2}}
\end{bmatrix}\]
ja \(H_f(x,y,z)=\)
\[\begin{split}\begin{bmatrix}
\dfrac{y^2+z^2}{(x^2+y^2+z^2)^{3/2}} & -\dfrac{xy}{(x^2+y^2+z^2)^{3/2}} & -\dfrac{xz}{(x^2+y^2+z^2)^{3/2}}\\
-\dfrac{xy}{(x^2+y^2+z^2)^{3/2}} & \dfrac{x^2+z^2}{(x^2+y^2+z^2)^{3/2}} & -\dfrac{yz}{(x^2+y^2+z^2)^{3/2}}\\
-\dfrac{xz}{(x^2+y^2+z^2)^{3/2}} & -\dfrac{yz}{(x^2+y^2+z^2)^{3/2}} & \dfrac{x^2+y^2}{(x^2+y^2+z^2)^{3/2}}\\
\end{bmatrix},\end{split}\]
joten \(f(2,2,1)=3\),
\[\begin{split}f'(2,2,1)=\begin{bmatrix}\dfrac23 & \dfrac23 & \dfrac13\end{bmatrix}\quad\text{ja}\quad
H_f(2,2,1)=\frac{1}{27}
\begin{bmatrix}5 & -4 & -2\\-4 & 5 & -2\\-2 & -2 & 8\end{bmatrix}.\end{split}\]
Toisen asteen Taylorin polynomi pisteen \((2,2,1)\) suhteen on siten
\[\begin{split}\begin{aligned}
&P_2(x,y,z)=3+\begin{bmatrix}\dfrac23 & \dfrac23 & \dfrac13\end{bmatrix}
\begin{bmatrix}x-2\\y-2\\z-1\end{bmatrix}\\
&\qquad+\frac12\,\frac{1}{27}\begin{bmatrix}x-2 & y-2 & z-1\end{bmatrix}
\begin{bmatrix}5 & -4 & -2\\-4 & 5 & -2\\-2 & -2 & 8\end{bmatrix}
\begin{bmatrix}x-2\\y-2\\z-1\end{bmatrix}\\
&=3+\dfrac23(x-2)+\dfrac23(y-2)+\dfrac13(z-1)\\
&\qquad+\frac{1}{54}
\begin{bmatrix}x-2 & y-2 & z-1\end{bmatrix}
\begin{bmatrix}5x-4y-2z\\-4x+5y-2z\\-2x-2y+8z\end{bmatrix}\\
&=\frac23x+\frac23y+\frac13z+\frac{5}{54}x^2-\frac{4}{27}xy-\frac{2}{27}xz+\frac{5}{54}y^2-\frac{2}{27}yz+\frac{4}{27}z^2.
\end{aligned}\end{split}\]
Huomautus 4.2.6
a) Myös \(n\):n muuttujan funktiolle on olemassa \(m\):nnen asteen polynomiapproksimaatio.
b) Virhettä \(\epsilon(\bh)\|\bh\|^2\) voidaan arvioida kolmannen kertaluvun osittaisderivaattojen avulla (ks. [apostol] tai [trench]).
c) Osittaisderivoinnin vaihtosäännön nojalla \(H_f(\ba)\) on symmetrinen ja siten \(\bh^TH_f(\ba)\bh\) on muuttujan \(\bh\) neliömuoto.