تحلیل مؤلفه‌های اصلی

نقاط سبز رنگ، نمونه‌هایی از توزیع نرمال دومتغیره‌اند و محور آبی رنگ، مختصات جدید در راستای قرار گرفتن بیشترین تغییرات نمونه بر روی مؤلفه‌های اصلی است.

تحلیل مولفه‌های اصلی (Principal Component Analysis – PCA) تبدیلی در فضای برداری است، که غالباً برای کاهش ابعاد مجموعهٔ داده‌ها مورد استفاده قرار می‌گیرد.

تحلیل مولفه‌های اصلی در سال ۱۹۰۱ توسط کارل پیرسون ارائه شد. این تحلیل شامل تجزیه مقدارهای ویژهٔ ماتریس کواریانس می‌باشد.

جزئیات

تحلیل مولفه‌های اصلی در تعریف ریاضی یک تبدیل خطی متعامد است که داده را به دستگاه مختصات جدید می‌برد به طوری که بزرگترین واریانس داده بر روی اولین محور مختصات، دومین بزرگترین واریانس بر روی دومین محور مختصات قرار می‌گیرد و همین طور برای بقیه. تحلیل مولفه‌های اصلی می‌تواند برای کاهش ابعاد داده مورد استفاده قرار بگیرد، به این ترتیب مولفه‌هایی از مجموعه داده را که بیشترین تاثیر در واریانس را دارند حفظ می‌کند. برای ماتریس داده $X^{T}$ با میانگین تجربی صفر، که هر سطر یک مجموعه مشاهده و هر ستون داده‌های مربوط به یک شاخصه است، تحلیل مولفه‌های اصلی به صورت زیر تعریف می‌شود:

$Y^{T}=X^{T}W = V\Sigma$

به طوری که $V\Sigma W^{T}$ تجزیه مقدارهای منفرد ماتریس $X^{T}$ می‌باشد.

محدودیتهای تحلیل مولفه‌های اصلی

استفاده از تحلیل مولفه‌های اصلی منوط به فرضهایی است که در نظر گرفته می‌شود. از جمله:

فرض خطی بودن

ما فرض می کنیم مجموعه داده ترکیب خطی پایه‌هایی خاص است.

فرض بر این که میانگین و کواریانس از نظر احتمالاتی قابل اتکا هستند.
فرض بر این که واریانس شاخصه اصلی داده است.

محاسبه مولفه‌های اصلی با استفاده از ماتریس کواریانس

بر اساس تعریف ارائه شده از تحلیل مولفه‌های اصلی، هدف از این تحلیل انتقال مجموعه داده X با ابعاد M به داده Y با ابعاد L است. بنابرین فرض بر این است که ماتریس X از بردارهای $X_1 \dots X_N$ تشکیل شده است که هر کدام به صورت ستونی در ماتریس قرار داده شده است. بنابرین با توجه به ابعاد بردارها (M) ماتریس داده‌ها به صورت $M \times N$ است.

محاسبه میانگین تجربی و نرمال سازی داده‌ها

نتیجه میانگین تجربی، برداری است که به صورت زیر به دست می‌آید:

$u[m]=\frac{1}{N}\sum^{N}_{i=1}{X[m,i]}$

که به طور مشخص میانگین تجربی روی سطرهای ماتریس اعمال شده است.
سپس ماتریس فاصله تا میانگین به صورت زیر به دست می‌آید:

$B = X-uh$

که h برداری با اندازه $1 \times N$ با مقدار ۱ در هرکدام از درایه‌ها است.

محاسبه ماتریس کواریانس

ماتریس کواریانس C با ابعاد $M \times M$ به صورت زیر به دست می‌آید:

$C=\mathbb{E}[B\otimes B]=\mathbb{E}[B\cdot B^{\ast}]=\frac{1}{N}B\cdot B^{\ast}$

به طوری که:

$\mathbb{E}$ میانگین حسابی است.

$\otimes$ ضرب خارجی است.

$B^{\ast}$ ماتریس ترانهاده مزدوج ماتریس $B$ است.

محاسبه مقادیر ویژه ماتریس کواریانس و بازچینی بردارهای ویژه

در این مرحله، مقادیر ویژه و بردارهای ویژه ماتریس کواریانس، $C$ ، به دست می‌آید.

$V^{-1}CV=D$

V ماتریس بردارهای ویژه و D ماتریس قطری است که درایه‌های قطر آن مقادیر ویژه هستند. آنجنان که مشخص است، هر مقدار ویژه متناظر با یک بردار ویژه است. به این معنا که ماتریس V ماتریسی $M \times M$ است که ستونهای آن بردارهای ویژه می‌باشند و بردار ویژه $V_q$ در ستون qام قرار دارد و مقدار ویژه qام یعنی درایهٔ $\lambda_q = D_{q,q}$ متناظر با آن است. بازچینی بردارهای ویژه بر اساس اندازهٔ مقادیر ویژه متناظر با آنها صورت می‌گیرد. یعنی بر اساس ترتیب کاهشی مقادیر ویژه، بردارهای ویژه بازچینی می‌شوند. یعنی $p\leq q\Rightarrow \lambda_p \leq \lambda_q$

انتخاب زیرمجموعه‌ای از بردارهای ویژه به عنوان پایه

تحلیل مقادیر ویژه ماتریس کواریانس

انتخاب زیرمجموعه‌ای از بردارهای ویژه با تحلیل مقادیر ویژه صورت می‌گیرد. زیرمجموعه نهایی با توجه به بازچینی مرحله قبل به صورت $V_1\dots V_l$ انتخاب می‌شود. در اینجا می‌توان از انرژی تجمعی استفاده کرد که طبق آن

$g[m]=\sum_{q=1}^m{\lambda_q}$

انتخاب l باید به صورتی باشد که حداقل مقدار ممکن را داشته باشد و در عین حال g مقدار قابل قبولی داشته باشد. به طور مثال می‌توان حداقل l را انتخاب کرد که

$g[m=l] \leq 90%$

بنابرین خواهیم داشت:

$W[p,q] = V[p,q], p=1\dots M ,q = 1\dots l$

انتقال داده به فضای جدید

برای این کار ابتدا تبدیلات زیر را انجام می دهیم: ماتریس $s_{M,1}$ انحراف معیار مجموعه داده است که می‌تواند به صورت زیر به دست بیاید:

$s[i] =\sqrt{C[i,i]}$

سپس داده به صورت زیر تبدیل می‌شود:

$Z = \frac{B}{s}$ ‘

که ماتریسهای $C$ و $B$ در بالا توضیح داده شده اند. داده‌ها می‌توانند به ترتیب زیر به فضای جدید برده شوند:

$Y = W^{\ast}.Z$

نرم‌افزارها

در نرم‌افزار متلب تابع princomp مولفه‌های اصلی را باز می گرداند.

تجزیه مقدارهای منفرد

به عنوان یک تجزیه و فاکتورگیری ماتریسی، تجزیۀ مقدارهای منفرد یا تجزیۀ مقدارهای تکین (Singular value decomposition) قدمی اساسی در بسیاری از محاسبات علمی و مهندسی به‌حساب می‌آید.

مثال‌ها

ماتریس زیر را در نظر می‌گیریم:

$\begin{bmatrix} 1 & 0 & 0 & 0 & 2\\ 0 & 0 & 3 & 0 & 0\\ 0 & 0 & 0 & 0 & 0\\ 0 & 4 & 0 & 0 & 0\end{bmatrix}. $

یکی از تجزیۀ مقدارهای منفرد این ماتریس به صورت زیر است:

$ U = \begin{bmatrix} 0 & 0 & 1 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 0 & -1\\ 1 & 0 & 0 & 0\end{bmatrix} , \Sigma = \begin{bmatrix} 4 & 0 & 0 & 0 & 0\\ 0 & 3 & 0 & 0 & 0\\ 0 & 0 & \sqrt{5} & 0 & 0\\ 0 & 0 & 0 & 0 & 0\end{bmatrix} , V^* = \begin{bmatrix} 0 & 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0 & 0\\ \sqrt{0.2} & 0 & 0 & 0 & \sqrt{0.8}\\ 0 & 0 & 0 & 1 & 0\\ -\sqrt{0.8} & 0 & 0 & 0 & \sqrt{0.2}\end{bmatrix} $

یعنی داریم که

$\begin{bmatrix} 1 & 0 & 0 & 0 & 2\\ 0 & 0 & 3 & 0 & 0\\ 0 & 0 & 0 & 0 & 0\\ 0 & 4 & 0 & 0 & 0\end{bmatrix} = \begin{bmatrix} 0 & 0 & 1 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 0 & -1\\ 1 & 0 & 0 & 0\end{bmatrix} \cdot \begin{bmatrix} 4 & 0 & 0 & 0 & 0\\ 0 & 3 & 0 & 0 & 0\\ 0 & 0 & \sqrt{5} & 0 & 0\\ 0 & 0 & 0 & 0 & 0\end{bmatrix} \cdot \begin{bmatrix} 0 & 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0 & 0\\ \sqrt{0.2} & 0 & 0 & 0 & \sqrt{0.8}\\ 0 & 0 & 0 & 1 & 0\\ -\sqrt{0.8} & 0 & 0 & 0 & \sqrt{0.2}\end{bmatrix} $

مقدار ویژه و بردار ویژه

مسأله مقادیر ویژه (Eigenvalue problem) (یا مسأله مقادیر ذاتی) مربوط به ماتریس‌ها و عمل‌گرها از جمله اساسی‌ترین و ذاتی‌ترین، و به همین جهت، پرکاربردترین مباحث و ابزار در بسیاری از زمینه‌ها و میدان‌های علوم و فنون قدیم و جدید می‌باشد.

فضای برداری با بعد متناهی

مسأله اول در مورد فضاهای برداری با بعد متناهی است. ماتریس مربعی $A \!$ را در نظر می‌گیریم. بردار غیر صفر $x \!$ را بردار ویژه $A \!$ ، و اسکالر $\lambda \!$ را مقدار ویژه نظیر آن بردار می‌گوییم، چنانچه معادله ماتریسی زیر اقناع شود:

$A x = \lambda x\!$

در معادله ماتریسی حاضر دو مجهول وجود دارد: بردار ویژه $x \!$ و مقدار ویژه $\lambda \!$ . پس حل یکتایی برای آن وجود ندارد.

مثال:

ماتریس زیر را در نظر می‌گیریم:

$ A = \begin{bmatrix} 1 & 2 \\ 2 & 1 \\ \end{bmatrix} $

معادله ماتریسی بالا خواهد شد:

$ \begin{bmatrix} 1 & 2 \\ 2 & 1 \\ \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix} = \lambda \begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix} $

ابتدا معادله را به صورت همگن درآورده و بردار $ \begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix} $ را که قرار است بردار ویژه ما باشد در فاکتور قرار می‌دهیم:

$ \begin{pmatrix} \begin{bmatrix} 1 & 2 \\ 2 & 1 \\ \end{bmatrix} - \lambda \begin{bmatrix} 1 & 0 \\ 0 & 1 \\ \end{bmatrix} \end{pmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix} = 0 $

در واقع ما از ماتریس همانی (یکه) دوبعدی به‌خاطر حفظ طبیعت ماتریسی جمله‌ها استفاده کرده‌ایم. پس از ضرب $\lambda$ در ماتریس همانی و تفریق دو ماتریس داریم:

$ \begin{bmatrix} 1 - \lambda & 2 \\ 2 & 1 - \lambda \\ \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix} = 0 $

معادله ماتریسی حاصل حالتی خاص دارد. به منظور مقایسه و جهت وضوح در ادامه، معادله اسکالر بسیار ساده زیر را در نظر می‌گیریم:

$a y = 0 \!$

که در اینجا $a \!$ عددی ثابت است. متغیر مجهول $y \!$ ، تنها و تنها، زمانی جواب غیر از صفر اختیار می‌کند که داشته باشیم:

$a = 0 \!$

که در این صورت، هر عددی جواب این معادله است.

برای معادله ماتریسی هم درست همین حالات را داریم. یعنی، برای وجود جواب‌های غیر صفر به بردار ویژه $x = \begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix} $ لازم است که دترمینان ماتریس ضرایب صفر شود، و اقناع همین شرط است که به شکل‌یابی معادله مشخصه ماتریس $A \!$ می‌انجامد. پس، داریم:

$\det\begin{bmatrix} 1-\lambda & 2\\2 & 1-\lambda \end{bmatrix} = (1 - \lambda)^2 - 4 = 0.$

با حل این معادله درجه دوم دو جواب زیر برای دو مقدار ویژه ماتریس مفروض به‌دست می‌آیند:

$\lambda_1 = 3, \lambda_2 = -1 \!$

نکات و اشارات

تجزیه مقادیر ویژه را می‌توان تکنیکی بسیار مؤثر و قوی در تبدیل پیچیدگی به سادگی دانست. با نگاهی دقیق به این معادله می‌شود رمز این توانائی را تا حدودی دید:

ضرب ماتریس $A \!$ در بردار $x \!$ در سمت چپ (عملی سنگین) به ضرب تنها و تنها یک اسکالر ساده در همان بردار (عملی سبک و سریع) در سمت راست تقلیل یافته است.

فضاهای بی‌نهایت بعدی

توابع پیوسته ریاضی را می‌توان بردارهایی با تعداد بی‌نهایت مؤلفه در نظر گرفت، که در فضایی بی‌نهایت بعدی جای گرفته باشد. عمل‌گرهای قابل اعمال بر این‌گونه بردارها هم بی‌نهایت بعدی بوده و استفاده از مقدار ویژه‌های آن‌ها نقشی کارسازتر و پراهمیت‌تر به خود می‌گیرد.

عمل‌گر مشتق‌گیری

به عنوان یک مثال ساده و بسیار پر استفاده، عمل‌گر مشتق‌گیری از توابع مشتق‌پذیر ریاضی را در نظر می‌گیریم:

$\frac{d}{dx} f(x) = g(x) \!$

در این جا عمل‌گر $\frac{d}{dx} \!$ بر روی تابع مشتق‌پذیر $f(x) \!$ عمل نموده و تابع $g(x) \!$ را به دست داده است.

مقدارهای ویژه مرتبط با آن به همان صورتی که در مورد ماتریس‌ها دیدیم معرفی می‌شوند:

$\frac{d}{dx} f(x) = \lambda f(x) \!$

در این‌جا به سبب بی‌نهایت بودن بعد فضا، به جای بردار ویژه، عبارت تابع ویژه را داریم. در واقع در جستجوی توابعی هستیم که مشتق مرتبه اول آن‌ها مضربی از خودشان است. با اندکی توجه در می‌یابیم که عمومی‌ترین پاسخ در این‌جا عبارت است از:

$f(x) = e^{i \omega x}, \lambda = {i\omega} \!$

چرا که داریم:

$\frac{d}{dx} e^{i \omega x} = {i\omega} e^{i \omega x} \!$

از همین نقطه است که مهم‌ترین و فراگیرترین تبدیل فیزیک ریاضی — تبدیل فوریه — تولد می‌یابد.

مشخصات

جهت مشاهده منبع اصلی و ادامه این مطلب این مطلب کلیک کنید
کلمات کلیدی منبع: ویژه ,ماتریس ,داده ,تحلیل ,صورت ,بردار ,مولفه‌های اصلی ,بردارهای ویژه ,مقادیر ویژه ,تحلیل مولفه‌های ,بردار ویژه ,تجزیۀ مقدارهای منفرد ,ویژه ما
در صورتی که این صفحه دارای محتوای مجرمانه است یا درخواست حذف آن را دارید لطفا گزارش دهید.