---
title: "MAS VIMU MML Kolokvijum 1 2023-2024 rešavanje"
author: "Zoran Ovcin"
date: "2023-12-08"
output:
  html_document: default
  pdf_document: default
---

\def\R{\mathbb{R}}

```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = TRUE)
```
## MAS Veštačka inteligencija i mašinsko učenje
### 8. XII 2023. godine
### Matematičke osnove mašinskog učenja, kolokvijum 1

Koristićemo **matlib** biblioteku.
```{r}
library(matlib)
```

## 1.

Data je linearna transformacija $\Phi : \R^3 \rightarrow \R^3$ formulom
\[
\Phi \left( \begin{bmatrix}
 x_1\\ x_2\\ x_3 \end{bmatrix} \right) = 
\begin{bmatrix}
\phantom{2}  x_1 + 2 x_2 + 2 x_3  \\
2 x_1 + \phantom{2} x_2 - 2 x_3 \\
2 x_1 - 2 x_2 + \phantom{2} x_3  \\
\end{bmatrix}
\]
Neka su $a_1 = \Phi ( e_1 ), a_2 = \Phi ( e_2 ), a_3 = \Phi ( e_3 )$, gde su $e_1 = [ 1, 0, 0 ]^T, e_2 = [ 0, 1, 0 ]^T, e_3 = [ 0, 0, 1 ]^T$, vektori standardne baze.


### (a) Naći matricu $A$ linearne transformacije $\Phi$ i njoj inverznu matricu $A^{-1}$.

```{r 1.a, 1.b}
A=matrix(c( 1, 2, 2, 2, 1,-2, 2,-2, 1 ),ncol=3); A
AI=gaussianElimination(cbind(A,diag(3)),fractions = T); A1=AI[,4:6]; A1
```
### (b) Izraziti vektore standardne baze preko vektora $a_1$, $a_2$, $a_3$.

$e_1 = ( a_1 + 2 a_2 + 2 a_3 ) / 9, e_2 = ( 2 a_1 + a_2 - 2 a_3 ) / 9, e_3 = ( 2 a_1 - 2 a_2 + a_3 ) / 9$

\newpage

### (c) Pokazati da su kolone matrice $P = \begin{bmatrix} 1 & 1 & 1\\ 1 & -1 & 0\\ 0 & -1 & 1 \end{bmatrix}$ karakteristični vektori matrice $A$ i naći karakteristične vrednosti koje im odgovaraju.

```{r}
x1=matrix(c(1,1,0),ncol=1); A %*% x1; l1 = 3; A %*% x1 - l1 * x1
x2=matrix(c(1,-1,-1),ncol=1); A %*% x2; l2 = -3; A %*% x2 - l2 * x2
x3=matrix(c(1,0,1),ncol=1); A %*% x3; l3 = 3; A %*% x3 - l3 * x3
```

### (d) Izračunati inverznu matricu $P^{-1}$. Koristiti razlomke.

```{r}
P=cbind(x1,x2,x3)
PI=gaussianElimination(cbind(P,diag(3)),fractions = T); P1=PI[,4:6]; P1
```
### (e) Izračunati matricu $P^{-1} A P$. Koristiti razlomke.

```{r}
round(P1 %*% A %*% P, digits=15)
```

### (f) Naći ortonormiranu bazu prostora generisanog kolonama matrice $P$.

```{r}
PGS=GramSchmidt(P); PGS
PGS %*% diag(c(sqrt(2),sqrt(3),sqrt(6)))
```
$ONB = [ \frac{1}{\sqrt2} [1,1,0]^T, \frac{1}{\sqrt3} [1,-1,-1]^T, \frac{1}{\sqrt6} [1,-1,2]^T ]$

### (g) Naći singular value dekompoziciju matrice $A$. Koristiti razlomke.

Koristimo komandu svd:
```{r}
svda = svd(A); svda$u; svda$d; svda$v
# provera
svda$u %*% diag(svda$d) %*% svda$v
```
$A = U \, \Sigma \, V^T, U = \frac13 \begin{bmatrix}-1 & -2 & -2\\-2 & -1 & 2\\-2 & 2 & -1\end{bmatrix}, \Sigma = \begin{bmatrix}3 & 0 & 0\\0 & 3 & 0\\0 & 0 & 3\end{bmatrix}, V = \begin{bmatrix}-1 & 0 & 0\\0 & -1 & 0\\0 & 0 & -1\end{bmatrix}$

### (h) Da li je matrica A 

#### (i)  simetrična? DA. $A^T = A$

#### (ii)  ortogonalna? NE. $A^T  A \neq I$

#### (iii)  dijagonazibilna? DA. $P^{-1} A P = \mbox{diag} ( 3, -3, 3 )$

#### (iv)  pozitivno definitna? NE. Ima negativnu sopstvenu vrednost: $-3$.


## 2.

U Euklidskom vektorskom prostoru sa tačkastim proizvodom (dot product)
definisan je vektorski potprostor $U \subseteq \R^5$ i dat je vektor $x \in \R^5$:
\[
U = \;\mbox{span}\; \left(%
\begin{bmatrix} -1\\  2\\  0\\  0\\  2 \end{bmatrix},
\begin{bmatrix} -3\\  1\\  1\\ -1\\  2 \end{bmatrix},
\begin{bmatrix}  4\\  1\\ -3\\  2\\  1 \end{bmatrix},
\begin{bmatrix} -3\\  5\\ -1\\  0\\  7 \end{bmatrix}\right),
x = \begin{bmatrix}  -1\\ -9\\  -1\\  4\\  1 \end{bmatrix}. 
\]

```{r}
u1=c(-1,  2,  0,  0,  2)
u2=c(-3,  1,  1, -1,  2)
u3=c( 4,  1, -3,  2,  1)
u4=c(-3,  5, -1,  0,  7)
x =c(-1, -9, -1,  4,  1)
```

### (a) Naći ortogonalnu projekciju $\pi_U ( x )$ vektora $x$ na $U$.

```{r}
xp=Proj(x,cbind(u1,u2,u3,u4)); xp
```

### (b) Izračunati udaljenost $d ( x, U )$.

```{r}
xxp=x-xp
sqrt(t(xxp)%*%xxp)
```
