= Datum der Prüfung                             19.8.2020

= Benötigte Lernzeit als Empfehlunng            ~ 20 Stunden
Der 33-Seiten lange Fragenkatalog ist etwas happig, wer sich alle Videos nochmal angucken
möchte, weil er die Vorlesung gar nicht verfolgt hat, braucht natürlich länger

= Verwendete Materialien                        Vorlesungsvideos/Folien, Fragenkatalog

= "Atmosphäre" der Prüfung / Verhalten der Beisitzer
Entspannt, Fragen werden auch tatsächlich hilfreich beantwortet

= Prüfungsfragen

1. Bias/Variance
-------------------
a) Skizzieren sie die Auswirkung von Modelkomplexität
auf Variance, Bias, Trainingsfehler, Testfehler und erklären sie den Kurvenverlauf.

b)Was ist Bagging, Boosting, Stacking? parallel oder sequentiell? Wie werden die Ergebnisse kombiniert?
Wie wirken sie sich auf Bias, Variance aus?

c)Welche Ensemble Methode würde man für decision trees, lineare Regression auswählen?

2. K-Nearest Neighbour
-------------------
5 Punkte gegeben mit Label Y
a)Berechnen sie für einen neuen Punkt den euklidischen Abstand zu allen Punkten.
b)Welches Label bekommt der neue Punkt basierend auf 1-NN, 3-NN ?

c)Erklären sie kurz den K-NN Algorithmus, wie wird das optimale k ausgewählt? 

d)Es gibt 2 Modelle, einmal logistische Regression mit 30% Trainingsfehler und 20% Testfehler
sowie ein 1-NN Modell mit einem durchschnittlichen Fehler von 18%(Trainings-und Testfehler)
auf einem Datenset, welches mehrfach zufällig in Test- und Trainingsdaten unterteilt wurde.
Welches Modell würden sie wählen und warum?

3. Decision Boundary
-------------------
Hyperplane gegeben mit w = (-1,1,2) und Hw(x)= 0
a)Berechnen und skizzieren sie die Steigungsgerade der Form x2 = y = a*x1 + b
Kennzeichnen sie den x1 und x2 Achsenabschnitt.

b)Berechnen und skizzieren die Hw(x) = 1 und Hw(x) = -1
c)Berechnen sie die Margin


d)Auswahl von geeigneten Modellen

Gegeben sind die mögliche Modelle 
SVM with quadratic kernel, logistische Regression, 1-NN und decision trees
Auf der linken Seite ein Modell angeben, was einen Trainingsfehler von 0% erreicht, Erklärung warum.
Auf der rechten Seite ein Modell angeben,  was sich nicht gut eignet/ keinen Trainingsfehler von 0% erreicht, Erklärung warum.
(Antwort kann auch mehrere oder keine sein)

++  --  ++    |    ++  --  ++
++  --  ++    |    ++  --  ++
++  --  ++    |    ++  --  ++
++  --  ++    |    ++  --  ++

--------------------------------

+++   +++     |   +++   +++
+++   +++     |   +++   +++
              |   
+++   ---     |   +++   ---
+++   ---     |   +++   ---



4. Multi-Class Logistische Regression
-------------------
6 Punkte(x1,x2) gegeben, mit Label y = {1,2,3}
Gegeben sind w1 = (1,1,2)   w2 = (0,-3,2)   w3 = (1,1,-4)
a)Für alle 6 Punkte, was sind die vorhergesagten label y'?
b)Berechnen sie den Fehler. 

c)Was ist der Unterschied zwischen batch Gradientenabstieg und Stochastischen Gradientenabstieg?
Was sind Vor- und Nachteile(auch im Verhältnis zu normalen Gradientenabstieg)?

d)Welche Auswirkung hat die Lernrate beim Gradientenabstieg auf den Loss?



5. Lasso/Ridge Regression
-------------------
Lasso Regression wird über L1-Norm definiert, Ridge Regression über L2-Norm
a) Skizzieren sie die Auswirkung auf Gewichtsvektor w ( Plot gegeben mit x = w1 und y = w2)
b) Warum gibt es bei Lasso Regression mehr Einträge wi = 0 ?



Spam Detection

Spam	+
not Span-
	predictec class
	  +    -
actual+	| 8  | 2 |
class	----------
      -	| 40 |950|
a) Berechne Precision, Recall, F1 Score
b) Wie wirkt sich ein größeres oder kleines epsilon auf precision und recall aus?



6. Neural Networks
-------------------
Gegeben Network mit 2 layern
Basierend auf Input (0,0),(0,1),(1,0),(1,1) Weighted Sum und Activation für a1(L2), a2(L2) und a1(L3) berechnen.
Welcher logischer operator wird damit repräsentiert?
Wie muss man die Gewichte ändern, damit daraus XNOR wird?




= Fazit (Gute/schlechte Prüfung , angemessene Benotung etc...)
Vorbereitung war wegen des vielen Materials stressiger als die Prüfung selbst, Benotung kenne ich noch nicht.

= Datum der Prüfung: 02.08.2022
= Benötigte Lernzeit als Empfehlung: siehe altes Protokoll
= Verwendete Materialien (Bücher, Skripte etc...): Videoaufzeichnungen, Bonusblätter, Fragenkatalog
= "Atmosphäre" der Prüfung / Verhalten der Beisitzer: ganz normal
= Prüfungsfragen

Es gab 4 Aufgaben a 25 Punkten. Das Protokoll wird sehr ungenau, da ich mich an genaue Zahlen und Angaben nicht erinnern kann :´D

1. gegeben: 5 verschiedene Ausdrücke, wie zb XX^T x aus R
   gesucht: Dimension des Ergebnisses
2. Cross Validation
   Welche classifier sind am besten geeignet und wieso?
   Errechnung von TP TN FP, Genauigkeit und co.
3. Lineare Separierbarkeit:
   geg.: Datensatz, welchen man plotten soll
   ges.: Welche classifier können mit Fehler 0% separieren, welche nicht?
4. Neuronale Netze:
   Errechnung der Ausgabe werte.
   Welche logische Funktion wird dargestellt?
   Wie müssen Kantengewichte geändert werden, damit XNOR entsteht?

= Note (Optional)
= Fazit (Gute/schlechte Prüfung , angemessene Benotung etc...): Die erste Aufgabe war etwas verwirrend, die wenigsten haben wahrscheinlich mit so einer Aufgabenstellung gerechnet. Die zweite Aufgabe war laut Dr. Schäfer eine Transferaufgabe aus der Übung. Also geschenkte Punkte, wenn man so will. Die dritte und vierte Aufgabe warn auch in Ordnung, in der Regel gab es keine Teilaufgaben von 2,3 und 4, die mich sehr überrascht haben. Im Allgemeinen finde ich, dass die Prüfung fair war. Wenn man sich gut vorbereitet, sollte nicht viel schieflaufen...

= Datum der Prüfung: 23.07.2025

= Benötigte Lernzeit als Empfehlung: 3 Tage intensiv wiederholen (wenn man im Semester immer gut dabei war)

= Verwendete Materialien (Bücher, Skripte etc...): Folien, Videoaufzeichnungen, Bonusblätter

= "Atmosphäre" der Prüfung / Verhalten der Beisitzer: entspannt, am Anfang wurde die Klausur kurz durchgegangen und man hatte einen Eindruck, wie lang die Antwort auf jede Frage ausfallen sollte

= Prüfungsfragen

1. Lineare Algebra
- Dimension des Ergebnisses zu verschiedenen Ausdrücken (z. B. XX^T) angeben
- Summen vektorisieren (kein Python-Code, sondern als mathematischer Ausdruck)

2. Alien-Stimmungsanalyse
Gegeben war ein Datensatz von Sätzen in Alien-Sprache (bestehend aus 2 Wörtern verschieden angeordnet) und jeweils dazu eine Stimmung (glücklich/traurig)
- Wie kann man solche Sätze als Vektoren angeben? (eine beliebeige Methode nennen)
- Datensatz in Diagramm einzeichnen (z. B. x1/x2 jeweils als Häufigkeit der beiden Worte je Satz interpretieren)
- Gewichte für Entscheidungsgrenze mit minimalen Trainingsfehler nennen
-> Datensatz bildet XOR-Problem ab!
- diese Entscheidungsgrenze einzeichnen
- Zwei Klassifikatoren nennen, die den Datensatz mit 0% Trainingsfehler separieren können
- Datensatz transformieren -> Transformation angeben, sodass der Datensatz linear separierbar wird
- Entscheidungsgrenze für transformierten Datensatz benennen

3. Perceptron
- Perceptron-Algorithmus für Datensatz berechnen (analog zur Übungsaufgabe)
- Was bedeutet es, wenn ein Datensatz linear separierbar ist?
- Wie kann man das Vanishing Gradients Problem für CNNs und RNNs beheben? (jeweils Stichwort nennen)
- MLP mit zwei Hidden Layers und jeweils linearerer Aktivierung gegeben. Es war zu zeigen, dass dieses Netz auch mit einem einzigen Neuron dargestellt werden kann, dazu sollte die entsprechende Gewichtsmatrix W' und der Bias b' angegeben werden.
- Zeichnen Sie dieses Netz

4. Künstliche Neuronale Netze
- Stellen Sie ein FCN mit einem Hidden Layer auf, dass bestimmt, ob eine Eingabe aus vier Zahlen aufsteigend sortiert ist (analog zur Übungsaufgabe)
- Binäre Addition mit RNN: Gewichtsmatrizen aufstellen und benennen, was jede Hidden Unit tut (1:1 aus den Übungen)

= Note (Optional) 1,X (Durchschnitt: 2,92)

= Fazit (Gute/schlechte Prüfung , angemessene Benotung etc...): Gute Prüfung, zeitlich gut machbar und einige Aufgaben mit nur geringen Abweichungen aus den Übungen übernommen, man durfte einen handschriftlichen Spickzettel mitnehmen, Benotung kam sehr schnell