Support Vector Machine

Die Support Vector Machine (SVM) gehört zur Familie der Klassifikationsalgorithmen.

Klassifikation bedeutet, eine Menge von Daten einer bestimmten Klasse bzw. Kategorie zuzuordnen. Gegeben sei also eine Menge an Daten , wie beispielsweise und eine Menge an Klassen , wie z.B. , wobei die Klassen i.d.R. von Menschen definiert werden. Die Trainingsdaten sind Zuordnungen von Daten zu Klassen, z.B.: mit . Algorithmen aus diesem Bereich können eine Klassifikator erlernen, der alle Daten zu einer Klasse zuordnen kann: .^[1]

Die Anfänge der Support Vector Machine liegen bereits einige Jahre zurück. Bereits im Jahr 1963 stellten Vladimir N. Vapnik und Alexey Ya. Chervonenkis den SVM-Algorithmus vor.^[2] Die nächste größere Erfindung war der sogenannte Kernel Trick. Dieser wurde 1992 von Boser et. al. vorgestellt. ^[3] Mit Hilfe des Kernel Tricks ist es möglich die Support Vector Machine auch auf nicht linear separierbare Daten anzuwenden. In den folgenden Jahren wurden nur noch wenige geringe Verbesserungen und Varianten veröffentlicht. Auch heutzutage wird dieser Algorithmus noch oft genutzt und dient ihn vielen wissenschaftlichen Arbeiten als Vergleich zu modernen Ansätzen.^[4]

Der weitere Teil dieser Arbeit ist wie folgt gegliedert:

• Algorithmus im Detail
  • Ebenendarstellung
  • Bedingungen
  • Abstandsberechnung
  • Optimierungsproblem
  • Kernel Trick
• Implementierungen

Im Kapitel Algorithmus im Detail wird die Support Vector Machine mathematisch beschrieben und hergeleitet. Das Kapitel Implementierungen enthält Verweise und Beispiele zu verschiedenen Implementierungen des Algorithmus.

1. Manning, C. D., Raghavan, P., & Schutze, H. (2009). An Introduction to Information Retrieval. Online, (c), 569. https://doi.org/10.1109/LPT.2009.2020494, S. 256 ↩

2. https://en.wikipedia.org/wiki/Support_vector_machine ↩

3. Boser, B. E., Guyon, I. M., & Vapnik, V. N. (1992). A Training Algorithm for Optimal Margin Classiiers. Proceedings of the Fifth Annual Workshop on Computational Learning Theory, 144–152. https://doi.org/10.1.1.21.3818 ↩

4. Lu, Y. (2016). Food Image Recognition by Using Convolutional Neural Networks (CNNs). Retrieved from http://arxiv.org/abs/1612.00983 ↩

Author: Daniel Beneker