Der größte Teil eines Machine-Learning-Projekts entfällt auf Daten, nicht auf Modelle. Bereinigt werden Dubletten, widersprüchliche Einträge und Lücken; danach werden Wertebereiche vereinheitlicht und die Aufteilung in Trainings-, Validierungs- und …
Maschinelles Lernen: von den Daten bis zur Bewertung
Der Aufwand in einem Machine-Learning-Projekt verteilt sich nicht so, wie es die Fachbeiträge nahelegen. Der weit überwiegende Teil entfällt auf Daten: sammeln, säubern, beschriften, prüfen. Das Training selbst ist oft die kürzeste Phase.
Die Reihenfolge, die sich bewährt hat
- Ein einfaches Vergleichsmodell bauen, bevor irgendetwas Komplexes entsteht
- Die Daten säubern und die Aufteilung in Trainings-, Validierungs- und Testmenge festlegen
- Merkmale bilden – hier liegt meist mehr Gewinn als in der Modellwahl
- Trainieren und die Stellschrauben systematisch statt zufällig verändern
- Auf der Testmenge bewerten, und zwar mit der Kennzahl, die zur Fragestellung passt
Warum Genauigkeit allein nichts sagt
Bei einem Datensatz mit fünf Prozent Betrugsfällen erreicht ein Modell, das immer „kein Betrug" sagt, fünfundneunzig Prozent Genauigkeit. Es ist trotzdem wertlos. Welche Kennzahl in welchem Fall greift, steht bei den einzelnen Leistungen und im Glossar.
Grenze dieses Themenfelds
Ohne belastbare Daten hilft kein Verfahren. Wo die Datenlage dünn ist, ist die ehrliche Antwort ein Erhebungskonzept – kein Modell.
Leistungen in Maschinelles Lernen
Aus Rohdaten werden Größen, die einen Zusammenhang tatsächlich tragen: aus zwei Zeitstempeln eine Dauer, aus einer Postleitzahl eine Region, aus einer Bestellhistorie ein Abstand zum letzten Kauf. In klassischen Verfahren bringt dieser Schritt regel…
Begonnen wird mit einem bewusst einfachen Vergleichsmodell. Es kostet eine Stunde und beantwortet die wichtigste Frage: Wie viel besser ist das aufwendige Verfahren wirklich? Danach wird trainiert, mit protokollierten Läufen und einer systematischen…
Welche Kennzahl zählt, ergibt sich aus den Kosten der beiden Fehlerarten. Bei einer Vorprüfung, die niemanden übersehen darf, zählt der Recall; bei einer automatischen Ablehnung zählt die Präzision. Genauigkeit allein ist bei ungleich verteilten Dat…