AdaBoost
- Laver en decision stump med færrest mulige fejl
- Tager de fejl der var på den “forkerte side”, og øger vægten (gør dem vigtigere for den næste decision stump)
- Laver en ny decision stump, hvor den er særlig opmærksom på de første fejl
- Tilsidst har den et (på forhånd aftalt) antal decision stumps med forskellige scores baseret på hvor mange fejl de gav for hver klasse
- Når algoritmen så modtager NYE input – spørger den alle de forskellige decision stumps hvad de synes, og ved hjælp af deres score/vægte regner den det mest sandsynlige ud
Decision Stump
Den simplest tænkelige klassificerings algoritme; Nedfælder en lige linje gennem træningssættet, der hvor adskillelsen giver færrest fejl i forhold til træningsdata.
Decision Tree/Beslutningstræ
En mere kompleks udvikling af decision stump. Her opbygger algoritmen et beslutningstræ udfra træningsdata. Algoritmen virker som en tragt eller et filter.
Egenskaber fra klasserne i træningssættet danner de logiske operationer: hvis x er større end [tal], kommer input til højre i beslutningstræet, hvis mindre til venstre.
Hver logiske operation i træet kaldes en “node”, og det er centralt for beslutningstræets effektivitet, at det er i stand til at opbygge “gode noder” – operationer som i så høj grad som muligt adskiller klasserne hurtigt fra hinanden.
Entropi
Fra informationsteori: udtryk for den samlede uorden eller tilfældighed i et system.
Klassificering
En form for maskinlæring, som opdeler input i et afgrænset antal klasser.
Se mere her i Kadenze kurset
kNN
K-nearest neighbour er en algoritme som skaber decision boundaries vha geometrisk afstand til de nærmeste punkter i et træningssæt (naboer). Hvor mange naboer der tages med i beregningen, angives af “k”. Flere naboer giver længere beregningstid, men minimerer overfitting (brug af fejlagtige data).
Naive Bayes
Algoritme som klassificerer vha logisk sandsynlighedsberegning.
Man kan tænke sådan, at Naive Bayes stiller en række spørgsmål: hvor sandsynligt er det at dette input hører til klasse a? Hvor sandsynligt er det at det hører til klasse B? Etc.
Naive Bayes inddrager antallet af eksempler i træningsdata til at beregne sandsynligheden. Jo flere forekomster af én bestemt klasse, øger sandsynligheden for at nye input tilhører den.
Naive Bayes kan inddrage flere features for at støtte robustheden af beregningen – eksemplet fra kurset er kropslængder og farver på katte/ræve. Bemærk at disse egenskaber ikke nødvendigvis hænger sammen (er røde ræve lange?). Deraf navnet “naive”
OSC
Open Sound Control. Protokol som gør det muligt at sende beskeder fra et computerprogram til et andet.
Tænk: hvordan får vi et tastetryk i Word til at trykke pause i iTunes?
Overfit
En situation hvor en klassifier tolker data så nøjagtigt, at den inddrager fejl og støj fra træningsdata. Hvor vidt fortolkningen er “overfit” afhænger af hvordan man ønsker at tolke de givne data.
SVM – Support Vector Machines
Projicerer klasserne ud i flere dimensioner, og bruger den flerdimensionelle figur til at skelne klasserne.
Training Accuracy
procentvis mål for hvor mange fejl der er i fortolkningen af træningsdata
