predict_proba 와 decision_function 차이점

predict_proba

는 binary classification에서 인스턴스가 각 클래스에 있을 확률(probability)을 출력하는 것

 

decision_function

는 나눠진 hyperplane까지의 거리를 찾는 것

예를 들어, SVM classifier는 공간을 분류 결과와 관련된 영역으로 분리하는 hyperplane을 찾음. 포인트가 주어지면 이 함수는 구분 기호까지의 거리를 찾음.

 

 

예시로는,

해당 예시는 binary classifiaction으로, 결과가 0, 1로 이루어져 있음.

 

첫번째 column은 결과 값

 

두번째 column은 결과가 0으로 나왔을때의 확률 값(predict_proba[0])

세번째 column은 결과가 1로 나왔을때의 확률 값(predict_proba[1])

그래서 2, 3번째 column의 총합은 1이 나와야 함.

 

네번째는 hyperplane에서 떨어진 거리(decision_function), 1이면 양수, 0이면 음수의 거리 값을 가질 수 있다는 것을 알 수 있다.

 

 

확률이 필요없는 경우에는 predict_proba 대신, decision_function를 사용하는 것이 좋다.