Bias-Variance Tradeoff

Bias-Variance Trade-off

Linear regression에 대한 강의를 듣다가 Bias-variance trade off에 관한 내용이 나와서 중요한 것 같아 정리해서 남긴다.

대부분의 내용은 맨 아래에 참고한 링크를 참조해서 다시 적은 것이다.

기계학습에서 Bias와 Variance에 대한 이야기가 나온다. 

그동안 Bias에 대한 개념을 잘몰라서 어려웠는데,

정리된 자료를 읽어보면서 잘 정리가 되는것 같다.

Bias의 사전거 의미는 "편이, 선입견, 편견, 성향, 치우침" 이 있고

Variance의 사전적 의미는 "변화, 편차, 분산" 이 있다. 

Bias에 대한 쉬운 정리는 이렇다.

선입견이라는 뜻을 가지고 있는데, 사람으로 생각하자면, 흔히 선입견을 가지고 있으면, 그 선입견에 대한 일을 실제로 겪더라도 선입견 때문에 형성되었던 원래 생각을 바꾸기가 힘들다. 따라서 Bias가 높다는 말은 선입견이 많이 있다, 또는 어떤 고정된 생각이 있어서 쉽게 바뀌기가 힘든것을 의미한다. 이것을 classification에 적용해서 생각을 해보면, 어떤 두그룹을 나누는데 있어서  두 그룹을 나누는 분명한 선이 보이지만 그중에는 한두개씩 포함이 원래 그룹에 포함이 안되는 것이 있을것이다. 그러한 경우에, 이러한 점들을 에러로 분류하고 클래스를 나누는 경계를 굳이 바꾸어서 그 점들까지 포함하지 않는다는 것을 뜻한다.

Variance는 변화로 해석이 될 수 있다.

얼마나 변화하기 쉬우냐로 생각하면 될 것 같다. variance가 높으면 생각이 유연하고 말랑말랑하여 쉽게 받아 들이는 것을 의미하기도 한다. 또한 분산으로도 해석이 되는데, 이것도 classification에 대해서 적용해서 생각해보면, 두 데이터 셋을 구분하는 경우에 완만하게 나누는 선이 아닌 모두 다 정확히 나누는 선을 그린다고 할 수 있다.

읽고 머신러닝에 적용해서 써보았는데, 위의 두 경우가 맞는지 확실히 모르겠다. 사실 반대로 적은 것 같기도 하다.

좀더 이해를 하려면 책도 읽어보고 정리를 다시 하는게 좋겠다.

글을 잘 쓰지 못해서 읽은 글을 제대로 정리했는지 의문이 든다.

잘 못알아듣겠으면 다시 한번 아래 링크를 읽어보면 좋겠다.

참고한 링크 : http://www.4four.us/article/2010/11/bias-variance-tradeoff