[머신러닝] Overfitting & Regularization

[머신러닝] Overfitting & Regularization

Training보통의 학습은 위의 비율로 진행한다. 중요한 것은 Training 데이터셋으로는 훈련만을 시키고 validation 데이터셋에서 정확도를 검증한다. validation에서 정확도가 높게 나오는 모델을 최종 모델로 선택 후, test 데이터셋에서 검증을 통해 최종 정확도를 평가한다. Overfitting보통 validation에서는 loss가 내려가다가 올라가는 형상을 보인다. 이것을 overfitting이라 부른다. validation 데이터셋의 loss가 올라가기 시작하는 순간부터 overfitting이 진행되는 것이고, 일반화 성능이 떨어지는 것이다. Overfitting은 model의 capacity와 밀접한 관련이 있다. 따라서, 모델은 너무 단순해서도 안되고 너무 복잡해서도 안된다..

  • format_list_bulleted MachineLearning & DeepLearning/서적 요약
  • · 2025. 4. 9.
  • textsms

KL Divergence 이해하기

KL Divergence 이해를 위해 이전 글의 개념이 필요합니다.2025.04.04 - [MachineLearning & DeepLearning/유용한 개념] - Cross-Entropy (크로스 엔트로피) Cross-Entropy (크로스 엔트로피)Entropy$$H(x)=-\sum_{i=1}^n p\left(x_i\right) \log p\left(x_i\right)$$엔트로피는 불확실성의 척도로 정보이론에서의 엔트로피는 불확실성을 나타내며 엔트로피가 높다는 것은 정보가 많고 확률이 낮다는 것occident.tistory.com  KL Divergence 정의쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 ..

  • format_list_bulleted MachineLearning & DeepLearning/유용한 개념
  • · 2025. 4. 4.
  • textsms
Cross-Entropy (크로스 엔트로피)

Cross-Entropy (크로스 엔트로피)

Entropy$$H(x)=-\sum_{i=1}^n p\left(x_i\right) \log p\left(x_i\right)$$엔트로피는 불확실성의 척도로 정보이론에서의 엔트로피는 불확실성을 나타내며 엔트로피가 높다는 것은 정보가 많고 확률이 낮다는 것을 의미한다. 이것은 특정 확률 분포내에서의 정보량의 기댓값을 의미합니다. 확률이 균등할수록 엔트로피가 크다. 엔트로피가 높을 수록 데이터를 예측하기 어렵다는 것입니다. 단위는 비트(bits)입니다. 위의 그림은 (위)분포와 (아래)엔트로피를 나타낸다. 즉, 정보가 많거나 균등한 분포일 수록 엔트로피가 커지고 한가지 특정한 값이 잘 나올 것이라는 예측이 무의미해진다.반면, 100%의 확률로 예측이 가능한 분포는 엔트로피가 0이다. Cross Entropy$$..

  • format_list_bulleted MachineLearning & DeepLearning/유용한 개념
  • · 2025. 4. 4.
  • textsms
[머신러닝 및 딥러닝] 베이즈 분류기 <Bayes Classifier>

[머신러닝 및 딥러닝] 베이즈 분류기 <Bayes Classifier>

1. 베이즈 분류기베이즈 분류기는 베이즈 정리를 기반으로 확률적으로 분류를 수행하는 머신러닝 알고리즘이다.가장 대표적인 형태는 Naive Bayes classifier가 있다. 1.1. Risk$$ \begin{aligned} R(f) & =\mathbb{E}_{p(\mathbf{x}, \mathbf{y})}[\mathcal{L}(\mathbf{y}, f(\mathbf{x}))] \\ & =\sum_{\mathbf{x}} \sum_{\mathbf{y}} p(\mathbf{x}, \mathbf{y}) \mathcal{L}(\mathbf{y}, f(\mathbf{x})) \end{aligned} $$모든 데이터에 대해 얼마나 잘 예측했는지를 확률적으로 평균 낸 것이다.실제 데이터 분포 p(x,y)를 알 수 ..

  • format_list_bulleted MachineLearning & DeepLearning/서적 요약
  • · 2025. 3. 28.
  • textsms
[머신러닝 및 딥러닝] 분류 <Classification>

[머신러닝 및 딥러닝] 분류 <Classification>

Regression과 Classification의 차이?예측하고자하는 값이 continous하면 regression이고, categorical하거나 qualitative하면 classification이다. 1. ClassificationClassification은 입력 데이터를 미리 정의된 여러 범주(클래스) 중 하나로 분류하는 작업입니다. 예: 고양이 vs 강아지 이미지 분류. 2. 선형 회귀가 분류 문제에 부적합한 이유선형 회귀는 입력 변수와 출력 변수 간의 연속적인 수치 관계를 가정하는 모델로, 출력 값의 크기나 거리 자체에 의미가 있다고 간주합니다. 그러나 분류 문제에서는 출력 값이 범주형 데이터로, 클래스 간에는 수치적 거리나 순서가 존재하지 않습니다.예를 들어, 질병을 다음과 같이 숫자로 치환..

  • format_list_bulleted MachineLearning & DeepLearning/서적 요약
  • · 2025. 3. 28.
  • textsms
[머신러닝 및 딥러닝] 선형 회귀 확장 <Linear Regression 확장>

[머신러닝 및 딥러닝] 선형 회귀 확장 <Linear Regression 확장>

2025.03.18 - [공부/머신러닝 및 딥러닝] - [머신러닝 및 딥러닝] 선형 회귀 " data-og-description="2025.03.18 - [공부/머신러닝 및 딥러닝] - [머신러닝 및 딥러닝] 머신 러닝 및 딥러닝 기초 ((Machine \: Learning \: and \: Deep \: Learning \: Introduction)) [머신러닝 및 딥러닝] 머신 러닝 및 딥러닝 기초 ((Machine" data-og-host="occident.tistory.com" data-og-source-url="https://occident.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%B0%8F-%EB%94%A5%EB%9F%AC%EB%..

  • format_list_bulleted MachineLearning & DeepLearning/서적 요약
  • · 2025. 3. 27.
  • textsms

[머신러닝 및 딥러닝] 선형 회귀 <Linear Regression>

2025.03.18 - [공부/머신러닝 및 딥러닝] - [머신러닝 및 딥러닝] 머신 러닝 및 딥러닝 기초 ((Machine \: Learning \: and \: Deep \: Learning \: Introduction)) [머신러닝 및 딥러닝] 머신 러닝 및 딥러닝 기초 ((Machine \: Learning \: and \: Deep \: Learning \: Introductio인공지능이란 무엇인가..?인간 혹은 동물과 달리 인공적으로 만들어낸 어떤 기계 혹은 소프트웨어의 지능이다.  지능이란 무엇인가?지능을 명확히 정의하긴 힘들지만, abstraction, logic, understandinoccident.tistory.com 1. Linear regression대표적인 지도 학습 방법이다.입력..

  • format_list_bulleted MachineLearning & DeepLearning/서적 요약
  • · 2025. 3. 18.
  • textsms
[머신러닝 및 딥러닝] 머신 러닝 및 딥러닝 기초 <Machine Learning and Deep Learning Introduction>

[머신러닝 및 딥러닝] 머신 러닝 및 딥러닝 기초 <Machine Learning and Deep Learning Introduction>

1. 인공지능이란 무엇인가..?인간 혹은 동물과 달리 인공적으로 만들어낸 어떤 기계 혹은 소프트웨어의 지능이다.  2. 지능이란 무엇인가?지능을 명확히 정의하긴 힘들지만, abstraction, logic, understanding, self,awareness, learning, emotional knowledge, reasoning, planning, creativity, critical thinking, and problem-solving 등이 지능이 있어야 할 수 있는 것들이다.세상을 인지하는 능력그것을 가지고 행동에 반영을 할 때3. 머신러닝이란 무엇인가?Learn from data! and Generalize to unseen data! Without explicit instruction!데이터..

  • format_list_bulleted MachineLearning & DeepLearning/서적 요약
  • · 2025. 3. 18.
  • textsms