john8538 님의 블로그

AWS Korea와 코드트리가 함께하는 코딩 기초 챌린지 후기: "코딩 테스트, 이제 헤매지 않고 '0부터 100까지' 준비해요!"

john8538 — Mon, 12 May 2025 17:45:01 +0900

이번 챌린지에 새롭게 추가된 블로그 작성 미션을 통해 제가 직접 경험한 코드트리의 매력과 학습 효과를 공유하고자 합니다.

https://www.codetree.ai/

Codetree: Master Coding Interviews - Data Structures & Algorithms

Master algorithms, ace tech interviews, and elevate your coding skills with Codetree's systematic curriculum and expert-crafted problem sets.

www.codetree.ai

코딩 테스트 준비, 막막함 속에서 발견한 한 줄기 빛

코딩의 중요성은 항상 인지하고 있었지만, 본격적으로 코딩 테스트(이하 코테)를 준비하려고 하니 어디서부터 어떻게 시작해야 할지 막막했습니다. 기존에는 프로그래머스, 백준과 같은 여러 문제 풀이 사이트를 기웃거리며 흩어져 있는 문제들을 정리하고, 필요한 개념들을 찾아다니느라 시간을 많이 허비했습니다. 마치 망망대해에서 홀로 등대를 찾아 헤매는 기분이었습니다. 양질의 문제는 많았지만, 그것들을 체계적으로 엮어 저의 실력을 '0부터 100까지' 끌어올려 줄 수 있는 가이드라인이 절실했습니다.

코드트리 챌린지, '체계적인 학습'과 '개념 중심의 이해'를 선물하다

이런 고민을 안고 있던 저에게 코드트리 챌린지는 그야말로 사막의 오아시스 같았습니다. 챌린지를 통해 제가 느낀 가장 큰 변화와 장점은 다음과 같습니다.

혼자 공부할 때보다 훨씬 체계적인 학습이 가능해요. 코드트리는 마치 잘 짜인 로드맵처럼 단계별 학습 과정을 제공합니다. 기초 문법부터 시작해 자료구조, 알고리즘의 핵심 개념으로 자연스럽게 이어지는 커리큘럼은 "다음에 무엇을 공부해야 하지?"라는 고민을 말끔히 해결해 주었습니다. 혼자 공부할 때는 무엇을, 어느 깊이까지 파고들어야 할지 감을 잡기 어려웠는데, 코드트리는 명확한 길을 제시해주어 학습 효율을 크게 높여주었습니다.
단순 문제 풀이를 넘어, 핵심 개념이 머릿속에 남아요. 이전에는 문제의 정답을 맞히는 데만 급급했다면, 코드트리에서는 각 문제와 강의가 어떤 핵심 개념을 목표로 하는지 명확히 제시해줍니다. 단순히 코드를 따라 치는 것이 아니라, '왜 이렇게 풀어야 하는지', '이 개념이 다른 문제에는 어떻게 적용될 수 있는지'를 스스로 고민하게 만듭니다. 덕분에 문제 풀이 후에도 관련 개념들이 머릿속에 더 오래, 그리고 더 선명하게 남는 것을 경험하고 있습니다.
매일 미션 해결을 통해 코딩과 자연스럽게 친숙해져요. '매일 조금씩이라도 꾸준히 하는 것'이 얼마나 중요한지 알면서도 실천하기 어려웠습니다. 하지만 코드트리 챌린지는 매일 해결해야 할 명확한 미션을 제공하고, 이를 완수했을 때의 성취감을 느낄 수 있게 해줍니다. 매일 코딩을 접하고, 작은 성공들을 쌓아가면서 코딩에 대한 부담감은 줄어들고 익숙함과 자신감은 커지고 있습니다.
함께하는 동료들 덕분에 동기부여가 확실해요! 챌린지에서 제공하는 디스코드 채널은 정말 큰 힘이 됩니다. 혼자서는 쉽게 지칠 수 있는 학습 과정이지만, 비슷한 목표를 가진 다른 참가자들과 질문을 주고받고, 서로의 성장을 응원하면서 강력한 동기부여를 얻고 있습니다. 마치 스터디 그룹에 참여하는 것처럼 긍정적인 에너지를 주고받으며 함께 나아가는 느낌입니다.

코드트리, 코테 준비의 'A to Z'를 책임지는 든든한 동반자

앞서 언급했듯이, 제가 기존에 느꼈던 가장 큰 어려움은 코테 준비를 위한 '체계적인 공간의 부재'였습니다. 여러 플랫폼에서 좋은 문제들을 찾아다니며 정보를 취합하는 과정은 비효율적이었고, 때로는 지치기도 했습니다.

하지만 코드트리 챌린지를 경험하면서, 드디어 코딩의 기초부터 심화, 그리고 실전 코테 대비까지 '0부터 100까지' 모든 것을 아우를 수 있는 든든한 학습 공간이 생겼다는 확신을 갖게 되었습니다. 아직 코드트리를 경험해보지 못한 분들이 계시다면, 특히 코딩 공부를 어떻게 시작해야 할지, 코테 준비를 어떻게 체계적으로 해야 할지 고민이신 분들이라면 이번 챌린지를 통해 코드트리의 진가를 꼭 한번 경험해보시기를 강력히 추천합니다.

[논문 리뷰] Your Diffusion Model is Secretly a Zero-Shot Classifier

john8538 — Thu, 20 Mar 2025 00:04:38 +0900

https://arxiv.org/abs/2303.16203

대규모 텍스트-이미지 확산 모델이 이미지 생성뿐만 아니라 추가적인 학습 없이 zero-shot classification를 수행가능함을 보여주는 연구

Abstract

기존 Diffusion 모델의 한계극복
- 기존에는 이미지 생성에만 집중하였다.
- 그러나 Diffusion 모델의 조건부 밀도 추정을 활용하면 이미지 분류와 같은 다운스트림 작업이 가능하다.
Diffusion Classifier 제안
- Stable Diffusion 같은 모델을 활용하여 추가적인 학습 없이 zero-shot classification가 가능
- 기존의 지식 추출방법보다 우수한 성과를 보임
- ImageNet에서 학습된 Class-Conditional Diffusion Model을 활용해 학습을 진행하였다.
- 그 결과 기존 모델 대비 Distribution Shift에 대한 강건성(Robustness)이 향상되었다.

Introduction

Diffusion model의 개요:
확률기반 생성모델로 데이터를 점진적으로 노이즈화(Forward Process)를 한 이후 이를 복원(Backward Process)하는 방식으로 학습을 진행한다. Variational Objective를 사용해여 ELBO(Evidence Lower Bound)를 최적화한다. 일반적으로 Noise Prediction 방식을 사용하여 노이즈를 예측하고 제거하는 과정을 거친다.
Diffusion model을 활용한 이미지 분류:
Diffusion 모델은 조건부 생성 모델이다. 조건부 생성모델은 입력 x와 선택하려는 클래스(유한한 클래스의 집합) c가 주어졌을때 클래스가 주어진 이미지 확률인 pθ(x|c)를 계산가능하다. 이때 베이즈 정리를 적용하면 이미지가 주어졌을 때 클래스의 확률인 $p(c|x)$를 추론할 수 있다.

$p(c \mid x) = \frac{p_{\theta}(x \mid c) p(c)}{p(x)}$

$pθ(x|c)$: Diffusion 모델을 활용한 클래스 조건부 확률
$p(c)$: 클래스에 대한 사전 확률 (보통 균등 분포로 가정)
$p(x)$: 전체 데이터 분포 (정규화 상수)

일반적인 조건부 Diffusion 모델에서는 클래스의 인덱스나 프롬프트를 추가적으로 입력값으로 사용한다.
이때 ELBO를 활용하여 클래스 조건부 로그 확률도 계산이 가능하다.

= 즉 모델이 특정 클래스 c에서 생성한 데이터의 유사도를 추정하는 방식으로 분류가 가능하다.

다시 한번 정리하자면

각 클래스 $c$에 대해, 입력 $x$와의 클래스 조건부 확률 $pθ(x∣c)$을 계산
베이즈 정리를 적용하여 사후 확률 $p(c∣x)$을 추정
클래스 $c$ 중 가장 높은 확률을 가진 클래스를 최종 예측값으로 선택

Diffusion 모델에서는 분류 확률을 직접 계산하는것은 매우 어렵다. 이때 Monte Carlo 추정을 활용한다. 각 클래스 $c$에 대해 여러 번 샘플링을 수행하고 $ε-prediction loss$(노이즈 복원 오차)를 측정하여 비교한다.
이후 오차가 작은 클래스 일수록 더 높은 확률을 할당하는 것이다.
이 과정에서 발생하는 분산을 줄이는 전략 뿐만아니라 추론 속도를 최적화하는 기법도 함께 연구하였다.

Figure 1. Overview of our Diffusion Classifier approach

우선 자세히 수식과 설명하기 전에 Figure 1을 보면서 간단하게 전체 패턴을 파악해보자.

Diffusion Classifier는 다음과 같은 과정을 통해 입력 데이터를 분류한다.

입력 이미지 $x$ 와 후보 클래스 $c$ 집합이 주어짐
- 예를 들어 Stable Diffusion에서는 후보 클래스가 텍스트 프롬프트가 되고,
- DiT (Diffusion Transformer) 같은 클래스 조건부 Diffusion Model에서는 클래스 인덱스가 후보가 됨.
각 클래스 ccc 에 대해 Diffusion Model이 예측한 노이즈 복원 오류(ELBO)를 계산
- Diffusion Model이 특정 클래스 $c$ 를 조건으로 주어진 $x$ 를 얼마나 잘 복원하는지 평가
- 이를 위해 ELBO를 기반으로 $log p_{\theta}(x | c)$ 를 근사함.
가장 적합한 클래스 $c^*$ 선택
- 즉 노이즈 복원 오류가 가장 작은 (가장 적합한) 클래스를 선택
- Stable Diffusion의 경우: 가장 적절한 텍스트 프롬프트를 찾음 → Zero-Shot Classification
- DiT (ImageNet Diffusion Transformer) 모델의 경우: 가장 적절한 클래스 인덱스를 찾음 → Supervised Classification

Method

3.1에서는 Diffusion Model의 기본 개념에 대해서 설명을한다.
https://arxiv.org/abs/2006.11239 을 먼저 읽고 온다면 조금 더 이해가 수월할 것이다.

나는 간략하게 이부분을 소개할 예정이다.

Diffusion Model은 Markov Chain 구조를 가지는 생성 모델이다.

Forward Process:
- 초기 깨끗한 이미지 $X_0$에 점진적으로 가우지안 노이즈를 추가하여 완전한 노이즈인 $X_t$ 형태로 변환하는 과정이다.
- 고정적인 확률 분포를 따르고 학습되지 않는다.
Reverse Process:
- 학습이 가능한 확률 분포이며 입력에 노이즈가 포함된 상태에서 이를 제거하여 원본 이미지로 복원하는 역할을 가진다.
- 특정 조건 $c$(아까말했던 클래스 인덱스나 텍스트 프롬프트)를 입력받아 이를 기반으로 복원한다

Diffusion Model이 특정 조건 $c$ 를 기반으로 원본 이미지를 생성할 확률 $pθ(x0|c)$를 추정할 수 있다면 이를 이용해 분류 문제를 해결할 수도 있음.
이 확률을 직접 계산하는 것은 매우 어렵기 때문에 ELBO(Evidence Lower Bound) 근사를 활용하여 최적화함.

3.2 에서는 Diffusion 모델을 이용한 분류에 대해 조금더 자세히 공식을 활용하여 설명한다.

아이디어 1. 베이즈 정리를 활용한 분류 가능성 계산

일반적인 생성 모델을 이용한 분류는 아래와 같은 베이즈 공식을 활용하여 수행한다.

$p_{\theta}(c_i | x) = \frac{p(c_i) p_{\theta}(x | c_i)}{\sum_{j} p(c_j) p_{\theta}(x | c_j)}$

모델 예측과 레이블에 대한 c클래스의 확률(prior p(c)) 베이즈 정리
만약 사전확률 $p(ci)$이 균등 분포라면 분모의 모든 $p(c)$가 상쇄되어 단순한 형태로 변형이 된다.

아이디어 2. Diffusion Model을 사용한 분류

기존 생성 모델과 다르게 Diffusion Model에서는 $pθ(x0|c)$를 직접 계산하는 것이 비현실적이다. (계산이 어렵고 계산량이 많기 때문)
이를 ELBO를 활용하여 근사적으로 분류 가능성을 계산한다.

즉 입력 이미지 x에 대해 각 클래스 c를 조건으로 주었을 때 Diffusion Model이 얼마나 정확하게 노이즈를 복원할 수 있는지를 기반으로 분류한다.

Monte Carlo 추정 (Sampling 기반 계산)

기대값 $\mathbb{E}_{t, \varepsilon}$ 를 직접 계산하는 것은 어렵기 때문에 Monte Carlo 방법을 활용함.
랜덤 샘플링된 $t$ 와 $ε$에 대해 반복적으로 평가하여 확률을 근사함.

이 방법의 장점:

기존의 Diffusion Model을 그대로 활용 가능 → 추가적인 학습 없이 Zero-Shot 분류 가능!
Stable Diffusion 같은 Text-to-Image 모델에서도 활용 가능 (Zero-Shot Text Classification)
DiT 같은 클래스 조건부 모델에서는 기존 분류기처럼 활용 가능 (Supervised Classification)

3.3 에서는 분산 감소 기법에 대해 설명한다.

현재의 문제점은 Monte Carlo 방법을 사용하려면 기대값을 근사해야하는데 이를 위해서는 수천 개의 샘플이 필요할 수 있다는 점이다. 계산 비용이 크고 샘플 변동성(Variance)이 너무 커서 안정적인 분류가 어려울 수 있다.

이를 해결하기 위해 Difference Testing 기법을 도입한다.

기존에는 각 클래스에 대해 독립적으로 샘플을 생성하여 비교했다.
그러나 절대적인 오류 크기가 아니라 클래스 간의 상대적인 오류차이만 필요하다.
고정된 샘플 집합 $S = \{ (t_i, \varepsilon_i) \}_{i=1}^{N}$ 을 사용하여 모든 클래스 c 에 대해 동일한 샘플을 평가
즉 c 가 바뀌어도 같은 노이즈 샘플 ε 과 타임스텝 t 를 사용하여 평가하면, 개별 샘플의 변동성(Variance)을 줄일 수 있음.

결과적으로 통계적 검정과 유사한 원리로 분산을 줄였다.
같은 샘플을 비교하므로 차이를 더 정확하게 측정할 수 있으며 실험결과 적은 샘플 수로도 분류가 가능해졌다.

그림 2는 이 아이디어를 시각화한 예시로 "Samoyed"와 "Great Pyrenees"라는 두 가지 프롬프트에 대해Great Pyrenees 이미지를 사용하여 ϵ-예측 오류를 보여준니다. 각 서브플롯은 하나의 ϵi에 해당하며, 오류는 $t∈{1,2,…,1000}$ 에서 평가된다.

주목할 점은 서로 다른 ϵi 샘플에 대한 ϵ-예측 오류의 분산이 상당히 크지만, 두 프롬프트 간 오류 차이의 분산은 훨씬 더 작다는 것이다. 이는 예측 오류의 차이가 클래스 간 구분을 위해 더 일관되고 신뢰할 수 있음을 나타낸다. 따라서 모든 조건부 입력에 대해 동일한 $(ti,ϵi)$를 사용함으로써 $p_{\theta}(c_i | x)$의 추정이 훨씬 더 정확해진다.

Practical Considerations

Diffusion Classifier는 이미지를 분류하기 위해 각 클래스마다 반복적인 오류 예측 평가가 필요하다. 이러한 평가는 3.3절에서 제시된 방법을 사용하더라도 상당한 추론 시간이 소요된다. 이 절에서는 추론 시간을 단축할 수 있는 추가적인 통찰과 최적화 방법들을 제시하고 있다.

1. 시간 단계의 효과 (Effect of timestep)

Diffusion Classifier는 $p_{\theta}(c_i | x)$를 추정하기 위해 시간 단계 $t$에 대해 균일 분포를 사용하여 ε-예측 오류를 추정한. 다른 시간 분포를 사용하면 더 정확한 결과를 얻을 수 있는지 확인한다.

그림 3은 각 클래스마다 단일 시간 단계만을 평가하여 Pets 데이터셋에 대한 정확도를 보여주는데, 직관적으로 정확도는 중간 시간 단계 t≈500일 때 가장 높다.
이는 다음과 같은 질문을 제기한다: 중간 시간 단계를 과샘플링하고, 낮거나 높은 시간 단계를 저샘플링함으로써 정확도를 개선할 수 있을까? 이에 저자는 여러 가지 시간 단계 샘플링 전략을 시도한다:

그림 4는 다양한 전략에서 샘플을 더 많이 사용할 때 평균 오류가 개선됨을 보여준다. 특히 균등 간격 시간 단계를 사용하는 것이 가장 효과적임을 확인할 수 있다. 또한 소수의 $t_i$를 반복적으로 사용하는 것이 ELBO 추정에 편향을 줄 수 있기 때문에 효율성이 떨어진다고 가설을 세운다.

2. 효율적인 분류 (Efficient Classification)

평가를 여러 단계로 나누어 각 단계에서 남아있는 클래스들을 일정 횟수만큼 시도하고 가장 큰 평균 오류를 보이는 클래스를 제외하는 방식으로 최적화를 진행하였다. 이 방법은 최종 출력이 아닌 클래스를 효율적으로 제거하고, 합리적인 클래스들에 대해 더 많은 계산을 할당할 수 있게 해준다.

예를 들어, Pets 데이터셋에서는 Nstages = 2로 설정하여 첫 번째 단계에서는 각 클래스를 25번 시도하고 평균 오류가 작은 5개의 클래스를 선택한다. 두 번째 단계에서는 남은 5개의 클래스에 대해 225번을 추가로 시도다. 이 방식으로 분류하는 데 걸리는 시간은 RTX 3090 GPU에서 18초로 확인되었다.

이러한 평가 전략을 통해 이미지넷과 같이 1000개 클래스가 있는 경우에도 적응형 전략을 사용하더라도 분류 시간이 약 1000초에 이르는 문제가 있지만 더 빠른 추론 시간을 위한 향후 연구가 필요하다고 말한다.

주요 결과: Diffusion Classifier는 추가적인 학습이나 레이블 없이도 Synthetic SD Data와 같은 대체 제로샷 접근 방식과 SD Features(전체 레이블된 학습 데이터를 사용한 감독 학습된 분류기)를 초과하는 성능을 보인다.
비교: Diffusion Classifier는 CLIP ResNet-50과 OpenCLIP ViT-H와 경쟁할 만큼 뛰어난 성능을 보였으며 이는 생성적 모델에서 큰 발전을 나타낸다.
핵심: Stable Diffusion의 훈련 데이터셋이 더 다양하게 확장된다면 성능이 더 향상될 가능성이 있습니다. (예: LAION-5B보다 덜 선별된 데이터셋으로 훈련)

Winoground 벤치마크: Diffusion Classifier는 CLIP과 같은 대비 모델에 비해 객체 및 관계 교환 작업과 같은 구성적 추론 과제에서 현저히 우수한 성능을 보인다.
핵심: Diffusion Classifier는 더 나은 교차 모달 결합을 통해 구성적 추론 능력이 뛰어난 성능을 보였고Stable Diffusion이 훈련 없이도 강력한 분류기와 추론기로 변환될 수 있음을 보여준다.

비교: Diffusion Classifier는 ImageNet에서 훈련된 ViT와 ResNet 모델들과 비교했을 때, 성능 면에서 우위를 점한다.
핵심: Diffusion Classifier는 256² 해상도에서 77.5%, 512² 해상도에서 79.1%의 정확도를 기록하며, 생성 모델이 분류 성능에서도 우수하다는 점을 보인다.

주요 결과: Diffusion Classifier는 고급 데이터 증강 기법 없이도 안정적인 훈련이 가능하며 과적합을 방지하면서 높은 정확도를 기록했다.
핵심: ViT 훈련의 불안정성과 비교했을 때 Diffusion Classifier는 학습 안정성에서 큰 장점을 보인다.

Conclusion

제로샷 및 표준 분류 성능: Diffusion Classifier는 제로샷 및 표준 분류에서 최신 discriminative 방법들과의 격차를 줄였으며 멀티모달 구성 추론에서는 이들을 상당히 능가하는 성능을 보였다.
배포 변화에 대한 강력한 성능: Diffusion Classifier는 배포 변화(Distribution Shift)에 대해서도 기존 모델들보다 뛰어난 효과적인 강건성을 나타냈다.

출처 : https://arxiv.org/abs/2303.16203

다국어 영수증 OCR

john8538 — Tue, 11 Feb 2025 21:10:21 +0900

Github: https://github.com/boostcampaitech7/level2-cv-datacentric-cv-05

GitHub - boostcampaitech7/level2-cv-datacentric-cv-05: level2-cv-datacentric-cv-05 created by GitHub Classroom

level2-cv-datacentric-cv-05 created by GitHub Classroom - boostcampaitech7/level2-cv-datacentric-cv-05

github.com

본 내용은 네이버 부스트캠프 7기에서 진행한 세번째 프로젝트 내용에 대해 정리한 내용입니다. 모든 관련 저작권은 네이버 부스트캠프에 있음을 밝힙니다.

프로젝트 개요

이번 프로젝트는 다국어 영수증에서 글자를 검출하기 위해 OCR(Optical Character Recognition) 기술을 활용하는 것이 목표였습니다. 특히 데이터 중심(Data-Centric) 접근법을 통해 학습 데이터를 추가하고 수정하며 모델의 성능을 향상시키는 데 초점을 맞췄습니다. CV-05조는 다양한 실험과 데이터 라벨링을 통해 최적의 모델을 구축하고 최종적으로 높은 성능을 달성하는 것을 목표로 했습니다.

프로젝트 진행 과정

1. 초기 설정 및 EDA (Exploratory Data Analysis)

프로젝트 초기에는 데이터셋을 분석하고 이를 바탕으로 모델을 설계하기 위한 기초 작업을 진행했습니다. 데이터셋은 중국어, 일본어, 태국어, 베트남어 영수증으로 구성되어 있었으며 각 언어별로 100개의 이미지가 제공되었습니다.

데이터셋 특성 분석: 영수증 이미지의 특성을 분석한 결과 세로로 긴 이미지가 많았으며 특히 태국어와 베트남어의 경우 가로로 긴 이미지도 존재했습니다. 또한, Bounding Box(BBox)의 개수는 태국어와 베트남어가 중국어와 일본어보다 평균적으로 더 많았습니다.
학습에 방해되는 요소: 휘어진 영수증, 복잡한 배경, 촬영자의 그림자 등이 학습에 방해가 될 수 있는 요소로 확인되었습니다.

2. 모델 실험 및 가설 설정

프로젝트는 총 4차에 걸쳐 가설을 설정하고 실험을 진행했습니다.

1차 가설: 구분선 및 잘린 텍스트 삭제, 새로운 데이터셋 추가

데이터 라벨링 과정에서 직접 데이터셋을 검토하고 오류를 수정했습니다. 특히 구분선과 잘린 텍스트가 모델의 성능에 부정적인 영향을 미치는 것을 확인하고 이를 제거하는 작업을 진행했습니다.

이 과정에서 정제기준을 엄격하게 잡았습니다. 점선을 제외한 특수문자 패턴(++++,====)의 경우는 BBOX를 유지했습니다.

구분선 및 잘린 텍스트 삭제: Baseline 추론 시 구분선과 잘린 텍스트가 잘 인식되지 않아 이를 삭제했습니다. 구분선 BBox를 제거하고 원본 글씨에서 25% 이상 잘린 글씨의 BBox도 제거했습니다.
새로운 데이터셋 추가: 각 언어별로 50개의 새로운 데이터(구글링 노가다, 데이터셋 사이트... 등등)를 추가하여 데이터셋을 확장했습니다. 이를 통해 모델의 일반화 성능을 향상시키고 Validation loss를 개선할 수 있었습니다.

위의 사진이 삭제하기전, 아래 사진이 삭제한 이후입니다. 성능이 매우 향상됨을 보입니다. 그대신 점선을 인식하지는 못하죠.

점수또한 향상되었습니다. Precision, Recall, f1 score 모두 올라갔습니다.

그러나 새로운 Datasets을 추가했을때는 큰 향상이 있지는 않았습니다. 추가한 데이터가 다양성이 있지 않았거나, 모델의 학습에 불필요했다고 판단하였습니다.

2차 가설: 구분선 모델과 텍스트 모델의 구분, BBox 최적화

2차 가설에서는 구분선 모델과 텍스트 모델을 분리하여 학습시키고 BBox 크기를 최적화하는 실험을 진행했습니다.

구분선 모델과 텍스트 모델 분리: 구분선과 텍스트의 특성 차이를 고려하여 각각의 모델을 학습시켰습니다. 이를 통해 Recall을 향상시키고, 텍스트 매칭 정확도를 높일 수 있었습니다.
BBox 크기 최적화: 작은 BBox와 큰 BBox의 문제점을 해결하기 위해, 라벨링 기준을 개선하고, 구부러진 텍스트는 다중 BBox를 적용하는 등의 방법을 사용했습니다.

3차 가설: Ensemble을 통한 성능 향상

3차 가설에서는 여러 모델의 결과를 Ensemble하여 개별 모델의 약점을 보완하고 성능을 향상시키는 실험을 진행했습니다.

Ensemble 방법: 여러 모델의 결과를 IOU(Intersection over Union)를 기준으로 그룹화하고, 투표 수를 통해 최종 BBox를 결정했습니다.

결과: Ensemble을 통해 Precision, Recall, F1 score가 모두 향상되었습니다.
- iou 0.5 vote 2: Precision 0.9387, Recall 0.8821, F1 score 0.9095
- iou 0.4 vote 2: Precision 0.9384, Recall 0.8832, F1 score 0.9099

또한 앙상블을 진행한 결과에 의해 재 앙상블을 진행해보았는데요.

미미하게나마 향상한 모습을 보입니다.

4차 가설: 구분선 예측 모델 구축

4차 가설에서는 구분선만을 예측하는 모델을 구축하여 기존 OCR 모델과의 Ensemble을 통해 성능을 더욱 향상시키는 실험을 진행했습니다.

구분선 예측 모델: 구분선만을 BBox로 표기한 데이터셋을 활용하여 Fine-tuning을 진행했습니다. 이를 통해 구분선을 더 정확하게 예측할 수 있었습니다.

최종적으로 노이즈가 존재한 결과를 제외한 이후의 사진입니다.

결과: 구분선 예측 모델을 통해 중복 예측을 줄이고, 구분선 위의 지저분한 BBox 생성을 방지할 수 있었습니다.

이후 이 구분선 예측모델과 기존의 앙상블 모델을 합쳐 제출하였습니다.

public에서는 5등, private에서는 3등을 달성하였습니다.

프로젝트의 성과 및 아쉬운 점

성과

다양한 가설 설정과 실험: 다양한 가설을 설정하고 실험을 통해 최적의 모델과 파이프라인을 구축했습니다.
Overfitting 없이 프로젝트 완료: Private 데이터셋에서도 좋은 성능을 보이며, Overfitting 없이 프로젝트를 완료했습니다.
높은 성능 달성: 최종적으로 Public LB Score 0.9196, Private LB Score 0.9196을 달성하며 높은 성능을 기록했습니다.

아쉬운 점

시간 부족: 계획했던 실험을 모두 완수하지 못했고 더 많은 Ensemble 조합을 시도하지 못한 점이 아쉬웠습니다.
구분선 이슈 해결 미흡: 구분선 예측 모델을 완벽하게 구축하지 못해 구분선 관련 이슈를 완전히 해결하지 못한 점이 아쉬웠습니다.

결론

이번 프로젝트를 통해 다국어 영수증에서 글자를 검출하기 위해 OCR 기술을 활용하는 과정을 체계적으로 경험할 수 있었습니다. 데이터 중심 접근법을 통해 학습 데이터를 추가하고 수정하며 모델의 성능을 향상시키는 과정에서 많은 것을 배울 수 있었습니다. 특히, GitHub를 통한 협업과 체계적인 실험 설계는 향후 프로젝트에서도 유용하게 활용할 수 있을 것입니다. 아쉬운 점도 있었지만 이를 통해 더 나은 프로젝트를 진행하기 위한 교훈을 얻을 수 있었습니다. 감사합니다.

재활용 품목 분류를 위한 Object Detection

john8538 — Tue, 11 Feb 2025 19:52:46 +0900

Github: https://github.com/lexxsh/level2-objectdetection-cv-05

GitHub - lexxsh/level2-objectdetection-cv-05: level2-objectdetection-cv-05 created by GitHub Classroom

level2-objectdetection-cv-05 created by GitHub Classroom - lexxsh/level2-objectdetection-cv-05

github.com

본 내용은 네이버 부스트캠프 7기에서 진행한 두번째 프로젝트 내용에 대해 정리한 내용입니다. 모든 관련 저작권은 네이버 부스트캠프에 있음을 밝힙니다.

프로젝트 개요

본 프로젝트는 재활용 품목을 자동으로 분류하기 위한 Object Detection 시스템을 개발하는 것을 목표로 했습니다. 다양한 최신 딥러닝 모델들을 실험하고 앙상블하여 높은 정확도를 달성했으며, 특히 데이터의 특성을 고려한 augmentation 기법들을 적용하여 성능을 향상시켰습니다.

프로젝트 구조 및 협업방식

GitHub를 통한 협업

프로젝트의 효율적인 관리를 위해 GitHub를 활용한 체계적인 협업 시스템을 구축했습니다.

브랜치 전략
- main: 최종 배포용 브랜치
- develop: 개발 단계 브랜치
- 개인 브랜치: 각 팀원별 작업 브랜치
이슈 관리
- 기능 개발, 버그 수정 등의 작업을 이슈로 등록하여 관리
- 명확한 작업 내용과 진행 상황 공유
커밋 컨벤션
- Udacity 커밋 컨벤션을 활용하여 일관된 커밋 메시지 작성
- 기능별 명확한 커밋 메시지로 히스토리 관련
개선사항
- feature 브랜치 활용: 기능별 브랜치 관리로 더 효율적인 개발 가능
- 템플릿 활용: 이슈와 PR의 표준화된 양식으로 의사소통 개선

프로젝트 진행 과정

1. 초기 설정 및 EDA (Exploratory Data Analysis)

프로젝트 초기에는 데이터셋을 분석하고, 이를 바탕으로 모델을 설계하기 위한 기초 작업을 진행했습니다. 데이터셋은 한 이미지 안에 여러 개의 Bounding Box가 존재하며, 특히 10개 이상의 Bounding Box가 있는 이미지도 다수 존재했습니다. 또한, 클래스 불균형 문제가 있었는데, 일반 쓰레기(0), 종이(1), 플라스틱(5), 비닐(7) 등의 클래스가 상대적으로 많았습니다.

Bounding Box 분포: 대부분의 Bounding Box는 이미지의 중앙에 위치해 있었으며, 배터리와 같은 작은 물체는 작은 Bounding Box를, 옷과 같은 큰 물체는 큰 Bounding Box를 가지고 있었습니다.
데이터 클렌징 필요성: 이미지 내에 Bounding Box가 많거나 겹치는 경우, 작은 Bounding Box를 학습하는 데 어려움이 있을 것으로 판단되어 데이터 클렌징의 필요성이 대두되었습니다.

2. 데이터 라벨링

데이터 라벨링 과정에서 GitHub의 'labeling' 툴을 활용하여 직접 데이터셋을 검토하고 오류를 수정했습니다. 수정 기준은 다음과 같았습니다:

Bounding Box가 15개 미만인 이미지만 수정
Loose wrapping (느슨하게 감싸진 경우) 수정
Unclear labels (명확하지 않은 라벨) 삭제
Add labels (라벨이 누락된 경우 추가)
Incorrect labels (잘못된 라벨) 수정

하지만, 데이터 포맷을 VOC에서 COCO로 변경하는 과정에서 문제가 발생하여 mAP가 0.001로 나오는 오류가 발생했습니다. 시간 부족으로 인해 해당 데이터셋을 사용하지 않기로 결정했습니다.

3. 모델 실험 및 가설 설정

프로젝트는 총 3차에 걸쳐 가설을 설정하고 실험을 진행했습니다.

1차 가설: SOTA 모델을 바탕으로 Baseline 모델 선정

1차 가설에서는 SOTA(State-of-the-Art) 모델을 탐색하고, 이를 바탕으로 Baseline 모델을 선정했습니다. 주요 모델로는 Detectron2, mmdetection, YOLO 등을 실험했습니다.

Detectron2: 최신 버전의 Config 파일 수정이 어려웠고, 학습은 성공했으나 Baseline과 유사한 성능(mAP 0.47)을 보여 추가 실험을 진행하지 않았습니다.
mmdetection: CO-DETR 모델이 가장 좋은 성능을 보였습니다. Image Size에 대한 실험은 2차 가설에서 진행했습니다.
YOLO: YOLOv8, YOLOv9, YOLOv10, YOLOv11 등 다양한 버전을 실험했습니다. YOLOv8은 CSPDarknet 개선 구조와 C2f 모듈을 도입하여 뛰어난 실시간 처리 능력을 보였습니다. YOLOv9은 GELAN 구조와 Programmable Gradient Information을 적용하여 추론 속도와 정확도를 높였습니다. YOLOv10은 EMO(Efficient Multi-scale Optimization)와 Dynamic Head를 도입하여 다양한 크기의 객체를 탐지할 수 있었습니다.
InterImage-H: CUDA 설정 관련 오류
EVA: Mask Data가 필요하여 코드를 수정하였으나 실패
ATSS(dyhead): Config 설정 오류로 낮은 성능이 나와 실패

이후 기존 데이터셋에서는 BBOX에 대한 정보만 존재하였기에 Mask Data를 추출하려 시도하였습니다. 구현은 완료하였으나, 시간부족과 실제 모델 적용의 오류가 있어 놔주었습니다.

2차 가설: Augmentations & TTA(Test Time Augmentation) 파이프라인 구축

2차 가설에서는 데이터셋의 특성을 반영한 Augmentations와 TTA를 활용한 Test 파이프라인을 구축했습니다.

데이터셋의 특징은 다음과 같습니다.

Objects가 겹치고 가려진 경우 다수
Bounding Box 대부분이 Image 중앙에 위치

이를 통해 가설 두가지를 작성했습니다.

Image의 해상도를 높이면 성능이 향상될 것이다!
특정 BBOX에 학습을 집중 시켜보자!

그후 이 가설에 맞게 실험을 진행하기로 하였습니다. 진행한 실험은 아래와 같습니다.

Super Resolution 실험: 이미지 해상도를 높이는 것이 성능에 미치는 영향을 실험했습니다. Image Size가 커질수록 성능이 좋아지는 것을 확인했습니다.
Crop 실험: RandomCrop, RandomCenterCrop 등의 기법을 활용하여 이미지를 무작위로 크롭하고, Bounding Box가 포함된 영역을 우선적으로 크롭했습니다. 이를 통해 원본 Train 데이터셋 4,883장을 Augmentation 후 29,126장으로 확장했습니다.
Heavy Augmentation: Mosaic, RandomFlip, RandomAffine, PhotoMetricDistortion 등을 적용하여 다양한 크기의 객체가 모델에 잘 학습되도록 했습니다.
TTA(Test Time Augmentation): Test 데이터셋에 Augmentation을 적용하여 다양한 크기의 객체를 효과적으로 인식할 수 있도록 했습니다. 특히, Multi Size Image를 활용한 TTA가 성능 향상에 도움이 되었습니다.

결과는 아래와 같습니다.

가설 1은 성공적으로 입증이 되었습니다!

이후 가설 2에 대해 진행하였는데요.

이런 방식으로 진행을 하였고 Random Crop을 활용하여 Offline Augmentation을 한결과 원본 데이터셋 4,883장에서 29,126장 까지 증가시켰습니다.

결과는 아래와 같습니다.

이후 추가적으로 다양한 Aumentations을 실험하였습니다.

저희는 Heavy Augmentation을 구성하였는데요. 대부분의 Object Detection에서는 많은 노이즈로 인한 다양한 Aumentations을 적용하는것이 결과가 좋다는 논문과 여러 캐글의 자료를 통하여 내린 결과입니다.

위 이미지와 시각적으로 확인해가며 진행하였습니다.

이에 대한 결과는 아래와 같습니다.

기본적으로 실험을 진행할때 동일한 조건을 갖추고 실험을 진행했어야하는데 그렇게 진행하지 못하였습니다. 이는 시간의 부족과 저희가 진행한 실험에 일부 오류가 존재함을 보여줍니다.

또한 모델별로 기본 config 설정과 모델구조가 다르기때문에 Aumentation을 다르게 적용했을때의 후 Ensemble 결과에 도움이 될 수 있을거란 생각도 일부? 하긴 했습니다..

마지막으로 TTA(Test Time Augmentation)을 활용한 실험을 진행해보았는데요, Test Datasets에 추론을 진행하기전에 이미지 사이즈에 대한 Augmentation을 적용해보았습니다.

결과는.....! 대성공이였습니다. 아주 높은 점수가 올랐습니다.

여러 논문과 Object Detection에 관련한 글에서 큰 효과가 있음을 입증하는 정보를 보고 시도하였습니다. 역시 리서치는 언제나 중요합니다.

3차 가설: IoU Threshold, TTA, Ensemble을 통한 성능 향상

3차 가설에서는 IoU Threshold, TTA, Ensemble 등을 활용하여 성능을 더욱 향상시키기 위한 실험을 진행했습니다.

IoU Threshold 실험: IoU Threshold 값이 클수록 접촉 있는 객체 탐지에 유리하지만, 작은 객체 탐지에는 불리할 수 있다는 점을 확인했습니다. 적절한 IoU Threshold를 탐색하는 것이 중요했습니다.
Ensemble: 여러 모델을 결합하여 성능을 높이는 실험을 진행했습니다. 특히, WBF(Weighted Boxes Fusion) 기법을 활용하여 DDQ, CO-DETR, Cascade R-CNN 모델을 Ensemble했을 때 가장 높은 성능을 보였습니다. 이 과정에서 앙상블을 하기전에 각 모델에 대한 결과를 Normalization을 진행했는데요, 이때 Min,Max 기법을 사용해 Confidence를 선형적으로 바꾸었습니다. 그후 Confidence가 0.1보다 낮은 bbox는 사용하지 않는 조건으로 진행했습니다.
(이 정규화도 성능효과에 아주 큰 기여를 했답니다!!)

Multi Size TTA: 앞에서 실험했던 TTA에 큰 성능효과가 있었기에 여러 사이즈를 가지고 조금더 다양하게 TTA를 진행했습니다. 가로/세로 비율이 다른경우 일정의 성능이 올랐지만 size를 더 추가한다고 성능이 오르진 않았습니다.
결론! 너무 다양하게 하는건 과하다!

IoU를 일정이상 높이면 점수 측정에 실패하는 경우가 발생했습니다.

이 원인으로는 IoU가 너무높은 경우, BBOX가 매우 많이 남게 되는데 이 경우에 서버에서 csv 파일을 제대로 채점하지 못하여 제출 오류가 발생한것으로 추정했습니다.

다음은 앙상블 결과입니다. 최대한 다양한 조합을 시도하여 좋은 결과가 나오는 앙상블 조합을 파악해보았습니다. 이과정에서 앞서 실험한 Yolo 결과도 같이 앙상블 실험을 진행했습니다.

앙상블을 하는 과정에서 각 모델의 가중치도 조절할 수 있었습니다.

각 모델의 성능에 따라 가중치를 조절하는것이 의미가 있을것이란 가설을 마지막으로 세우고 앞과 동일하게 4가지 모델을 사용하였습니다.

최종적으로 마지막 많은 수의 모델을 앙상블하며 실험은 마무리 되었습니다.

최종결과

최종적으로 다양한 모델을 Ensemble하여 Public LB Score 0.7635, Private LB Score 0.7522를 달성했습니다.

결과적으로 Public, Private에서 모두 1등을 달성했습니다.

CO-DETR, DINO, DDQ, Cascade R-CNN 모델을 Ensemble한 결과가 가장 높은 성능을 보였습니다.

저희가 프로젝트에 사용한 주요 모델은 다음과 같습니다.

최종 아키텍처입니다.

프로젝트 성과 및 아쉬운 점

성과

GitHub를 통한 체계적인 협업: 이전 프로젝트의 피드백을 반영하여 GitHub를 통해 체계적으로 협업을 진행했습니다.
다양한 가설 설정과 실험: 다양한 가설을 설정하고 실험을 통해 최적의 모델과 파이프라인을 구축했습니다.
높은 성능 달성: 최종적으로 Public LB Score 0.7635, Private LB Score 0.7522를 달성하며 높은 성능을 기록했습니다.

아쉬운 점

시간 부족: 계획했던 실험을 모두 완수하지 못했고, 더 많은 Ensemble 조합을 시도하지 못한 점이 아쉬웠습니다.
백업 문제: 서버가 타져서 일부 결과물이 사라지는 문제가 발생했습니다. 이를 통해 백업의 중요성을 깨달았습니다.

결론

이번 프로젝트를 통해 Object Detection 기술을 활용하여 재활용 품목을 분류하는 과정을 체계적으로 경험할 수 있었습니다. 다양한 모델을 실험하고 데이터셋을 분석하며 최적의 파이프라인을 구축하는 과정에서 많은 것을 배울 수 있었습니다. 특히, GitHub를 통한 협업과 체계적인 실험 설계는 향후 프로젝트에서도 유용하게 활용할 수 있을 것입니다. 아쉬운 점도 있었지만 이를 통해 더 나은 프로젝트를 진행하기 위한 교훈을 얻을 수 있었습니다.

이상입니다! 감사합니다

Sketch 데이터셋을 활용한 Image Classfication

john8538 — Sun, 29 Sep 2024 14:48:39 +0900

본 내용은 네이버 부스트캠프 7기에서 진행한 첫번째 프로젝트 내용에 대해 정리한 내용입니다.

깃허브는 아래 주소를 참고해 주세요.

https://github.com/boostcampaitech7/level1-imageclassification-cv-05?tab=readme-ov-file

주어진 데이터셋의 일부

1. 소개

디지털 시대에 들어서면서 손으로 그린 스케치나 낙서를 인식하고 분류하는 기술의 중요성이 점점 더 커지고 있습니다. 스케치는 아이디어를 빠르게 표현하는 수단으로, 예술, 디자인, 엔지니어링 등 다양한 분야에서 널리 사용됩니다. 하지만 컴퓨터가 이러한 스케치를 이해하고 분류하는 것은 여전히 challenging한 과제입니다.

프로젝트 배경

본 프로젝트는 컴퓨터 비전(CV) 분야의 핵심 과제인 이미지 분류에 초점을 맞추고 있습니다. 이미지 분류는 주어진 이미지가 어떤 범주에 속하는지 자동으로 판단하는 기술로, 인공지능과 머신러닝의 발전과 함께 급속도로 발전하고 있습니다. 이미지 분류 Task 중 Image-Net에서 제공하는 Sketch 데이터셋을 일부 정재하여 주어진 스케치 이미지에 대해 이미지 분류하는것이 이번 프로젝트의 목표입니다.

프로젝트 목적

우리팀의 목표는 최신 딥러닝 모델들을 활용하여 높은 정확도의 스케치 이미지 분류 시스템을 개발하는 것입니다. 특히, 우리는 다음 두 가지 주요 모델에 초점을 맞췄습니다:

CNN 아키텍처
ViT (Vision Transformer) 기반 아키텍처

이 두 모델은 각각 다른 접근 방식을 사용하며, 우리는 이들의 성능을 비교하고 최적화하는 것을 목표로 삼았습니다.

이미지 분류의 중요성

스케치 이미지 분류 기술은 다양한 분야에서 혁신적인 응용을 가능하게 합니다:

디자인 및 창의 산업: 빠른 아이디어 스케치를 자동으로 카테고리화하고 관리
교육: 학생들의 그림을 자동으로 평가하고 피드백 제공
UI/UX 디자인: 손으로 그린 와이어프레임을 인식하고 디지털화
게임 개발: 사용자가 그린 스케치를 게임 내 오브젝트로 변환
보안: 손으로 그린 서명이나 심볼을 인증 수단으로 활용

이러한 응용은 창의성을 높이고, 작업 효율성을 증대시키며, 인간-컴퓨터 상호작용을 더욱 직관적으로 만들 수 있습니다.

프로젝트의 도전과제

스케치 이미지 분류는 다음과 같은 특별한 도전과제를 가지고 있습니다:

스케치의 단순성: 스케치는 세부 정보가 부족하여 더 추상적입니다.
스타일의 다양성: 각 사람마다 그리는 스타일이 다르기 때문에 일관성이 떨어집니다.
노이즈와 불완전성: 손으로 그린 스케치는 종종 불완전하거나 노이즈를 포함합니다.

우리의 프로젝트는 이러한 도전과제를 극복하고, 더 나은 스케치 이미지 분류 모델을 개발하는 것을 목표로 하고 있습니다. 이를 통해 우리는 컴퓨터 비전 기술의 발전에 기여하고, 스케치를 활용한 새로운 응용 분야를 개척하고자 합니다.

2. 협업 구성

프로젝트를 시작하기에 앞서, 각자의 역할을 나누고 주어진 일을 진행하기로 결정하였습니다. 크게 나눈 부분은 Augmentation, github 관리, GPU서버 관리, EDA, 모델 Research 및 실험, 모델 학습코드 수정, wandb 실험 및 관리, 발표, 레포트 작성입니다. 전 이중에 모델 Resarch 및 실험과 전반적인 모델 실험부분, 발표를 담당하였습니다.

어떻게 하면 치우치지 않고 고르게 분배할지 의논하였으며 최종적으로는 이와같이 나누었습니다.

일정관리는 아래와 같이 잡았으며, 매주 2번씩 회의를 통해 진행사항을 공유하였습니다.

3. 데이터셋 구성

전반적인 데이터셋 이미지들은 다음과 같이 나타났습니다.

워터마크, 손글씨, 저작권 표시등 방해요소가 있는그림이 존재하였고, 정교한 그림부터 투박한 그림까지 다양한 분포가 이루어졌습니다. 간혹 컬러이미지가 섞여있는 경우가 있었으며, 대상피사체에 대한 스케치만 있는 것이 아닌 풍경이 포함된 그림도 존재하였습니다. 또한 대상이 여러개 포함된 이미지도 존재했으며, 클래스별로 이미지가 부족한 경우 피사체를 flip한 경우도 보였습니다.

크게 결측치는 나타나지 않았으며 500개의 클래스로 이루어진 Train, Test Sketch 데이터셋입니다.

전체적으로 이미지 사이즈에 대해서도 파악해보았습니다.
이미지 가로세로 픽셀 수에 대한 비율이 어떻게 되는지 분포입니다.
이 부분에 대해서도 어떠한 이미지 사이즈를 적용하여 모델을 학습시킬지에 대해서도 의논을 진행하였습니다

4. 모델 선택

가장 초기 모델은 resnet과 ViT를 기반으로 진행하였으며 그 후 각 단일 모델의 성능을 최대로 끌어올려 앙상블을 진행하는 구조로 실험을 하였습니다. 이때의 앙상블은 Soft-Voting을 사용했습니다.

Hard-Voting 보다 Soft-Voting 성능이 잘 나옴을 확인하였으며, 시간이 부족한 관계로 다른 앙상블은 진행하지 못하였습니다.

Why resnet? ViT?

Classification의 대표 모델인 CNN 계열 ResNet과 Vision Task에서 최근에 주로 사용되는 ViT

선택하게 된 이유는 다음과 같습니다.

Resnet은 지역적인 특징을 잘 포착하여 세부적인 선과 형태를 인식할 수 있고, Vit는 전체적 특징을 잘 포착하여 전체적인 구조와 배치를 이해할 수 있을 것이란 가설을 세웠기 때문입니다.

전반적인 Optimizer는 AdamW를 사용하였고, lr schedular는 ReduceLROnPlateau를 사용하였습니다.

그 결과는 0.81과 0.83이 나왔으며 이 둘을 앙상블 진행한 결과는 0.8640의 결과가 나왔습니다.

이로써 초기 가설 검증이 완료되었으며, 이를 기반으로 단일 최적모델을 실험하고, 앙상블을 비교하기로 계획하였습니다.

Image_Classification 리더보드 참고 & 논문 탐색

단일 모델을 찾는 과정에는 Image_Classification에 대한 리더보드를 주로 참고했습니다.

첫번째로 Paper with code에 있는 리더보드를 참고해 이를 기반으로 모델을 검색하고, 논문을 찾아보았으며,

두번째는 Hugging Face에 있는 Image_Classification 리더보드를 참고하여 여러 Task에서 성능이 좋은 각각 모델을 Search 하였습니다. Search 한 이후에는 각 모델에 대한 논문 탐색 및 구조 파악으로 어떠한 장점을 지니는지 공부해보는 시간도 가져보았습니다.

이렇게 Search 후 점차 한단계씩 밟아 나가기 시작했습니다.

기초 모델부터 리더보드에서 순위가 높았던 모델을 바탕으로 실험을 한결과,

정확도는 앞에 보이는 것과 같이 CNN아키텍처 를 지닌 convnext 기반 모델, ViT 아키텍쳐는 eva 모델이 높은 성능을 보임을 확인하였습니다. 각 모델에 대한 설명은 생략하도록 하겠습니다. 추후 왜 이러한 좋은 성능을 거둘 수 있었는지 간략하게 정리할 예정입니다.

각기 다른 이미지 크기로 학습된 모델들은 서로 다른 특성을 포착할 가능성이 높아 앙상블을 진행하게 되면 좋은 결과가 있을것이란 생각이 들어 CNN, ViT 각 모델들의 앙상블을 진행해보았습니다.

예상한 결과대로 단일 모델모다 높은 성능을 지님을 확인하였고, ViT에서는 시간이 부족해 가장 높은 단일 모델을 앙상블 하지는 못하였지만, 성능이 증가하는 모습을 확인할 수 있었습니다.

이때 Augmentation은 진행하지 않았으며 가장 기초적인 Baseline 코드에서 모델 코드부분만 일부 수정 후 실험을 진행하였습니다.

최종적으로 저희가 처음세웠던 가설인 CNN와 VIt 모델의 앙상블 결과가 기본 단일모델 모다 높게 나옴을 확인하였고, 가설검증을 완료하였습니다.

5. Augmentation

단순 모델 탐색으로만은 한계가 존재함을 확인하였습니다. 따라서 이미지 특성에 맞게 다양한 Augmentataion을 테스트해보고 실험하기로 결정하였습니다.

먼저 dataset을 분석해보았을때 같은 이미지에 augmentation만 취한듯한 스케치가 다수 존재함을 파악하였습니다.

따라서 실제 우리가 생각하는 것보다 unique한 train data는 적을 수 있을것이라 판단하였고 이와 유사한 특징이 test sketch image에서도 나타난다고 가정했을 때 이러한 특징을 반영하는 augmentation이 도움이 될 수 있다고 생각하였습니다.

또한 중간에 글씨가 들어가 있거나 스케치 자체가 지저분한 경우 등 noisy한 sketch가 다수 존재함을 확인해/Sketch 내에 target뿐만 아니라 다양한 배경과 다른 객체가 존재하는 경우가 있었으며 Sketch에 따라 같은 target에 대해서도 구도, 체형 등이 크게 다른 경우도 존재함을 파악하였습니다.

위에 보이는 사진과 같이 데이터셋에 따라 가설을 세우고 이에 해결책을 Augmentation을 이용해 검증하는 과정을 거치며 테스트해보았습니다. 그러나 Augmentation 만으로는 완벽하게 해결할 수 없다고 판단해, 다른방법도 추가로 조사하고 공부해보았습니다.

먼저 첫번째로 GAN등을 이용해 추가적인 학습데이터를 구축해보고자 하였는데, 이부분은 실패하였습니다.

프롬포팅에서 오류가 존재하였는지

위의 오른쪽 사진과 같이 이상한 형태로 나오는 경우가 많았습니다. 또한 시간이 부족하였기에 더 많은 시도와 다른 Diffusion모델을 사용해보지는 못하였습니다.

저희는 DreamBooth fine-tuning with LoRa 모델을 활용하였으며, 금붕어를 생성하고자 하였습니다.

두번째로 사진내에 존재하는 글씨, 라벨과 같은 내용을 지우고자 시도도 해보았습니다.

위 사진을 보게 되면 이 결과 스케치가 오히려 흐릿해지는 결과를 보이기도 하였습니다.

추후 의논을 거쳐보았을때 글씨가 오히려 스케치 Classification에 도움이 될 수 있을것이라는 가설을 세웠습니다. 이 가설을 시간이 부족해 검증을 실험을 통해 진행하지는 못하였습니다.

모델의 오류를 해결할 수 있는 TTA를 진행해보기도 하였으나, 실험결과 오히려 성능이 낮아지는 모습이 보여 이또한 보류하였습니다.

이후에는 다른 Augmentation인 Mixup & Cutmix를 진행했습니다.

여러 논문을 바탕으로 Mixup보단 Cutmix가 다양한 Task에서 더 좋은 성능을 보임을 확인하였으며 이를 기반으로 파라미터를 조정하여 실험해 보았습니다.

데이터셋의 특징때문인지 하이퍼파라미터 조절에 따라 크게 성능이 향상되는 모습은 보이지 않았습니다. 학습속도가 비교적 빠른 Resnet에서 이를 실험하였는데 본 베이스라인코드 성능보다는 크게 향상되는 모습을 보였습니다.

추후 ViT에서 이를 적용하여 실험을 하였을때는 큰 성능향상을 보이지 못하였는데, 저희는 이를 조금 더 복잡한 모델, 다른 아키텍쳐때문이라고 결론내렸습니다. 따라서 최종적으로는 베이스라인코드로 학습시킨 이후에 추가적으로 모델의 가중치를 불러와 추가학습을 일부 진행하였습니다.

6. Result

최종적용한 Augmnetation은 아래와 같습니다.

SketchRandAugmnet라는 함수를 만들어 최적의 성능을 보이는 Augmentation을 적용하도록하였습니다.

함수의 구성은 아래 코드와 같습니다.

class SketchAutoAugment(A.ImageOnlyTransform):
    def __init__(self, always_apply=False, p=1.0):
        super(SketchAutoAugment, self).__init__(always_apply, p)
        self.policy = self.sketch_policy()

    def sketch_policy(self):
        return [
            [('Rotate', 0.7, 2), ('Posterize', 0.6, 3)],
            [('ShearX', 0.8, 4), ('AutoContrast', 0.4, None)],
            [('TranslateX', 0.8, 8), ('TranslateY', 0.6, 6)],
            [('Invert', 0.3, None), ('Equalize', 0.5, None)]
        ]

    def apply_augment(self, image, op_name, magnitude):
        img = Image.fromarray(image)
        if op_name == 'Rotate':
            return np.array(img.rotate(magnitude * 2.0))
        elif op_name == 'Posterize':
            return np.array(ImageOps.posterize(img, magnitude))
        elif op_name == 'ShearX':
            return np.array(img.transform(img.size, Image.AFFINE, (1, magnitude * 0.1, 0, 0, 1, 0)))
        elif op_name == 'AutoContrast':
            return np.array(ImageOps.autocontrast(img))
        elif op_name == 'TranslateX':
            return np.array(img.transform(img.size, Image.AFFINE, (1, 0, magnitude, 0, 1, 0)))
        elif op_name == 'TranslateY':
            return np.array(img.transform(img.size, Image.AFFINE, (1, 0, 0, 0, 1, magnitude)))
        elif op_name == 'Invert':
            return np.array(ImageOps.invert(img))
        elif op_name == 'Equalize':
            return np.array(ImageOps.equalize(img))
        return image

    def apply(self, image, **params):
        sub_policy = random.choice(self.policy)
        for op_name, prob, magnitude in sub_policy:
            if random.random() < prob:
                image = self.apply_augment(image, op_name, magnitude)
        return image

    def get_transform_init_args_names(self):
        return ("always_apply", "p")

이를 적용함으로써 데이터셋 다양성증가, 모델의 일반화 능력 향상을 기대했습니다.

이 Augmentation을 적용하면서 추가로 라이브러리를 사용해 또다른 Augmentation도 진행해보았습니다.

이와 같이 앞에서 설명했던 여러 Augmentation을 가설에 맞게 테스트해보며 최적의 성능을 찾아보았습니다.

모델의 성능은 기존보다 상향됨을 보였으며 이를 기반으로 앙상블을 진행하였습니다.

동일한 모델구조를 가지나 서로다른 입력이미지의 크기와 다른 대규모이미지 데이터셋을 학습시킨 두 모델과 앞선 가설에서 증명했던 CNN, ViT모델구조를 앙상블 진행하여 최종적으로는 0.94라는 Public score를 달성할 수 있었습니다.

최종 리더보드 결과는 아래와 같습니다.

Public과 Private의 차이가 좀 존재합니다. 그 원인을 분석해보니 시간이 부족하여 단일모델에 대한 하이퍼파라미터 조정을 못해본것으로 나타났습니다. 거의 모든실험의 Optimizer를 고정하여 실험하였고 lr, batch size는 모델의 사이즈에 따라 조정하였습니다. lr_schedular도 논문이나 다른 Task에 최적의 성능을 내는 부분에 대해 검색 후 추가로 실험을 진행해보았다면 충분히 더 높은 점수를 받을 수 있지 않았을까 하는 아쉬움도 있습니다.

그럼에도 비교적 높은 성능을 받을 수 있었던 결과에 대해 분석해보았습니다.

앙상블 효과:각 모델의 예측을 결합함으로써 개별 모델의 약점을 상호 보완합니다. 예측의 불확실성을 줄이고, 더 안정적이고 정확한 결과를 얻을 수 있습니다.

EVA-02의 강점:대규모 데이터셋에서 사전 학습된 모델로, 풍부한 시각적 지식을 가지고 있습니다. 자기 주의 메커니즘을 통해 스케치의 중요한 부분에 집중할 수 있습니다.

EfficientNet의 강점:효율적인 아키텍처로 계산 비용 대비 높은 성능을 제공합니다. CNN의 특성상 지역적 특징과 질감 정보를 잘 포착합니다.

프로젝트를 진행하며 아쉬웠던 점은 방금 언급했던것과 동일하게 시간이 부족해서 옵티마이저, lr ,bastch size, 스케쥴로와 같은 하이퍼파라미터 튜닝을 하지 못했고, 그래서 성능을 최대한으로 끌어올리지 못했던 점, 또한 협업 과정에서 깔끔하게 코드를 작성하지 못했고 코드를 서로 설명해주는 과정에서 협업이 부드럽지 못하는 아쉬움이 있었습니다.

다음프로젝트에서는 이러한 아쉬움을 줄여 조금더 발전된 모습을 보일 수 있도록 노력할 예정입니다.

7. 코드 구조 및 회고

최종적으로 제가 작성하였던 코드 구조와 회고를 첨부하며 프로젝트 정리를 마무리 하겠습니다. 긴 글 읽어주셔서 감사합니다.

백준-1149번 RGB거리

john8538 — Fri, 16 Aug 2024 02:52:27 +0900

https://www.acmicpc.net/problem/1149

동적계획법 즉 DP를 활용하여 문제를 해결할 수 있다.

그림을 통하여 문제를 조금 더 간편하게 이해해보자.

문제 이해
- N개의 집이 있고, 각 집은 빨강(R), 초록(G), 파랑(B) 중 하나의 색으로 칠해야 한다.
- 인접한 집들은 서로 다른 색으로 칠해져야 한다.
- 각 집을 각 색으로 칠하는 비용이 주어진다.
- 목표는 모든 규칙을 만족하면서 전체 비용을 최소화하는 것.
해결 접근 방식 (동적 프로그래밍)
- 그림에서 보이듯이, 각 단계(집)마다 3가지 선택(R, G, B)이 존재.
- 각 단계에서의 최소 비용은 이전 단계의 결과에 의존.
- 따라서 이를 해결하려면 전에 단계에서 가져올 수 있는 숫자중 최소를 구한 후, 현재 위치와 더하면 된다!
- 이를 계속 한 행마다 반복해준다면 마지막 행 중 최소 값을 구하면 답이 나온다!
DP 테이블 구성
- DP[i][j]: i번째 집을 j색으로 칠했을 때의 최소 비용 (j = 0: 그림에서 검정색, j = 1: 그림에서 파랑색, j = 2: 그림에서 빨간색)
점화식
- DP[i][0] = min(DP[i-1][1], DP[i-1][2]) + cost[i][0] (오른쪽 대각선 두개 중 최소)
- DP[i][1] = min(DP[i-1][0], DP[i-1][2]) + cost[i][1] (왼쪽 대각선 , 오른쪽 대각선 중 최소)
- DP[i][2] = min(DP[i-1][0], DP[i-1][1]) + cost[i][2] (왼쪽 대각선 두개 중 최소)
구현 단계
- a) 입력 받기: N과 각 집의 색칠 비용
- b) DP 테이블 초기화: 첫 번째 집의 비용으로 초기화 c) 두 번째 집부터 N번째 집까지 반복:
- 각 색상에 대해 이전 집의 다른 두 색상 중 최소 비용을 선택하고 현재 비용을 더함
- d) 마지막 행(N번째 집)에서 최소값을 선택하여 출력
시간 복잡도는 O(N)이다.

구체적인 코드는 아래와 같다.

n = int(input())
cost = []
for i in range(n):
    cost.append(list(map(int,input().split())))
for i in range(1, n):
    cost[i][0] = min(cost[i-1][1], cost[i-1][2]) + cost[i][0]
    cost[i][1] = min(cost[i-1][0], cost[i-1][2]) + cost[i][1]
    cost[i][2] = min(cost[i-1][0], cost[i-1][1]) + cost[i][2]

print(min(cost[-1]))

백준-11727번 2xn 타일링 2

john8538 — Fri, 16 Aug 2024 02:42:44 +0900

https://www.acmicpc.net/problem/11727

우선 문제에 접근해보자.

2×n 직사각형을 1×2, 2×1과 2×2 타일로 채우는 방법의 수를 구하는 프로그램을 작성해야한다.

규칙을 그림을 통하여 그려보았다.

2x3을 보게 된다면 규칙을 쉽게 찾을 수 있다.

앞서 구한 2x2에서 2x1이 오른쪽으로 붙어 2x3이 되는 경우와 2x1이 왼쪽으로 붙어 2x3이 되는 경우

총 2가지가 존재한다.

따라서 2x2에서 구한 3개에 2x1(2개)를 더해 총 5개가 된다.

2x4를 생각해보자.

2x3에서 2x1이 붙는 경우와 2x2에서 2개씩 결합하는 경우가 존재해 총 11개가 된다.

이를 점화식으로 구해보자.

A(n) = A(n-1) + (2 X A(n-2)) 가 된다.

이를 코드로 작성하자.

n = int(input())
ans = [1,3]
for i in range(2,n):
        ans.append(ans[i-1] + 2*ans[i-2])
print(ans[n-1]%10007)

처음에는 재귀 방식으로 작성했으나 시간오류때문에 반복문써서 푸는걸로 수정했다.

백준-9095번 1,2,3 더하기

john8538 — Fri, 16 Aug 2024 02:40:11 +0900

https://www.acmicpc.net/problem/9095

DP란?

Divide-And-Conquer : Top-down approach

나누어진 부분들 사이에 서로 상관관계가 없는 문제를 해결하는데 적합
피보나치 알고리즘의 경우에는 나눈어진 부분들이 서로 연관이 있다.
즉, 분할정복식 방법을 적용하여 알고리즘을 설계하게 되면 같은 항을 한 번 이상 계산하는 결과를 초래하게 되므로 효율적이지 않다. 따라서 이 경우에는 분할정복식 방법은 적합하지 않다.

Dynamic programming: bottom-up approach

큰 문제를 작은 문제로 나눈 다는 점은 Divde-And-Conquer와 동일하다.
그러나 작은 문제를 먼저 해결하고, 그 결과를 저장한 다음, 후에 그 결과가 필요할 때마다 다시 계산하는 것이 아니고 저장된 결과를 이용해 도출해낸다.
여기에서의 Programming → 해답을 구축하는데 배열(테이블)을 사용함을 의미한다.

전에 결과를 이용해서 원하는 결과를 도출해낸다는 DP의 정의에 따라 접근해보자.

먼저 1을 1,2,3의 합으로 나타내는 방법은 1 = 1 한 가지다.

다음 2를 1,2,3의 합으로 나타내면 2 = 1+2 , 2 두 가지이다.

반복해가며 규칙을 발견해보자.

1	1	1개
2	1+1 2	2개
3	1+1+1 1+2 (2개) 3	4개
4	1+1+1+1 1+1+2 (3개) 2+2 1+3 (2개)	7개
5	1+1+1+1+1 1+1+1+2 (4개) 1+2+2 (3개) 1+1+3 (3개) 3+2 (2개)	13개
6	1+1+1+1+1+1 1+1+1+1+2 (5개) 1+1+2+2 (6개) 1+1+1+3 (4개) 2+2+2 2+3+1 (6개) 3+3	24개
7	-	44개

살펴보게 되면 전에 구했던 숫자들이 다음 숫자를 구성하는데 포함됨을 확인할 수 있다.

우선 1,2,3 인 경우는 기본으로 크게 규칙이 없이 기본으로 제공이 된다.

즉 A(1) = 1, A(2) = 2, A(3) = 4 이다.

A(4)인 경우를 살펴보게 되면, 이 경우에는 A(1) + 3, A(2) + 2, A(3) + 1로 이루어진다.

각 값을 만들어주기 위한 값에 추가로 숫자를 더해주면 되는 것이다.

점화식을 작성해보게 되면 A(n) = A(n-1) + A(n-2) + A(n-3) 이다.

이 결과를 바탕으로 코드를 작성해보자.

나는 처음엔 재귀로 작성하였다.

def dp(n):
    if(n == 1):
        return 1
    elif(n == 2):
        return 2
    elif(n == 3):
        return 4
    else:
        return(dp(n-1)+dp(n-2)+dp(n-3))
T=int(input())
for i in range(T):
    n = int(input())
    print(dp(n))

하지만 이렇게 작성하게 되면 계산량이 늘어나 시간초과가 발생할 수 있다.

다행? 이도 이번문제에서는 통과를 했으나 반복문이나, 리스트에 저장해가며 작성하는걸 추천한다.

이를 개선한 버전은 아래와 같다.

def dp(n):
    if n <= 3:
        return [0, 1, 2, 4][n]
        
    # n+1 크기의 리스트를 생성하고 초기값을 설정
    dp_list = [0] * (n + 1)
    dp_list[1] = 1
    dp_list[2] = 2
    dp_list[3] = 4
   
    # 4부터 n까지 값을 계산하여 리스트에 저장
    for i in range(4, n + 1):
        dp_list[i] = dp_list[i-1] + dp_list[i-2] + dp_list[i-3]
    return dp_list[n]

T = int(input())
for _ in range(T):
    n = int(input())
    print(dp(n))

회귀 모델 평가 지표

john8538 — Mon, 12 Aug 2024 20:40:09 +0900

회귀 모델의 성능을 평가하는 데 사용되는 주요 지표들에 대해 자세히 알아보겠습니다. 이 지표들은 모델의 예측이 실제 값과 얼마나 가까운지, 그리고 모델이 데이터의 변동성을 얼마나 잘 설명하는지를 측정합니다.

1. 평균 절대 오차 (Mean Absolute Error, MAE)

MAE는 예측값과 실제값 차이의 절대값 평균을 계산합니다.

수식:

여기서:

n은 데이터 포인트의 수
y_i는 실제값
ŷ_i는 예측값

특징:

해석이 직관적이고 쉽습니다.
오차의 단위가 원래 변수의 단위와 동일합니다.
이상치에 비교적 덜 민감합니다.

사용 사례:

예측 오차의 평균적인 크기를 쉽게 이해해야 할 때
이상치의 영향을 줄이고 싶을 때

2. 평균 제곱 오차 (Mean Squared Error, MSE)

MSE는 예측값과 실제값 차이의 제곱의 평균을 계산합니다.

수식:

특징:

오차를 제곱하므로 큰 오차에 더 큰 가중치를 줍니다.
항상 양수이며, 0에 가까울수록 좋은 모델입니다.
원래 변수의 단위의 제곱이 됩니다.

사용 사례:

큰 오차에 더 민감하게 반응해야 할 때
미분 가능하므로 최적화 알고리즘에서 자주 사용됩니다.

3. 제곱근 평균 제곱 오차 (Root Mean Squared Error, RMSE)

RMSE는 MSE의 제곱근입니다.

수식:

특징:

MSE와 같은 특성을 가지지만, 원래 변수와 같은 단위를 가집니다.
MAE보다 큰 오차에 더 민감합니다.
항상 MAE보다 크거나 같습니다.

사용 사례:

오차의 표준편차와 유사한 척도가 필요할 때
큰 오차를 펑가하되, 해석 가능한 단위를 유지하고 싶을 때

4. 결정 계수 (R-squared, R²)

R²는 모델이 데이터의 변동성을 얼마나 잘 설명하는지를 나타내는 지표입니다.

수식:

여기서:

ȳ는 y의 평균

특징:

0에서 1 사이의 값을 가집니다. (음수가 될 수도 있지만 드뭅니다)
1에 가까울수록 모델이 데이터를 잘 설명한다는 의미입니다.
독립 변수가 추가될 때마다 증가하는 경향이 있습니다.

사용 사례:

모델의 전반적인 적합도를 평가할 때
다른 모델들과 비교할 때
모델이 설명하는 변동성의 비율을 알고 싶을 때

주의사항:

R²만으로는 모델의 예측 정확도를 판단하기 어렵습니다.
과적합된 모델에서도 높은 R² 값이 나올 수 있으므로, 다른 지표들과 함께 고려해야 합니다.

지표 선택 시 고려사항

문제의 특성: 큰 오차에 민감해야 하는 경우 MSE나 RMSE를, 그렇지 않은 경우 MAE를 선택할 수 있습니다.
해석의 용이성: MAE와 RMSE는 원래 변수와 같은 단위를 가져 해석이 쉽습니다.
이상치의 영향: 이상치에 덜 민감한 지표가 필요하다면 MAE를 고려할 수 있습니다.
모델 비교: 여러 모델을 비교할 때는 R²가 유용할 수 있지만, 다른 지표들과 함께 사용해야 합니다.

이러한 지표들을 종합적으로 고려하면 모델의 성능을 더 정확하게 평가할 수 있습니다. 또한, 교차 검증 등의 기법을 사용하여 모델의 일반화 능력도 함께 평가하는 것이 중요합니다.

머신러닝 라이프사이클: 인공지능 프로젝트의 전체 과정 이해하기

john8538 — Mon, 12 Aug 2024 20:17:10 +0900

01) 머신러닝이란?

Tom Mitchell(1998)의 정의에 따르면, 머신러닝은 "경험 E로부터 학습하여 작업 T에 대한 성능 P를 향상시키는 시스템"입니다. 즉, 데이터(경험)를 통해 특정 작업의 성능을 스스로 개선하는 알고리즘을 연구하는 학문이라고 할 수 있습니다.

1.1 머신러닝의 적용사례

현재 머신러닝은 다양한 분야에서 활용이 되는데요,

컴퓨터 비전
문자 인식
MLP
음성 인식 등에 사용이 됩니다.

1.2 머신러닝의 종류

크게 3가지 유형으로 나뉩니다.

지도학습 : 레이블이 존재하는 데이터(정답)로 학습
비지도 학습 : 레이블이 없는 데이터로 패턴을 찾음
강화학습 : 행동에 대한 보상을 통해 학습

02) 머신러닝 라이프 사이클

머신러닝 라이프사이클은 머신러닝 모델을 개발, 배포, 유지보수하는 일련의 단계들을 정의하는 프로세스입니다. 일반적으로 생각하는 것보다 더 복잡하고 다양한 단계를 포함합니다.

https://facerain.github.io/improve-dl-performance/

2.1 머신러닝 라이프 사이클의 구성

계획하기 (Planning)
데이터 준비 (Data Preparation)
모델 엔지니어링 (Model Engineering)
모델 평가 (Model Evaluation)
모델 배포 (Model Deployment)
모니터링 및 유지 관리 (Monitoring and Maintenance)

주로 위와 같은 단계로 이루어지며 각 한 단계씩 살펴보겠습니다.

계획하기

ML 애플리케이션의 범위, 성공 지표, 실현 가능성 평가
비즈니스 프로세스 개선 방법 이해
비용-편익 분석
명확하고 측정 가능한 성공 지표 정의
타당성 보고서 작성

데이터 준비

데이터 수집 및 라벨링
데이터 정리 (Cleaning)
데이터 처리
데이터 관리

모델 엔지니어링

효과적인 모델 아키텍처 구축
모델 메트릭 정의
모델 학습 및 검증
실험 및 메타데이터 추적
모델 압축 및 앙상블
도메인 전문가와 결과 해석

모델 평가

테스트 데이터셋으로 모델 테스트
산업적, 윤리적, 법적 프레임워크 준수 확인
견고성(robustness) 테스트
계획된 성공 지표와 결과 비교

모델 배포

현재 시스템에 머신러닝 모델 배포
다양한 플랫폼 (클라우드, 로컬 서버, 웹 브라우저 등)에 배포 가능
API, 웹 앱, 플러그인, 대시보드 등을 통해 접근 가능

모니터링 및 유지 관리

지속적인 시스템 모니터링 및 개선
모델 지표, 하드웨어 및 소프트웨어 성능, 고객 만족도 모니터링
필요시 전체 머신러닝 수명 주기 개선

마치며

머신러닝 프로젝트는 단순히 모델을 만들고 배포하는 것 이상의 복잡한 과정을 포함합니다. 머신러닝 라이프사이클을 이해하고 각 단계를 체계적으로 수행함으로써, 더 효과적이고 지속 가능한 AI 솔루션을 개발할 수 있습니다. 앞으로 Linear Regression과 NN Classifier에 대해 더 자세히 알아볼 예정이니 기대해 주세요!