논문 정리 서론 Hyperparameter Optimization(HPO)은 많은 시간과 비용 필요함. Bayesian Optimization(BO)은 효율적이나 여전히 모델 전체 학습이 필요함. Freeze-thaw BO은 모델 중 좋을 것 같은 후보만을 계속 학습시키는 방식. FT-BO는 실제 모델을 전부 학습하지 않고 일부만 학습...

논문 정리 서론 LLM은 train 데이터에 있는 편향을 지속하고 재생산함. LLM의 편향 완화 위해 모델 표현을 재학습하거나 추가적인 데이터로 fine-tuning 하는 방법 있음. 하지만 최신 LLM은 대부분 내부 구조나 학습 데이터를 수정하기 어려운 폐쇄형 API 전용 모델임. 오픈소스 LLM을 사용하더라도 충분한 데이터를 수집하...

논문 정리 서론 인터넷의 발전과 함께 성차별, 인종차별 등을 포함한 혐오 표현도 증가. 혐오 표현를 식별하는 것은 맥락, 방식, 방대한 양 등으로 인해 어려운 문제임. NLP의 발전으로 혐오 표현 탐지가 연구되고 있으나 interpretability가 부족해 신뢰 낮음. ML, DL(LSTM, BiLSTM, CNN-BiLSTM), tr...

논문 정리 서론 YOLO(You Only Look Once): 객체 식별, 위치 파악에 사용, 빠르고 정확. 모델의 hyperparameter는 모델의 성능 향상에 중요함. 이러한 hyperparameter의 영향은 어떠할까? 목표 특정 데이터에서 여러 평가지표(precision, recall, mAP50, mAP50-95)에 대...

혼공학습단 후기 이번에 처음 혼공학습단을 6주 동안 진행했다. 처음에는 조금 가벼운 마음으로 대충 해봐야지 생각을 했는데, 생각보다 대충 하는 것을 실패한 것 같다. 하지만 그렇다고 엄청 자세하게 한 것도 아니고 적당히 하게 된 것 같다. 혼공학습단을 하면 혼공족장?이라는 분이 피드백을 해준다고해서 처음에는 기대를 조금 했었다. 그런데 나중에 보니 ...

본 게시글은 한빛미디어의 혼자 공부하는 머신러닝+딥러닝을 바탕으로 작성되었습니다. 차원과 차원 축소 지금까지 우리는 다양한 data를 살펴보았다. Data에는 feature들이 있는데, 예를 들어 회원 data에는 이름, 나이, 성별 등 다양한 feature들이 존재한다. 그런데 한두개라면 상관 없겠으나 지난번에 살펴본 이미지의 경우 feature...

본 게시글은 한빛미디어의 혼자 공부하는 머신러닝+딥러닝을 바탕으로 작성되었습니다. K-Means 알고리즘 작동 방식 이번에는 진짜 unsupervised learning을 시도해볼 것이다. 대표적인 알고리즘으로 k-평균(K-Means) 알고리즘이 있다. 우리가 지난번에는 mean을 직접 계산했다면 여기서는 mean을 자동으로 구해 기준을 만들어 c...

본 게시글은 한빛미디어의 혼자 공부하는 머신러닝+딥러닝을 바탕으로 작성되었습니다. 비지도 학습 지금까지 우리는 Supervised learning에 대해서 살펴보았었다. 다시 한번 설명하자면, supervised learning은 우리가 친절하게 컴퓨터에게 어떤 문제가 있을 때 친절하게 답을 알려주고 학습을 시키는 것이다. 그와 반면 지금부터 우리...

본 게시글은 한빛미디어의 혼자 공부하는 머신러닝+딥러닝을 바탕으로 작성되었습니다. 정형 데이터와 비정형 데이터 우리는 data를 분석할 때 다양한 데이터를 보게 된다. 그런데 지금까지 봤던 데이터들은 아무 이쁘게 정리된 데이터들이다. 표로 정리되어 보기도 쉽고, 처리하기도 쉬운 정형화된 데이터들이다. 이러한 데이터는 지금까지 다양한 모델을 사용해서...

본 게시글은 한빛미디어의 혼자 공부하는 머신러닝+딥러닝을 바탕으로 작성되었습니다. 검증 세트 우리는 이제까지 학습을 할 때, training set과 test set을 활용해서 학습을 하고 테스트를 하는 식으로 진행을 했었다. 그런데, 이렇게 할 경우 overfitting의 우려를 버릴 수 없다. 이를 방지하기 위해서 training set을 또...