Ai

1. CNN의 흐름흐름을 이해하기 위해서는 각 모델들이 "왜 만들어졌는가?", "어떤 문제를 해결했는가?", "무슨 구조적 특징이 있는가?"를 중심으로 이해하면 편하다.1-1. LeNet (1998) - 1998년 CNN을 처음 개발한 Yann LeCun의 연구팀이 제시한 CNN 모델 - 이전 모델의 문제점:1) Hand-designed feature extractor로 추출하는 특징의 한계 (ML)2) FC Multi-layer만 사용하는 것은 이미지의 2D 구조를 무시하는 것 (MLP) - 전통적인 머신러닝은 수작업 특징 추출(SIFT, HOG 등)이 필요했었으나 이를 자동화하기 위해 convolution을 이용한 End-to-End 방식의 인공신경망 구조를 제안한 것! [구조]- 입력: 32x32..

[기본 용어 정리]파인튜닝(fine-tuning) : 기존에 학습된(pre-trained) 모델을 새로운 데이터에 맞춰 재학습시키는 과정최적화 : 한정된 GPU 자원에서 학습 속도와 메모리 효율을 극대화하기 위해 기술/설정/코드를 개선하는 일련의 행위GPU가 실제로 어떻게 쓰이는지 이해하고, 메모리 및 연산의 병목을 줄여서 효율적인 모델 학습 환경을 구축해보자! 1. GPU 작동 기초모델 성능 최적화 기술을 이해하고 모델 학습 속도나 메모리 효율성을 개선하기 위해서는 다음 요소를 알아야 한다.- 학습하는 동안 GPU가 어떻게 사용되는지- 어떤 연산이 얼마나 컴퓨터 연산을 많이 잡아 먹는지 Nvidia-ml-py3 라이브러리를 사용하면 파이썬 코드로 메모리 사용량을 모니터링 할 수 있다.= nvidia-s..

Tensorflow/Keras에는 두 가지 주요 모델 구성 방식이 있는데, 바로 Sequential API와 Functional API이다.둘 다 모델을 구성하고 학습시키는 방법이지만, 사용하는 문법과 확장성에 있어 차이가 존재한다. 예제 코드는 모두 기본 MNIST 데이터셋으로 구성하였음 1. Sequential API- layer를 순서대로 쌓는 방식으로, 가장 단순하고 직관적인 방식- .add()를 통해 한 줄씩 추가하거나 Sequential로 layer들을 쌓아 리스트로 묶어서 모델을 정의하는 형태- 그러나 계층을 순서대로만 쌓을 수 있고, 단일 입력에 단일 출력 구조이므로, 여러 층을 공유하거나 다양한 종류의 입력과 출력을 사용하는 등의 복잡한 모델을 만드는 task에는 한계가 존재한다. (sk..

본인 논문 공부용으로 제 나름의 방식대로 작성해본 리뷰입니다.원문의 모든 문장을 일일이 해석하여 나열하는 방식이 아닌, 해당 section 별로 말하고자 하는 핵심적인 부분과 그 속에 담긴 의미 설명, 그리고 논문 내용 중 추가적으로 기록하고 싶은 내용들을 함께 작성했습니다. 0. Abstract새로운 생성 모델(generative model)을 제안 — 데이터 분포를 포착하는 generative model(G)과 G가 아닌 훈련 데이터에서 샘플이 나올 확률을 추정하는 discriminative model(D), 이 두 모델을 동시에 '경쟁적인 관계' 속에서 학습시키는 과정의 모델기존의 생성 모델은 대부분 단일 네트워크만 학습해왔음 (ex. VAE는 encoder-decoder 형태) Minmax tw..

1. 큰 그림 보기- to do : 캘리포니아 인구 조사 데이터를 사용해 캘리포니아의 주택 가격 모델 만들기- 캘리포니아 block group 마다 population, median income, median housing price 등을 담고 있음- block group : 미국 인구 조사국에서 샘플 데이터를 발표하는데 사용하는 최소한의 지리적 단위 (한 구역당 보통 600~3000명의 인구를 나타냄)- 목표 : 해당 데이터로 모델을 학습시켜 다른 측정 데이터가 주어졌을 때 구역의 중간 주택 가격을 예측 1.1 문제 정의Q1. 비즈니스의 목적이 정확히 무엇인가?A. 이 모델의 출력이 여러 가지 다른 신호(정보)와 함께 다른 머신러닝 시스템에 입력으로 사용됨 * pipeline : 데이터 처리 compo..

*해당 글은 핸즈온 머신러닝 서적을 바탕으로 정리한 글입니다. 1. 머신러닝 시스템의 종류머신러닝 시스템의 종류는 다음과 같이 크게 3가지로 분류할 수 있다. 훈련 지도 방식 (지도, 비지도, 준지도, 자기 지도, 강화 학습)실시간으로 점진적인 학습을 하는지 아닌지 (온라인 학습과 배치 학습)단순하게 알고 있는 데이터 포인트와 새 데이터 포인트를 비교하는 것인지 아니면 과학자들이 하는 것처럼 훈련 데이터셋에서 패턴을 발견하여 예측 모델을 만드는지 (사례 기반 학습과 모델 기반 학습)위 범주들은 서로 배타적이지 않고 원하는 대로 연결할 수 있음!ex) 최첨단 스팸 필터가 심층 신경망 모델을 사용해 스팸과 스팸이 아닌 메일로부터 실시간으로 학습 => 온라인 & 모델 기반 & 지도 학습 system 1.1 훈..