반응형 딥러닝8 딥러닝 공부 책 추천 [Easy 딥러닝] Self-Attention이란 최근 인공지능 발전에 큰 도움을 준 트랜스포머의 핵심이라고 할 수 있는 Self-Attention에 대하여 알아보겠습니다.Easy 딥러닝 책을 기반으로 attention의 내용을 공부했으며, 자연어처리에서 처음 나온 개념이고, 해당 책에 구체적인 설명과 그림을 통해서 이해하기 쉽도록 나와있기 때문에 추천드리는 책입니다.공부한 내용과 이해한 부분을 그림으로 표현해봤습니다. Attention은 입력 데이터에서 모델이 중요한 부분에 “주의”를 집중할 수 있도록 하는 방법입니다.이러한 과정은 사람이 긴 글이나 그림을 볼 때 중요한 부분에 집중하는 것과 유사합니다.기존에 사용되던 RNN 방식의 Attention의 문제점 중 하나는 '멀수록 잊혀진다'는 RNN의 근본적인 문제가 여전히 존재한다는 것이고, Atten.. 2025. 2. 16. [논문 리뷰] ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models AbstractControlNet은 Pretrained text-to-image diffusion model에 spatial conditioning control을 추가하는 neural network 아키텍처다.ControlNet은 이미 학습이 다 된 large diffusion model을 freeze하여 수십 억개의 이미지로 pretrain된 encoding layer를 백본으로 재사용하여 다양한 conditional control set을 학습한다. 아키텍처는 파라미터를 0에서 점차 증가시키는 "zero convolution"(초기화된 convolution layer)으로 연결되고, 유해한 noise가 finetuning에 영향을 주지 않도록 보장한다. edge, depth, segmentation.. 2023. 11. 9. [Pytorch] 합성곱 신경망: 딥러닝 학습시키기 기본 필요한 라이브러리 호출 import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn from torch.autograd import Variable import torch.nn.functional as F import torchvision import torchvision.transforms as T from torch.utils.data import Dataset, DataLoader 파이토치는 기본적으로 GPU 사용을 권장한다. 하지만 GPU가 장착되지 않은 환경에서도 파이토치를 정삭적으로 실행하고 사용할 수 있다. CPU 혹은 GPU 장치 확인 device = torch.device('cuda:0' if t.. 2023. 3. 29. [Pytorch] 딥러닝 학습시키기 기초 연습 1. 데이터셋 준비 파이토치에서 제공하는 데이터셋 사용 import torchvision.transforms as transforms mnist_transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (1.0,)) ]) # 평균이 0.5, 표준편차가 1.0이 되도록 데이터의 분포(normalize)를 조정 from torchvision.datasets import MNIST import requests download_root = './dataset' # 내려받을 경로 지정 train_dataset = MNIST(download_root, transform=mnist_transform, train=True, .. 2023. 3. 3. 이전 1 2 다음
