728x90
반응형

AI 3

Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

이 논문은 Encoder, Decoder라고 불리는 두개의 RNN 구조를 사용한 네트워크와 새로운 형태의 hidden unit인 GRU를 제안한다.기존의 RNN 구조는 간단하게 설명하면 Hidden state를 통해 Input이 Output이 나오는 구조이다. 이번 논문에서는 새로운 형태의 Hidden State를 제안하고 있으며 위 그림은 새로운 Hidden State의 구조이다.그림에서는 두 형태의 h와 h~이 나오는데, h를 Hidden state, h~를 현재의 Hidden state을 의미한다. new gate인 r은 Reset Gate로 이전의 Hidden state인 h를 얼마나 유지하고 반영할 것인지를 정하며 z는 Update Gate로 현재의 Hiddedn state인 h~을 얼마나 반영..

AI 2024.11.10

Going deeper with convolutions

SZEGEDY, Christian, et al. Going deeper with convolutions. In:Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. p. 1-9.1. Introducion 2014년 기준으로, 최근 3년 동안 딥러닝과 CNN의 발전으로 객체 분류 및 감지 능력이 향상되었다. 이는 단순히 하드웨어의 발전, 더 많은 데이터셋과 모델로 이루어진 것이 아니라 소프트웨어 개선으로 인해 많은 개선이 이루어졌기 때문이다.복잡한 이미지 인식 문제를 해결하려면 대규모 컴퓨팅 리소스가 필요하다. 따라서 모바일 기기나 임베디드 시스템과 같은 저전력 디바이스에서는 활용이 어렵다. 그러나 Googl..

AI 2024.11.10

자연어(딥러닝) 연구조사 Attention is all you need

Liu, Pengfei, et al. "Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing." ACM Computing Surveys 55.9 (2023): 1-35. "Attention is All You Need" 논문에서 제안된 Transformer 모델은 다양한 자연어 처리 작업에 적용할 수 있습니다. 기본적으로 Transformer은 입력 시퀀스를 출력 시퀀스로 변환하는 Sequence-to-Sequence 작업을 수행합니다. 요약, 질문-답변, 문장 생성과 같은 다양한 자연어 처리 작업에 사용할 수 있습니다. 기존에는 RNN과 CNN을 기반으로 인코더-디코더를 ..

AI 2024.11.10