언어모델 (2) 썸네일형 리스트형 [개발] 밑바닥부터 시작하는 딥러닝 2 '밑바닥부터 시작하는 딥러닝: 파이썬으로 익히는 딥러닝 이론과 구현'이라는 책을 통해서 딥러닝의 기본 이론들을 실제로 파이썬으로 구현할 수 있는 방법들을 배울 수 있었다. 기초적인 내용을 알고 있지만 tensorflow, pytorch 등을 쓰게 되면 해당 라이브러리가 제공하는 함수들을 그냥 쓰게 되고 입출력의 tensor의 shape에만 관심을 가지게 된다;;;;;; Attention을 넘어 BERT가 대세가 되었지만 알 듯 말 듯 한 부분들이 여전했고 카카오 NLP 팀장님과 티미팅을 갖던 중 '밑바닥부터 시작하는 딥러닝 2'가 출간되었다는 이야기를 듣고 바로 구매하게 되었다. (나온지 삼 일 정도 된 시점이었다) 1권이 역전파, 손실 함수 등을 이론적으로 잘 설명하여 어떻게 코드로 구현할 지를 보여 .. [번역] 20가지 NLP 영역에서 BERT를 능가하는 구글 브레인의 XLNet 구글 브레인과 카네기 멜론 대학 연구팀은 20개의 NLP 작업에서 구글의 최신 기술인 BERT를 능가하고 18개의 벤치마크 테스트에서 최고의 성능을 내는 AI 모델인 XLNet을 이번 주 발표했습니다. BERT (Bidirectional Encoder Representations from Transform)는 작년 가을 구글에서 발표한 미리 학습을 해 둔 비지도학습 NLP 모델을 위한 언어 표현 모델입니다. XLNet은 7개의 GLUE 언어 이해 작업, 3개의 SQuAD와 같은 독해 작업과 Yelp와 IMDB 데이터를 사용한 7개의 텍스트 분류 작업과 같은 다양한 분야에서 최고의 성능을 보였습니다. XLNet을 이용한 텍스트 분류는 BERT보다 최대 16%정도 오류가 적었습니다. 구글은 2018년 가을 .. 이전 1 다음
