[번역] 20가지 NLP 영역에서 BERT를 능가하는 구글 브레인의 XLNet

 구글 브레인과 카네기 멜론 대학 연구팀은 20개의 NLP 작업에서 구글의 최신 기술인 BERT를 능가하고 18개의 벤치마크 테스트에서 최고의 성능을 내는 AI 모델인 XLNet을 이번 주 발표했습니다. BERT (Bidirectional Encoder Representations from Transform)는 작년 가을 구글에서 발표한 미리 학습을 해 둔 비지도학습 NLP 모델을 위한 언어 표현 모델입니다.

 

 XLNet은 7개의 GLUE 언어 이해 작업, 3개의 SQuAD와 같은 독해 작업과 Yelp와 IMDB 데이터를 사용한 7개의 텍스트 분류 작업과 같은 다양한 분야에서 최고의 성능을 보였습니다. XLNet을 이용한 텍스트 분류는 BERT보다 최대 16%정도 오류가 적었습니다. 구글은 2018년 가을 BERT를 오픈 소스화 했습니다.

 

 수요일 여섯명의 저자가 arXiv에 발표한 논문에 따르면 XLNet은 다양한 기술을 가지고 미리 학습을 해 둔 비지도학습 모델을 위해 autoregressive와 autoencoding 방법들 중 가장 좋은 것들을 활용했습니다. "XLNet은 모든 가능한 인수분해한 순서들의 조합의 기대 우도(확률)를 최대로 만들면서 양방향 문맥을 학습하고 autoregressive 공식으로 BERT의 한계를 넘어선 일반화된 autoregressive 선행학습이다,"라고 논문은 밝히고 있습니다.

 

 모델의 이름은 연구원들과 같은 팀이 1월에 발표한 autoregressive 모델인 Transformer-XL에서 따왔습니다. XLNet은 Transformer-XL의 부분들의 반복 메카니즘과 상대적인 인코딩 구조를 위해서 사용된 선행학습 방법을 사용했습니다. 또한 XLNet은 순열 언어 모델을 위해서 구글 딥마인드, 트위터, 그리고 학계의 연구원들이 함께 만든 NADE를 차용했습니다.

 

 XLNet은 BERT를 능가하는 현존하는 최고의 NLP 모델입니다. 마이크로소프트 AI 연구원들은 5월 Multi-Task Deep Neural Network (MT-DNN)을 발표했습니다. BERT 기반의 이 모델은 GLUE 언어이해 벤치마크에서 일부 더 나은 성능을 보여줬습니다

.

 

[원문] https://venturebeat.com/2019/06/21/google-brains-xlnet-bests-bert-at-20-nlp-tasks/

Google Brain’s XLNet bests BERT at 20 NLP tasks