AI Blog series

Lược sử NLP dưới góc nhìn của neural networks

 

Sự ra mắt “kinh hoàng” của GPT-2 đã một lần nữa cho thấy vòng xoắn ốc của Karl Marx: chúng ta gặp lại các khái niệm word (và bây giờ là sentence) embedding, language model, generative model nhưng ở các hình thái mới. Tuy vậy, nếu nhìn kỹ, chúng ta thấy GPT-2 có vẻ như không khác gì nhiều so với GPT, ngoại trừ việc nó được trained với một lượng khủng dữ liệu mà một con người không thể đọc hết trong cuộc đời mình. Điều này dẫn đến một câu hỏi tự nhiên: nếu các mô hình mới nhất như Transformer hay BERT được trained với lượng dữ liệu như thế thì chuyện gì sẽ xảy ra.

Việc một kết quả breaking được công bố dựa trên sự vượt trội về lượng dữ liệu training chứ không phải một kiến trúc mới là một dấu hiệu cho thấy deep learning có thể đang sắp đạt đến ngưỡng của nó như nhiều người đang warning, và có thể cần có một phát kiến mới (chẳng hạn kết hợp với evolutionary computing) để đánh dấu  một cột mốc mới trong ngành. Đây cũng là dịp để nhìn lại những gì mà sự phát triển của NN đã đóng góp cho ngành NLP

 

Word Embedding

 

  • Từ tf.idf đến one-hot vectors: từ vectorized documents đến vectorized words
  • Word2vec and Glove
  • Word2vec vs Glove
    • Word2vec: từ word embedding đến char embedding
    • Glove: lợi thế khi encode từ văn bản dài

 

Neural Language Model

 

  • Nhu cầu hậu xử lý cho các bài toán image2text và voice2text
  • Bayes net, HMM và neural language model

 

CNN và NLP

 

  • CNN: shared weights và feature extraction
  • CNN và word embedding: Sự khác nhau về cách dùng CNN cho bài toán Image Processing và NLP

 

Xử lý dữ liệu sequence

 

  • RNN: sự phù hợp với các văn bản có độ dài khác nhau
  • Gating mechanism: LSTM và GRU
  • Seq2seq
  • Attention mechanism

 

Sự kết hợp của các mô hình

 

  • BiLSTM và BiGRU
  • RNN-based và CNN
  • Dense connection và residual connection
  • Case study: sentiment analysis

 

Unsupervised DL

 

  • Từ AutoEncoder đến VAE để có được generative model
  • GAN: mâu thuẫn chính là động lực cho sự phát triển
  • LDA và topic modeling bằng deep learning

 

Memory-based Model

 

  • Sử dụng ký ức truyền thừa để giải quyết tất cả mọi câu hỏi NLP

 

Pre-trained model cho transfer learning: Thành tựu của 2018

 

  • Multitask và transfer learning
  • ELMO: embed theo ngữ cảnh
  • OpenAI GPT và ULMFit: Đứng trên vai người khổng lồ
  • Transformer: Khi Optimus Prime tự chú ý đến mình
  • BERT:  Decode theo cách của chính mình
  • GPT-2: Is it real or myth?

 

The road ahead

 

  • Is DL coming to its end?
  • Now is the time for deep evolutionary computing?