Salah satu Model Transformer BERT

Salah satu model Transformer yang terkenal adalah BERT, singkatan dari “Bidirectional Encoder Representations from Transformers.” BERT diperkenalkan oleh peneliti Google pada tahun 2018 dan sejak itu menjadi bagian integral dari banyak proyek Pemrosesan Bahasa Alam (NLP), termasuk Google Search.

BERT tidak hanya merujuk pada arsitektur model, tetapi juga pada model yang telah dilatih dan dapat diunduh secara gratis. Model ini dilatih oleh peneliti Google pada kumpulan teks besar dan telah menjadi tool yang sangat berguna dalam NLP. BERT dapat digunakan untuk berbagai tugas, seperti:

- summarize teks
- Menjawab pertanyaan
- Klasifikasi
- Resolusi entitas bernama
- Kesamaan teks
- Deteksi pesan ofensif atau kecabulan
- Memahami kueri pengguna
- Dan banyak lagi

BERT membuktikan bahwa kita dapat membuat model bahasa yang sangat baik menggunakan data yang tidak memiliki label, seperti teks dari Wikipedia dan Reddit. Model “dasar” yang besar ini kemudian dapat disesuaikan dengan data domain tertentu untuk berbagai keperluan.

beberapa tahun lalu , model GPT-3 dari OpenAI telah mengesankan banyak orang dengan kemampuannya menghasilkan teks yang sangat realistis.

Transformer juga telah menghasilkan inovasi di luar NLP, seperti menciptakan musik, menghasilkan gambar dari deskripsi teks, dan memprediksi struktur protein.

Paper tentang bert bisa lihat disini