Teknik scraping digunakan untuk mengumpulkan data teks secara efisien sebelum data tersebut diolah dan dianalisis. Banyak cara untuk melakukan scraping data teks diantaranya dapat menggunakan software maupun kode program.
Sebelumnya sudah saya bahas mengenai pembuatan model word embedding menggunakan Word2Vec dan GloVec. Kali ini saya akan melakukan training menggunakan data yang sama seperti pada data yang dipakai sebelumnya yaitu korpus Wikipedia Bahasa Indonesia.
Salah satu teknik pembuatan pre-trained word embedding adalah dengan menggunakan GloVe. Sebelumnya juga sudah saya jelaskan bagaimana prinsip kerja GloVe. Ekperimen pembuatan GloVe kali ini juga dengan memanfaatkan data korpus Wikipedia Bahasa Indonesia.
Model deep learning tidak dapat langsung melakukan pemrosesan data dalam bentuk teks. Oleh karena itu data perlu diolah ke dalam bentuk integer (berupa matriks ataupun vektor), proses ini bisa disebut word embedding.
Dataset yang telah diperoleh melalui proses scrapping halaman website menggunakan library Python Beautifulsoup4 masih berupa data asli/mentah sehingga memerlukan pengolahan ke dalam format sebagaimana mestinya.
Proses scrapping kali ini digunakan untuk mengambil data ulasan dari daftar nover terbaik Indonesia. Untuk data case tersebut saya ambil melalui situs goodreads.com dan untuk list novel terbaik yang saya gunakan bisa mengunjungi alamat url berikut
