• Home
  • About
  • Archives
  • Contact
  • Projects
Logo

  • Data Science
  • Machine Learning
  • Research
  • Tutorial

Cara Scraping Ulasan Produk Shopee Menggunakan Python

30 July 2021
Riszki Wijayatun Pratiwi
1 Comment
  • Email
  • Facebook
  • Twitter
  • Pinterest
  • LinkedIn
30 July 2021
1 Comment

Teknik scraping digunakan untuk mengumpulkan data teks secara efisien sebelum data tersebut diolah dan dianalisis. Banyak cara untuk melakukan scraping data teks diantaranya dapat menggunakan software maupun kode program.

Pada kasus kali ini saya mencoba melakukan scraping menggunakan data ulasan produk Shopee menggunakan bahasa pemrograman Python. Data ulasan produk Shopee sendiri di load menggunakan Javascript sehingga kita perlu memerlukan akses API yang telah tersedia pada situs Shopee. Dalam Implementasi kali ini saya menemukan kode yang cukup menarik dan mudah dipahami yang saya ambil melalui pembahsan StackOverflow. Berikut kode yang digunakan untuk mendapatkan nama dan ulasan pengguna di produk Shopee

import re
import json
import requests
import csv

f = csv.writer(open('data-review.csv', 'w', newline=''))
f.writerow(['Username', 'Review'])

url = 'https://shopee.co.id/Apple-iPhone-12-Pro-Max-256GB-Pacific-Blue-i.241308147.5967529147'

r = re.search(r'i\.(\d+)\.(\d+)', url)
shop_id, item_id = r[1], r[2]
ratings_url = 'https://shopee.co.id/api/v2/item/get_ratings?filter=0&flag=1&itemid={item_id}&limit=20&offset={offset}&shopid={shop_id}&type=0'

offset = 0
while True:

    data = requests.get(ratings_url.format(shop_id=shop_id, item_id=item_id, offset=offset)).json()

    # uncomment this to print all data:
    # print(json.dumps(data, indent=4))

    i = 1
    for i, rating in enumerate(data['data']['ratings'], 1):
        user = rating['author_username']
        comment = rating['comment']

        f.writerow([user, comment])

    if i % 20:
        break

    offset += 20

Kode tersebut sedikit saya modifikasi agar data dapat disimpan dalam bentuk file CSV. Anda dapat menyesuaikan produk dengan mengganti url baris kode ke-9 dan mengubah nama file pada baris kode ke-6.

  • Email
  • Facebook
  • Twitter
  • Pinterest
  • LinkedIn
Previous

Cara Kerja Long Short-Term Memory (LSTM) | Catatan Penelitian #11

Latest One

Cara Scraping Ulasan Produk Shopee Menggunakan Python

The Author

Riszki Wijayatun Pratiwi

1 Comment

  • Fatah
    3 months ago
    Reply

    hallo kak.
    saya tertarik dengan tulisan kakak yang ini :

    https://rifqifai.com/cara-scraping-ulasan-produk-shopee-menggunakan-python/

    apakah cara ini bisa dibuatkan semacam file exe.nya kak yang bisa sekaligus mendownload teks, gambar dan video pada ulasan shopee ?

    terimakasih atas pencerahanya.

Leave A Comment Cancel reply

author image

The Author

Rifqi Fauzi Rahmadzani

  • facebook
  • twitter
  • instagram

Being someone who is able to contend with my interest and to learn new imaginative, intuitive, and communicative things. The greatest hope of my ability can be beneficial to others.

Logo

© 2021 Rifqifai.com. Developed by Rifqi Fauzi Rahmadzani