Direktori Nama dan Alamat Perusahaan se Indonesia

Scraping web kemenprin dengan simple dom

Assalamualaikum, jumpa lagi dengan tools dan data izulthea.com. Kali ini saya kumpulkan data perusahaan seluruh Indonesia, yang bersumber dari datasetnya Kementrian Perindustrian Republik Indonesia.

Tadinya, saya pikir disediakan data csv dari https://data.go.id/dataset/direktori-perusahaan-industri-indonesia, tapi ternyata pemalas ya.

satudata pelit data

Terpaksa saya scraping dari webnya kemenprin.

Data itu saya scrap menggunakan bantuan class simple dom, lalu extensi chrom open batch url, dan mysql.

Awalnya saya buat tools untuk scrap, lalu setelah jadi saya siapkan file untuk scrap perhalaman.

didapat 498 halaman pada web kemenprin, maka saya open url menggunakan chrom extension tadi, untuk membuak 100 url sekaligus.

hasilnya, begitu per satu url dibuka dengan trigger /?hal=1 sampe 498, dia query ke kemenprin, lalu hasilnya masuk database.

Data bisa diakses di sini