Assalamualaikum warahmatullahi wabarakatuh. Mohon ijin pimpinan. Dengan ini saya sampaikan data mengenai persekolahan di Indonesia, wabil khusus perbandingan antara kondisi nasional dan Papua (Provinsi Papua dan Provinsi Papua Barat). Data diperoleh dari situs Data Pokok Pendidikan Dasar dan Menengah. Maksud dan tujuan dari ini adalah untuk belajar apa yang sekiranya terjadi di Papua, setidaknya dari segi pendidikan 🙏🏽.

Lihat slide presentasi di sini.

Tok-tok-tok, bolehkah saya melakukan web scraping di situs Dapodik? Menurut laman ini, boleh! Berikut pernyataannya:

User-agent: *
Disallow:
Sitemap: https://dapo.dikdasmen.kemdikbud.go.id/sitemap.xml

Artinya, setiap pengguna (*), tidak dilarang untuk melakukan apa pun di situ ini (Disallsow:). Trims ya! 🙏🏽

Pastikan Anda sudah menginstall Python 3.x. Dalam kasus ini, saya menggunakan versi 3.8.1. Lakukan hal di bawah ini di terminal:

git clone https://github.com/ledwindra/pendidikan-papua.git
cd pendidikan-papua

Aktifkan virtual environment jika ada tidak ingin modul yang bentrok saat menjalankan projek ini dengan modul lainnya yang sudah terpasang di komputer Anda. Lakukan hal di bawah ini di terminal:

python3 -m venv .venv
source .venv/bin/activate

Projek ini membutuhkan modul eksternal. Lakukan hal di bawah ini di terminal:

pip3 install --upgrade pip
pip3 -r install requirements.txt

Data dikumpulkan melalui cara web scraping. Silakan jalan program berikut di terminal:

python3 src/get_data.py --help

Kemudian akan muncul pesan sebagai berikut:

usage: get_data.py [-h] [-p] [-t]

optional arguments:
  -h, --help       show this help message and exit
  -p , --pool      numbers of pool used for multiprocessing
  -t , --timeout   number of seconds Requests will wait for your client to establish a connection to a remote machine
                   (corresponding to the connect()) call on the socket

Terdapat dua argumen yang bisa digunakan dalam program ini, yaitu pool dan timeout.

Pertama, multiprocessing digunakan untuk mempercepat proses dalam memperoleh data. Pada dasarnya, jumlah pool yang digunakan adalah 2. Namun jumlah ini bisa digunakan sesuai dengan kebutuhan, namun bergantung kepada jumlah CPU di komputer Anda. Bagaimana mengetahuinya? Secara sederhana bisa jalankan perintah berikut di terminal:

# macOS
sysctl -n hw.ncpu

Kedua, timeout. Menurut dokumentasi dalam modul requests, ada baiknya menetapkan jumlah timeout sedikit di atas kelipatan tiga. Di sini saya menggunakan angka dasar lima detik. Berikut kalimat yang digunakan:

It’s a good practice to set connect timeouts to slightly larger than a multiple of 3, which is the default TCP packet retransmission window.

Oke, penjelasan mengenai argumen selesai. lalu setelahnya bisa jalankan program berikut di terminal:

# pool = 2 dan timeout = 5
python3 src/get_data.py

# pool = 4 dan timeout = 10
python3 src/get_data.py --pool 4 --timeout 10

Jika ada enggan untuk menjalankan program tersebut, silakan langsung gunakan data yang sudah disajikan di folder data. Omong-omong, karena ukuran data melampaui batas yang dimaklumi oleh GitHub (terutama subdistrict.csv, school.csv, dan school-profile.csv), saya menggunakan Git Large File Storage. Jika Anda merasa membutuhkan ini, silakan pasang di komputer Anda. Tautan ini mungkin juga membantu.

Berikut adalah penjelasan setiap kolom dari sumber data yang digunakan. Kolom tambahan yang dihasilkan saat analisis dapat dilihat di notebook berujudul index.ipynb:

Data yang dijadikan di slide presentasi dapat diperoleh dengan menjalankan notebook. Silakan jalankan index.ipynb di komputer Anda. Untuk memproses data seperti penghitungan median dan rata-rata hingga visualisasi, saya membuat program terpisah yang dapat dicek di src/pipeline.py sehingga prosesnya tidak dilakukan secara manual.

Ketik deactivate di terminal.

Demikian saya ucapkan wabillahi taufiq wal hidayah, wassalamualikum warahmatullahi wabarakatuh. 🙏🏽.