ใครไม่มี ThaiME: กว่าจะได้วิเคราะห์ “ข้อมูลเปิด” ของรัฐไทย

วิเคราะห์ข้อมูลง่ายนิดเดียว (ที่เหลือยากหมด)

rows=[]
for chunk in tqdm.tqdm_notebook(range(12)):
url = f'http://nscr.nesdb.go.th/wp-admin/admin-ajax.php?action=wp_ajax_ninja_tables_public_action&table_id=11868&target_action=get-all-data&default_sorting=old_first&skip_rows=0&limit_rows=0&chunk_number={chunk}'
with requests.get(url) as r:
content = eval(r.content)
rows+=[i['value'] for i in content]
thaime = pd.DataFrame(rows).iloc[:-3,:]
thaime.columns = ['id','plan_nb','project_name',
'budget','unit','ministry','province','created_date','details_url']
thaime.to_csv('data/thaime_raw.csv',index=False)
สะกดผิด, สะกดไม่เหมือนกัน, ตัวเลขเป็นตัวหนังสือ, escape character เรี่ยราด
  1. เปลี่ยน budget ให้เป็นตัวเลข มี 4 โครงการที่ไม่มีตัวเลข (รอจัดสรรจากกระทรวง, รอเป้าหมายและงบประมาณจากส่วนกลาง, ฯลฯ)
  2. ทำความสะอาดตัวอักษร \ , nan , - , \n
  3. เปลี่ยนวันที่ให้เป็นสากล เช่น 2020–06–05
  4. ดึง URL ออกจาก html tag
9 ก็ต้องมาก่อน 1 สิ ขอบคุณมาก
ตัวอย่าง: ชื่อกระทรวงสะกดหลากหลาย
ตัวอย่าง: ชื่อหน่วยงานยิ่งแล้วใหญ่
ตัวอย่างข้อมูลใน “จังหวัด”
มุกดาหารมีถึง 1,682 แต่กลับไม่สามารถแสดงผลได้
พิมพ์ด้วยคอม-ปริ้นท์ออกมา-แสกนเป็น PDF-แล้วอัพโหลดอีกที
  1. กำหนด format ของข้อมูลที่ต้องการให้ชัดเจน เช่น งบประมาณต้องใส่เป็นตัวเลขเท่านั้น
  2. หลีกเลี่ยงการใช้ free text เท่าที่จะทำได้ เช่น ชื่อกระทรวง, หน่วยงาน และจังหวัด ควรให้เลือกจากตัวเลือกที่กำหนดขึ้น (อาจจะเลือกมากกว่าหนึ่งตัวเลือกก็ได้)
  3. หลีกเลี่ยงการเก็บข้อมูลเป็นรูปถ่ายหรือ PDF ควรเก็บข้อมูลทั้งหมดเป็นข้อความหรือตัวเลข นอกจากจะเป็นการทำงานซ้ำซ้อนแล้วยังทำให้เสียข้อมูลอันมีค่าไปอย่างมหาศาล

โครงการเยอะแค่ไหน-ใช้งบประมาณเท่าไหร่

โครงการที่ได้รับงบประมาณมากที่สุด 10 อันดับแรก

เฉลี่ยตกโครงการละเท่าไหร่

คำยอดนิยมในการเขียนชื่อโครงการ

จำนวนโครงการเยอะ = ได้งบเยอะ?

แล้วไงต่อ

Notes for Nerds

--

--

I Wish Cognitive Dissonance Were A Fatal Illness

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
IWCDWAFI

IWCDWAFI

I Wish Cognitive Dissonance Were A Fatal Illness