遜砲學習日記：ChatGPT 輔助的爬蟲實務
這個系列主要是嫩嫩 (Todler) 學習過程的簡單紀錄，把自己靈機一動、學習跟查找的歷程做一個基本的紀錄。
看完了 彭彭老師的爬蟲教學影片，迫不及待測試之前，決定試試看用 ptt 以外的一個網站。想來想去還是 ptt 網頁版最合適了！雖然 pttweb 沒有進版需要十八歲的警語，自然沒有 over18=1 的 cookie 需要，但也許也有其他需要注意的地方。在本次測試的過程中，我也看到了僅依賴 chatGPT 的一些侷限。本次以八卦版首頁為例，環境為 python3 + vscode。python 經驗為近乎於 0，JavaScript 新手等級，Html/CSS 還可以。
首先，以 urllib.request 套件好像無法達成效果。首先，如同範例，我抓取 Network (網路) 中 Gossip.html (相當於 ptt 的 index.html) 找尋 Header，並查詢 Request Header，將 cookie 與 user-agent 複製進傳送的爬蟲主程式 crawler 中。
Dynamic Cookies 難道要用 Session 處理？
跳出來了一些錯誤，主要是 403 forbidden。是不是 cookie 有一些問題呢？詢問 ChatGPT 4 (Web Browsing mode 可讓 AI 瀏覽網路)，指我應該用 requests 這個套件，因為它更加優雅且現代，而且可以解決 dynamic cookie 的問題，因為它判斷該 cookie 是動態生成的，因此直接複製進網站的 cookie 使數據完全相同，就恰恰顯示了我是假人。因此我使用了 requests 搭配 session 。
url = "..."
import requests
headers= { ... }
session = req.Session()
response = session.get(url, headers=headers)為求慎重起見，我在 Headers 中 Request Header 先複製了所有相應的資料。它提醒了我，偽元素是 HTTP2 的特性。在他的 AI 資料庫中 (~SEP 2021)，應該是不支援的。由於該項資料研判應該跟爬蟲無關，我就先拿掉了（但這不是網站瀏覽模式嗎？）
:Authority:www.ptt.cc
:Method:GET
:Path:/bbs/Gossiping/index.html
:Scheme:httpsDecode 解碼插曲
如此一來，使用 print(response.text)資料是抓到了，但卻成為了天書，還出現許多的問號。奇怪，ChatGPT 不是跟我說 requests 套件會自動編碼嗎？不知怎的，我還是收到了一堆問號。�*�%?�w�C�a�Y���”!O��i��wm+��A��Q9����”?r[O��ͥ��1e��.���Xχ�\FE�7�8U*]�U����I)yz^��ʣ�0�
這種。我決定再次詢問 chatGPT。
response.encoding = 'utf-8'
print(response.text)chatGPT 叫我印出 status_code 跟 headers 並觀察 Content-Encoding，我乖乖照作了。
response = session.get(url, headers=headers)
print(response.status_code)
print(response.headers)⚠️ 在這裡我犯了一個錯誤。我錯看了欄位，將 Response Header 看成 Request Header ，並發現Content-Encoding : br 。竟然不是 html ！我立即詢問 ChatGPT 如何處理 br 格式。他提示了我資料是被壓縮了，要我使用解壓縮 br 的套件 brotli，並且要我以 pip install 安裝他（pip 是 python 安裝時內建的套件安裝工具）：
import brotli
if response.headers.get('Content-Encoding') == 'br':
decompressed_data = brotli.decompress(response.content)
text = decompressed_data.decode('utf-8')
print(text)
else:
print(response.text)想當然爾，因為我錯看了欄位，資料並不是 br，所以問題並沒有解決。但在這裡我發現了 decode 的方式，在我腦中稍微記得。方法跟 urllib.request 小有不同。沒辦法，只好再問問 ChatGPT。它指出如果不是 br，則可以用 zlib 處理其他若干種演算法：
import zlib
decompressed_data = zlib.decompress(response.content)絕望之下，他又給了我一個答案。印出
print(response.content[:10])他說如果資料為 gzip 壓縮可被 zlib 解壓縮，則印出來會是 1f 8b，印出來10個位元(bytes) 必然是b’\x1f\x8b’。
結果出來是 b’<!doctype ‘。搞屁啊，根本就是 html 嘛！他提醒我，有可能資料根本就沒壓縮喔，直接印出來並用 utf-8 decode 看看吧
print(response.content.decode('utf-8'))等一下，剛才用 response.text 現在卻用 response.content？為什麼啊？但跑得動我就先繼續做了。
觀察資料結構
接下來就是很直觀的觀察資料結構，找到我想抓的八卦版標題。在該網站，資料通常處在 <span> 標籤中，但又有 <span data-xs> 這樣的屬性在內。這不在範例之中，我也請 chatGPT 提點了我一下。
titles = root.find_all("span", attrs={"data-v-005654ec": True})
for title in titles:
print(title.text.strip())如此一來，除了得知 attrs 要放在中括弧裡頭表明為 true（通常印出來格式為 data-xs="" 而已），也發現以 strip() 可以去除前後空格！
不過後來觀察資料結構，titles ㄧ樣抓某 class 的 span 更是我要的。雖然我其實不了解為何要在 class 後面加上 underline，我以為是 python 的某種 snakecase 固定寫法，畢竟有 find_all 這樣的語法嘛！
由於在範例中是使用 string，這邊也提醒了我使用 text，我立刻請 chatGPT 提點了他們的差異：
.text：會回傳標籤內所有子孫標籤的文字內容。（也可作.get_text()）.string：只有在標籤只有一個NavigableString類型子節點時才會回傳內容，否則會回傳None（包含<b>這類標籤）。
大體上就是裡面沒有包其他標籤的狀態下，才能使用 string。所以範例時的 a.string 才可以，但 text 會把裡頭所有東西都印出來。因為該網站有做某種 RWD 響應設定，目測應該是如果是手機版 (xs)，會將 [問卦] 這個標頭拿掉，但我想要這個標頭，所以我就直接去抓那個 class 了：雖然裡頭有兩個子標籤，但其中一個是空白的，因此還蠻符合我所需的。
titles = root.find_all("span", class_="e7-show-if-device-is-not-xs")除此與接下來的一切則都蠻類似範例的，不管是引用 beautifulsoup4 (bs4)來解析 html (parse)，或者是後面才會提到的捲動頁面 Selenium（先擱置）。 算是一個有趣的小練習，但也發現了幾件事：
- 因為疏忽混淆 Request Header 跟 Response Header ，導致沒有發現其實 request header 的資料格式妥妥是 text/html。之所以出現亂碼有很多原因，但有一個原因 (詢問 ChatGPT) 是因為中文是一種非 ASCII 字符，變成了特殊符號的 /xexex。如\xe6\x96\x87\xe7\xab\xa0\xe5\x88\x97\xe8\xa1\xa8 這就是預設的 Unicode 編碼。可以用 decode(‘unicode-escape’) 使其變成可讀的中文， encode() 則是把它變回去。
但我當初看到的是一堆問號（應該是非 ASCII 字符的特殊符號）是很像，但在終端機 (terminal) 無法重現，最近測試都變成了 \xe6 這樣的格式。那是因為我後來使用了 response.content。如果是用 response.text 則又會變成那樣。除非我加上
response.encoding = response.apparent_encoding - 詢問 Sr.，class_ 是因為 python 裡保留字的設定，就像 JavaScript 裡頭已經有 class 保留字，因此 React 中模擬 html 的 JSX不能重複 class 這個名字，而要改用 className 一般。相對於 JS 通常是 lowerCamelCase (小駝峰表示法），Python 則是🐍 Snake Case —— 就如他的名稱「蟒蛇」ㄧ樣，代表常用底線隔開。
- ChatGPT 一如往常會提醒我小心觸法，最少會被鎖 IP 之類的，十分貼心。其中要我去看 user policy 以外 document (文件) 的 .robots 我覺得最實用。
- ⚠️ 沒有被提醒可能根本就沒 cookie 擋我。畢竟 pttweb 可能也是爬別人的，其實 headers 裡根本不用放 cookies 驗證，連 user-agent 都不用！看來應該有更好的練習。Sr. 提醒我，爬蟲時可以直接複製 request header 再一個個刪除，看看哪個是必要的，看來這類實戰心法還是寶物啊。繞了蠻多遠路的
至於捲動 Selenium 之類的，就下次再說啦！
本次問的問題，我當時使用了非常短的 prompt。
https://chat.openai.com/share/5c76927c-ade0-44a4-a3a3-7cb9ead71a02
https://chat.openai.com/share/87a4fc12-8f59-455b-8b04-04ba54ec97ed
