【資料科學】 Numpy, Pandas
透過numpy及pandas對資料進行初步處裡/分析
* 前言
透過前兩篇文章想必大家應該都已經知道要如何透過TEJ API來抓取資料，然後再儲存到適合的格式，最後再定期更新了吧！那本篇文章就是在跟大家說明，如何透過python當中最重要的兩個資料工具包Numpy及Pandas對抓下來的資料進行第一步地處理&分析~
* 本文重點概要
- 🌟 Numpy 介紹/使用
- 🌟 Pandas 介紹/使用
🚪本次使用的相關網站連結🚪
- 1️⃣ API官方網站：TEJ API 官網
- 2️⃣本文範例產品包：TEJ E SHOP
- 3️⃣本文完整程式：TEJ GITHUB
* Numpy 是甚麼？要怎麼用？
Numpy的設計主要是為了方便且高效的來處理n維且大量數據的陣列，並搭配內建函數給予使用者對資料進行初步快速地處裡。
- 基礎應用－單維
import numpy as npa = np.array([0, 0.5, 1.0, 1.5, 2.0]) #float ndarray -1-1.
b = np.array(['a', 'b', 'c']) #string ndarray -1-2.
c = np.arange(0, 10, 2) #array([0, 2, 4, 6, 8]) -2.
c[2:] #array([4, 6, 8]) -3.
c[:2] #array([0, 2]) -4.
上面的例子分別代表的是：
- 建立一個資料為float型態的陣列；建立一個資料為string型態的陣列
- 透過np.arange()，建立一個起始為0，終點為8，跳躍值為2的陣列。
- 在python當中，中括號"[]"表示選取"："表示到…，但要注意的是，在python中第一個數值的位置是0而不是1。因此，c[2:]表示從選取一個從陣列位置為2到最後（包含最後）的陣列。
- 作法同上，但不同的地方是，如果改為c[:2]，則是代表選取一個從頭到陣列位置為2（不包含2）的陣列。
- 數學工具
a = np.arange(0, 30, 2) #array([0, 2, 4, ..., 28])a.sum() #210 -1-1.
a.mean() #14.0 -1-2.
a.std() #8.640987 -1-3.
a.cumsum() #array([0, 2, 6, 12, ...,210]) -1-4.lst = [0, 2, 4]
lst*2 = [0, 2, 4, 0, 2, 4] -2-1
a+a #array([0, 4, 8, ..., 56]) -2-2.
a*a #array([0, 4, 16, ..., 784]) -2-3.
上面的例子分別代表的是：
- a陣列的加總；平均值；標準差；累加
- a陣列對應位置直接相加；直接相乘
其中第一個用法即是透過numpy內建的大量方法直接計算。
而在第二個例子裏面就可以看到numpy的向量化數學運算，因為如果是在一般的list下(2–1)，可以看到把list乘2的話會把list當中的元素量變成原來的兩倍而不是數值變兩倍，但如果是numpy(2–2, 2–3)則是可以把陣列裡面的元素相對應位置進行數學運算~💪💪
- 基礎應用－多維
b = np.array([a, a*2]) #array([0, 2, 4, ..., 28],
[0, 4, 8, ..., 56])b[0] #array([0, 2, 4, ..., 28]) -1-1.
b[0][1] #2 -1-2.
b.sum(axis = 1) #array([210, 420]) -1-3.b.shape #(2, 15) -2-1.
b.reshape(5,6) #array([0, 2, 4, 6, 8, 10], -2-2.
...
[36, 40, ..., 56]])
上面的例子分別代表的是：
- b陣列選取第一列；選取第一列第二個位置的元素；b陣列之列總和
- b陣列之外形(2*15)；改成新的外形(2*15 -> 5*6)
接下來看到的是numpy在多維陣列的表現，在選擇上一樣是透過"[]"進行，不同的地方是因為能選的東西變多了，所以可以透過兩個"[][]"分別代表先選哪一列，再選甚麼位置。
那如果是要做一些矩陣運算的時候，就可以透過shape找到現在陣列的形狀再用reshape改成想要的形狀後就可以做運算~💪💪
- 其他應用－布林、隨機變數、財務…
#boolean
b > 15 #array([False, False, ..., True], -1-1.
[False, False, ..., True])
np.where(b>15, 1, 0) #array([0, 0, ..., 1], -1-2.
[0, 0, ..., 1])#random variable
np.random.normal(5, 2, 10) -2-1.
np.random.standard_normal(5) -2-2.#financial
pip install numpy_financial
import numpy_financial as npfnpf.fv(0.03, 5, 0, -1000) #1159.27 -3-1.
#fv(rate, nper, pmt, pv)
npf.irr([-95, 3, 3, 3, 103]) #0.0439 -3-2.
#irr(values)
上面的例子分別代表的是：
- 布林陣列：
可以直接透過不等式（例子中是>15）在numpy陣列中找出對應的T/F陣列，又或是透過np.where()對T/F做出新的判別方式（例子中T為1，F為0）。 - 隨機變數：
搭配統計當中不同的分佈函數去產生隨機變數，如例子中的常態分佈（均值5、標準差2、10個元素）、標準常態分佈等等。 - 財務函數：
在numpy當中，還有針對財務工具所推出的工具包，但我們需要另外下載這個package，安裝好且import之後，就可以使用一些像是fv、irr等折現時候會用到的函數工具拉，全部的函數可以上這裡查詢~
其實numpy還有許許多多針對陣列當中數據處裡的應用，小編很難只透過一篇文章就全數道盡 😢，剩下的大家有興趣可以透過Numpy官方網站或是在下方告訴我們囉！💪💪
* Pandas 又是甚麼？又該怎麼用？
Pandas是一種專門分析表格資料的工具包，就如同Excel一樣，他是以一種叫做DataFrame類別的方式將資料以表格的方式呈現，以協助使用者更為方便的分析資料，尤其是以時間序列為主的金融資料。
- 基礎應用
import pandas as pddf = pd.DataFrame([1, 2, 3, 4],
columns = ['Numbers'],
index = ['index_a','index_b','index_c','index_d'])
從上面可以看到我們透過上述程式碼產出一個，欄位名稱為Numbers，列名稱分別為index_a,b,c,d的表格。
df.loc['index_a'] #Numbers 1 -1-1.df.iloc[0:2] #參考完整程式碼 -1-2.df * 2 #same as numpy -1-3.#新增"Name"欄位
df['Name'] = ['Amy', 'Bob', 'Catherine', 'Duke'] -2-1.
#選取整個欄
df['Numbers'] -2-2.
#刪除欄位
df.drop('欄位名 ', axis=1) -2-3.#Math
df['Numbers'].sum() #10 -3-1.
df['Numbers'].mean() #2.5 -3-2.
df['Numbers'].std() #1.291 -3-3.
上面的例子分別代表的是：
- 透過loc與iloc去索引對應的值，要注意的是loc是欄/列位名稱所以選擇時要輸入的是名稱，而iloc則是該元素對應的位置，以例子來說就是選擇位置為0到2（不含3）的元素。
- 新增/選取/刪除欄位
- df的加總；平均值；標準差
Pandas的基礎應用當中，其實大多數跟我們之前如同我們之前提過的numpy陣列，在選擇上一樣透過中括號對["欄位名稱"]進行新增/選擇，但如果是要刪除的話，則要透過drop()的方式對已有欄位進行刪去。在運算上，Pandas DataFrame 一樣可以直接對欄位裡面的數值進行基本的統計值運算~💪💪
- 基礎分析
import tejapi
tejapi.ApiConfig.api_key = “你的api_key”df = tejapi.get('TWN/EWPRCD',
coid = ['2330'],
mdate={'gte':'2020-01-01', 'lte':'2020-12-31'},
opts={'columns': ['mdate','open_d','high_d','low_d','close_d']},
paginate=True
)#Math
df.describe()
np.mean(df)
np.log(df)#作圖
df['close_d'].plot()
在pandas資料基本分析裡面，我們採用的例子一樣是透過TEJ API得到的2330股價日資料，然後就可以直接透過describe()的方式得到大部分可能會需要用到的敘述統計值（如上圖👆），而如果想要對這些數值進行運算，就可以透過我們之前提到的numpy工具直接對整個表格進行運算噢！
最後就是基本作圖，在Python的作圖方法裡面也是有數種操作方式，而Pandas則是提供了小編覺得其中最為簡便的一種。如果想要呈現的圖表並不複雜的話（如股價走勢、股價報酬率變化等），可以直接透過選取該欄位資料然後加上.plot()，就可以直接看到結果啦（如上圖👆）
而在這邊唯一要注意的是，圖表中的X與Y軸分別代表的是Index以及欄位資料，所以才會對原先抓下來的資料先做一個set_index()的動作噢！
* 結語
這次分享給大家的是如何使用Python當中的Numpy還有Pandas工具包對資料進行初步整理/分析，但這兩個工具裡面的功能其實包山包海，短短一篇文章實在是難以詳述，所以~如果有興趣或者疑問可以上他們的網站亦或是在下方留言告我們 ❗️❗️那麼在這篇文章之後，我們就會進入透過這兩個工具包對金融資料進行分析應用啦，請大家好好期待 ❗️❗️
最後，如果喜歡本篇文章的內容請幫我們點擊下方圖示👏 ，給予我們更多支持與鼓勵，有任何的問題都歡迎在下方留言／來信，我們會盡快回覆大家👍👍
* 再次附上相關網站連結 💪
- API官方網站：TEJ API 官網
- 本文範例產品包：TEJ E SHOP
- 本文完整程式：TEJ GITHUB
🌟有任何使用上的問題都歡迎與我們聯繫：聯絡資訊🌟
附上完整程式碼 🚪
