隨著科技的發達,宣告Big-Data的時代已開始,因資料量遽增,硬體設備的進步成為一項重要的發展技術。軟體上,機器學習模型中使用核心作為平行/分散運算的方法也越來越多。但在有限的資源下,也不及資料量與運算量增加的速度。
論文連結
主要使用的套件是caret,是一套極為便利的套件,輔助了使用者在選擇變數後自動進行各項參數可能的組合結果,並比較製成模型給使用者。然而這樣便利的情況也帶來頻繁的重複建模、測試。
需要將R部屬在後台,利用系統做排成自動執行,並儲存log檔以利後續DEBUG
排程(linux)可以利用crontab 來做 Linux 固定排程。
排程設定`在linux中創立一個.sh檔內容為:
每五分鐘執行一次,參考網址:連結
首先要有個.sh檔
linux cmd:
touce test.sh
vi test.sh ((記得保存後退出
在WIN10上,可以簡單的利用WINDOWS的odbc做連接,只需要簡單的設定就可以在R中撈sql的資料。
但最近在LINUX上使用發現有odbcunix、jdbc等各種連接方式。
linux 需先安裝 mysql-devel or mariadb-devel
##MariDB-shared 不一定要安裝,但R無法安裝套件時 可以嘗試安裝
在伺服器中安裝R,但遇到了很多很多問題,故寫這篇作為筆記。
在ubuntu中,通常只要會下載tar.gz檔,就可以安心的使用R了,但是在CentOS卻會遇到很多套件沒有安裝,而無法安裝R。以下開始那簡述這些ERROR。
首先是下載並解壓縮R的部份--這裡沒有ERROR~~~
wget https://mirrors.aliyun.com/CRAN/src/base/R-3/R-3.4.4.tar.gz