誰在用ELK

Polin Chen
elkplus
Published in
5 min readJun 15, 2017

數據及分析軟件供應商Elastic最近宣布旗下Elastic Stack的總下載量已突破一億大關。Elastic的產品除了是解決搜索、紀錄、保安分析、指標分析、營運分析等任務為首的關鍵應用,更被用作建立實時及可擴充的數據應用程式。

ELASTIC的ELASTIC STACK下載量突破1億

圖片來自網路

美國通訊服務公司 Sprint

通訊服務巨頭Sprint致力於創造更多更好的方式將客戶與他們最關心的事物聯繫起來。廣泛認可的開發,工程和部署新技術,包括來自美國國家運營商的第一個無線4G服務和全球一級互聯網骨幹,其對創新的承諾深深依賴於其數據。 Sprint知道,提高他們在這個競爭激烈的行業中的地位取決於從孤島解鎖數據。Elastic stack 使得創新成為可能。

Elastic 使公司能夠從任何來源,以任何格式攝取,搜索,分析和可視化實時數據,並立即分享以驅動關鍵業務決策。Sprint改進了客戶服務,並將問題解決時間從網站錯誤和零售中斷到銷售和營銷請求 - 從幾小時或幾天到幾分鐘甚至幾秒鐘的時間。他們也增加了銷售,通過Sprint.com的新手機銷售迅速攀升。
圖片來自網路

趨勢科技

團隊目前開發技術棧是:Python + MySQL + MongoDB + Redis + ELK + Hadoop。技術上需求主要有兩個,海量數據的處理和新技術方案的快速落地。移動安全作為新興的安全領域,近些年來得以快速崛起:要處理的樣本信息迅速從GB級別激增至PB級。同時為適應各種業務,配套的新技術方案也源源不斷從預演階段快速疊代至生產環境。在滿足業務增長需要的情況下,如何能合理有效的利用和管理資源是首要問題。具體來說,在資源共享和有效隔離的情況下,如何實現海量數據的分布式存儲、索引以及快速分析查詢。

不怕爆量Log日增1億筆,華碩用開源搜尋引擎自製大資料平臺

華碩在2014年4月,採用Log蒐集儲存和解析的Logstash、企業級分析引擎Solr,以及提供視覺化報表功能的Kibana,還有用開源記憶體式資料庫Redis做為緩衝,來解決大量的Log資料處理與分析。

ETC 資料的大數據應用與分析

將 ETC 的資料引入 Hadoop eco-system 存放,ElasticSearch 做
real-time 的呈現,並分析 ETC 的資料後提供特定路段的行車時間預測。

教育部資安防護中心: PPT 下載

  • 需要快速分析攻擊來源與型態
  • 使用 Big Data 分析工具: ELK Stack

91APP 如何利用 ELK 處理系統巨量 Log

從商業與營運角度出發,必須分析 Log 的內容,才能滿足下列需求:

  • 攻擊事件分析:針對網路存取做分析處理,是資訊安全重要工作之一。常見做法為:定期分析所有服務 Log,檢視網路攻擊可能事件,如:大量異常 URL 存取等。透過營運人員不斷監控、回報、改善,才能提升系統安全。
  • 異常即時監控:當系統發生異常時,營運人員需要在第一時間快速通報。又或事後追查原因,都需要從 Log 檔分析著手。
  • 系統狀態與容量:管理階層需要基於統整系統狀態報表,做出對應決策。如:由系統使用率決定主機升級等。

携程ELK日志分析平台深耕之路

日誌,看似簡單簡單的文本,在網站運維人員眼裡卻似一座蘊含豐富的寶藏。
從2013年攜程網站運營中心成立伊始,集中化的運維日誌分析平台就被提上議事日程。作為中國最大的OTA網站,攜程基礎設施每日產生的各類日誌有好幾十種,量級在數個TB級別,如果採用Splunk這樣的商業軟件,每年的授權費用就要近千萬。昂貴的授權費用驅使我們深入研究這個領域,尋求商業軟件以外的替代方案。

Sina ELK,從運維到服務之路

ELK服務作為一個日誌的解決方案,解決了大家在運維中日誌集中管理,分析, 檢索和可視化等多樣化的需求,簡單方便的實現也受到了廣大互聯網行業用戶的推崇。 但是,當服務的規模不斷擴大後,如何保證集群穩定性和性能,如何標準化日誌的管理, 以及給用戶提供簡單更實用的產品還是有很大的挑戰的。該演講主要和大家分享新浪/微博在ELK的實踐中從運維, 到平台建設,產品設計三個階段的心得和感悟,以及集群規模從幾台發展到50+台的過程中,我們遇到的問題和踩過的坑。

集先鋒科技有限公司提供專業服務

  • ELK 系統架構建置
  • ELK 使用的養成和培訓
  • ELK 客製化的開發
  • ELK 系統維護
  • 大數據分析服務

--

--