圖一：在10分鐘內，發現有8000 多筆異常的訪問

所有出現的異常method

UPDATE
UNSUBSCRIBE
UNLOCK
UNCHECKOUT
TRACK
TRACE
TESTZZZ
SUBSCRIBE
SEARCH
RPC_OUT_DATA
RPC_IN_DATA
REPORT
PUT
PROPPATCH
PROPFIND
POST
POLL
PATCH
ORDERPATCH
OPTIONS
NOTIFY
MOVE
MKWORKSPACE
MKCOL
MKACTIVITY
MERGE
LOCK
LABEL
INDEX
HEAD
GET
DELETE
DEBUG
COPY
CONNECT
CHECKOUT
CHECKIN
BPROPPATCH
BPROPFIND
BMOVE
BDELETE
BCOPY
ACL

看到 一個奇怪的IP 在10分鐘內， 用盡所有的方法訪問網頁， 應該列為黑名單還是白名單中，好好監管

在Web log 中找到駭客 was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

"@timestamp": "2015-10-20T13:52:47.000Z" # this is when the host says the event occurred
"received_at": "2015-10-20T02:02:51.191Z" # this is when Logstash forwarder received the event

ruby code 範例

filter {
  if [received_at] and [@timestamp] {
  # calculate the time difference in seconds between two different timestamps and add return to event as a new field
    ruby {
      init => "require 'time'"
      code => "event['time_difference']= (Time.parse(event['received_at']).to_i) - (Time.parse(event['@timestamp']).to_i)"
      add_tag => [ "calculated_time_difference" ]
    }
  }
}

原始範例說明：

在logstash 中計算時間差的ruby code was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

ELASTIC的ELASTIC STACK下載量突破1億

美國通訊服務公司 Sprint

通訊服務巨頭Sprint致力於創造更多更好的方式將客戶與他們最關心的事物聯繫起來。廣泛認可的開發，工程和部署新技術，包括來自美國國家運營商的第一個無線4G服務和全球一級互聯網骨幹，其對創新的承諾深深依賴於其數據。 Sprint知道，提高他們在這個競爭激烈的行業中的地位取決於從孤島解鎖數據。Elastic stack 使得創新成為可能。

Elastic 使公司能夠從任何來源，以任何格式攝取，搜索，分析和可視化實時數據，並立即分享以驅動關鍵業務決策。Sprint改進了客戶服務，並將問題解決時間從網站錯誤和零售中斷到銷售和營銷請求 - 從幾小時或幾天到幾分鐘甚至幾秒鐘的時間。他們也增加了銷售，通過Sprint.com的新手機銷售迅速攀升。

趨勢科技

團隊目前開發技術棧是：Python + MySQL + MongoDB + Redis + ELK + Hadoop。技術上需求主要有兩個，海量數據的處理和新技術方案的快速落地。移動安全作為新興的安全領域，近些年來得以快速崛起：要處理的樣本信息迅速從GB級別激增至PB級。同時為適應各種業務，配套的新技術方案也源源不斷從預演階段快速疊代至生產環境。在滿足業務增長需要的情況下，如何能合理有效的利用和管理資源是首要問題。具體來說，在資源共享和有效隔離的情況下，如何實現海量數據的分布式存儲、索引以及快速分析查詢。

不怕爆量Log日增1億筆，華碩用開源搜尋引擎自製大資料平臺

華碩在2014年4月，採用Log蒐集儲存和解析的Logstash、企業級分析引擎Solr，以及提供視覺化報表功能的Kibana，還有用開源記憶體式資料庫Redis做為緩衝，來解決大量的Log資料處理與分析。

ETC 資料的大數據應用與分析

將 ETC 的資料引入 Hadoop eco-system 存放，ElasticSearch 做
real-time 的呈現，並分析 ETC 的資料後提供特定路段的行車時間預測。

教育部資安防護中心： PPT 下載

• 需要快速分析攻擊來源與型態
• 使用 Big Data 分析工具: ELK Stack

91APP 如何利用 ELK 處理系統巨量 Log

從商業與營運角度出發，必須分析 Log 的內容，才能滿足下列需求：

• 攻擊事件分析：針對網路存取做分析處理，是資訊安全重要工作之一。常見做法為：定期分析所有服務 Log，檢視網路攻擊可能事件，如：大量異常 URL 存取等。透過營運人員不斷監控、回報、改善，才能提升系統安全。
• 異常即時監控：當系統發生異常時，營運人員需要在第一時間快速通報。又或事後追查原因，都需要從 Log 檔分析著手。
• 系統狀態與容量：管理階層需要基於統整系統狀態報表，做出對應決策。如：由系統使用率決定主機升級等。

携程ELK日志分析平台深耕之路

日誌，看似簡單簡單的文本，在網站運維人員眼裡卻似一座蘊含豐富的寶藏。
從2013年攜程網站運營中心成立伊始，集中化的運維日誌分析平台就被提上議事日程。作為中國最大的OTA網站，攜程基礎設施每日產生的各類日誌有好幾十種，量級在數個TB級別，如果採用Splunk這樣的商業軟件，每年的授權費用就要近千萬。昂貴的授權費用驅使我們深入研究這個領域，尋求商業軟件以外的替代方案。

Sina ELK，從運維到服務之路

ELK服務作為一個日誌的解決方案，解決了大家在運維中日誌集中管理，分析， 檢索和可視化等多樣化的需求，簡單方便的實現也受到了廣大互聯網行業用戶的推崇。 但是，當服務的規模不斷擴大後，如何保證集群穩定性和性能，如何標準化日誌的管理， 以及給用戶提供簡單更實用的產品還是有很大的挑戰的。該演講主要和大家分享新浪/微博在ELK的實踐中從運維， 到平台建設，產品設計三個階段的心得和感悟，以及集群規模從幾台發展到50+台的過程中，我們遇到的問題和踩過的坑。

集先鋒科技有限公司提供專業服務

• ELK 系統架構建置
• ELK 使用的養成和培訓
• ELK 客製化的開發
• ELK 系統維護
• 大數據分析服務

誰在用ELK was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

訪問方式和訪問間隔

• 使用HEAD， 只取得head 的資料
• 平均15分鐘訪問一次
• 訪問三個地址

從那些國家訪問

－主要從6個國家訪問， 主要來自新加坡和美國

訪問的IP

• 共訪問552 次， 來自18個IP

訪問的狀態

• 404 無法訪問的內容比例最大

用ELK 的來追蹤SiteUptime 工作狀態 was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

filter {
  mutate {
    add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
  }
}

# You can also add multiple fields at once:
filter {
  mutate {
    add_field => {
      "foo_%{somefield}" => "Hello world, from %{host}"
      "new_field" => "new_static_value"
    }
  }
}

convert

filter {
  mutate {
    convert => { "fieldname" => "integer" }
  }
}

remove_field

filter {
  mutate {
    remove_field => [ "foo_%{somefield}" ]
  }
}

# You can also remove multiple fields at once:
filter {
  mutate {
    remove_field => [ "foo_%{somefield}", "my_extraneous_field" ]
  }
}

rename

filter {
  mutate {
    # Renames the 'HOSTORIP' field to 'client_ip'
    rename => { "HOSTORIP" => "client_ip" }
  }
}

參考資料

• 原創資料

Mutate filter plugin | Logstash Reference [8.2] | Elastic

• 中文IIS範例

[料理佳餚] ELK 搭檔 NXLog 收集 IIS Log | 軟體主廚的程式料理廚房

• 中文的範例2－ rename

知識過客

• mutate split日志切分

logstash mutate split日志切分 - xiangcun168 - 51CTO技术博客

42.62.45.23 - - [15/Jun/2015:10:27:33 +0800] "GET /www/delivery/aj.php?id=29 HTTP/1.1" 200 10309 "-" "-" "10.72.16.60:80" 0.111 
72.62.45.23 - - [15/Jun/2015:10:27:33 +0800] "GET /www/delivery/jo.php?id=29 HTTP/1.1" 200 10309 "-" "-" "10.72.16.60:80" 0.111

設定split

mutate {
    split => ["http_request" ,"?"]  #http_request以问号为切割点
    add_field => ["request_url", "%{http_request[0]}"]   #取出数组中第一个值，同时添加request_url为新的field
   
}

重新启动logstash，

可以看出，我们的日志已经成功切分出来了

常用mutate 的命令範例 was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

每個上手 ELK 的新用戶，肯定都需要測試一下讀取文件輸出到終端這步。

不過很多新人的測試隨後就卡在第二步了：當你修改一下配置，準備添加一段 filter 配置再重復運行 logstash 命令時，發現終端一直停滯沒有輸出。

這是因為：Logstash 會記錄自己讀取文件內容的偏移量到一個隱藏文件里，默認情況下，下次啓動，他會從這個偏移量繼續往後讀，避免重復讀取數據。

Day1: 怎样让Logstash每次都从头读文件？ - Elastic中文社区

怎樣讓Logstash每次都從頭讀文件？ was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

iislog 文件的範本

預設的用戶提供的iislog 中的參數中， 沒有time taken 的內容

Software: Microsoft Internet Information Services 6.0
Version: 1.0
Date: 2016-06-28 06:05:45
Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status

iislog 日誌默認位置和存檔方式：

%systemroot%\system32\logfiles\w3svc1\，默認每天一個日誌

iislog 文件產出範本：

iislog 時間差的確認

• 如果沒有選定本地時間， 則log 內的時間，和本地時間會有時間差， 一般差別為8小時

建議

檢查預設的IIS log 設定值，依據不同web的用戶，設定不同的欄位，如果有效能問題，建議增加的內容

• 已傳送位元組 (sc-bytes)：伺服器傳送的位元組數。
• 已接收位元組 (cs-bytes)：伺服器接收的位元組數。
• 花費時間 (time-taken)：動作所花費的時間長度 (毫秒)。

Note：

• 用戶端使用的瀏覽器類型(UserAgent), 除了特殊需求外， 通常分析的價值不大
• Cookie： 可以對開多窗口的應用，可以增加欄位的收集。

IIS log 欄位說明：

• 日期 (date)：發生要求的日期。
• 時間 (time)：發生要求的時間，使用國際標準時間 (UTC)。
• 用戶端 IP 位址 (c-ip)：提出要求之用戶端的 IP 位址。
• 使用者名稱 (cs-username)：存取您的伺服器之已驗證使用者的名稱。匿名使用者會以連字號指示。
• 服務名稱 (s-sitename)：完成要求的網站執行個體編號。
• 伺服器名稱 (s-computername)：產生記錄檔項目之伺服器的名稱。
• 伺服器 IP 位址 (s-ip)：產生記錄檔項目之伺服器的 IP 位址。
• 伺服器連接埠 (s-port)：針對服務設定的伺服器連接埠號碼。
• 方法 (cs-mothod)：要求的動作，例如 GET 方法。
• URI Stem (cs-uri-stem)：動作的「通用資源識別元」或目標。
• URI 查詢 (cs-rui-query)：用戶端嘗試執行的查詢 (如果有的話)。只有針對動態頁面才需要執行通用資源識別元 (URI) 查詢。
• 通訊協定狀態 (sc-status)：HTTP 或 FTP 狀態代碼。
• 通訊協定子狀態 (sc-substatus)：HTTP 或 FTP 子狀態代碼。
• Win32 狀態(sc-win32-status)：Windows 狀態代碼。
• 已傳送位元組 (sc-bytes)：伺服器傳送的位元組數。
• 已接收位元組 (cs-bytes)：伺服器接收的位元組數。
• 花費時間 (time-taken)：動作所花費的時間長度 (毫秒)。
• 通訊協定版本 (cs-version)：用戶端使用的通訊協定版本，可為 HTTP 或 FTP。
• 主機 (cs-host)：主機名稱 。
• 使用者代理程式 (cs(UserAgent))：用戶端使用的瀏覽器類型。
• Cookie (cs(Cookie))：已傳送或已接收的 Cookie 內容 (如果有的話)。
• 推薦者 (cs(Referer))：使用者上次造訪的網站。此網站提供目前網站的連結。

參考資料

• microsoft iis 6.0 說明文件
• Default Log File Settings for Web Sites
• 設定 IIS 記錄

iislog 的參數設定 was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

課程簡介：

• 培訓目的： 通過8小時的上課和演練，了解和熟悉ELK 的原理和操作
• 培訓日期： 7月20日/7月21日 (13:30 ~ 17:30)
• 培訓時間：8小時，分2天完成，每次上課4小時
• ELK 的演練環境：每個人一個獨立的ELK 環境，可以實際操作
• 備註：請自帶筆電，以便實際操作
• 學員人數：小班制(10人內)
• **報名方式**

第一天：ELK 的基本介紹和操作

上課時間： 13:30~17:30

報到: 13:00

課程內容：

• ELK 的基本介紹： 30分鐘
• Logstash 基本原理說明： 30分鐘
• ElasticSearch 的原理和操作： 50分鐘
• 中間休息： 20分鐘
• Kibana 的 基本操作： 50分鐘
• 問題回答和 ELK 安裝(實際操作)： 60分鐘

第二天： ELK 演練和實作

上課時間： 13:30~17:30

報到時間: 13:00

課程內容：

• apache log ELK 實際導入和dashboard 的製作： 60分鐘
• twitter 爬文導入ELK 導入： 50分鐘
• 中間休息： 20分鐘
• filebeat, topbeat 介紹.： 50分鐘
• 問題回答和 Logstash parsing(實際操作)： 60分鐘

ELK 課程培訓 was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

字詞定義

• 單字例如 “test” 或 “hello”
• 雙引號包住的片語，例如 “hello dolly”
• 多語詞可以用布林運算子整合在一起來建構一個複雜的查詢

ES的查詢語法範例

欄位的查詢

• 查詢status 包含active 值

status:active

• 查詢title 欄位中包含 quick 或是brown 的欄位， 其中的O 可以省列

title:(quick OR brown)
title:(quick brown)

• 精準查詢 author 欄位中包含 john smith

author:”John Smith”

• 多欄位的查詢

field1:query_term OR field2:query_term 

• Wildcard 查詢， 可以使用wildcard 進行查詢

field:(qu?ck bro*)

Ranges 的查詢

範圍的查詢可以指定日期、數字或是字串，同時可以使用

[min TO max] : 查詢指定範圍內
{min TO max} : 查詢指定範圍外

範圍的查詢範例

• All days in 2012:

date:[2012–01–01 TO 2012–12–31]

• Numbers 1..5

count:[1 TO 5]

• Tags 介於alpha 和omega, 但是不包含alpha 和omega:

tag:{alpha TO omega}

• 數字從10 以上的值

count:[10 TO *]

• 2012年前的日期

date:{* TO 2012–01–01}

• [ 和} 混合查詢: 數字從1開始，但是不包含5 的值

count:[1 TO 5}

• 數字範圍查詢：

age:>10
age:>=10
age:<10
age:<=10
age:(>=10 AND <20)
age:(+>=10 +<20)

組合查詢：

(quick OR brown) AND fox
status:(active OR pending) title:(full text search)

查詢有包含這個欄位的內容

如果有時候有些欄位有內容， 有時候沒有內容, 以下例子是查詢pname3 欄位中， pname3 有內容的值。

_exists_:pname3

保留字

如果需要查詢保留字，必須加上backslash 以判別保留字， 例如要查詢 (1+1)=2, 語法為 \(1\+1\)\=2.

保留字:

 + — = && || > < ! ( ) { } [ ] ^ “ ~ * ? : \ /

IIS log 的常用的查詢範例

• 查詢cs_status 欄位 相關查詢

cs_status:404

cs_status:(404 OR 500)

cs_status:(400 TO 499)

• 查詢WEB07-IIS1 staus 404 和WEB08-IIS2 status 500 的內容

s_computername: WEB07 AND cs_status:400

s_computername: WEB08 AND cs_status:500

(s_computername: WEB08 AND cs_status:400 ) AND @timestamp:[2017-04-02 TO 2017-04-23]

• 查詢PriceService.svc 相關內容

cs_uri_stem_name:PriceService.svc

cs_uri_stem_name:PriceService.svc AND time_taken:(>=200)

cs_uri_stem_name:PriceService.svc AND time_taken:(>=5000 AND <=10000)

cs_uri_stem_name:PriceService.svc AND time_taken:(>=5000 AND <=10000)  AND @timestamp:[2017-04-02 TO 2017-04-23]

cs_uri_stem_name:(PriceService.svc OR OperationService.svc) AND time_taken:(>=5000 AND <=10000) AND @timestamp:[2017-04-02 TO 2017-04-23]

參考資料

• Elasticsearch Analyzer 的内部机制
• Elastic Query string syntax
• Elastic Query String Query
• Lucene的查詢語法

mcandre/cheatsheets

ES 常用查詢語法 was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.

參考資料：

• Log Parser overview
• 介紹好用工具：Log Parser (分析多種 Log 格式的超強工具)
• 介紹好用工具：Log Parser Lizard GUI (最佳視覺化 LP 工具)
• How to analyse IIS logs using LogParser / LogParser Studio
• 開發API用Log Parser來讀取IIS Log

Log Parser 2.2 was originally published in elkplus on Medium, where people are continuing the conversation by highlighting and responding to this story.