Merge pull request #515 from Yamato-Security/develop

v1.2.1 release

CHANGELOG-Japanese.md

@@ -1,14 +1,26 @@
 # 変更点
 
+## v1.2.1 [2022/04/20] Black Hat Asia Arsenal 2022 Preview Release
+
+**新機能:**
+- Added a `Channel` column to the output based on the `./config/channel_abbreviations` config file. (@hitenkoku)
+- Rule and rule config files are now forcefully updated. (@hitenkoku)
+
+**バグ修正:**
+- Rules marked as noisy or excluded would not have their `level` changed with `--level-tuning` but now all rules will be checked. (@hitenkoku)
+
 ## v1.2.0 [2022/04/15] Black Hat Asia Arsenal 2022 Preview Release
+
 **新機能:**
+
 - `-C / --config` オプションの追加。検知ルールのコンフィグを指定することが可能。(Windowsでのライブ調査に便利) (@hitenkoku) 
 - `|equalsfield` と記載することでルール内で二つのフィールドの値が一致するかを記載に対応。 (@hach1yon)
 - `-p / --pivot-keywords-list` オプションの追加。攻撃されたマシン名や疑わしいユーザ名などの情報をピボットキーワードリストとして出力する。 (@kazuminn)
 - `-F / --full-data`オプションの追加。ルールの`details`で指定されたフィールドだけではなく、全フィールド情報を出力する。(@hach1yon)
 - `--level-tuning` オプションの追加。ルールの検知ファイルを設定したコンフィグファイルに従って検知レベルをチューニングすることが可能(@itib、@hitenkoku)
 
 **改善:**
+
 - 検知ルールとドキュメントの更新。 (@YamatoSecurity)
 - MacとLinuxのバイナリに必要なOpenSSLライブラリを静的コンパイルした。 (@YamatoSecurity)
 - タブ等の文字が含まれたフィールドに対しての検知性能の改善。 (@hach1yon、@hitenkoku)
@@ -18,19 +30,24 @@
 - イベントIDとタイトルが記載されたコンフィグファイルの名前を `timeline_event_info.txt` から `statistics_event_info.txt`に変更。 (@YamatoSecurity、 @garigariganzy)
 - 64bit Windowsで32bit版のバイナリを実行しないように修正(@hitenkoku)
 - MITRE ATT&CKのデータの出力を`output_tag.txt`で修正できるように修正(@hitenkoku)
+- 出力にChannel名のカラムを追加(@hitenkoku)
 
 **バグ修正:**
+
 - `.git` フォルダ内にある `.yml` ファイルがパースエラーを引き起こしていた問題の修正。 (@hitenkoku)
 - テスト用のルールファイルの読み込みエラーで不必要な改行が発生していた問題の修正。 (@hitenkoku)
 - Windows Terminalのバグで標準出力が途中で止まる場合がありましたが、Hayabusa側で解決しました。 (@hitenkoku)
 
 ## v1.1.0 [2022/03/03]
+
 **新機能:**
+
 - `-r / --rules`オプションで一つのルール指定が可能。(ルールをテストする際に便利！) (@kazuminn)
 - ルール更新オプション (`-u / --update-rules`): [hayabusa-rules](https://github.com/Yamato-Security/hayabusa-rules)レポジトリにある最新のルールに更新できる。 (@hitenkoku)
 - ライブ調査オプション (`-l / --live-analysis`): Windowsイベントログディレクトリを指定しないで、楽にWindows端末でライブ調査ができる。(@hitenkoku) 
 
 **改善:**
+
 - ドキュメンテーションの更新。 (@kazuminn、@itiB、@hitenkoku、@YamatoSecurity)
 - ルールの更新。(Hayabusaルール: 20個以上、Sigmaルール: 200個以上) (@YamatoSecurity)
 - Windowsバイナリは静的でコンパイルしているので、Visual C++ 再頒布可能パッケージをインストールする必要はない。(@hitenkoku)
@@ -42,12 +59,15 @@
 - Cargo crateの更新。 (@YamatoSecurity)
 
 **バグ修正:**
+
 - `cargo update`がより安定するために、clapのバージョンを固定した。(@hitenkoku)
 - フィールドのタブや改行がある場合に、ルールが検知しなかったので、修正した。(@hitenkoku)
 
 ## v1.0.0-Release 2 [2022/01/27]
+
 - アンチウィルスに誤検知されたExcelの結果ファイルの削除。(@YamatoSecurity)
 - Rustのevtxライブラリを0.7.2に更新。 (@YamatoSecurity)
 
 ## v1.0.0 [2021/12/25]
+
 - 最初のリリース

CHANGELOG.md

@@ -1,5 +1,14 @@
 # Changes
 
+## v1.2.1 [2022/04/20] Black Hat Asia Arsenal 2022 Preview Release
+
+**New Features:**
+- Added a `Channel` column to the output based on the `./config/channel_abbreviations.txt` config file. (@hitenkoku)
+- Rule and rule config files are now forcefully updated. (@hitenkoku)
+
+**Bug Fixes:**
+- Rules marked as noisy or excluded would not have their `level` changed with `--level-tuning` but now all rules will be checked. (@hitenkoku)
+
 ## v1.2.0 [2022/04/15] Black Hat Asia Arsenal 2022 Preview Release
 
 **New Features:**
@@ -10,6 +19,7 @@
 - `--level-tuning` option: You can tune the risk `level` in hayabusa and sigma rules to your environment. (@itib and @hitenkoku)
 
 **Enhancements:**
+
 - Updated detection rules and documentation. (@YamatoSecurity)
 - Mac and Linux binaries now statically compile the OpenSSL libraries. (@YamatoSecurity)
 - Performance and accuracy improvement for fields with tabs, etc... in them. (@hach1yon and @hitenkoku)
@@ -19,19 +29,24 @@
 - Updated the event ID and title config file (`timeline_event_info.txt`) and changed the name to `statistics_event_info.txt`. (@YamatoSecurity and @garigariganzy)
 - 32-bit Hayabusa Windows binaries are now prevented from running on 64-bit Windows as it would cause unexpected results. (@hitenkoku)
 - MITRE ATT&CK tag output can be customized in `output_tag.txt`. (@hitenkoku)
+- Added Channel column output. (@hitenkoku)
 
 **Bug Fixes:**
+
 - `.yml` files in the `.git` folder would cause parse errors so they are now ignored. (@hitenkoku)
 - Removed unnecessary newline due to loading test file rules. (@hitenkoku)
 - Fixed output stopping in Windows Terminal due a bug in Terminal itself. (@hitenkoku)
 
 ## v1.1.0 [2022/03/03]
+
 **New Features:**
+
 - Can specify a single rule with the `-r / --rules` option. (Great for testing rules!) (@kazuminn)
 - Rule update option (`-u / --update-rules`): Update to the latest rules in the [hayabusa-rules](https://github.com/Yamato-Security/hayabusa-rules) repository. (@hitenkoku)
 - Live analysis option (`-l / --live-analysis`): Can easily perform live analysis on Windows machines without specifying the Windows event log directory. (@hitenkoku) 
 
 **Enhancements:**
+
 - Updated documentation. (@kazuminn , @hitenkoku , @YamatoSecurity)
 - Updated rules. (20+ Hayabusa rules, 200+ Sigma rules) (@YamatoSecurity)
 - Windows binaries are now statically compiled so installing Visual C++ Redistributable is not required. (@hitenkoku)
@@ -43,12 +58,15 @@
 - Updated cargo crates. (@YamatoSecurity)
 
 **Bug Fixes:**
+
 - Made the clap library version static to make `cargo update` more stable. (@hitenkoku)
 - Some rules were not alerting if there were tabs or carriage returns in the fields. (@hitenkoku)
 
 ## v1.0.0-Release 2 [2022/01/27]
+
 - Removed Excel result sample files as they were being flagged by anti-virus. (@YamatoSecurity)
 - Updated the Rust evtx library to 0.7.2 (@YamatoSecurity)
 
 ## v1.0.0 [2021/12/25]
+
 - Initial release.

Cargo.toml

@@ -1,6 +1,6 @@
 [package]
 name = "hayabusa"
-version = "1.2.0"
+version = "1.2.1"
 authors = ["Yamato Security @SecurityYamato"]
 edition = "2021"
 

README-Japanese.md

@@ -56,6 +56,7 @@ Hayabusaは、日本の[Yamato Security](https://yamatosecurity.connpass.com/)
 - [サンプルevtxファイルでHayabusaをテストする](#サンプルevtxファイルでhayabusaをテストする)
 - [Hayabusaの出力](#hayabusaの出力)
   - [MITRE ATT&CK戦術の省略](#mitre-attck戦術の省略)
+  - [Channel情報の省略](#channel情報の省略)
   - [プログレスバー](#プログレスバー)
   - [標準出力へのカラー設定](#標準出力へのカラー設定)
 - [Hayabusaルール](#hayabusaルール)
@@ -170,6 +171,11 @@ hayabusa.exe -u
 
 アップデートが失敗した場合は、`rules`フォルダの名前を変更してから、もう一回アップデートしてみて下さい。
 
+>> 注意: アップデートを実行する際に `rules` フォルダは [hayabusa-rules](https://github.com/Yamato-Security/hayabusa-rules) レポジトリの最新のルールとコンフィグファイルに置き換えられます
+>> 既存ファイルへの修正はすべて上書きされますので、アップデート実行前に編集したファイルのバックアップをおすすめします。
+>> もし、`--level-tuning` を行っているのであれば、アップデート後にルールファイルの再調整をしてください
+>> `rules`フォルダ内に新しく追加したルールは、アップデート時に上書きもしくは削除は行われません。
+
 # ソースコードからのコンパイル（任意）
 
 Rustがインストールされている場合、以下のコマンドでソースコードからコンパイルすることができます:
@@ -320,7 +326,7 @@ USAGE:
     -s --statistics 'イベント ID の統計情報を表示する。'
     -q --quiet 'Quietモード。起動バナーを表示しない。'
     -Q --quiet-errors 'Quiet errorsモード。エラーログを保存しない。'
-    --level-tuning <LEVEL_TUNING_FILE> 'ルールlevelのチューニング [default: ./config/level_tuning.txt]'
+    --level-tuning <LEVEL_TUNING_FILE> 'ルールlevelのチューニング [default: ./rules/config/level_tuning.txt]'
     -p --pivot-keywords-list 'ピボットキーワードの一覧作成。'
     --contributors 'コントリビュータの一覧表示。'
 ```
@@ -460,6 +466,7 @@ Hayabusaの結果を標準出力に表示しているとき（デフォルト）
 
 * `Timestamp`: デフォルトでは`YYYY-MM-DD HH:mm:ss.sss +hh:mm`形式になっています。イベントログの`<Event><System><TimeCreated SystemTime>`フィールドから来ています。デフォルトのタイムゾーンはローカルのタイムゾーンになりますが、`--utc` オプションで UTC に変更することができます。
 * `Computer`: イベントログの`<Event><System><Computer>`フィールドから来ています。
+* `Channel`: ログ名です。イベントログの`<Event><System><EventID>`フィールドから来ています。
 * `Event ID`: イベントログの`<Event><System><EventID>`フィールドから来ています。
 * `Level`: YML検知ルールの`level`フィールドから来ています。(例：`informational`, `low`, `medium`, `high`, `critical`) デフォルトでは、すべてのレベルのアラートとイベントが出力されますが、`-m`オプションで最低のレベルを指定することができます。例えば`-m high`オプションを付けると、`high`と`critical`アラートしか出力されません。
 * `Title`: YML検知ルールの`title`フィールドから来ています。
@@ -493,6 +500,38 @@ CSVファイルとして保存する場合、以下の列が追加されます:
 * `Exfil` : Exfiltration (持ち出し)
 * `Impact` : Impact (影響)
 
+## Channel情報の省略
+
+簡潔に出力するためにChannelの表示を以下のように省略しています。
+`config/channel_abbreviations.txt`の設定ファイルで自由に編集できます。
+
+* `Application` : App
+* `DNS Server` : DNS-Svr
+* `Microsoft-ServiceBus-Client` : SvcBusCli
+* `Microsoft-Windows-CodeIntegrity/Operational` : CodeInteg
+* `Microsoft-Windows-LDAP-Client/Debug` : LDAP-Cli
+* `Microsoft-Windows-AppLocker/MSI and Script` : AppLocker
+* `Microsoft-Windows-AppLocker/EXE and DLL` : AppLocker
+* `Microsoft-Windows-AppLocker/Packaged app-Deployment` : AppLocker
+* `Microsoft-Windows-AppLocker/Packaged app-Execution` : AppLocker
+* `Microsoft-Windows-Bits-Client/Operational` : BitsCli
+* `Microsoft-Windows-DHCP-Server/Operational` : DHCP-Svr
+* `Microsoft-Windows-DriverFrameworks-UserMode/Operational` : DvrFmwk
+* `Microsoft-Windows-NTLM/Operational` : NTLM
+* `Microsoft-Windows-SmbClient/Security` : SmbCliSec
+* `Microsoft-Windows-Sysmon/Operational` : Sysmon
+* `Microsoft-Windows-TaskScheduler/Operational` : TaskSch
+* `Microsoft-Windows-PrintService/Admin` : PrintAdm
+* `Microsoft-Windows-PrintService/Operational` : PrintOp
+* `Microsoft-Windows-PowerShell/Operational` : PwSh
+* `Microsoft-Windows-Windows Defender/Operational` : Defender
+* `Microsoft-Windows-Windows Firewall With Advanced Security/Firewall` : Firewall
+* `Microsoft-Windows-WMI-Activity/Operational` : WMI
+* `MSExchange Management` : Exchange
+* `Security` : Sec
+* `System` : Sys
+* `Windows PowerShell` : WinPwSh
+
 ## プログレスバー
 
 プログレス・バーは、複数のevtxファイルに対してのみ機能します。
@@ -560,10 +599,10 @@ Hayabusaルールは、Windowsのイベントログ解析専用に設計され
 ## 検知レベルのlevelチューニング
 
 Hayabusaルール、Sigmaルールはそれぞれの作者が検知した際のリスクレベルを決めています。
-ユーザが独自のリスクレベルに設定するには`./config/level_tuning.txt`に変換情報を書き、`hayabusa.exe --level-tuning`を実行することでルールファイルが書き換えられます。
+ユーザが独自のリスクレベルに設定するには`./rules/config/level_tuning.txt`に変換情報を書き、`hayabusa.exe --level-tuning`を実行することでルールファイルが書き換えられます。
 ルールファイルが直接書き換えられることに注意して使用してください。
 
-`./config/level_tuning.txt`の例:
+`./rules/config/level_tuning.txt`の例:
 ```
 id,new_level
 00000000-0000-0000-0000-000000000000,informational # sample level tuning line