技術関連の覚書

案件でやったり自宅で試したことの覚書、自宅Redmineから移行

第20回Elasticsearch勉強会

第20回Elasticsearch勉強会­ #elasticsearchjp - Elasticsearch勉強会(Elastic Tokyo User Group) #elasticsearchjp (東京都) | Meetup

行ってきました。*1

今回は5.5リリースの話から 前回は5.3のリリースだったので一部5.4の新機能もあります。

EOLがくるので1はサポートなくなり、2系も危ないということなのでそろそろ5系に乗り換えましょうということからスタート。

X-PackにMachineLearningがついてくるので1ヶ月無料で使えるのでぜひ使ってみてくださいという宣伝も忘れてませんでした。

5.5の新機能

Windowsユーザが少ないのでまず、Windows版からインストーラを作ったそうです。

  • メジャーバージョンが変わるとクラスタを停止する必要があったけどローリングアップデート可能になった

  • kibana Dashbord View and Edit 名前の通り、kibanaのレイアウトエディタです そのため、6ではkibanaにView Only Modeがつく予定らしいです。

  • Pipline Aggs in Kibana(5.4〜)

  • アグリゲーション2種類から増えた

  • 棒グラフが横から出せるようになった 棒グラフ→ 線グラフ やり直さなくても選んで変えられるようになったので便利になりました

  • Geo Centroid メッシュ状の○から緯度経度の中心からの円を描画する

  • Filter Editor(5.5〜) GUIでQueryを作れる

  • Region Map(5.5〜) 国ごと、州ごとで色を塗る

  • Gauge/Goal(5.5〜)

Logstash
  • Persistent Queue GA(5.4〜) インプットで受け取った側からファイルを受け取ってLogstashにファイルを持つ 途中で落ちてもデータが残る

Deploying and Scaling Logstash | Logstash Reference [5.5] | Elastic

  • Dead Letter Events Elasticsearchに入れられないデータを入れる場所

  • Grok Debugger(5.5〜) Kibanaに入った

Beats
  • Jolokia Module(5.4〜)

  • Linux auditd logs(5.4〜)

  • Linux System authentication logs(5.4〜)

6に対する下地作りも兼ねているのでこの辺の機能は6に反映されるようです

この記事はリリースノートに乗ってます。

Elasticsearch Reference [5.5] | Elastic

MachineLearning

デモ

周期的なデータから外れている部分を検知するデモでした。

Jupyterで手順再現!Elasticsearch構築・運用を実行可能ドキュメントで機械化してみた

谷沢智史

DevOpsな感じの人

研究者向けのOpenStackベースのクラウドサービスを提供

OSS中心 主にHadoop  教材用途  分析用途

という方です

少量多品種な上にインフラはMoving Target

すべてを自動化するのは難しい

自動化というよりは機械化で実現

Elasticsearch notebookを作ったので

Dockerイメージで配布中

日々の作業の証跡を記録 Traceability そこから手順を整理して再利用する Reusability

こちらで公開しています NII Cloud Operation Team · GitHub

Elasticsearchと機械学習を利用したハイブリットなチャットbotシステム

AIを備えたchatb Rule Engine QA Engine Query Boost Workflow Engine Content Optimize

botや音声で20もいらない

Rule,QA,Query

  • RuleEngine 特定ワードにする機能 NGワード判定

PercolateQueryを使って判定 ドキュメントがマッチするキーワード条件があるか探す 例 オマエ馬鹿だな→ES→Query:馬鹿

  • Mapping

QAEngineとQueryBoost

類似したクエ襟検索 完全一致スコア

単語目スコア

MoreLikeThisQuery 近いドキュメントを探す スペラー もしかしてxxxですか? 類似記事 似たような文章を検索してます

退会方法について→EC→退会したい、退会について…

  • QueryBoost マッチしたフィールドに対して重み付けソートを行う 完全一致 +1000 名詞一致 +300 など

このようにスコアで重み付けしてソートして順位付けすることでAIっぽいことをElasticsearchで実現するという内容。

今、ちょうどチャットボットに関心があるので興味深かったです。

今後の展開 文言変更 文章によって表情を変更 トークンごとに次の文章を予測 時系列での会話のやりとり

Packetbeatの基礎から、IoTデバイス異常検知への応用まで

Packetbeatとは Litweight Shipper for Network Data

主な機能

ユースケース

Elasticsearch Ingest Node 大文字小文字を変換したり、CSVをパースするなど Elasticsearch側でできる

IoTデバイスの異常検知

SORACOM Junctionと連携してセキュアな環境でパケット解析が可能

*1:いろいろとあって内容整理できてないまま6のベータ版が出てしまいました

Elastic Stack 6.0.0-beta1リリース | Elastic