行ってきました。*1
今回は5.5リリースの話から 前回は5.3のリリースだったので一部5.4の新機能もあります。
EOLがくるので1はサポートなくなり、2系も危ないということなのでそろそろ5系に乗り換えましょうということからスタート。
X-PackにMachineLearningがついてくるので1ヶ月無料で使えるのでぜひ使ってみてくださいという宣伝も忘れてませんでした。
5.5の新機能
Windowsユーザが少ないのでまず、Windows版からインストーラを作ったそうです。
メジャーバージョンが変わるとクラスタを停止する必要があったけどローリングアップデート可能になった
kibana Dashbord View and Edit 名前の通り、kibanaのレイアウトエディタです そのため、6ではkibanaにView Only Modeがつく予定らしいです。
Pipline Aggs in Kibana(5.4〜)
アグリゲーション2種類から増えた
棒グラフが横から出せるようになった 棒グラフ→ 線グラフ やり直さなくても選んで変えられるようになったので便利になりました
Geo Centroid メッシュ状の○から緯度経度の中心からの円を描画する
Filter Editor(5.5〜) GUIでQueryを作れる
Region Map(5.5〜) 国ごと、州ごとで色を塗る
Gauge/Goal(5.5〜)
Logstash
- Persistent Queue GA(5.4〜) インプットで受け取った側からファイルを受け取ってLogstashにファイルを持つ 途中で落ちてもデータが残る
Deploying and Scaling Logstash | Logstash Reference [5.5] | Elastic
Dead Letter Events Elasticsearchに入れられないデータを入れる場所
Grok Debugger(5.5〜) Kibanaに入った
Beats
6に対する下地作りも兼ねているのでこの辺の機能は6に反映されるようです
この記事はリリースノートに乗ってます。
Elasticsearch Reference [5.5] | Elastic
MachineLearning
デモ
周期的なデータから外れている部分を検知するデモでした。
Jupyterで手順再現!Elasticsearch構築・運用を実行可能ドキュメントで機械化してみた
谷沢智史
DevOpsな感じの人
研究者向けのOpenStackベースのクラウドサービスを提供
という方です
少量多品種な上にインフラはMoving Target
すべてを自動化するのは難しい
自動化というよりは機械化で実現
Elasticsearch notebookを作ったので
Dockerイメージで配布中
日々の作業の証跡を記録 Traceability そこから手順を整理して再利用する Reusability
こちらで公開しています NII Cloud Operation Team · GitHub
Elasticsearchと機械学習を利用したハイブリットなチャットbotシステム
AIを備えたchatb Rule Engine QA Engine Query Boost Workflow Engine Content Optimize
botや音声で20もいらない
Rule,QA,Query
- RuleEngine 特定ワードにする機能 NGワード判定
PercolateQueryを使って判定 ドキュメントがマッチするキーワード条件があるか探す 例 オマエ馬鹿だな→ES→Query:馬鹿
- Mapping
QAEngineとQueryBoost
類似したクエ襟検索 完全一致スコア
単語目スコア
MoreLikeThisQuery 近いドキュメントを探す スペラー もしかしてxxxですか? 類似記事 似たような文章を検索してます
退会方法について→EC→退会したい、退会について…
- QueryBoost マッチしたフィールドに対して重み付けソートを行う 完全一致 +1000 名詞一致 +300 など
このようにスコアで重み付けしてソートして順位付けすることでAIっぽいことをElasticsearchで実現するという内容。
今、ちょうどチャットボットに関心があるので興味深かったです。
今後の展開 文言変更 文章によって表情を変更 トークンごとに次の文章を予測 時系列での会話のやりとり
Packetbeatの基礎から、IoTデバイス異常検知への応用まで
Packetbeatとは Litweight Shipper for Network Data
主な機能
Elasticsearch Ingest Node 大文字小文字を変換したり、CSVをパースするなど Elasticsearch側でできる
IoTデバイスの異常検知
SORACOM Junctionと連携してセキュアな環境でパケット解析が可能
*1:いろいろとあって内容整理できてないまま6のベータ版が出てしまいました