技術関連の覚書

案件でやったり自宅で試したことの覚書

第19回Elasaticsearch勉強会に行ってきました

第19回Elasticsearch勉強会­ #elasticsearchjp - Elasticsearch勉強会(Elastic Tokyo User Group) #elasticsearchjp (東京都) | Meetup

今回はカリフォルニアでElastic{ON}開催れたのでその紹介と、そこに行ってきたお二方のTLでした。

こちらでビデオも見られます

Elastic{ON} User Conference & Road Tour | Elastic

What is the Elastic{ON}?

Elastic{ON} Sanfranciscoでやったカンファレンス

スピーカーはオーガナイザでもあるJun Otaniさん、今日は喉を痛めながら1時間に渡る長い講演となりました。 お疲れ様です。

大まかに言うとこんなことを紹介 * 写真をいくつか紹介 * 2100人くらい来た * 普段は暖かいけど今回は曇ってて肌寒かった

  • IBM、indexの中身を暗号化する製品を作ってる

  • ASK ME ANYTHING ここにElasticsearch社員がいていろんな質問に答えてくれる

  • Elasticsearchの年表 Kibana、Elasticsearch、Logstash どこらへんでどのユーザグループが立ち上がったか どのバージョンから触り始めたかをシールで貼ってもらって可視化

  • アーケードゲームがおいてあって遊べるコーナーも

  • ご飯が美味しかった

  • Cause Awards ケースを紹介 犯罪に立ち向かうなど

e-cap keynote

  • ビデオ ようつべにある? keynoteの会場 後ろの画面にKibana

バレリーナが踊り続け、センサからデータを拾って手の動きや心拍をKIBANAで可視化

Community 85k members

100M Downloads 2016年

  • Since5.0 (今は5.3.1) 5からすべてのバージョンを揃える X-Pack,Logstash Elasticsearch kibana,beat

5から増えた機能

Numb3rs データ構造を小さくして効率を上げる 地図系の圧縮率が良くなって効率化 数字はポイント→レンジに Range型で保存、クエリも投げられる 数値が1つでなく、範囲で登録ということです

  • Elastic Tile Service 有償化されて認証がかかって地図が出なくなったためElasticからサービス提供

X-Pack ライセンスを取れば無償版もあるので、それから見ることができる

  • Heartbeart 死活監視 ElasticCloudを作るときに使っていた

  • Coming H1 2017 simple things should be simple

  • To tail a file

goで作られたツール WebServerをtailしてlogstashに投げる

Filebeat Modules もう出ているのでダウンロードして使える

  • デモ

Kibana Githubにあるでもログを読みこませる

filebeat.ymlに書いて filebeat実行

KIBANAで見れる ダッシュボードはテンプレートで提供 filebeat,Elasticsearch,KIBANAだけで動く

Elasticsearchに投げてパース

  • To Visualize

Time Series Visual Builder 5.4から

メーター、グラフ、最大最小の数値

上限下限、線グラフを設定 棒グラフ+線グラフ → 線を入れてノート出力

  • To train a model 5.4から

機械学習

異常値検知

データの波形をもとに学習 波形の以上を検知する

もともと入ってるデータに対して学習 薄いブルーが学習モデル 濃いブルーが実データ

学習モデルの幅が実データに近づく 学習モデルから外れた時が異常

オンラインのビデオがある

  • X-Packの有償版

Tryalは30日無料

  • Machine Learning 5.4から

To build

ElasticCloud Enterprise

AWSで提供しているElasticCloudをいろんなところで使える

Elasticsearch SQL クエリーをSQLで書ける SQLをクエリに変換して投げる仕組み

方言のサポートはしない トランザクション管理はしない

フィールドごとに重み付け→MATCH関数で書ける

JDBC,ODBCの提供は先の話

最初はSELECTだけ対応という話も

  • Kibana Canbas

インフォグラフィックス KIBANAのデータをリアルタイムに表示する(開発中)

グラフと一緒に絵が書ける レポート

  • Closing keynote ここでビデオ、スライドが見れる

Wallmart POSデータ→バッチ これをリアルタイムに取れるようにして楽に見る仕組み

kafka→kibana

Ciscoコマースサイト 数十billion

大学の論文 似たようなもの、盗作を探す

Elasticsearch6からどうなる? もうじきメジャーバージョンの話が出てるんですね Lucene7 Sequence Number Rolling Updgrades Chross-major version search

Kibana: New since 5.0

日本語メニューが出るはず*1

Beats

ElasticsearchのモニタリングにBeatを使う メトリックも

logstash パーシエントキュー ファイルに落として突然落ちてもデータが欠落しない

Elasticstack

設定ファイルのビジュアライズ

pipelines Visual Builder

ステータスコードを絵文字

アプロクエスト Elastic{ON} 日本語でブログを書いてある

5.4は何時頃出る? もうすぐ

GW中にブログを見たほうがいい(ということは…) DISCUSで聞いてみると何時頃かは聞けるかも

Beta Available Now I GA Spring 2017

interesting sessions????

LT

  • Elastic{ON} オープンな世界へようこそ

Future Architect Inc

前原応光(まえはらまさみつ)さん

もうすぐ GW

お出かけする? 意外に少ない(会場で手の挙がった数です)

天気が気になる

過去30年間のデータから天気を予測する ….とかではない

Elasitc{ON}

本日は個人的な感想&意見

いろんなスポンサー企業(のロゴ)

あれ?気になりません?

競合じゃね?

壁なんてない

elastic prelert

みたいなことが起こる

会社だけでなくて

どこでもディスカッション

活発なディスカッションが送れる

パーティ 開演終焉の挨拶なんてなくてあるのはエンジニアの交流のみ そこでもディスカッション

会社、人の壁を作らない みんな一体感があって面白い

おまけ

tinder(出合い系っぽいもの) やってみた 男性とマッチング

と言うオチで締めてくれました

楽しいセッションでElastic{ON}の熱気が伝わってきました

Acroquest Technology

白井智子(さとこ)さん

3日でブログ35本UPした会社です

営業という観点から顧客ウケしそうな心機能ベスト3の紹介

3位

Pipeline Visualizer

クエリを書くのは大変だけどこれを使えば自分で簡単に設定できそう

データ投入してみたけどエラーが出たり時間がかかるが何が問題かわからなかった

2位

kibana Canvas

プレゼン中のデータが勝手に更新されるのは画期的 経営層へのレポートを見栄え良くできそう

分析的なグラフや表だけじゃなく、見栄えある表現ができる

1位

X-Pack Machine Learning

これまで毎日グラフを人の目dめ見て変な挙動がないかを自動化できそう

事前に機会をトレーニングしたり正解データを準備したりしないでログを投入するだけで使えるのは魅力的

アラーム通知と連動に期待

いつ出るの?

多くの新機能が発表になり周りの顧客の期待も高まってます。

営業視点でのElastic{ON}レポートでユーザ企業でのニーズもわかりやすく説明していただけました

その他

Elastic{ON}に行くと大谷さんが着てたTシャツがもらえる その場でプリントして絵柄が選べるそうです*2

その後は例によって懇親会です

*1:英語、ロシア語、フランス語、中国語

*2:残念ながら写真はありません