AWSの無料サービス

AWSは最初の１年間無料で使えるサービスがあるけれども、最近１年過ぎても無料で使えるサービスがあることに気がついた。

無料で使えるものは便利だけど、制限超えると有料になるので注意。

とはいえ、その無料枠でも個人利用なら十分なものもいくつかあった。

無料のクラウドサービス | AWS 無料利用枠

Amazon DynamoDB

25 GB のストレージ、25 ユニットの読み込み容量と 25 ユニットの書き込み容量、Amazon DynamoDB による毎月 2 億件までのリクエスト処理に十分な容量。

25GBのストレージだと、１レコード1KBのテーブルで2500万件登録、25テーブル作って100万件使える。

毎月２億件までのリクエストって１ヶ月最大３１日で2678400秒、１秒あたり1000リクエストくらいのDBアクセスくらいなので、個人用としてはほぼ無料のDBと思っていい。

Amazon Cognito

アカウントの同期化サービスのようです。 詳しくわからないので調べてみよ。

AWS CodeCommit

５アクティブユーザ/月 50GB/月のストレージ 10000Gitリクエスト/月

ユーザ数だとBitBucketと同じですが、リポジトリが2GBに達すると新しいコミットができなくなるので、50GBはかなり大きいかもしれません。

参考URLリポジトリ サイズの縮小 - アトラシアン製品ドキュメント

Amazon CloudWatch

モニタリングサービスです。

AWS CloudWatch （クラウドおよびネットワークモニタリング）| AWS

こちらは、AWSのサービスをモニタリングするためのサービスなのでAWSの他のサービスを使ってないとあまり意味ないかな？ でも、使ってる人にしてみると

10 カスタムメトリクス、10 アラーム、1,000,000 API リクエスト 5 GB のログデータの取り込み 5 GB のログデータのアーカイブ 毎月最大 50 メトリクスのダッシュボード 3 個 これってかなりの量ですね

AWS X-Ray

マイクロサービスを使って構築したアプリケーションなどの分析ができます。

見た感じはAppDynamicsのような

アプリケーションパフォーマンス管理、およびモニタリング | 製品 | AppDynamics

Google I/Oに行ってきました

と言っても、行ってきたのはこちらの報告会です(釣られた方ごめんなさい)。

Google I/O 2017 わいわい報告会 @ Mercari - connpass

ああ、行けるような身分になりたい。

今回は、技術レポート以外にも開場の様子など色々と報告していただきましたが、皆さんが共通して言ってたこと それは、 去年より格段によくなった （去年がひどすぎた） でした。

とにかく暑い会場で今年は日陰が増えたり、水などがあちこちで配られたり（移動して回ってます）といった配慮があり 所々にあるお菓子コーナーで腹ごしらえできるなど、体力使うけど食べ物に困らないそうです。

Google I/O 報告会 Overview

今回のテーマはMobile First から AI Firstへでした。

AMP+PWAの話題を中心に取り上げていました。

Google I/O 2017 注目のmobile Web技術 // Speaker Deck

先だってのニュースでKotlinが正式にAndroidアプリの開発言語としてサポートされAndroid Studio3.0からプラグインなしの完全さポートになるようです。(今回の報告会ではその話はあまり深入りしませんでしたが)

Maker Faire Bay Areaに行きたくてGoogleI/Oに行ってきた方の話があり、物作りのイベントのようです。

Maker Faire Bay Areaに行きたかったのでGoogle I/Oに行ってきた

今回の話の内容復習しないとちょっとわからない所多かったな。

docker-composeで動かなかったELK

dockerで動かしてるもの混乱してきたので一旦全部削除しました

色々試して入るうちに収集つかなくなってきてました

Elasticsearchの球バージョンが邪魔してたっぽいなということで

改めてdocker run してます

画像復元技術

今年の初め頃にGoogleで8×8の画像から顔を復元するという話が出てきたけども、 これはどの写真を低解像度にしたものかという事なので、モザイクを元に戻すような技術ではない

モザイクを元に戻す技術は別の意味で興味深いですが、ひとまず置いといて、

画像復元技術として、Googleのように大量の画像データをある解像度(理論的には2×2くらいでも)まで落とし込んでデータベース化することでどんな画像がどのようになる事がわかりそうな気がしてきた

1ドットの画像は通常24ビットカラーで表されるので16777216色これが2つならば48ビットなので 16777216²=281474976710656(281兆4749億7671万0656、約281テラ) 4ドットならば96ビット=4722366482869645213696(47垓2236京6482兆8696億4521万3696、約472ペタ)通りの符号になり得る

一人が1日1000枚の写真を撮るとして(私はそんなに撮りませんが)80年撮りつづけても29200000枚 70億人が全員でそのペースだとしても204400000000000000(20京4400兆)枚

つまり、同じものにならなければ理論上4ドットでも画像特定に行き着くことは可能かも知れないです

ただし、元の解像度がわかることや別の画像で同じものにならない前提もありますけどね

勉強会まとめ

社内プレゼンがあってその資料作りやらなんやらでずっとブログ放置状態でしたが

それを含めて、その間に行ってきた勉強会とかの話をまとめておきたいと思います。

【5/17】第1回 Alteryx User Group in 東京 - connpass

BIツールの勉強会でした。

BIツールとはビッグデータを扱った集計や地図データとの連携などこれらの出力を簡単にするためのツールです。

ログ分析はシステムの障害時に障害の原因究明やボトルネックとなる箇所を特定して改修するといった役割でした。

その後、アクセスログから購買動向などを分析するようになり、最近では大量のデータから行動分析なども行うようになりました。

Googleでもこの人にどんな広告を見せると購買につながるかを分析するような仕組みもあります。

大量の検索パターンからその人の興味を分析することもから最適な広告を表示するような仕組みであることは想像できます。

元になるデータと言うのをうまく加工しやすいものにしようとした場合、定型文の選択でのインプットになってしまいます そうした定型文を選択させる方式ではそこに無い選択肢は選べないため適切なデータが得られないといったデメリットがあり、 現在では自由に入力したものから加工してデータとして使える形にするといった技術が必要になっています。

どんなアウトプットにするかということは先に決めずに、とにかくデータを集めて必要なものを取り出して加工するという時代になってきたんですね。

久しぶりに

書いてみようと思ったけど、今日は飲み会でこんな時間になってしまった。

社内プレゼンのためしばらくそっちに専念してたのですが、元ネタがこのブログにできたので助かった。

前にも自宅PCのメモから拾ってきてたけどブログだと公開する分他人にわかりやすく書くことも意識するから参考にしやすい。

明日からまた再開。

人の成長について考えてみた

人というか生物の成長と言ってもいいかもしれないけど、成長の仕方というのはある程度パターンもあるのではと思った。

一応、技術関連のと言うタイトルなので、使ったものはjupyter使ってpythonでコーディングしています。

図式化することために

1. まずは始めてみる。 その段階では何も知らない、何もできない所から何から始めればいいかしらべたり覚えたりするためなかなか成長が進まない。
2. わかってきて急成長する
3. ある程度たどり着いて後は緩やかに(最新情報への対応くらいの成長)なっていく。

図にするとシグモイド的な曲線かなと思い描いてみた。

これは理想的な成長で、人間は忘れ模するしサボリもする。

そのため、そこに揺らぎが出てくる。

その揺らぎを正弦波を使って補正してみました。

その揺らぎはその中で振動するけれどもやはり全体で見れば成長していくと考えるとこんな感じ….

ちょっと揺れすぎかと思って微調整。

スタート地点が0より大きいし、下がりすぎな点も気になる。

元々シグモイド曲線は無限小で0、無限大で1になる曲線 無限小から無限大まで描けば0スタートで1(極めたといえる所)にたどり着けるかなと言う感じになる。

人間って、生まれたときから0かというと、呼吸もすれば声を出して泣くことから始まっている。 そう言う点ではまったくの0ではない。

行き着いたかなと思ってもそこから先も成長する要素はあるので究極にたどり着くことはないと見るか 究極にたどり着くには無限の時間(つまり一生)成長を続ける事ができると見るか。

そういうことを考えても、1つの事をずっとやっているわけではないので、これをいくつも重ね合わせていくことになる。 3Dグラフか

matplotlibで3Dグラフを描画する - white wheelsのメモ

これ以上続けるととんでもない彷徨に生きそうなのでこのくらいにしておきます。 pythonでの図形描画に興味がある方はこっちの方を参照してみてください。

と、こんなことを考えて行っても何か考えているうちに思わぬ方向に進んでいく。

きちんと方向性を決めて、時代の変化も気にしつつ補正しながら進んでいくことですね。