技術関連の覚書

案件でやったり自宅で試したことの覚書

個人情報の流出

メルカリで他人の情報が見えてしまうという状態になっていたという事故がありました。

今回は原因もはっきりしているので、その経緯や原因となったCDNの切り替え作業によるものでブログの方に詳細が書かれています。 CDN切り替え作業における、Web版メルカリの個人情報流出の原因につきまして - Mercari Engineering Blog

このような事故は他人事ではないので、言い方は悪いかもしれないけど人のふり見て我がふり直せといった対応で 自分の携わってるシステムがこのようなことになっていないか、今後このような変更を検討している際の参考にもなります。

ブログに詳細に書いていただけると事故を起こさないための対策を広めてくれているので第三者的にはありがたいことになります。

当事者の方は大変でしょうが…

こういった事故は事故後の対応が大事ですね。

Web版のメルカリにおける個人情報流出に関するお詫びとご報告

AWSの無料枠

AWS Step Functions

マイクロサービスの各モジュールの連携をコントロールするもののようです

1 か月あたり 4,000 回の状態遷移

Amazon SES

Simple Email Serviceの略です メールサービスですが、アジアにリージョンがないので今のところこの3箇所です

Supported Regions

EU (アイルランド) 米国東部 (バージニア北部) 米国西部 (オレゴン)

Amazon EC2 インスタンスから直接、または AWS Elastic Beanstalk を介して Amazon SES を呼び出す際に、1 か月あたり 62,000 件の送信メッセージを任意の受取人に送信できます。 1 か月あたり 1,000 件の受信メッセージ。

Amazon QuickSight

1 ユーザー、1 GB の SPICE

AWS CodeBuild

クラウド内でコードをビルドおよびテストできる完全マネージド型ビルドサービス

プロジェクトを設定してビルド、テストをしてくれるのでCIの役割かな

ソースプロバイダはS3、CodeCommit、GitHubから選べます

環境のビルド方法は、CodeBuildで管理されたイメージ、Dockerイメージから選択

OS、Ubuntuしか選べない

ランタイム、Base、AndroidJavaPythonRuby、Go言語、Node.js、Dockerから

ビルド仕様はソースディレクトリのbuildspec.ymlかビルドコマンドを選択します

1 か月あたり 100 ビルド分のビルド。build.general1.small compute type 使用

AWSの無料枠

AWS CodePipeline

コードのリリースとかを自動化するのでCI/CDのような感じでしょうか 1 か月当たり 1 アクティブパイプライン S3からEC2のAmazon Linuxへデプロイするみたいですね

AWS Device Farm

モバイルデバイスアプリのテストのようです 最初 の1000時間無料となってます 1回限り、250 デバイス分の無料トライアル ともあるので1年過ぎた後も回数と時間で無料分があるということのようです

体力の限界を感じてきたのでこのへんで

AWS Step Functions 1 か月あたり 4,000 回の状態遷移

Amazon SES Amazon EC2 インスタンスから直接、または AWS Elastic Beanstalk を介して Amazon SES を呼び出す際に、1 か月あたり 62,000 件の送信メッセージを任意の受取人に送信できます。 1 か月あたり 1,000 件の受信メッセージ。

Amazon QuickSight 1 ユーザー、1 GB の SPICE

AWS CodeBuild 1 か月あたり 100 ビルド分のビルド。build.general1.small compute type 使用**

AWSの無料枠

Amazon Mobile Analytics

アプリケーションの使用状況データを大規模に収集して視覚化し、開発者が簡単に把握できるようにするサービス と書かれています。

ELKみたいな感じかな?

1か月あたり1億の無料イベント イベントとは、セッションの開始やインアプリ購入といった、アプリケーションでのアクティビティのことです と書かれているので、1億のイベントってかなりの数かも

Amazon Chime

Amazon Chime ベーシックの無制限の使用

オンラインミーティングツールです ベーシックでどこまで使えるのかですが、SlackやChatworkくらいは使えるのかな

Amazon Simple Workflow Service (SWF)

Webサービスのワークフロー制御のようです

1,000 件の Amazon SWF ワークフローの実行と合計 10,000 件のアクティビティタスク、シグナル、タイマーとマーカー、および 30,000 ワークフロー日。 Amazon Simple Queue Service (SQS) と Amazon Simple Notification Service (SNS) Amazon Simple Queue Service リクエスト 1,000,000 件 Amazon Simple Notification Service リクエスト 1,000,000 件、HTTP 通知 100,000 件、E メール通知 1,000 件 Amazon Elastic Transcoder SD トランスコード 20 分または HD トランスコード 10 分

AWS Key Management Service

データ暗号化の手間を軽減する管理型の暗号化サービスです。AWS Key Management Service では、可用性の高いキーストレージ、管理、監査ソリューションを提供し、AWS のサービス全体で、また独自のアプリケーション内でのデータの暗号化を可能にします。

1 か月当たり 2 万件の無料リクエスト **

認証鍵の管理システムですね。 EC2でセキュリティグループ作って鍵で認証してログインする仕組みは作りました。

AWS Lambda

実際にコードを動かすまで課金されないので、これだけのリクエストとコンピューティングに到達するためには相当使わないと到達しないような 1ヶ月は31日で2678400秒です

1か月当たり 100 万件の無料リクエスト 1か月当たり最大 320 万秒のコンピューティング時間

この続きは明日かな

AWS CodePipeline 1 か月当たり 1 アクティブパイプライン AWS Device Farm 1 回限り、250 デバイス分の無料トライアル AWS Step Functions 1 か月あたり 4,000 回の状態遷移 Amazon SES Amazon EC2 インスタンスから直接、または AWS Elastic Beanstalk を介して Amazon SES を呼び出す際に、1 か月あたり 62,000 件の送信メッセージを任意の受取人に送信できます。 1 か月あたり 1,000 件の受信メッセージ。 Amazon QuickSight 1 ユーザー、1 GB の SPICE AWS CodeBuild 1 か月あたり 100 ビルド分のビルド。build.general1.small compute type 使用

AWSの無料サービス

AWSは最初の1年間無料で使えるサービスがあるけれども、最近1年過ぎても無料で使えるサービスがあることに気がついた。

無料で使えるものは便利だけど、制限超えると有料になるので注意。

とはいえ、その無料枠でも個人利用なら十分なものもいくつかあった。

無料のクラウドサービス | AWS 無料利用枠

Amazon DynamoDB

25 GB のストレージ、25 ユニットの読み込み容量と 25 ユニットの書き込み容量、Amazon DynamoDB による毎月 2 億件までのリクエスト処理に十分な容量。

25GBのストレージだと、1レコード1KBのテーブルで2500万件登録、25テーブル作って100万件使える。

毎月2億件までのリクエストって1ヶ月最大31日で2678400秒、1秒あたり1000リクエストくらいのDBアクセスくらいなので、個人用としてはほぼ無料のDBと思っていい。

Amazon Cognito

アカウントの同期化サービスのようです。 詳しくわからないので調べてみよ。

AWS CodeCommit

5アクティブユーザ/月 50GB/月のストレージ 10000Gitリクエスト/月

ユーザ数だとBitBucketと同じですが、リポジトリが2GBに達すると新しいコミットができなくなるので、50GBはかなり大きいかもしれません。

参考URLリポジトリ サイズの縮小 - アトラシアン製品ドキュメント

Amazon CloudWatch

モニタリングサービスです。

AWS CloudWatch (クラウドおよびネットワークモニタリング)| AWS

こちらは、AWSのサービスをモニタリングするためのサービスなのでAWSの他のサービスを使ってないとあまり意味ないかな? でも、使ってる人にしてみると

10 カスタムメトリクス、10 アラーム、1,000,000 API リクエスト 5 GB のログデータの取り込み 5 GB のログデータのアーカイブ 毎月最大 50 メトリクスのダッシュボード 3 個 これってかなりの量ですね

AWS X-Ray

マイクロサービスを使って構築したアプリケーションなどの分析ができます。

見た感じはAppDynamicsのような

アプリケーションパフォーマンス管理、およびモニタリング | 製品 | AppDynamics

Google I/Oに行ってきました

と言っても、行ってきたのはこちらの報告会です(釣られた方ごめんなさい)。

Google I/O 2017 わいわい報告会 @ Mercari - connpass

ああ、行けるような身分になりたい。

今回は、技術レポート以外にも開場の様子など色々と報告していただきましたが、皆さんが共通して言ってたこと それは、 去年より格段によくなった (去年がひどすぎた) でした。

とにかく暑い会場で今年は日陰が増えたり、水などがあちこちで配られたり(移動して回ってます)といった配慮があり 所々にあるお菓子コーナーで腹ごしらえできるなど、体力使うけど食べ物に困らないそうです。

Google I/O 報告会 Overview

今回のテーマはMobile First から AI Firstへでした。

AMP+PWAの話題を中心に取り上げていました。

Google I/O 2017 注目のmobile Web技術 // Speaker Deck

先だってのニュースでKotlinが正式にAndroidアプリの開発言語としてサポートされAndroid Studio3.0からプラグインなしの完全さポートになるようです。(今回の報告会ではその話はあまり深入りしませんでしたが)

Maker Faire Bay Areaに行きたくてGoogleI/Oに行ってきた方の話があり、物作りのイベントのようです。

Maker Faire Bay Areaに行きたかったのでGoogle I/Oに行ってきた

今回の話の内容復習しないとちょっとわからない所多かったな。

docker-composeで動かなかったELK

dockerで動かしてるもの混乱してきたので一旦全部削除しました

色々試して入るうちに収集つかなくなってきてました

Elasticsearchの球バージョンが邪魔してたっぽいなということで

改めてdocker run してます