運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#13(4/26~5/1)

この記事は2020/4/26~5/1に発行された下記3つのWeekly Reportを読み、

各レポート内の全記事をまとめて、備忘録兼リンク集として残したものです。

  • 誰かの情報源や検索工数削減などになれば幸いです。
DEVOPS WEEKLY ISSUE #487 April 26th, 2020
SRE Weekly Issue #216 April 27th, 2020
KubeWeekly #214 May 1st, 2020

English Version of this blow is here.

  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。
  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。
  • 情報量が多いので文字とリンクだけに絞っております。
  • 各レポートで取り上げられている記事には2019年以前のものもあり、必ずしも最新のものという訳ではない様です。

DEVOPS WEEKLY ISSUE #487 April 26th, 2020

News

  • タイトルは「Failover Conf Wrapup」。
  • 先日開催されたFailover Confの詳細なまとめです。筆者が参加したセッション、長めの休憩時間が欲しかった(タイムゾーン様々だからしょうがない部分もあるので、ランチタイム休憩が設定出来ないのは止むを得ない)、などのコメントあり。
  • セッション動画が公開されたら、ブログ更新してリンクしてくれるそうです。
A good post for any software developers needing to operate databases, in this case PostgreSQL. Covers tracing, query profiling, slow query logs and more.
  • タイトルは「Introduction to Profiling and Optimizing SQL Queries for Software Engineers」。
  • 「昨今では、z開発チームに専属のDatabase Admins (DBAs)を置く事は滅多に見られない。開発チームとしてマイクロサービスアーキテクチャー、クラウド、DevOpsプロセスを採用していく上でデータベースに責任を持たねばならない。よって、熟練したプログラマーになるには確固たるデータベースのスキルの取得は避けて通れない道である」 として、SQLクエリーのプロファイリングと最適化を論じている記事。
A look at applying feature branches to infrastructure, automatically provisioning new Terraform workspaces for testing distinct changes.
  • タイトルは「From “Feature branches” to “Feature environments” with Terraform」。
  • 開発チームの一般的なプラクティスとしてある、「Featureブランチを切って開発しているFeatureのコードを他のチームメンバーから分離する」に言及し、Terraformを通してFeature環境を作成・活用していくメリットを解説している記事。
Related to the above post, this article covers patterns for using source control branches effectively.
  • タイトルは「Patterns for Managing Source Code Branches」。
  • 上記の記事に続いて、Gitのブランチ戦略について解説している記事。「OSSとコマーシャル、それぞれの文脈で最適の戦略が異なる」と締めくくっており、メリット/デメリット/文化/提供したい価値などを考慮して最適なものを常に考える様にしたい。
A tutorial on managing exceptions in policy, using Open Policy Agent and Conftest. Looking at testing different types of Dockerfiles.
  • タイトルは「Creating Exceptions Lists for Conftest in Rego」。
  • YAML、JSON、Dockerfile、HCL/HCL2などの構造化されたコンフィグのテストを書けるOSSツール「conftest」は制約の一つとしてコンテキスト対応していない為、「Exceptions Lists」を作成していく方法を解説している記事。
An excellent recorded conversation, and transcript, on securing software. Covering the challenge of increasing complexity, the cost of vulnerabilities and lots more.
  • タイトルは「The Security of Software」。
  • SheHacksPurple.dev社のFounder、Security Trainer、CoachであるTanya Janca氏をゲストに迎えたTrend Micro社のライブストリーミング動画の書き起こし記事。
  • 開発チームにおけるセキュリティーのマインドセットを開発していく為のアドバイス、コツがテーマ。動画も埋め込まれています。
A writeup of the new cf-for-k8s project, which provides a way to run Cloud Foundry on top of Kubernetes.
A look under the hood of Docker images, exploring the underlying overlay filesystem and the OCI specification.
  • タイトルは「How are docker images built? A look into the Linux overlay file-systems and the OCI specification 」。
  • Dockerイメージを成り立たせている「オーバーレイファイルシステム」にフォーカスして解説している記事。「可能な限り実践的な内容を心がけている」との事。
A set of tips for managing your cloud bills, looking at optimising applications, understanding your invoices, precommits and other ways to cut costs.
  • タイトルは「8 Ways to Cut Cloud Consumption Costs」。
  • 「組織のクラウドの活用を最適化する為の8の考え方」を提案している記事。

Tools

Paketo is a new project, providing a set of curated, high quality, cloud native buildpacks for common languages and frameworks. Use with pack or other tools to build container images quickly with minimal configuration.
  • CNCFのSandboxプロジェクトである「Cloud Native Buildpacks」のフレームワークを活用しているOSSツール「Paketo Buildpacks」の紹介記事。 コンテナかされたアプリのビルド、パッチなどを簡単にするとの事。
  • ioページはこちら

SRE Weekly Issue #216 April 27th, 2020

Articles

How to create an incident response playbook

Awesome resource! In each section, they explain what to include, why to include it, and an example from their playbook.
Blake Thorne — Atlassian

  • Atlassian社による「障害対応プレイブックの作り方」を解説している記事。コメントはSRE Weeklyと主催者と同じコメントだったので、割愛。
  • Atlassian社の作成した「Incident Management Handbook」をこちらのリンク先で無料配布しているので、ご興味のある方は所属とメールアドレスなどを記入すれば、メールで受け取れます。
Failover Conf Wrapup

I didn’t make it to Failover Conf, and it sounds like I missed a great time, so I’m especially grateful for this writeup.
Rich Burroughs — FireHydrant

  • 上記のDevOps Weeklyで触れていますので、割愛します。
Failover Conf, a Recap of Gremlin’s Epic Virtual Event

And this one!
Hannah Culver — Blamelss

  • Failover Confの意義、キーノート、良かったセッション、良かったイベントとしての取り組みなどを語っている。この方の記事は度々このブログでも登場しますが、気づきが多くて好きです。
  • 「Gremlin gave us everything we wanted socially from a conference sans the free tee shirts.」の一文が一番好きな表現でした。sans: フランス語由来で 「~なしで」という意味。sans phrase 「単刀直入に」などの表現に使う。(脱線しまくり。)
COVID-19 Oncall Survey

I’m a little late with this one, sorry folks! Survey ends tomorrow, April 27.

This is an anonymous survey to look at the impact that COVID-19 has had on oncall teams in tech.

FireHydrant

  • 「COVID-19 Oncall Survey」と題して、無記名でCOVID-19がテック業界のオンコールチームにどの様な影響が出ているかを確認するアンケートだった様です。期日が4/27までだったので、締め切られていました。
Incident Analysis: How Learning is Different Than Fixing


Most post-incident review documents are written to be filed, not written to be read.

This slide deck is awesome and well worth the read.
John Allspaw — Adaptive Capacity Labs

How to build robust anomaly detectors with machine learning


A deep dive into the math behind anomaly detection.
Nikita Butakov — Ericsson

  • 「いかに堅固な異常検知システムを機械学習モデルで確立するか」をテーマに論じている。今後のテーマとして、この学習モデルの開発が進んだら本番環境への統合をどの様に行うか」が課題になるので、そちらのブログも面白そうなので、期待して待ちます。
Advice for On-call Teams During COVID-19

This article brings together thoughts on on-call work during the pandemic from folks at different companies.
Rich Burroughs — FireHydrant

  • 上記の「Failover Conf Wrapup」と同じ筆者、 FireHydrant社のSenior Developer AdvocateであるRich Burroughs氏による「COVID-19危機においてオンコールチームへのアドバイス」を紹介している記事。
  • 既に筆者自身が以前別のブログ記事で、自己紹介を兼ねてアドバイスを書いてたが、他の人からも違った視点のアドバイスが寄せられたので、提案者の名前と内容を紹介している。
Shadowing a Site Reliability Engineer


A frontend engineer shares their key takeaways from their time shadowing.
Laura Montemayor — GitLab

  • GitLab社のフロントエンドエンジニアのLaura Montemayor氏が同社のSREチームに付いて仕事をする(シャドーウィング)の機会があったので、そこで得た体験や気づきを共有している同社のブログ記事。

Outages

上記各社の障害情報

KubeWeekly #214 May 1st, 2020

The Headlines

Editor’s pick of the highlights from the past week.

CNCF Announces Helm Graduation

“When we set out to build Helm, we had two goals in mind,” said Matt Butcher, principal software development engineer at Microsoft and Helm maintainer. “First, make it easy for Kubernetes newcomers to get started deploying cloud native applications. Second, provide a package manager that can scale with enterprise needs. With today’s graduation announcement, we’re happy to see how these two goals have been fulfilled on a larger scale than we ever imagined!”

Help us congratulate the Helm team on this exciting milestone.

  • CNCFが、OSSのパッケージマネージャーである「Helm」をCNCFの成熟度を表すレベルの最高位「Graduation」として10番目に認めた事をアナウンス。
KubeCon + CloudNativeCon is Going Virtual

Did you hear the news? CNCF’s flagship conference will gather the community virtually from August 17 – 20, 2020. Join Kubernetes, Prometheus, Envoy, CoreDNS, containerd, Fluentd, Jaeger, Vitess, TUF, OpenTracing, gRPC, CNI, Notary, NATS, Linkerd, Helm, Rook, Harbor, etcd, Open Policy Agent, CRI-O, TiKV, CloudEvents, Falco, Argo & Dragonfly as the community gathers for four days to further the education and advancement of cloud native computing.

  • KubeCon + CloudNativeCon Europe 2020がオンライン開催となり、日程は8/17~8/20に。
  • 費用は$75 USD。参加するハードルが一気に下がったので、夏休み取って参加しようかな〜と考えています。

ICYMI: CNCF Webinars

Weekly recap of CNCF member and project webinars that you might have missed.
You can view all CNCF recorded and upcoming webinars here

CNCF Ambassador Webinar: CKA / CKAD

Christian Jantz, Cloud Strategist @ Level 25

  • Level 25社のCloud StrategistおよびCNCF AmbassadorであるChristian Jantz氏による、「CKA/CKAD」を受けるベストプラクティスを解説しているWebinar動画。
  • とても丁寧に環境の説明、コツの解説などをしているので受験前に見ておくと不安がだいぶ解消されそう。個人的には、コロナが落ち着いたら夏以降にCKAを取ろうと考えています。
CNCF Member Webinar: Kuma: Service Mesh and the Future of Application Connectivity

Marco Palladino CTO and co-founder @Kong and Kevin Chen, Developer Advocate @Kong

  • Kong社のCTOかつco-founderであるMarco Palladino氏と、同社のDeveloper AdvocateであるKevin Chen氏による「サービスメッシュとアプリの接続性の将来」と題したWebinar動画。
  • サービスメッシュの背景から丁寧に解説しているのと、「伝える」という意思が身振り手振り、言葉などから伝わってくる。解説しながらのデモもあり、じっくり見直したい。
CNCF Member Webinar: Building Zero Trust based Authentication in Healthcare with SPIRE

Bobby Samuels, Vice President, AI Technology @Anthem, Inc., Frederick Kautz, Head of Edge Infrastructure @Doc.ai, Emiliano Berenbaum, Chief Technologist, HPE Labs @Hewlett Packard Enterprise (HPE), and Madhukesh Wali, Software Engineer @HPE

  • Anthem社のAI Technology Vice PresidentであるBobby Samuels氏、Doc.ai社のHead of Edge InfrastructureであるFrederick Kautz氏、HPE社のHPE Labs Chief TechnologistであるEmiliano Berenbaum氏、HPE社のSoftware EngineerであるMadhukesh Wali氏による、「SPIREでヘルスケア業界でゼロトラストベースの認証を確立する」をテーマに、ゼロトラスのアーキテクチャー、デザインのトレードオフ、核となる能力、幅広いユースケース、エコシステムなどを紹介しているWebinar動画。
  • プレゼンターが役割分担していて、リレーしていく形式。後半にデモもあり。
CNCF Member Webinar: Best Practices In Implementing Container Image Promotion Pipelines

Baruch Sadogursky, Head of DevOps Advocacy @JFrog

  • JFrog社のHead of DevOps AdvocacyであるBaruch Sadogursky氏による「コンテナーイメージのPromotionパイプラインの実装におけるベストプラクティス」と題して、異なるアプローチを比較、欲しい機能のリスト、OSSを使ったパイプラインの作成を解説しているのebinar動画。
CNCF Community Webinar: How to Conduct a GREAT Live Stream

Alex Lustenberg, Jorge Castro, Chris Short

  • Alex Lustenberg氏、Jorge Castro氏、Chris Short氏による「How to Conduct a GREAT Live Stream」と題して CNCFメンバープロジェクト向けに、いかにYouTube、OBS、Twitchなどを活用してコミュニティーに参加させるかを解説しているWebinar動画。
  • アメリカとは環境が異なる部分があると思いますが、ライブストリーミングを考えられている方々には参考になるかと。2時間近く語り合っています〜。

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

Life of a Vitess Cluster

Sugu Sougoumarane

  • 先週に引き続き登場ですね。PlanetScale社による同社のCTOおよびVitessのco-creatorであるSugu Sougoumarane氏による、Vitessのクラスターが立ち上がった際に、裏で何が起きているのかを解説している記事。
  • 「この記事は学習ツールにも、トラブルシューティングの手引きにもなり得る」と述べている。Vitessにお世話になる時には、この辺りの資料を正座して読む事になりそうです。
Two-phased Canary Rollout with Open Source Gloo

Author: Rick Ducott | GitHub | Twitter

  • 2段階カナリーロールアウトを行うOSSツール「Gloo」のkubernetes.ioの紹介記事。
  • 余談でしか無いですが、Glooのアイコンを見て、 「ぴちょんくん」を思い浮かべました。
Kubernetes state management with Pulumi and Python

Maksim Ramanouski, HSBC

  • 筆者はKubernetesのプロビショニング後のクラスター構成を自動化するツールを探していたが、Ansible/Terraform/YAMLファイル/kustomize/kptなどでは満足ができなかったが、Pulumiを試して気に入った話。

  • Kubernetes Podcastのエピソード#76でPulumiが取り上げられた際に、同じ事を考えている開発者がいて嬉しく思い、言語のサポート(Python、Javascript、Typescript、Go、.NETなど)、多数のクラウドプロバイダーのサポート、YAMLとHelmチャートもサポートしている点などを良いと思い試してみたとの事。

Simulating Clock Skew in K8s Without Affecting Other Containers on the Node

Chengwen Yin, PingCAP

  • Chaos Mesh™の「クロックスキュー」現象をシミュレート出来る新機能「TimeChaos」の紹介記事。同一ノード上の別のコンテナーに影響を与える事なく実行出来る事が特徴。
  • 「カオスエンジニアリング、何でもありだな」と思いました。まずはカオスが起こさせる現象/原理の理解から入らねば。
Inside Kinvolk Labs: Investigating Kubernetes performance issues with BPF

Alban Crequy, Kinvolk Labs

  • KubernetesのパフォーマンスイシューをBPFを使って調査している話。

  • 効率的なカーネルトレーシングとプログラム操作を行うツールキットのThe BPF Compiler Collection (BCC) projectのBPFツール、CPU profilerを利用している。

  • BPFも積読になっているので、手をつけ...ねば。
kubernetes-azure-devops-dragdrop

An small node-js app triggering a small Azure-Devops pipeline to deploy multiple HELM-Charts into any Kubernetes cluster.

  • 単一のAzure-DevopsパイプラインをHelmチャートを、ドラッグ&ドロップで複数のKubernetesクラスターに適用するOSSツール「kubernetes-azure-devops-dragdrop」のGitHubページ。
Istio Upgrades Reloaded | A demonstration of revisions tech in 1.6

Steven Dake, IBM

  • IBM社のYouTube「IBM Developer」チャンネルの動画。Istio v1.6の「revision」機能を紹介しているデモ動画。
An (Opinionated) Guide to Understanding Kubernetes Network Architecture

Richard Li

  • Kubernetesのクラスター外から内部で稼働しているサービスへのルーティングを解説している記事。
Encrypting and storing Kubernetes secrets in Git

Atul Bhosale, codemancers

  • GitOpsの為、Kubernetesのsecretを暗号化してGitに格納している話。
  • Secretの暗号化にはkubesealを利用している。
Why strace doesn’t work in Docker

Julia Evans

  • straceがDockerで使えない理由を仮説を立てて掘り下げた記事。
  • プロセスからソースコードまで見ていく過程が垣間見えて参考になった。

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

Open Policy Agent, with Tim Hinrichs and Torin Sandall

Craig Box and Adam Glick, Kubernetes Podcast from Google

Announcing Vitess 6

Morgan Tocker

  • cncf.ioでのVitess 6 GAのリリース記事。前回のリリースから12週間と短い期間。
  • ここに挙げられている主要な更新点はSQLサポートの改善、Kubernetes Topology Service、VReplicationベースのワークフローがGA。
Essential Kubernetes Extensions Explained

Oleg Chunikhin, Kublr

  • 「本番環境での開発に必要な要素としてKubernetesはパズルの1ピースに過ぎず、Kubernetesのスタックにおいてextensions、pluginsが鍵となる」として解説をしている記事。
Tidepool Replatforms Diabetes Data Service from Custom Tooling to Open Source with Gloo and Kubernetes

Betty Junod

  • NPO(nonprofit organization)であるTidepoolの内製ツールからOSSツール Gloo、Kubernetesを利用したプラットフォームの更改事例紹介記事(2019/09/25付け )。
Container security meets Kubernetes: What IT pros need to know

Matthew Heusser, TechRepublic

  • Kubernetesを扱う上でITのプロとして知っておくべき点を挙げ、StackRox、splunk、PagerDuty、SumoLogic、Istioなどのサービス、ツールなどに触れている。
Couchbase Updates Operator for Database Running on Kubernetes Clusters

Mike Vizard, Container Journal

  • Couchbase社のOperatorのアップデートの紹介記事。
  • Kubernetesクラスターに同名のドキュメントデータベースをデプロイするために利用できるOperatorにバックアップ、回復、複製、セキュリティーのタスクを自動化する機能をつけた。
How to scale a deployment within a Kubernetes cluster

Jack Wallen, TechRepublic

  • KubernetesのリソースDeploymentを作成し、kubectl applyコマンドで更新したYAMLファイルの差分を適用する方法、kubectl scaleコマンドでreplicasを編集する方法を案内している。

Upcoming CNCF webinars

気になるWebinarがあれば登録してチェックを。以下は直近のものとしてピックアップされていたものです。

Project webinar: Kubernetes 1.18
Kubernetes release team
May 1, 2020 9:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Making the Most of Helm 3
Dan Garfield, Full-stack engineer @Codefresh
Anna Baker, Software Engineer/Technical Writer and DevOps Evangelist @Codefresh
May 5, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: The KUbernetes Test TooL (kuttl)
Gerred Dillon, Principal Engineer @D2iQ
May 6, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Encrypting data in Kubernetes deployments. Protect your data, not just your Secrets
Maksim Yankovskiy, VP of Engineering @Zettaset
May 6, 2020 1:00 PM Pacific Time
REGISTER NOW »

Member Webinar: How AWS uses Firecracker and Fargate to run serverless Kubernetes pods in Amazon EKS
Mo Ziyuan 莫梓元 解决方案架构师 @AWS
This webinar will be delivered in Chinese.
May 7, 2020 10:00 AM China Standard Time
REGISTER NOW »

Member Webinar: Everything you need to know about Storage for Kubernetes
Alex Chircop, Founder and CEO @StorageOS
May 7, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: How OpenTelemetry is Eating the World
Steve Flanders, Director of Engineering @Splunk
May 8, 2020 10:00 AM China Standard Time
REGISTER NOW »

Member webinar: Data Services for Cloud Native Workloads
Diamanti
May 12, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Piraeus: Dynamic Provisioning, Resource Management and High Availability for Local Persistent
Philipp Reisne, CEO @Linbit
Sun Liang, 资深存储架构师 @DaoCloud
Alex Zheng, 资深存储工程师 @DaoCloud
This webinar will be delivered in Chinese.
May 13, 2020 10:00 AM China Standard Time
REGISTER NOW »

Member Webinar: The Rosetta Stone Guide to Compliance in a Cloud-Native World
Cynthia Burke, Program Manager @Capsule8
May 13, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member webinar: Cloud Native Monitoring: Scaling Prometheus
Aaron Newcomb, Director, Product Marketing, Monitoring @Sysdig
Carlos Arilla Navarro, Technical Marketing Engineer @Sysdig
May 19, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Take Your Monitoring to the Next Level
Liran Haimovitch, Co-Founder & CTO @Rookout
Mickael Alliel, DevOps @Rookout
May 21, 2020 10:00 AM Pacific Time
REGISTER NOW »

Project Webinar: Harbor, the trusted cloud native registry for Kubernetes
Michael Michael, VMware
May 28, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member webinar: Kubernetes Cost Allocation Done Right
Webb Brown, Co-founder and CEO @Kubecost
June 24, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Pivoting Your Pipeline from Legacy to Cloud Native
Tracy Ragan, CEO of DeployHub and CDF Board Member
June 30, 2020 10:00 AM Pacific Time
REGISTER NOW »

いかがでしたか?気になる記事や情報はありましたか?

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara