運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#37(10/11~10/16)

SRE DevOps Kubernetes WeeklyReport 週刊 英文技術記事まとめ

この記事は2020/10/11~10/16に発行された下記3つのWeekly Reportを読み、備忘録兼リンク集として残したものです。

なるべく情報を早く届けたい/共有したいので、ブログのリンクを確認次第、先行公開しています。自身のコメントは随時追加しています。

  • 誰かの情報源や検索工数削減などになれば幸いです。
DEVOPS WEEKLY ISSUE #511 October 11th, 2020
SRE Weekly Issue #239 October 11th, 2020
KubeWeekly #237 October 16th, 2020

English Version of this blog is here.

  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。
  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。
  • 情報量が多いので文字とリンクだけに絞っております。
  • 各レポートで取り上げられている記事には2019年以前のものもあり、必ずしも最新のものという訳ではない様です。

DEVOPS WEEKLY ISSUE #511 October 11th, 2020

News

Designing on-call often lands on managers, so understanding the difference between good and bad on-call is critically important if you want to be a good engineering manager. This post is a great introduction.
  • タイトルは「ON CALL SHOULDN’T SUCK: A GUIDE FOR MANAGERS」。
  • 先週のSRE Weekly Issue #238で取り上げているので割愛します。
A look at applying approaches from domain driven design and team topologies to identify improvements in how teams build reliable co-operating systems.
  • タイトルは「Using Team Topologies to discover and improve reliability qualities」。
  • 冒頭に以下TL;DRで概要を伝え、以降で具体的な説明に入っている。
    • TL;DR Combining Team Topologies from the DevOps movement, with Context Mapping from the Domain-Driven Design community, can give insights about the potential friction contact points between software engineering teams. Below you can find how it can be combined and how to generate ideas to drive your organisations to new performance levels, creating a safe and healthy working environment.
Five tips for implementing observability, looking at black box monitoring, service metrics, tracing and more.
  • タイトルは「5 tips on implementing Observability」。
  • SRE本から「hierarchy of needs to make your product reliable」を引用している。そのピラミッドを支えているものが「Monitoring」、Monitoringを支えているものが「Observability」という論法でObservabilityの重要性に触れ、以下5つのTipsを解説している。
    • Tip 1. Productionize your programming languages
    • Tip 2. Alert on most important service metrics
    • Tip 3. Add some blackbox monitoring into the mix
    • Tip 4. Learn querying your metric database
    • Tip 5. Invest in tracing
An interesting new Lambda feature, extensions open up lots of opportunities for monitoring and security use cases that have been hard to implement up to now.
  • タイトルは「AWS LAMBDA EXTENSIONS: WHAT ARE THEY AND WHY DO THEY MATTER」。
  • AWSより新しくリリースされた「Lambda Extensions」とは何か、それらが解決する問題、それらのさまざまな使用例、およびそれらの操作方法について説明している。
  • 他のベンダー、Datadogなどの提案も気になるところ。
Anyone who has worked with logs will be familiar with the concept of log levels. This post has a bit of history and discusses how log levels are commonly used.
  • タイトルは「Understanding Logging Levels: What They Are & How To Use Them」。
  • ログレベルの歴史から紐解きながら、ログレベルが何者で、どの様に使用するか、正しいログレベルの設定の重要さなどを解説している。
Terraform is building up an ecosystem of developer tools around it, but which to try first? This video playlist has several tool reviews which might be of interest.
  • YouTube動画のプレイリスト「Terraform tools reviews」のリンク。Terraformエコシステムのいくつかのツール(tflint、checkovなど)を紹介している。
Many large organisations end up using multiple cloud providers, whether by inertia or design. This post covers some common issues and misconceptions.
  • タイトルは「The Biggest Myths of Multi-Cloud」。
  • 筆者は「Multi-cloud is no longer a strategy, it’s the reality.」と述べ、クラウドネイティブは標準となったが、IT業界はマルチクラウドに関してはまだ混乱状態にあるとして、一般的な以下の10のmythを集めて解説している。
    1. Any organization that has containerized its applications is cloud native by default and therefore prepared to multi-cloud.
    2. A multi-cloud approach is an active one that requires load-balancing traffic across different clouds.
    3. Multi-cloud solves vendor lock-in.
    4. Multi-cloud isn’t fully portable.
    5. Containers are simple, and it’s therefore totally fine to create complexity wherever convenient.
    6. Most organizations aren’t already multi-cloud.
    7. Multi-cloud is less secure.
    8. Only large enterprises benefit from multi-cloud.
    9. Multi-cloud is the same thing as hybrid-cloud.
    10. Multi-cloud is always best suited to open source.

Tools

Troubleshoot is a set of tools for supporting applications deployed to Kubernetes. Preflight provides pre-installation cluster conformance testing and validation and support-bundle provides post-installation troubleshooting and diagnostics.
  • Kubernetesクラスターに関する高度にカスタマイズ可能な診断情報を収集、編集、分析するためのフレームワーク「Replicated Troubleshoot」のGitHubページ。

SRE Weekly Issue #239 October 11th, 2020

Articles

Respect your natural scaling limits

Don’t scale up farther than you need to! If you won’t ever see more than 100 RPS, don’t architect for 100,000.

Ayende Rahien

  • テーマに即して、「特定の国で新生児のパーティーを開くためのプラットフォームを提供している」状況をたとえに、数字をあげつつも負荷や処理を身近なものでイメージさせている。アーキテクチャがシンプルであれば、市場投入までの時間が短縮される、実際に価値を提供できることを解説している。
The Many Shapes of Site Reliability Engineering

This one covers several common patterns of SRE practice and then offers insight on what to look for as you design your own SRE team.

Rob Cummings — Slalom Build

  • 業務で「小規模な中堅企業から驚くほど大規模で複雑な企業まで、すべて同じように幅広い業界の幅広い組織」と接してきた筆者がSREについて以下を念頭に置いて解説している。
    • Please note- This post is not about gatekeeping and declaring there is only one true way to approach SRE.
  • 以下3つの大項目の下に、それぞれの項目、ポイントを分解して説明している。
    1. SRE Implementation Patterns
    2. Consider This
    3. How to move to SRE?
Abstractions and implicit preconditions

Abstractions make us more productive, and, indeed, we humans can’t build complex systems without them. But we need to be able to peel away the abstraction layers when things go wrong, so we can discover the implicit precondition that’s been violated.

Lorin Hochstein

  • 筆者が好きなJoel Spolsky氏のエッセイ「 The Law of Leaky Abstractions」から以下のフレーズを引用して、抽象化の課題の1つは、暗黙の前提条件に依存すること、問題が発生したときに抽象化レイヤーを剥がして、違反している暗黙の前提条件を発見できるようにする必要があることを解説している。
    • All non-trivial abstractions, to some degree, are leaky.
Keeping CALM: When Distributed Consistency Is Easy

Coordination between nodes in a distributed system can kill performance. What kinds of problems require coordination? The CALM theorem can tell us.

Joseph M. Hellerstein and Peter Alvaro — Communications of the ACM

  • 身近な生活を支えている、分散システムについて以下の課題、ポイントなどを上げて解説している。
    • The high cost of coordination.
    • The bigger picture: Program consistency.
    • Distributed deadlock detection.
    • Distributed garbage collection.
    • The crux of consistency: Monotonicity.
    • Program consistency: Confluence.
    • Confluent shopping carts.
    • A sketch of the proof.
    • CAP and CALM: Going positive.
    • Distributed design patterns.
    • The Bloom programming language.
    • Coordination in its place.
  • CALM定理、CAP定理、CRDTs(Conflict-free replicated data types)など、私が日頃接していない単語が出てきて不勉強さが恥ずかしくなりました。翻訳技術が発達していない時でしたら、秒で後回しにする判断をしていましたね。今はGoogleさんが左右で翻訳対象と翻訳後の差分を簡単に見比べられる様になっているので、なんとか読めました。一つずつ深堀りしていかねば。
The Ultimate, Free Incident Retrospective Template

Here’s another good post-incident analysis document template that you can use as inspiration for your own.

Hannah Culver — Blameless

  • 多くのチームで障害対応後のポストモーテムなどのふりかえりが、日常的なタスクが優先され完了することが出てきない現状に触れ、包括的で物語的な障害のふりかえり例を示している。
  • 「チームは分析プロセス中の認知的負荷を最小限に抑えるのに役立つ、堅実なインシデント後のテンプレートを必要としている」という課題設定も同意。
4 Signs Software Reliability Should be Your Top Priority

As your product ages, it transitions from “cool new thing” to “tool everyone uses and expects to Just Work”. Your reliability needs will change accordingly.

Lyon Wong — Blameless

  • 「ソフトウェア会社の生涯において、優先順位を新機能の出荷から、これまでに出荷されたすべての機能の信頼性の保護にシフトすることがミッションクリティカルになる瞬間が訪れる」として、筆者達が300社以上調査して特定した4つの兆候を紹介している。(誤植かな？本文は1箇所fiveとなっている)
    1. Your Product is Becoming a Utility
    2. Your Users are Demanding Reliability over New Features
    3. New Contracts have Tighter SLAs (B2B) / Customers are Getting Less Patient (B2C)
    4. Spaghetti Code is Now Easier to Refactor than to Fix

Outages

上記各社の障害情報

KubeWeekly #237 October 16th

The Headlines

Editor’s pick of the highlights from the past week.

CNCF Cloud Native Survey China

CNCF regularly surveys the community to better understand the adoption of open source and cloud native technologies. For the third time, CNCF conducted the Cloud Native Survey China in Mandarin to gain deeper insights into the pace of cloud native adoption in China, and how that’s empowering developers and transforming development in this large and growing community. A key stat of the report is that Kubernetes is used in production by 72% of the respondents. Dive into the report for more details and key stats.

  • CNCFが定期的に実施している「オープンソースとクラウドネイティブ技術の採用に関する調査」の第3回として、2019年時点の分析を行っているレポート。
  • 中国でMandarin(標準中国語)で調査した下記2018年の2つのレポートを元にしている。
  • 原文だと「Dive into the report 」で上記とタイトルと同じリンクが貼られていましが、紛らわしいので解除しました。
  • 中国は国単位のcontributorとcommitterの数ではアメリカ、ドイツに次いで3番目。CNCFのメンバーは50近くいる。大手企業の事例紹介も複数出ているので、存在感はますます増していくと思われる。

ICYMI: CNCF Webinars

You can view all CNCF recorded and upcoming webinars here.

CNCF Member webinar: You can be a Kubernetes contributor too!

Jeremy L. Morris, Software Engineer @DigitalOcean

  • 新しくcontributorに挑戦する際に、多くの人が好奇心や恐れを持つことを取り上げ、初心者がKubernetesのcontributorになる現実的な道の例を示している。具体的な手順や画面表示を見せながら解説していてイメージしやすい。
CNCF Member webinar: GitOps at scale for a multi-cloud, multi-region stateful application

Rick Spencer, Head of Platform @InfluxData

  • GitOpsで複数のクラウドの複数のリージョンでKubernetesのサービスとしてデータベースを実行しているInfluxData社の自社事例を元に以下のポイントで解説している。
    • What is “GitOps”, why the team adopted it, and what benefits they accrued.
    • Requirements and preconditions necessary for successful gitops.
    • Real-world examples of the metrics and observability used to monitor both deployments and the running application.
    • Lessons learned along the way.
CNCF Member webinar: ephemeral.run: A full application environment for every PR–before you merge to master!

Vishal Biyani, CTO @InfraCloud & Jono Spiro, Staff Software Engineer of Engineering Operations @OpenGov

  • OpenGov社とInfraCloud社が「ephemeral.run」システムを紹介している。大規模な開発者のチームがシームレスにテストができるエフェメラルな環境を提供する。
  • デモではエフェメラル環境として、steroidsを使用して、Skaffold、Helm、およびGithub Actionsの機能を構築している。BotKube久しぶりに見た。
CNCF Member webinar: S&P experience report: multi-cloud serverless on Knative

Evan Anderson, Software Engineer @VMware and Mark Wang, Head of Cloud Engineering @S&P Global Ratings

  • Knativeを使用してサーバーレスの開発者エクスペリエンスを構築した方法について説明している。

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

The infrastructure triumvirate: Continuous service and infrastructure delivery with Argo, Kustomize, and Google Config Connector

Shray Kumar, Bluecore

  • triumvirate([古代ローマの]三頭政治、三頭制)に見立てて、3つのツール(ArgoCD、Kustomize、ConfigConnector)をどの様に活用し、この構成で自社の技術課題をいかに解決しているかを解説している。
Step by step: Datastax Cassandra with Istio and SNI routing

Christian Posta, Solo.io

  • Istioを介してTLSとSNIを使用してKubernetesで実行されているDatastax Cassandraのデプロイを取得して、クラスターの外部からルーティングする方法を詳細に掘り下げている。
  • コンポーネント自体は非常に複雑なので、このガイドへのステップバイステップのアプローチを取ります。 アーキテクチャーを構築し、必要に応じてスペースを費やして、アプローチと利点を説明している。考慮事項やトレードオフが多々あるので、疑問がある際にはコンタクトを頂きたいそうです。

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

Announcing Google Cloud buildpacks—container images made easy

Matthew Soldo and Steren Giannini, Google Cloud

  • GCPマネージドのbuildpacksの紹介。
  • 埋め込まれている動画では、「buildpacksとは何か」「なぜbuildpacksを使うのか」「GCP上でbuildpacksを使う方法」をデモを交えて解説している。私は最近、GCPをあまり触っていないのですが、サッと時間取ってハンズオンしてみます〜。
Okteto, with Ramiro Berrelleza

Craig Box and Adam Glick, Kubernetes Podcast from Google

The first authoritative guide on Harbor is now available in Chinese

Harbor maintainers

  • Harborの管理ガイド本が中国語で発刊したことを案内している。Harborは中国で開発されたプロジェクトとして初めてCNCF入りし、Graduationを達成している。上記の中国のレポートもある様に国単位で見たらオープンソース、クラウドネイティブ技術の採用が進み、contributorも増えている。各エンジニア、組織がより貢献/恩恵を受けられる場が増えていくと良いなと考えています。
Minecraft as a K8s admin tool

Eric Jadi

  • 「Minecraft」でKubernetesを管理するという。 先週取り上げた「DOOM」もインパクトありましたが、面白いアイデアがドンドン出てきましたね。
  • Kubernetesのある生活というか、「Kubernetesと共に生きていく」感覚になりますね。育成系のゲームがVR化されたら入り浸りそう。
Minimum Viable Changes coming for KubeCon + CloudNativeCon North America – Virtual!

Priyanka Sharma, CNCF

  • CNCFのGM Priyanka Sharma氏が、MVCs(Minimum Viable Changes)をCNCFとしてKubeCon + CloudNativeCon North America – Virtualのイベント運営に取り入れていることを紹介している。前職のGitLab社が提唱した概念であり、自身としても馴染みがある模様。
  • 具体的に取り組んでいる4つを挙げている。
    • An easy to use schedule builder.
    • Everybody gets swag or the option to donate! If you’re registered for the Full Access pass, you’ll have the choice to receive a KubeCon + CloudNativeCon North America Swag Box or have us donate to charity!
    • We’ve adjusted the length of the event.
    • The 101 Track is back — and even bigger!

Upcoming CNCF webinars

気になるWebinarがあれば登録してチェックを。以下は直近のものとしてリストされていたものです。

Member Webinar: How to migrate NF or VNF to CNF without vendor lock-in
Grzegorz Sikora, VP Business Development @OVOO
Oct 20, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: The ABCs of Kubernetes security
Roger Klorese, Senior Product Manager @SUSE
Danny Sauer, Senior Software Engineer @SUSE*
Oct 21, 2020 7:00 AM Pacific Time**
REGISTER NOW »

Member Webinar: Deploying Kubernetes to bare metal using cluster API
Seán McCord, Principal Senior Software Engineer @Talos Systems, Inc.
Oct 21, 2020 1:00 PM Pacific Time
REGISTER NOW »

Member Webinar: K8s audit logging deep dive
Randy Abernethy, Managing Partner @RX-M
Oct 22, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Building 12 factor streaming data apps on Kubernetes
Stelios Charmpalis, Frontend Engineer @Lenses.io
Francisco Perez, Senior Backend Engineer @Lenses.io
Oct 23, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Admission controllers: one part of your Kubernetes security and governance toolkit
Gunjan Patelm, Cloud Architect @Palo Alto Networks
Robert Haynes, Cloud Security Evangelist @Palo Alto Networks
Oct 28, 2020 7:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Event-driven architecture with Knative events
Nicolás López, Senior Software Engineer @Google
Bryan Zimmerman, Product Manager @Google
Oct 29, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Security in the world of service meshes
John A. Joyce, Principal Engineer @Cisco
Nov 4, 2020 1:00 PM Pacific Time
REGISTER NOW »

Member Webinar: Building edge as a service
Dr. Bin Ni, CTO @Wangsu Science & Technology / CDNetworks
Nov 5, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Developer-friendly platforms with Kubernetes and infrastructure as code
Lee Briggs, Staff Software Engineer @Pulumi
Nov 6, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: MicroK8s HA under the hood: Kubernetes with Dqlite
Konstantinos Tsakalozos, Senior Software Engineer @Canonica
l Nov 11, 2020 7:00 AM Pacific Time
REGISTER NOW »

Member Webinar: The what and why of distributed tracing
Dave McAllister, Sr. Technical Evangelist @Splunk
Nov 13, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Metal³: Kubernetes-native bare metal host management
Maël Kimmerlin, Senior Software Engineer @Ericsson Software Technology
Dec 10, 2020 10:00 AM Pacific Time
REGISTER NOW »

いかがでしたか？気になる記事や情報はありましたか？

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara