運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#49(2021/1/3~1/8)

SRE DevOps Kubernetes WeeklyReport 週刊 英文技術記事まとめ

この記事は2021/1/3~2021/1/8発行の下記3つのWeekly Reportを読み、備忘録兼リンク集として残しているものです。

なるべく情報を早く届けたい/共有したいので、ブログのリンクを確認次第、先行公開しています。自身のコメントは随時追加しています。

  • 誰かの情報源や検索工数削減などになれば幸いです。
DEVOPS WEEKLY ISSUE #523 January 3rd, 2021
SRE Weekly Issue #251 January 3rd, 2021
KubeWeekly #245 January 8th, 2021

English Version of this blog is here.

  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。
  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。
  • 情報量が多いので文字とリンクだけに絞っております。
  • 各レポートで取り上げられている記事には2019年以前のものもあり、必ずしも最新のものという訳ではない様です。

DEVOPS WEEKLY ISSUE #523 January 3rd, 2021

News

A good discussion of the benefits of compression. Starting out with a nice case study of migrating log data, bit expanding to other data transfer use cases. Particularly interesting because of the numbers and showing the financial savings on cloud services.
  • タイトルは「How we compress Pub/Sub messages and more, saving a load of money」。
  • コンピューティングリソースと構築時間の両方で、圧縮のコストが節約によって大幅に上回ったシナリオをカバーすることを目的とした記事。読者が標準の退屈なユースケース以外の圧縮の検討を促し、それを独自のシステムに適用可能な機会を発見することを目指している。
Working to reduce the time taken for CI/CD pipelines is nearly always a good investment of time. This post covers a few areas you can likely optimise.
  • タイトルは「“WHY ARE MY TESTS SO SLOW?” A LIST OF LIKELY SUSPECTS, ANTI-PATTERNS, AND UNRESOLVED PERSONAL TRAUMA.」。
  • 筆者が過去2週間にわたって、「デプロイのリードタイム」について自他のツイートを引用しつつ解説している。これはコードが記述されてから本番環境にデプロイされるまでの時間を指し、 「CI / CDの実行にかかる時間」とも呼ばれる。
A great introduction to message queues, with a detailed look at various software options including AWS and GCP services, Kafka, NSQ and NATs.
  • タイトルは「The Big Little Guide to Message Queues」。
  • メッセージキューの基礎となる基本的な概念と、それらが現在利用可能な一般的なキューイングシステムにどのように適用されるかについて以下のポイントで解説している。
    • What message queues are and their history.
    • Why they're useful and what mental models to use when reasoning about them.
    • Delivery guarantees that the queuing systems make (at-least-once, at-most-once, and exactly-once semantics).
    • Ordering and FIFO guarantees and how they effect sequencing, parallelism and performance.
    • Patterns for fan-out and fan-in: delivering one message to many systems or messages from many systems into one.
    • Notes on the pros and cons of many popular systems available today.
A quick introduction to Kyverno, an open source policy based tool for Kubernetes. In this example we’re shown how to easily automate adding labels to namespaces.
  • タイトルは「Auto-labeling Kubernetes resources with Kyverno」。
  • Kubernetes用に設計されたオープンソースのポリシーエンジン「Kyverno」をタイトルの内容に沿って解説している。
  • スキーマ駆動開発、スキーマ駆動APIプロトコル、Protobufを勧めており、今後の記事で検討するトピックとして以下の記載があったので、次の記事に期待。この記事は2020/11/12付けで、2021/01/10時点ではまだ続きの記事は出ていない模様。
    • We at Buf feel that the best option available today for schema driven development is Protocol Buffers (a topic we’ll explore in a future article), and we’re hard at work building such tooling to support organizations using Protobuf to define their services.
A strong argument for strong schemas when defining APIs.
  • タイトルは「API design is stuck in the past」。
  • タイトルにもある通り、筆者のAPIの設計に対する以下の投げ掛けから、
    • The industry has embraced statically typed languages, but API design remains twenty years in the past. Schema driven development presents an opportunity to pull API design into the present.

Tools

Buf is providing a toolkit for making working with Protobuf APIs much easier, both for producers and consumers. Code generation as well as built-in linting and breaking change detection.
  • 「Buf」のGitHubページ。上記のスキーマ駆動開発を推進しているBuf社が開発している。
  • スキーマ駆動開発を可能にすることを長期的な目標としている。
  • 「IDLを使用してAPIを定義すると、JSON/RESTサービスを公開するだけでなく、多くの利点が得られる。ただし、業界で最も安定して広く採用されているIDL「Protobuf」データ転送形式としての使用が現状では、JSONよりもはるかに困難である」という課題感のもとに開発されている。
Zap describes itself as a simple cross-platform configuration management and orchestration tool. Store reusable plans in HCL and run a variety of tasks against remote machines.
  • シンプルなクロスプラットフォームのオーケストレーションおよび構成管理ツール「Zap」のGitHubページ。
  • Zapの主な目標は、さまざまな構成とニーズを持つコンピューターのグループを管理するための単純なメカニズムの提供。
  • 「plans」に構成したり、スタンドアロンで実行したりできる「tasks」でこれを実現する。 これらのtaskは、スクリプトのコレクションまたは静的にリンクされたバイナリであり、ターゲットマシンにプッシュされて実行される。
Clutch provides a platform for runtime changes to infrastructure. Out of the box it has lots of features, but it’s mainly about making it easy to build custom developer dashboards with extensions.
  • オープンソースのWebUIおよびAPIプラットフォーム「Clutch」のWebページ。一般的なデバッグ、メンテナンス、および運用タスクを簡素化、加速、およびリスク軽減するように設計されている。
  • 「What is Clutch?」のページでは、「Goals」として以下の3つを掲げて説明されている。他にも、「Features」「Vision」「Why Clutch?」「FAQ」の項目があるので、ご興味があればどうぞ。
    • 🧰 Simplify operations.
    • 🕹️ Optimize and integrate the developer experience.
    • 🔧 Complement infrastructure-as-code.

SRE Weekly Issue #251 January 3rd, 2021

Articles

Writing Runbook Documentation When You’re An SRE

Tips and tricks for writing effective runbook documentation when you aren’t a technical writer

I like the discussion of the “Curse of Knowledge” cognitive bias.

Taylor Barnett — Transposit

  • 多くの場合、エンジニアがドキュメントを書きたくないと思っている2つの主な理由: 「作業を行うためのインセンティブ構造がないこと」「優れたドキュメントを書く方法がわからないこと」を挙げ、以下のポイントで解説している。
    • Runbook Templates
    • The Curse of Knowledge
    • SRE Documentation Glossaries
    • Prevent Runbook Search Failure
    • Readable Runbook Steps
    • Code in Runbooks
    • Writing Runbooks Documentation is Hard
SLO — From Nothing to… Production

Here’s one engineer’s SLO journey.

My main focus is on how I educated myself about SLOs and how applied this to my organization.

Ioannis Georgoulas

  • タイトルの通り、筆者はゼロから数か月でSLO(Service Level Objectives)について学び、本番環境に適用した取り組みを下記の大項目で共有している。
    • Prepare yourself
    • Where to start
    • Take ownership and be an SLO advocate
    • Build the framework
    • Summary
How to sell SLOs to Engineering Directors

This blog is a redacted internal memo that aimed to familiarize SLOs with its audience, explain the value of an SLO culture, and describe how we would implement and roll them out.

Thomas Césaré-Herriau — Brex

Why I’ve Been Merging Microservices Back Into The Monolith At InVision

Why would you do this? It’s all about Conway’s Law.

Ben Nadel

Incident Phenomena: Shorthand Names, à la Danny Ocean

The folks at Adaptive Capacity Labs have seen a few patterns crop up over and over in their post-incident reviews. How many of these have you seen before?

John Allspaw — Adaptive Capacity Labs

  • 障害時に観測されるパターンを名付けてみたものを解説している。
Home Alone: a Post-Incident Review

Lots of complex contributing factors led to the main character being left behind in the movie Home Alone… so let’s treat it like a production incident!

Fred Hebert

  • 「Home Alone」を題材に自宅に一人ケビンが取り残されて泥棒と闘うこととなったインシデントを、仕事のIssueに対して行う方法でインシデント調査、レビューしている。
Making sense of what happened is hard

This one includes a complex timeline showing the interplay of two pairs of bugs, where one in each pair masked the other.

Lorin Hochstein

  • 筆者がDr. Hannah Harveyの「The Art of Storytelling」を半分まで受講しており、口頭でのストーリーテリングに焦点を当てた障害の解説を試みている。記事中では内容が複雑なためダイアグラムを利用しているが、口頭で伝える技術を引き続き伸ばしていく努力を続けていく模様。私も伝える技術を磨きたい。
    • Now I just need to figure out how to tell this as a story without the benefit of a diagram.

Outages

上記各社の障害情報

KubeWeekly #245 January 8th, 2021

The Headlines

Editor’s pick of the highlights from the past week.

2020 CNCF Annual Report

The Cloud Native Computing Foundation (CNCF) annual report for 2020 is now available. The report highlights the growth of the community, events, projects, and more, over the past year.

As CNCF celebrated its fifth birthday in 2020, it achieved greater engagement through membership growth, event attendance growth, increased end user participation, and broad industry commentary.

  • CNCFの「2020 CNCF Annual Report」の紹介記事。
  • 下記のポイントを抜粋して伝えている。上記リンクのレポートは図やグラフを含んで見やすく情報がまとめられている。
    • Membership
    • End Users
    • Events
    • Projects
Kubernetes Security Essentials Course Now Available

Today Linux Foundation Training & Certification and the Cloud Native Computing Foundation are announcing the availability of their newest training course, LFS260 – Kubernetes Security Essentials. The course provides skills and knowledge on a broad range of best practices for securing container-based applications and Kubernetes platforms during build, deployment and runtime. It is also a great way to prepare to take the recently launched Certified Kubernetes Security Specialist (CKS) certification exam.

  • 「Kubernetes Security Essentials (LFS260)」のトレーニングコースが公開。今年CKSを受験すべく、サイバーマンデーで購入しておいたもの、アクセスできる様になった。
  • スライド、Lab Exercises、Knowledge Checkを中心としている。

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

Self-hosting Kubernetes on your Raspberry Pi

Alex Ellis, OpenFaas

  • セルフホスティングAPI、ウェブサイト、ファンクション用にRaspberry Pi 4sを使用してKubernetesクラスターを構築し、インターネット上でそれらを公開してユーザーにトラフィックを提供する方法を紹介している。
  • 筆者は過去5年間にわたって、RaspberryPiでのコンテナとクラスタリングに関する多くのチュートリアルを作成、公開してきていることに触れ、下記のコメントで締めている。
    • Things are still evolving, and support is getting better. If things were rough last time you tried it out, give it another shot.
The Level Up Hour (S1E20): Kubernetes and Docker Deprecation

Langdon White, Scott McCarty, and Chris Short, Red Hat

  • Red Hat社のTwitch動画シリーズ「The Level Up Hour」。タイトルにある件の解説を行っている。
Switching on the cluster insights using Headlamp

Saiyam Pathak, Civo

  • Kinvolk社の新たなオープンソースの簡単に使えて拡張可能なKubernetes web UI「Headlamp」の紹介記事。
Build a Prometheus Dashboard for K3s with Wio Terminal

Janakiram MSV, The New Stack

  • Seeed Studio社のArduino互換のマイクロコントローラーと2.4インチLCDを備えたコンパクトなデバイス「Wio Terminal」を利用したタイトル通りのチュートリアル。
Tutorial: Host a Local Podman Image Registry

Jack Wallen, The New Stack

  • タイトルの内容を背景と、下記のポイント/手順で解説している。
    • Registry vs. Repository vs. Tag
    • Create the Local Registry
    • Push Your First Image to the New Registry
What happens when you create a Pod in Kubernetes? (Video)

Salman Iqbal, Data Science Campus

  • YouTube動画でタイトルの内容を丁寧に解説している。
Run Kubernetes Production Environment on EC2 Spot Instances With Zero Downtime: A Complete Guide

Kfir Schneider, Riskified

  • タイトルの通り、AWS EC2スポットインスタンスを使用してk8sクラスターのコストを大幅に削減する方法を説明し、本番環境でも可用性の高いワークロードでスポットインスタンスで運用するために必要な自信を与えることを目的としている。
  • 「スポットインスタンスを本番環境で使う」ということに感覚的に抵抗があり、思考から外していたのでとても参考になった。

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

All About Calico

Alex Pollitt, Tigera Saiyam Pathak, Civo

  • YouTube動画にて70分に亘って丁寧に解説している。KubernetesのNetworkingからCalicoの話に入っていき、ネットワークの各技術/考慮事項、今後のCalicoのVisionなどについて語っている。
Red Hat OpenShift supports both Windows and Linux containers

Steven J. Vaughan-Nichols, ZDNet

  • RedHatが最新のOpenShiftKubernetes機能であるLinuxとWindowsの両方のコンテナーを1つのプログラムから実行および管理する、2021年初頭から利用可能になる予定の機能について紹介している。
Top Considerations when Evaluating an Ingress Controllers for Kubernetes

Harry Tsiligiannis, ReleaseOps

  • コストのかかるミスを避けるために意思決定プロセスで考慮すべき重要な考慮事項について以下のポイントで解説している。
    • 1) Traffic protocol support
    • 2) Client management
    • 3) Traffic routing
    • 4) Resiliency
    • 5) Load balancing algorithms
    • 6) Authentication
    • 7) Observability
    • 8) Kubernetes Integration
    • 9) Traffic routing
    • 10) Interface
    • Tip: Use multiple ingress controllers to fill in the gaps
    • Final thoughts
8 Kubernetes insights for 2021

Scott McCarty, Red Hat

Infrastructure Engineering – The Kubernetes Way

Vignesh T V, Timecampus

  • Kubernetesとそのエコシステムに関する2部構成のシリーズの2番目の記事。インフラストラクチャを1つずつ深く掘り下げている。
  • 内容に応じてそれぞれ参考となるWebinar動画がWebページに埋め込まれていて参考になる。

Upcoming CNCF Online Programs

We have expanded our webinar program to Online Programs! Stay tuned for the content release schedule.

  • 「Upcoming CNCF webinars」のコーナーが「CNCF Online Programs」になり、直近のWebinarが記載されていたものが、2021年から拡大/変更されました。以下に私が気になったポイントの一部を抜粋します。
  • Overview:
    • Online programs include on-demand, livestream, and live webinars that are offered by members, CNCF incubating and graduated projects, and CNCF Ambassadors.
    • Please note: We are unable to share leads due to the Linux Foundation privacy policy.
  • Publishing schedule
    • Live webinars are hosted on Tuesdays at 10am PT.
    • On-demand webinars premiere on Wednesdays.
    • Livestreams are hosted on Thursday.
  • Who can participate in CNCF Online Programs
    • Platinum members are eligible for 4 activities for the year including live webinar, on-demand webinar, livestream, and YouTube playlist submission.
    • Gold members are eligible for 4 activities for the year including on-demand webinar, livestream, and YouTube playlist submission.
    • Silver members are eligible for 2 activities for the year including on-demand webinars and YouTube playlist submission.
    • End user supporter members cannot hold a webinar.
    • CNCF Member webinars will have “member webinar” in the YouTube description.

いかがでしたか？気になる記事や情報はありましたか？

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara