SRE / DevOps / Kubernetes Weekly Reportまとめ#40(11/1~11/6) - 運び屋 (A carrier(forwarder) changed his career to an engineer)

タイトルは「App Modernization 101: An Executive’s Guide to Shipping Better Software」。
タイトル通りExecutive向けの記事。以下の推奨事項を伝えて文章を締めている。また、参考となる情報のリンクを最後に列挙している。
- Home in on the business capability you’re trying to build
- Map the value streams of getting applications to production
- Start thinking about modernization as an ongoing affair

Pulumi allows for defining infrastructure using general purpose programming languages. With the new automation API, it’s now possible to embed this capability in other programs, with initial support for Typescript and Go.

タイトルは「The Pulumi Automation API - The Next Quantum Leap in IaC」。
Pulumi社の宣言型インフラストラクチャーの上にある堅牢なプログラムレイヤーである「Pulumi Automation API」の発表記事。
Automation APIを使用すると、Pulumiをソフトウェアプロジェクトに完全に組み込むことができ、さまざまなカスタムクラウドインフラストラクチャー自動化プロジェクトを強化できるとのこと。 CLIも、human-in-the-loopも無く、コードだけで実行される。
人間参加型(human in the loop)機械学習を認識していなかったので、確認→人間と人工知能を組み合わせて、効果的な機械学習アルゴリズムを生成する、教師あり学習と能動学習の組み合わせ。

A quick case study of operating a large multi-tenant Kubernetes cluster in the public cloud. Covers provisioning, management, visibility and more important operations challenges.

タイトルは「How Salesforce Operates Kubernetes Multitenant Clusters in Public Cloud at Scale」。
モノリスからマイクロサービスへの移行を、2015年と非常に早い段階でKubernetesに賭けたSalesforce社が、直面したいくつかの課題と私たちが特定した解決策を共有している。

The term cloud native has become increasingly prevalent. This post talks about why, and breaks down several tooling areas to focus on.

タイトルは「How to Become Cloud Native - And the Tools to Get You There」。
内容はタイトル通りの内容の解説。「Cloud Native Tools」の項目が多いと思いつつ、まだまだ他にもある気がしているので、Cloud Nativeへの道のりは果てしなく遠い。

Both microservice and serverless architectures push for smaller units of execution, this post looks at the differences between the two.

タイトルは「Microservices & Serverless Functions – The difference」。
こちらもタイトル通り2つの概念の違いを解説し、読者がアプリに応じた正しい技術スタックの選択ができることを目指している。

Events

WTF Are Microservices? Join Sam Newman, author of Monolith to Microservices, on 5 November at 11:30 CET for a 90-minute crash course in microservices architecture: WTF it is, but also when you should and shouldn’t use it. Register now

上記の通り、90分の講座が開催予定。11/5(木) 11:30CET(Central European Time zone)なので、日本時間では19:30で予定が無ければ業後に参加しやすいタイミング？

上記の「WTF Are Microservices?」を提供しているContainer Solutions社のCloud Nativeに関するブログ、動画、イベント、ニュースレターの案内ページ。

Tools

Earthly is an interesting new build tool focused on repeatable builds. It combines Dockerfile and Make and makes it easier to run isolated tests and other commands.

コンテナ時代のビルド自動化ツール「Earthly」のWebページ。すべてのビルドをコンテナで実行でき、Dockerイメージとアーティファクト(バイナリ、パッケージ、任意のファイルなど)を作成できる。
GitHubページはこちら。

Tempo is an easy-to-use and high-scale distributed tracing backend. Tempo is integrated with cloud-based object storage and can be used with a variety of tracing protocols, including Jaeger, Zipkin and OpenTelemetry.

OSSの大規模な分散トレースバックエンド「Grafana Tempo」のGitHubページ。
コスト効率が高く、操作に必要なのはオブジェクトストレージのみであり、Grafana、Prometheus、Lokiと緊密に統合されている。
Jaeger、Zipkin、OpenCensus、OpenTelemetryと互換性があり、いずれかの形式でバッチを取り込み、バッファリングしてから、GCS、S3、またはローカルディスクに書き込みを行う。

Ripgrep is a local code search tool that’s optimised for performance and nicely integrates with other developer tools like gitignore files.

ワーキングディレクトリで正規表現パターンを再帰的に検索する行指向の検索ツール「Ripgrep」のGitHubページ。

SRE Weekly Issue #242 November 1st, 2020

Articles

Here are 4 Ways SRE Helps New Employees Onboard

The work of SREs and the material we produce can be an excellent source of information to onboard new employees (not just SREs!).

Author Emily Arnot — Blameless

タイトルの内容を、「SREは心理的にオンボーディングを含む多くの領域にインサイトを提供し得る」として、SREがいかにオンボーディングを次のレベルに引き上げられるかを、以下の4つのポイントで解説している。
- Runbooks as guides for new employees
- Incident retrospectives as a library of learning
- SLIs, SLOs, and error budgets as focal points and confidence boosters
- Refining onboarding with an SRE mentality

Sharp tools for emergencies and the –clowntown flag

Having safeguards in your tools to prevent errors, is wise. Allowing the user to disable those safeguards when the need arises is even wiser.

Rachel by the bay

筆者のFacebook社における用語「clown town」もしくは「clowntown」を例に、緊急事態に備えて強力なツールを用意することを解説している。

United States Air Force Aircraft Accident Investigation Board Report — F-35A, T/N 12-005053

Lots of factors contributed to the crash and destruction of this $175 million USD aircraft. The pilot escaped with minor injuries.

Colonel Bryan T. Callahan et al. — USAF

アメリカ空軍の戦闘機の事故レポート。「ACRONYMS AND ABBREVIATIONS 」の項目を見た時点で「多いな！」と思いました。

The Future of Ops Careers

Serverless isn’t going to make ops go away. NoOps is a myth.

Charity Majors — Honeycomb

筆者が冒頭に「サーバーレスの文脈であるOpsを減らすという誤解があるが、運用者の操作を減らすと思われるシフトは、単に運用者のスタックの運用性をより良くする誰かに委任しているだけであり、ほとんどのチームの現実は、運用エンジニアリングがこれまで以上に必要である」ということに触れ、Opsの将来について解説している。

The KPIs of improved reliability

In this blog post, we’ll present reliability-centric metrics and key performance indicators (KPIs) that show the positive impact that reliability has on businesses.

Andre Newman — Gremlin

信頼性がビジネスに与えるプラスの影響を示す、信頼性中心の指標とKPIを紹介している。
Gremlin社のブログなので、もちろんオチはカオスエンジニアリングで。

The failure of a computer you didn’t even know existed

“Outage of a CRL server” isn’t the first thing that would come to mind when diagnosing a database connection failure.

Oren Eini — RavenDB

筆者のブログがダウンした事象について解説し、意見を求めている。
見たことあるようなタイトルだと思ったら、Leslie Lamport氏の言葉を参考にしたとのこと。
- “A distributed system is one in which the failure of a computer you didn't even know existed can render your own computer unusable”.

Telltale: Netflix Application Monitoring Simplified

Telltale combines anomaly detection, alerting, dashboarding, and incident management.

Andrei Ushakov, Seth Katz, Janak Ramachandran, Jeff Butsch, Peter Lau, Ram Vaithilingam, and Greg Burrell — Netflix

Netflix社の内製アプリモニタリングツール「Telltale」を、必要になった具体的な背景から解説している。
この記事に質問されている方がいましたが、残念ながらオープンソース化の目処は立っていないとのこと。以下が返答内容。
- Unfortunately, we're not planning to open source Telltale anytime soon. Right now it's too Netflix-specific internally. We are starting to think about what would it take to make it more abstract and pluggable but thinking is still a long way from being open-source ready.

File Descriptor Transfer over Unix Domain Sockets

What?! I had no idea this was possible! You can transfer file descriptors (and the open files they point to) to another process, even outside of the normal parent/child process relationship.

Cindy Sridharan

筆者がある論文を読んで受けた衝撃と内容を解説している。
Facebook社の、さまざまなプロトコルを話し、さまざまなタイプのリクエスト(long lived TCP/UDP sessions, requests involving huge chunks of data etc.)を処理するサービスの中断のないリリースがどのように機能するかについての論文を取り上げている。
見てきた記事で一番面白そうだけれども、全然頭に入ってこないので、有識者に聞いてみました。やはり面白そうなので、後で読み返します。

Outages

GeoComply

GeoComply, a geo-location service used by most online gaming sites in the US to monitor the physical location of their customers, experienced a major outage.
Coinbase
Twitter

上記各社の障害情報

KubeWeekly #240

The Headlines

Editor’s pick of the highlights from the past week.

This weekend, we lost a titan of the open source community with the passing of Dan Kohn. CNCF, the foundation Dan helped build as its Executive Director, will always be home to Dan’s legacy as a pioneer and innovator in the world of technology. As a community, we remain humbled and grateful to the tireless effort Dan gave to this foundation, his colleagues, and his friends. His work in creating an inclusive foundation that was welcoming and safe was momentous and beneficial to all. The strong and diverse leadership we experience today stems from Dan’s determination. Dan was unwavering in his passion for and belief in open source. His presence will be severely missed, but never forgotten by those who knew his gentle nature and felt his supportive touch. Our thoughts and prayers remain with the Kohn family, who so gracefully shared Dan’s light with us for so many years. While it’s almost impossible to imagine CNCF without Dan, we know there would never be a CNCF without him, either, and for that, we are truly thankful. Thank you, Dan.

CNCFの創設、発展にExecutive Directorとして多大な貢献をされるなど、オープンソースコミュニティーの発展に尽力されたDan Kohn氏が逝去されたニュースを受けて、彼を偲んでいるCNCFの記事。
氏へのメモリアルメッセージを残されたい方は、こちらのGitHubページにPRを。

ICYMI: CNCF Webinars

You can view all CNCF recorded and upcoming webinars here.

CNCF Member webinar: Security in the world of service meshes

John A. Joyce, Principal Engineer @Cisco

サービスメッシュの世界におけるセキュリティの全体像を提供し、主要なセキュリティコンセプトの紹介から始め、それらのコンセプトを実装する主要なシステムコンポーネントについて説明している。
いくつかのCNCFプロジェクトを組み合わせたデモあり。Envoy、Linkerd、Spiffe、Spire、およびNetwork ServiceMeshのに触れている。

CNCF Member webinar: Managing your policies and standards

Ahmed Badran, Chief Technology Officer @Magalix

以下のポイントを解説し、RegoとOPAを使用して単純なガバナンスフレームワークを実装した実際の例を紹介している。
- What is governance and why it is important
- How to establish a governance framework
- How Open Policy Agent and the Rego language could help
- Example policies for Kubernetes

CNCF Member webinar: Building edge as a service

Dr. Bin Ni, CTO @Wangsu Science & Technology / CDNetworks

「エッジコンピューティングをサービスとして開発者に提供する標準の方法の確立」を効率的に達成できる概念モデルを共有している。

Hey #TeamCloudNative!
The CFP for #KubeCon + #CloudNativeCon EU Virtual 2021 is now open!@ccaramanolis and I want to see those awesome submissions :) https://t.co/wjXagGDJng
— Stephen Augustus (@stephenaugustus) 2020年11月2日

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

Ensuring YAML best practices using KubeLinter

Saiyam Pathak, Civo

先週の記事で取り上げた新しいOSSツール「KubeLinter」の解説をしている。

Set up your K3s cluster for high availability on DigitalOcean

Alex Ellis, OpenFaas

高可用性（HA）構成でK3をセットアップするためのリファレンスアーキテクチャの概要を解説している。

metal3-io/baremetal-operator :Bare metal host provisioning integration for Kubernetes

ベアメタルホストを管理するためのKubernetesAPIを実装する「Bare Metal Operator」のGitHubページ。
BareMetalHost CRD(Custom Resource Definition)のインスタンスとして利用可能なホストのインベントリをメンテし、以下を実行可能。
- Inspect the host’s hardware details and report them on the corresponding BareMetalHost. This includes information about CPUs, RAM, disks, NICs, and more.
- Provision hosts with a desired image
- Clean a host’s disk contents before or after provisioning.

Using WireGuard to extend OpenShift networks

Sebastian Jug, Red Hat

Red Hat社のPSAP(Performance Sensitive Applications)チームがWireGuardと協力して進めてきたタイトルに関する取り組みを紹介している。

Security hardening Kubernetes

Elastisys

Elastisys社のCTOであるJohan Tordsson氏によるYouTubeのWebinar動画。
冒頭に「クラウドネイティブ環境が提供する速度とアジリティーの恩恵を受けながら、セキュリティーとコンプライアンスの要件を満たし、存在するものと適切なリソースを使用する最善の方法のガイダンス」のニーズが増大していることに触れている。
上記のニーズを満たすために利用できるセキュリティー開発ツールとオープンソースのKubernetesのサービスについて詳しく説明している。

The road to Flux v2 – November update

Daniel Holbach, Weaveworks

冒頭で読者に合わせて、ドキュメントと埋め込まれている動画を案内している。
- If you are new to the community and GitOps, you might want to check out our GitOps manifesto or the official GitOps FAQ.
- If you want to see the latest demo of GitOps Toolkit in action, check out this video:
タイトル通りの内容ですが、「11月のアップデート」でイメージするよりも内容が多い。v2とv1の違いや今後のメンテの方針などが書かれているので、関わっている方は要チェックの内容。

CI/CD with Chris Short (2/2) – YouTube

KubeWeeklyのEditorの一人であるChris Short氏をゲストに迎えたYouTube動画。YouTubeチャンネル「Roaring Elephant」のEpisode 216。

How to use skopeo to migrate off Docker Hub

JJ Asghar

Red Hat社提供のskopeoを利用してDocker Hubからquay.io、またはGitHub Container Registryへの移行方法を案内している。

Oracle continues building DTrace for Linux atop BPF

Phoronix

タイトルに沿って、Oracle社によるLinux用のDTraceのこれまでと、直近の動きなどを解説している。

Disposable Kubernetes clusters

Garry Wilson, Curve

Curve社の事例記事。Kubernetesクラスターを管理して、ライブのCurveカードトランザクションを処理しながら、ダウンタイム無しでアップグレードする方法の概要を解説している。KopsからEKSへの切り替え、EKSのバージョンアップを実施し、今後は完全自動化を目指している。

Reminiscing control theory and the future of observability

Michael Hausenblas, AWS

冒頭にタイトルにある、自身のcontrol theoryとの接点とobservability(o11y)との繋がりに触れ、observabilityの最近の動きと今後について解説している。
最後に自身がAWSの帽子をかぶっていることを明言した上で、OpenTelemetry APIとSDKのダウンストリーム実装であるAWS Distro for OpenTelemetryのチェックをオススメしている。

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

CNCF welcomes Katie Gamanji as Ecosystem Advocate

Cheryl Hung, CNCF

CNCFのTOC(Technical Oversight Committee)メンバーである、American Express社のKatie Gamanji氏がCNCFのEcosystem Advocateに就任されたことを伝える記事。Chryl Hung氏とのインタビュー動画が埋め込まれている。
エンドユーザーコミュニティの可視性と成長を拡大するプログラムの開発と実行を支援する。
CNCF Tech Radarなどの形式を通じて、クラウドネイティブエンドユーザーからの独自の洞察を公開する上で重要な役割を果たし、構想から実行、エンゲージメントの追跡、成長のための運用化まで、エンドツーエンドのイニシアチブを所有する、とのことです。凄い。。。

Antrea, with Antonin Bas

Adam Glick and Craig Box, Kubernetes Podcast from Google

Google社社員によるKubernetes Podcast。現在のCo-hostはCraig Box氏とAdam Glick氏。
VMware社のstaff engineerでCNI plugin「Antrea」ProjectのmaintainerであるAntonin Bas氏をゲストとして迎えている。
News of the weekで気になったトピックは以下の通り。
- Docker’s plan for Year 2
- Hashicorp Nomad 1.0 Beta
- gRPC in the real world: Container Runtime Interface by Bob Reselman

What’s new in CKA/CKAD with CKS coming up!

Saiyam Pathak (Civo) and Walid Shaari

CKA / CKADの最新の変更点といくつかのユースケースについて説明し、新しいCKS認定についても説明しているYouTube動画。
YouTubeの概要に、試験ごとの勉強すべきポイントやTipsがまとまっているリンクが付いていてありがたい。

Preparing Google Cloud deployments for Docker Hub pull request limits

Michael Winser and Dhaivat Pandit, Google Cloud

先週の記事で取り上げているため、ここでは割愛します。

D2iQ takes the next step forward

Tobi Knaup, D2iQ

D2iQ社のプラットフォームをMesosphereからKubernetesベースのDKP(D2iQ Kubernetes Platform)にリソースを集中される旨のアナウンス。Mesosphereプラットフォームは終了に向けたプロセスを開始。

Cloud native explained. An interview with Cheryl Hung, VP Ecosystem at CNCF

John Leonard, Computing

会員登録が必要な記事でした。登録を試みましたが、UK以外の住所のパターンの登録が通らず、断念。残念。

A sysadmin’s guide to containerizing applications

Scott McCarty, Red Hat

どこかで見た事ある内容だと思ったら、やはり元記事「A Hacker’s Guide To Moving Linux Services Into Containers」を既に過去の記事で取り上げていたので、ここでは割愛します。

Argo CD and Tekton: Match made in Kubernetes heaven

Siamak Sadeghianfar and Burr Sutter, Red Hat

Tekton PipelinesのパワーをArgoCDと組み合わせて、GitOpsの原則に基づいたCI / CDへの宣言型アプローチを実現する方法を解説しているWebinar動画が埋め込まれているWebページ。

4 ways to run Kubernetes locally

Mike Callzo, Opensource.com

Kubernetesをローカルに実行可能な以下4つのツールを紹介している。CRCとMinishiftは個人的にノーチェックだった。

A fireside chat to demystify KEPs

Amanda Katona, VMware

Kubernetes Enhancement Proposal(KEP)の概要、Approval Pluginの刷新に向けた取り組みについてインタビューしているCNCFの記事。

How Discord (somewhat accidentally) invented the future of the internet

David Pierce, Protocol

Discordの辿ってきた軌跡がとても面白い。
当初に意図したものとは違う形で、これだけ浸透しているもの凄いし、紆余曲折のストーリ自体が興味深い。

Orly? pic.twitter.com/qy5QrjHG0c
— jeremy rickard (@jrrickard) 2020年11月5日

Upcoming CNCF webinars

気になるWebinarがあれば登録してチェックを。以下は直近のものとしてリストされていたものです。

Member Webinar: Kubernetes in the context of on-premises edge and network edge computing
Amr Mokhtar, Network Software Engineer @Intel Corporation
Nov 10, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: MicroK8s HA under the hood: Kubernetes with Dqlite
Konstantinos Tsakalozos, Senior Software Engineer @Canonica
Nov 11, 2020 7:00 AM Pacific Time
REGISTER NOW »

Member Webinar: The what and why of distributed tracing
Dave McAllister, Sr. Technical Evangelist @Splunk
Nov 13, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Discover, analyze, and secure your APIs…anywhere
Pranav Dharwadkar, VP of Products @Volterra.io
Jakub Pavlik, Director of Engineering @Volterra.io
Dec 1, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Metal³: Kubernetes-native bare metal host management
Maël Kimmerlin, Senior Software Engineer @Ericsson Software Technology
Dec 10, 2020 10:00 AM Pacific Time
REGISTER NOW »

いかがでしたか？気になる記事や情報はありましたか？

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara