運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#15(5/10~5/15)

SRE DevOps Kubernetes WeeklyReport 英文技術記事まとめ 週刊

この記事は2020/5/10~5/15に発行された下記3つのWeekly Reportを読み、

各レポート内の全記事をまとめて、備忘録兼リンク集として残したものです。

  • 誰かの情報源や検索工数削減などになれば幸いです。
DEVOPS WEEKLY ISSUE #489 May 10th, 2020
SRE Weekly Issue #218 May 11th, 2020
KubeWeekly #216 May 15th, 2020

English Version of this blow is here.

  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。
  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。
  • 情報量が多いので文字とリンクだけに絞っております。
  • 各レポートで取り上げられている記事には2019年以前のものもあり、必ずしも最新のものという訳ではない様です。

DEVOPS WEEKLY ISSUE #489 May 10th, 2020

News

Many organisations adopting devops practices form platform teams. This post looks at some of the challenges and approaches to managing the product of an internal platform.
  • タイトルは「Product for Internal Platforms」。
  • 過去3年間プラットフォームのエンジニアリング組織を率いてる筆者による社内向けのプラットフォームをプロダクトとして提供する際のポイントを解説している記事。
  • 「小規模から中規模の会社ではメトリックドリブンな戦略を適用することが難しい」などの各ポイントを読み易い大きさで語っている。
A nice opinionated post about AWS services that you might avoid, at least until you know how best to use them.
  • タイトルは「5 AWS Services You Should Avoid!」。
  • 筆者が「個人的な意見、自説なのでそのつもりで読んでくれ(拙意訳)」と前置きをした上で、「5つの避けるべきAWSのサービス」を挙げて誤ったコンテキストで適用すると時間、リソース、お金を無駄に費やし開発者に摩擦とフラストレーションを数ヶ月に渡ってもたらすとしている。
  • サービそのものを批判している訳ではなく、適切に活かす方法があるので使い始めるのであれば注意深く進むか、専門家にデザインパターンを習うことを勧めている。
A look at using GitHub Actions to deploy your application based on a pull request. Some good tips for interacting with the GitHub API in your Actions too.
  • タイトルは「Deploy your pull requests with GitHub Actions and GitHub Deployments」。
  • GitHubコメントを使用して特定のプルリクエストのみを手動でデプロイするワークフローをシェアしている記事。デプロイ手法としGitHub Actionsと GitHubDeploymentsを紹介している。
  • タイトルは「Deserted Island DevOps Wrapup」。
  • 「あつ森(英題:　Animal Crossing: New Horizons)」上で開催されたカンファレンスDeserted Island DevOpsのまとめ記事。
  • Twitch上に全動画がアップされており、視聴可能。多くのプレゼンに画像と共にコメントされており、話に入っていきやすい。Failover Confの記事など、何回かこのブログでも登場されていますがこのブログの筆者のストーリに惹きつけられます。
A post on combining Helm templates with Kustomize for overriding specific attributes, useful when you want to use third-party content with some minor changes.
  • タイトルは「HELM & KUSTOMZE BETTER TOGETHER ❤️」。
  • 先週のKubeWeekly #215で触れているので、割愛します。
An solid introduction to service mesh specifically for infrastructure teams.
  • タイトルは「Service Meshes for Infrastructure/DevOps Teams: An Introduction」。
  • 「サービスメッシュとは何か？何がいつものやり方と違うのか？何よりもなぜそれを気に留めなければならないのか？」に焦点を当ててシリーズで解説していく記事。
[Istio is a powerful example of a service mesh, which has lots of features and things which can be configured. This collection of learning resources should get you started.](https://github.com/askmeegs/learn-istio

)

  • Istioを学ぶために開放されているGoogle社のハイブリッドクラウドとサービメッシュのデブレルであるMegan O'Keefe氏によるGitHubページ。
  • 入門から運用、トラブルシュート、そしてディープダイブまであり、とても良く情報が整理されてまとまっていてオススメです！(私も手を動かさねば)
Journald underpins logging on many modern Linux operating systems. This post explores in detail how it’s configured, how it stores logs and in particular how you can access and make use of those logs.
  • タイトルは「Tutorial: Logging with journald」。
  • Linuxの多くのディストリビューションでシステムのロギングにデフォルトで使われているjounaldの世界に飛び込んで解説している記事。
  • 特に「jounaldとコンテナ」「jounald vs sysdig」あたりは興味深いトピック。そして、全体を通して私が理解が浅い部分が盛りだくさんで面白そうなので、これは宿題行きです。

Tools

Tinkerbell is a new open source bare metal provisioning engine. It’s based around a concept of workflows which can be stored as templates in source control and aims to scale down to devices as well as up to large datacenter deployments.
Terraform Compliance is a tool for writing BDD-style tests for Terraform code.

  • 軽量なセキュリティーとコンプライアンスにフォーカスしたterraformのテストフレームワークツールである「terraform-compliance」のGitHubページ。

  • Slideshareはこちら

A new set of buildpacks, built with Google Cloud Platform in mind, but suitable for any environment. Supports Go, Python, Node, Java and .NET. Good documentation around configuration too.
  • GCP上で稼働するbuilder、buildpackのGitHubページ。 CNCFのBuildpacksと100％互換勢があるとのこと。

SRE Weekly Issue #218 May 11th, 2020

Articles

Checklists and Runbooks

An airplane pilot’s take on runbooks, by way of comparison to aviation checklists.
Bill Duncan

*　チェックリストとランブックをテーマに、その必要性と運用時のポイントを簡潔に語っている記事。 * 2018/11/27付けの記事なので、結構前の記事。

Old box, dumb code, few thousand connections, no big deal

This article demonstrates that we don’t need to be afraid of spinning up a new thread per connection, and Linux is very good at what it does. This seems to have been a surprisingly controversial point of view, judging by the follow-up article.
Rachel by the bay

  • 筆者が「かなりの数のクライアントを動かすのに多くのマシンは必要ない」という考え、「Python / Gunicorn / Gevent全体が雑然としている」という趣旨のブログを書いたところ、「それがダメならでは何を？」と読者から問われ、代替案を考えて手を動かした話。
  • この方は、頭の中で思ったことを書いてくださっているので読んでいて面白い一方、内容が理解するのに私は時間が掛かります。話されている内容を近い視点で自分が触ってないからどうなぁ、一読してスッと入ってこない。
Avoid rolling your own leader election algorithm

It’s not as easy as you think… even if you think it’s not easy.
Oren Eini — RavenDB

  • 「自前のリーダー選出アルゴリズムは避けよう(拙訳)」と題して、Jeremy Miller氏のブログ記事「Using Postgresql Advisory Locks for Leader Election」を引き合いに出して、長年取り組んでいる課題に対して好まないアプローチだとして、反論している記事。

  • プリンター、GitHubの障害など、人がイメージしやすい、当事者意識を持ちやすい例やキーワードを使った解説。 さすがMicrosoft MVP。いや、他の肩書きも錚々たるものです。

How companies are operating always-on services in the COVID-19 era

Atlassian shows us what’s changed in operations, based on their State of Incident Management survey.

A little over half of survey respondents – 51 percent – reported that their incident response time has been slower since beginning to work remotely

Patrick Hill — Atlassian

  • Atlassian社による500人以上のプロのIT開発者を対象に行なった「コロナ時代においていかに稼働し続けるサービスを運用しているか」に関する調査結果をベースにした記事。
  • 「需要が増えている一方で、供給スピードが落ちている」という調査結果はイメージできていたが、可視化されると説得力を増す。もちろんケースバイケースであるが、自身の想定や対策の厚みを増していくことは大切だと考える。
How Learning is Different Than Fixing

A key idea here is that rather than focusing on simply focusing on identifying fixes for parts involved in the event and instead focusing on developing a richer understanding of the event, a much greater ROI the effort will result, and that will include more effective “fixes” and more.

John Allspaw

Managing Burnout During COVID-19 for People in Tech

The part about pandemic-induced decision fatigue was revelatory for me.
Hannah Culver — Blameless

  • このブログでよく登場されるBlameless社のHannah Culver氏の記事。テーマは「COVID-19期間の燃え尽きを管理する(拙訳)」。
  • 「絵文字を使う」は表現として大事だと思う。この後に補足している「難しい話や身振り手振りを伝えたい場合はZoom、Skype、Facetimeなどを使おう」も納得。
Looking back at Failover Conf

Gremlin talks about Failover Conf, and I love that it pretty much reads like a retrospective.
Kimbre Lancaster — Gremlin

  • Failover Confの振り返りを、この会の意義説明、参加者8,680人、関係者各位への感謝から始まり、ストーリーに入っています。
  • 私は開始數十分だけ参加させてもらいましたが、かなり活発にメッセージのやり取り、ツール紹介などがあり、パワーを感じました。大規模なオンラインイベント運営の参考になる部分が多いと思うので、 このカンファレンスのストーリーは必ず見返します。

Outages

上記各社の障害情報

KubeWeekly #216 May 15th, 2020

The Headlines

Editor’s pick of the highlights from the past week.

Our 1H 2020 cloud native survey has kicked off!

Kim McMahon, CNCF

We are doing this survey 2x a year. Will it or won’t it – your favorite technologies stay at the top?! We are capturing the current state of Kubernetes, CNCF projects, and cloud native technologies including service mesh, serverless, and storage.

  • CNCFが行なっているアンケート調査ですので、良かったら協力して頂けるとコミュニティーとして有益なデータが取れて施策の参考になると思われます。
  • 計48問ありました。項目ごとにページが分かれているので、多く感じますがサービスが列挙されているので、眺めながら回答していくと楽しめるかもしれません。
Harbor 2.0 takes a giant leap in expanding supported artifacts with OCI support

Harbor team

Harbor 2.0 is here! This release makes Harbor the first OCI (Open Container Initiative)-compliant open source registry capable of storing a multitude of cloud-native artifacts like container images, Helm charts, OPAs, Singularity, and much more.

If you’d like to learn more about Harbor 2.0, register today for the CNCF Project Webinar on Harbor on May 28, 2020 at 10:00am PDT.

  • Harbar 2.0のリリース情報。oSSのレジストリとして初めてのOCI準拠。
  • 以下の詳しい文脈を日本語で確認されたい方はTrivyのCreatorであるTeppei Fukudaさんのブログを見るのが1番だと思います。
    • 「Shipping Aqua Trivy as the default scanner」
    • 「Clair also continues to be supported in Harbor as a built-in scanner. In fact, during an upgrade to Harbor v2.0, projects using Clair as the scanner of choice will be unaffected; Trivy will be set as the default scanner only for new installations.」

ICYMI: CNCF Webinars

Weekly recap of CNCF member and project webinars that you might have missed.
You can view all CNCF recorded and upcoming webinars here.

CNCF Member Webinar: How OpenTelemetry is Eating the World

Steve Flanders, Director of Engineering @Splunk

  • Splunk社のSteve Flanders氏(Director of Engineering)による「How OpenTelemetry is Eating the World」と題して、OpenTelemetryプロジェクトのコンポーネント、現状、ロードマップ、いかに使い始め、プロジェクトに参加していくかを解説しているWebinar動画。
  • タイトルのxxx is Eating the WorldはWhy Software is Eating the Worldなどのように、使われる表現。説明文では「It has been said tha open source software is eating the world」に触れている。
  • OpenTelemetryはKubernetesに次いでCNCFで2番目に活発なプロジェクトであるとのこと。
CNCF Member Webinar: Data Services for Cloud Native Workloads

Abhay Singh, Founding Engineer and Architect @Diamanti Shilpa Mayanna, Member of Technical Staff @Diamanti Naren Narendra, Director of Product Marketing @Diamanti

  • Diamanti社のAbhay Singh氏(Founding Engineer and Architect)、同社のShilpa Mayanna(Member of Technical Staff)、同社のNaren Narendra(Director of Product Marketing )による「クラウドネイティブワークロードにおけるデータサービス(拙訳)」と題して、クラウドネイティブなストレージの要件と活用方法を解説しているWebinar動画。
CNCF Member Webinar: Piraeus: Dynamic Provisioning, Resource Management and High Availability for Local Persistent Volumes

Philipp Reisner, CEO @Linbit Sun Liang, 资深存储架构师 @DaoCloud and Alex Zheng, 资深存储工程师 @DaoCloud

  • Linbit社のPhilipp Reisner氏(CEO)、DaoCloud社のSun Liang氏(资深存储架构师)、 同社のAlex Zheng氏(资深存储工程师)
  • エラーが発生して見れませんでした。
CNCF Member Webinar: The Rosetta Stone Guide to Compliance in a Cloud-Native World

Cynthia Burke, Program Manager @Capsule8

  • Capsule8社のCynthia Burke氏(Program Manager)によるWebinar動画。

  • 「クラウドネイティブ世界におけるコンプライアンスのロゼッタストーンガイド(拙訳)」と題してレガシー環境からクラウドネイティブ環境に移行する際にコンプライアンス、監査の観点から必要なステップ、コツを解説しているWebinar動画。

  • SOC auditを例に出して、コントロールを利かし、監査用のエビデンスを生成するために、レガシーとクラウドネイティブの両方の言語を理解し、クラウド戦略をコンプライアンスを考慮してデザインするコツを解説している。
CNCF Member Webinar: End YAML engineering with cdk8s!

Elad Ben-Israel, Principal Software Engineer @AWS, Developer Tools and Nathan Taber, Senior Product Manager @AWS, Kubernetes

  • AWS社のElad Ben-Israel氏(Developer ToolsチームのPrincipal Software Engineer)、同社のNathan Taber氏(KubernetesチームのSenior Product Manager)による新しいOSSツール「cdk8s」を解説しているWebinar動画。

  • 「cdk8sでYAMLエンジニアリングに終止符を!(拙訳)」と題して、cdk8sの最初のアプリをいかに作成し、再利用可能な「constructs」というコンポーネントを定義し、YAMLファイルを書くことに(感謝を込めて)別れを告げる方法をデモしている。

  • サポートされている言語は、TypeScript, JavaScript, Python, Java and .NET。
CNCF Member Webinar: Navigating the Sea of Local Kubernetes Clusters

Ara Pulido, Developer Advocate @Datadog

  • Datadog社のAra Pulido氏(Developer Advocate)による「ローカルKubernetes クラスターの海をナビする(拙訳)」と題して、開発プロセスでローカルのKubernetes上にアプリをデプロイするツール群を、技術的/ユーザーエクスペリエンスの観点から比較紹介しているWebinar動画。

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

9 kubectl commands sysadmins need to know

(number 4 will shock you!)
Jessica Cherry, Opensource.com

  • 「システム管理者が知るべき9のkubectlコマンド」を筆者お手製の新しいkubectlチートシートを使って解説している記事。リンクされているページで情報を登録すれば見れるようです。
Mistakes made and lessons learned with Kubernetes and GitOps

Luke Channings

  • KubernetesとGitOpsの理想を胸に自宅のDocker Compose環境を移行した際に筆者が失敗したことと教訓を共有している記事。
Not every container has an operating system inside

Ivan Velichko, Booking.com

  • 最初にLinuxカーネル、Linux OS、Linuxディストリビューションの違いに触れ、コンテナの初学者が誤認しやすいOSとの関係などを、コマンド表示を見せながら解説している記事。
Best Practices for Microservices on Kubernetes

Piotr Mińkowski

  • Microservices on Kubernetesの7つのベストプラクティスを解説している3/10付の記事。
Speed up Docker builds with distcc, ccache and kubernetes

CINAQ

  • スタンドアローンのDICOMサーバーを提供する Orthancのプラグインを作成するためにソースからビルドしようとしたら、公式のDockerイメージは事前ビルド済みのバイナリーをまとめたものだったため使えず、ソースからDockerfileを作ることになった筆者。
  • OrthancをソースからコンパイルするDockerfileを作るところから、タイトルにあるdistcc、ccache、kubernetesなどのツールを使ってDockerビルドを高速化した話。予想よりは速くならなかったそうですが、50%時間を節約できているのはとても良かったとしている。
Simple example how to use Istio and Keycloak

Consol Labs

Using logging for your apps running on Kubernetes Engine

Charles Baer and Xiang Shen, Google Cloud

  • GKE上のロギングがどう機能しているかと、ログ収集のベストプラクティスを解説しているGCPの記事。
Kubernetes 1.18 broke “kubectl run”, here’s what to do about it

Alex Ellis, OpenFaaS

  • kubectl runでDeploymentをimperativeに作れなくなったことを他の選択肢も含めて解説している記事。CKAとかの試験や必要項目をちょっと確認したい場面で、試しにDeployment作成したり、dry runで型を出して作成できないのは確かに面倒な印象。実運用上はどうでしょう？

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

CSI: Storage, with Saad Ali

Adam Glick and Craig Box, Kubernetes Podcast from Google

  • Google社社員によるKubernetes Podcast。現在のCo-hostはCraig Box氏とAdam Glick氏。

  • CSI(Container Storage Interface)、ボリュームサブシステムを含むKubernetesのストレージ周りの開発をリードしたGoogle社のSaad Ali氏をゲストとして迎えている。

  • 「Google社では特定のチームのメンバーとしてではなく、個人として見なされるので自身に合う仕事を探して動ける」という趣旨の話はよく耳にする。この方の経歴も面白い。

  • 動的なストレージのプロビジョニングなどの開発時の状況、考え方など興味深い。

  • News of the weekで気になったトピックは以下の通り。今週はトピック数が多いものの、既にこのブログ内で取り上げているものが多かった。

Defining & Enforcing Policies the GitOps Way (video,slides)
  • Weaveworks社が毎週火曜日にYouTube上で開催しているWeave Online User Groupsの5/5の回。
  • ゲストにAWSのMichael Hausenblas氏(Developer Advocate)をゲストに迎えて「ポリシーをGitOpsのやり方で定義、適用しよう(拙訳)」というテーマでOPAを使って解説している。動画とスライドがあるので、お好みでどうぞ。
Kubernetes: The Underpin of UK’s COVID-19 Contact Tracing?

Jonathan Shanks, Container Journal

  • UKではCOVID-19t対策として接触情報の追跡にスマホアプリが重要な役割を担うこととなっており、「Kubernetesが大きな役割を担うチャンスではないか？」と意見を述べている記事。
  • 各国政府がロックダウンを解除するにはCOVID-19のピークの第2波を避ける必要があると悟り、検査と接触情報の追跡が重要になり、UK政府はスマホアプリの活用を決めている。
Managing Kubernetes: 7 things you should understand

Kevin Casey, Red Hat

  • 「Kubernetesを維持、改善していかなければならないもの」ではなく、「魔法の杖」として扱うと問題が起きるとして、7つの理解しておくべきポイントを解説している記事。挙げているポイントは個人的にとても刺さる内容でした。
How Kubernetes Enables Sustained Business Agility

Eric Drobisewski, Container Journal

  • KubernetesがITエコシステムにもたらすアジリティーなどを解説している記事。
Kubernetes Storage Developments Enable Remote Work

Tom Coughlin, Forbes

  • COVID-19の影響下で多くの人がリモートワークに移行した中にあって、利用されているアプリをKubernetesのストレージの開発が支えているとして、Docker、Kubernetes、CSIに触れながら解説している記事。
VMware to Acquire Kubernetes Security Startup Octarine and Fold it into Carbon Black

Ron Miller, TechCrunch

  • VMware社の新たな買収のニュース。KubernetesのセキュリティースタートアップのOctarine社を取得し、同じく昨年買収したCarbon Black社に合流させるとのこと。買収金額は非公開。
Bare Metal in a Cloud Native World

Alex Ellis, The New Stack

  • クラウドネイティブな世界においてベアメタルが何を行う必要があり、この領域に新しく来た場合に何を知るべきかを解説している記事。
  • Allex Ellis氏(CNCF Ambassador)、私の狭い観測範囲でも毎週のようにしかも複数回登場してくるので、活動そのものも、アウトプットも尋常じゃないと思います。そして、ブログに登場する家の実験場がどうなっているのか、実際に見てみたい。
Jetstack acquired by Venafi

Matt Bates, Jetstack

  • Jetstack社が同業他社の Venafi社に取得されたことをアナウンスしている記事。
  • これまでの足跡を辿り、コミュニティー、顧客、パートナーに感謝を述べている。

Upcoming CNCF webinars

気になるWebinarがあれば登録してチェックを。以下は直近のものとしてピックアップされていたものです。

  • 私は6/3のAqua Security社Teppei Fukuda氏のTrivy Open Source Scanner for Container Images – ”Just Download and Run!”に注目しています〜。

Member Webinar: Influencing DevOps without Authority – how “DevOps engineer” can advance real DevOps
Baruch Sadogursky, Head of Developer Advocacy @JFrog
May 15, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member webinar: Cloud Native Monitoring: Scaling Prometheus
Aaron Newcomb, Director, Product Marketing, Monitoring @Sysdig
Carlos Arilla Navarro, Technical Marketing Engineer @Sysdig
May 19, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: How to Keep Your Clusters Safe and Healthy
Shuting Zhao, Software Engineer @Nirmata
Jim Bugwadia, Founder and CEO @Nirmata
May 20, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Take Your Monitoring to the Next Level
Liran Haimovitch, Co-Founder & CTO @Rookout
Mickael Alliel, DevOps @Rookout
May 21, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Discover, Deliver and Secure your APIs Anywhere
Jakub Pavlik, Director of Engineering @Volterra
Madhukar Nayakbomman, Lead Solutions Engineer @Volterra
May 27, 2020 7:00 AM Pacific Time
REGISTER NOW »

Project Webinar: Harbor, the trusted cloud native registry for Kubernetes
Michael Michael, VMware
May 28, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Securing Service Mesh with Kubernetes, Consul and Vault
Nicole Hubbard, Developer Advocate @HashiCorp
May 29, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Trivy Open Source Scanner for Container Images – Just Download and Run!”
Teppei Fukuda, Open Source Engineer @Aqua Security
June 3, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: The Definitive Checklist for Delivering Reliable Kubernetes-based Applications
Brandon Groves, Senior Software Engineer @OverOps
Ben Morrise, Software Engineer @OverOps
June 11, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member webinar: Kubernetes Cost Allocation Done Right
Webb Brown, Co-founder and CEO @Kubecost
June 24, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Pivoting Your Pipeline from Legacy to Cloud Native
Tracy Ragan, CEO of DeployHub and CDF Board Member
July 1, 2020 1:00 PM Pacific Time
REGISTER NOW »

いかがでしたか？気になる記事や情報はありましたか？

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara