運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#58(2021/3/7~3/12)

この記事は2021/3/7~2021/3/12発行の下記3つのWeekly Reportを読み、備忘録兼リンク集として残しているものです。

なるべく情報を早く届けたい/共有したいので、ブログのリンクを確認次第、先行公開しています。自身のコメントは随時追加しています。

DEVOPS WEEKLY ISSUE #532 March 7th, 2021
SRE Weekly Issue #260 March 7th, 2021
KubeWeekly #254 March 12th, 2021←メルマガを受領。Webページにアップロードされていないので反映待ち。
  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。
  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。
  • 情報量が多いので文字とリンクだけに絞っております。
  • 各レポートで取り上げられている記事には2020年以前のものもあり、必ずしも最新のものという訳ではない様です。

    I will write English version later


DEVOPS WEEKLY ISSUE #532 March 7th, 2021


News

A solid architecture post on a large scale compute platform that aims to combine the best aspects of microservices with asynchronous workflows and serverless functions. Combines migration, design, future thoughts and more.
  • タイトルは「The Netflix Cosmos Platform」。
  • Netflix社が開発したコンピューティングプラットフォーム「Cosmos」を構築した理由、その仕組みについて解説し、その過程で学んだことを共有している。
  • マイクロサービスの最良の側面を非同期ワークフローおよびサーバーレス機能と組み合わせている。数分から数年まで続く複雑な階層型ワークフローを介して調整された、リソースを大量に消費するアルゴリズムを含むアプリに最適。
  • 記事のQ&Aを見たところ、Cosmosのオープンソース化は着手していない、とのこと。
3 interesting observations about adopting public cloud when coming from traditional infrastructure; the cloud has its own CMDB, the only thing that knows about a thing is itself, and the advantage of cloud is flexibility.
  • タイトルは「3 Things to know when moving to public cloud」。
  • タイトル通り、以下3つのポイントで解説している。
    1. Say adiós to your CMDB(configuration management database)
    2. The only thing that knows about a thing is itself
    3. Flexibility
A great post on devops and security, from the security engineering perspective. Some good practical tips including embedding security engineers in engineering teams (and vice versa), gamification and more.
  • タイトルは「Shifting Engineering Right: What security engineers can learn from DevSecOps」。
  • セキュリティエンジニアとソフトウェアエンジニアの間に有意義なパートナーシップを構築する方法に焦点を当て、以下のポイントを解説している。
    • How to apply some of the lessons of DevOps to security engineering
    • How to make your first change in production code
    • How to speak the language of product and engineering
    • Ensure that security features are prioritized and built correctly
    • Steps to take after you’ve cooperatively delivered a feature
    • How to show appreciation and recognize those that helped you succeed
Argo introduces some interesting higher-level concepts into Kubernetes, including AppProject which allows for a project container to tie together other resources.
  • タイトルは「Hassle-free multi-tenant K8S clusters management using Argo CD」。
  • タイトルに沿って、Minikubeをサンプルのクラスターとして利用したハンズオンなどを通してArgo CDを紹介している。
Containers are for stateless services, or so the tale goes. In reality lots of people are running databases in containers. This post, focused on PostgreSQL, makes the case that the benefits often outweigh the disadvantages.
  • タイトルは「Deep PostgreSQL Thoughts: Resistance to Containers is Futile」。
  • 筆者が最近遭遇した以下の趣旨の意見に対して、反論として書いている記事。
    • containers are not ready for prime time as a vehicle for deploying your databases
A couple of handy posts on how to monitor AWS Fargate. What metrics should you be interested in, and how can you best access them?
  • 上記の通り、Datadog社のAWS Fargateの監視に関する2つセットの記事。上記1つ目のタイトルは「Key metrics for monitoring AWS Fargate」。
  • 2つ目のタイトルは「How to collect metrics and logs from AWS Fargate workloads
  • AWS FargateのECSとEKSそれぞれに対して解説がされている。
I like arguments against the zeitgeist, like this post on scaling issues with GitOps. I think there are some assumptions here that, if you are are building for scale you can address with automation, or are fundamental to scale rather than the approach, but I like the debate.
  • タイトルは「The Fundamental Flaws of GitOps – A Statistical Analysis」。
  • 統計分析を使用して、YAMLファイルとマイクロサービスの数が増えるにつれてどのようにGitOpsの選択の満足度が低下するかと、その理由について解説している。
Cloud migration in large, complex organisations is invariably a lot more complicated that it might first appear, partly because it’s as much about people and structures as technology. Some good observations along those lines in this next post.
  • タイトルは「The Struggle with Cloud Adoption」。
  • タイトル通り、クラウドの採用が進まない理由について解説している。クラウドの採用が進まない理由は直線的ではなく、技術的なものだけではない。以下のポイントに沿って解説している。
    • Disservice
    • It’s all about the Benjamins Baby
    • Staffing and Legacy IT
    • The Complexity of an Enterprise Data Center
    • This is not an “anti-cloud” rant
    • Pandemic
    • Digital Transformation & Edge Computing

Events

WTF is SRE? Container Solutions presents a new WTFinar that tackles the beginning of understanding SRE. Join Nathen Harvey from Google to learn about service level indicators (SLIs) and service level objectives (SLOs) - components of error budgets. 9th February, 15:00 CET.
  • 2/9に開催された「WTF is SRE?」と題したWebinar動画の紹介。
  • Takeawaysは以下
    • A basic understanding of SRE and error budgets
    • Knowing how to boost performance and efficiency
    • Figuring out how not to over promise on uptime Latest industry gossip
What are you doing on 20 May? Giving a talk on Monitoring Distributed Systems? CI/CD on Multicloud systems? How about Adopting SRE, monitoring SLIs, agreeing on SLOs and SLAs? Container Solutions is organising a virtual conference called WTF is SRE and the CFP is open! Register & submit your talk here:
  • 5/20に開催される「WTF is SRE? 」のCFP募集の案内。

Tools

OpenHistogram is an open source data structure for quickly and efficiently summarizing large numbers of measurements. It provides highly efficient and easily mergeable histograms and implementations so far in C, Python, Go, Lua, Javascript and C#.
  • 多数の測定値を迅速かつ効率的に要約するためのオープンソースのデータ構造「OpenHistogram」のGitHubページ。
Conprof is a continuous profiling tool. It’s intended to ensure you have a profile for just when an important event occurred, in order to make debugging easier.
  • 継続的なプロファイリングプロジェクト「Conprof」のGitHubページ。
  • gitリポジトリ用の包括的なセキュリティースキャンおよびテストソリューション「Pown Git」のGitHubページ。

SRE Weekly Issue #260 March 7th, 2021


Articles

[Increment: Reliability] Interview: Dr. David D. Woods

People throw around “resiliency” quite often when they mean “reliability” or “high availability”. Dr. Woods sets the record straight.

Ipsita Agarwal — Increment

  • 信頼性と回復性の違い(および依存関係)、および緊張と障害の状況下で機能する複雑なシステムを構築する方法を解説している。
[Increment: Reliability] The process: Implementing Yelp’s failover strategy

A key part of their strategy is to keep their service running at 50% capacity or less, allowing them to lose a datacenter without overloading the remaining datacenter.

Mathieu Frappier, Dorothy Jung, and Qui Nguyen — Increment

  • Yelp社の本番環境のエンジニアリングチームとコンピューティングインフラストラクチャチームが、信頼性、パフォーマンス、コスト効率のバランスを見つけることでフェイルオーバー戦略を実装したストーリーを語っている。
[Increment: Reliability] On adaptive capacity in incident response

In issue #236, I linked to an excellent paper by Dr. Richard Cook and Beth Long about engineering resilience in incident response. Now they’re back, teaming up with John Allspaw to summarize and expand on that paper!

John Allspaw, Beth Adele Long, and Dr. Richard Cook — Increment

  • Cook氏とLong氏の調査結果の要約と拡張。インシデント対応に対する1つの企業のアプローチを適応能力を理解するためのフレームワークとして検証し、レジリエンスエンジニアリングの観点を採用しようとしている組織にとってのポイントを解説している。
Security Chaos Engineering: How to Security Differently

Security Chaos Engineering: How to Security Differently A quick s/security/reliability/g and this is an SRE article; the same principles apply to both fields.

Aaron Rinehart — Verica

  • 上記のタイトル、Editorのコメントにある内容がMaginot thinkingなどを交えて解説されている。
SRE2AUX: How Flight Controllers were the first SREs

SRE2AUX: How Flight Controllers were the first SREs How can we apply the tenets and principles of NASA mission controllers to our SRE work?

Geoff White — Blameless

  • NASAの過去の事故からの教訓を学ぶ記事。以下の事故の原因の一つなど、 参考となるものが多々あった。
    • “reliance of past success as a substitute for sound engineering practices.”
SRE as Organizational Transformation: Lessons from Activist Organizers

SRE as Organizational Transformation: Lessons from Activist Organizers Genius idea: we can take our lead from activists as we try to win over our organization to adopt SRE principles.

Chris Hendrix — Blameless

  • アジャイル手法とSREが与えている影響について触れ、会社の変革の取り組みを強化するために使用できるヒントと実践の厳選されたリストを解説している。
Atlas: Our journey from a Python monolith to a managed platform

This insightful observation caught my eye:

It’s unnecessary overhead for a product team to plan capacity, set up good alerts and multihoming (automatically running in multiple data centers) for small, simple functionality.

Naphat Sanguansin and Utsav Shah — Dropbox

  • サービス指向アーキテクチャのメリットの大部分を提供すると同時に、サービスの所有に通常伴う運用コストを最小限に抑えるプラットフォームである「Atlas」を開発およびデプロイした理由と方法について解説している。

Outages

上記各社の障害情報


KubeWeekly #254 March 12th, 2021←メルマガを受領。Webページにアップロードされていないので反映待ち。


The Headlines

Editor’s pick of the highlights from the past week.

Kubernetes Podcast from Google: Crossplane, with Daniel Mangum

CNCF sandbox project Crossplane lets you automate creation of infrastructure using Kubernetes APIs. Daniel Mangum is a Crossplane maintainer working at its creator Upbound, a TL of Kubernetes SIG Release, and a YouTube streaming star. He chats about tech with host Craig Box, who is helped this week by returning guest Ken Massada from the GKE Support team.

CNCF TOC votes to move Flux from Sandbox to Incubation

The CNCF Technical Oversight Committee (TOC) has voted to promote Flux from the CNCF Sandbox to an incubating project. The Flux project provides a complete Continuous Delivery (CD) platform on top of Kubernetes, supporting standard practices and tooling in the ecosystem.

  • 上記の通り、「Flux」プロジェクトがSandboxからIncubationへの昇格がTOCにより承認されたことを受けて、Fluxの概要やfeature roadmapをあわせて紹介している記事。
  • 分かりやすい指標である「Notable Milestones」は以下の通り。
    • 14 maintainers from 5 organizations
    • More than 40k contributions
    • Over 10k GitHub Stars
    • 1894 contributors


The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

Helm 2nd Security Audit

Helm project

  • タイトルの通り、2回目の監査としてHelmクライアントのソースコードと、Helmを使用するための脅威モデルの調査が実施された。
  • 最初の監査では、Helmクライアントのソースコードと、Helmがセキュリティーを処理するために使用するプロセスに焦点を当てていた。
Ask an OpenShift Admin (Ep 21): Etcd - the heart of the control plane

Andrew Sullivan, Chris Short, Anandnatraj Chandramohan, Red Hat

  • パフォーマンス要件、データの保護、定期的なメンテナンスに焦点を当てて、etcdを掘り下げている約1時間のセッション。
Meet Brigade 2

Kent Rancourt, Brigade

  • Kubernetesのパイプラインを作成するツール「Brigade」のv2.0.0-alpha.1のリリースをチュートリアルと共に紹介している。
Top 20 Dockerfile best practices

Álvaro Iradier, Sysdig

  • タイトル通り20のベストプラクティスを以下5つのTipの振り分けて解説している。
    • Avoid unnecessary privileges.
    • Reduce attack surface.
    • Prevent confidential data leaks.
    • Others.
    • Beyond image building.
Breaking down and fixing etcd cluster

Andrei Kvapil

Hierarchical resource quotas come to GKE
  • 日本語ページがあり、「階層型リソース割り当て」を紹介している。
10 Kubernetes security context settings you should understand

Eric Smalling and Matt Jarvis, Synk

  • タイトル通り以下10のsecurityContext設定を確認し、それらの意味と使用方法を解説している。
    1. runAsNonRoot
    2. runAsUser / runAsGroup
    3. seLinuxOptions
    4. seccompProfile
    5. privileged / allowPrivilegeEscalation
    6. capabilities
    7. readonlyRootFilesystem
    8. procMount
    9. fsGroup / fsGroupChangePolicy
    10. sysctls
Goodbye minikube (Hello KinD)

Nicolas Fränkel

  • ローカルクラスターとしてminikubeを利用していた筆者がデモでの失敗を契機にminikubeをkindに乗り換えた話。
Jetstack Preflight

Automatically perform Kubernetes cluster configuration checks using Open Policy Agent (OPA)

  • DEVOPS WEEKLY ISSUE #477で触れたKubernetesのクラスターが正しく構成されているかOPA(Open Policy Agent)のポリシーを使って検証するツール「Preflight」のGitHubページ。
NetworkPolicy Editor: Create, visualize, and share Kubernetes NetworkPolicies

NetworkPolicies Cilium

  • KubeWeekly#251で触れたKubernetes NetworkPolicyのYAMLファイル作成を支援するツール「NetworkPolicy Editor」の紹介。あの時は、縦置きモニター上で動かした際にエラーが発生して使えませんでしたが、メインディスプレイで使えることを確認しました。
CNCFMinutes 1 - OPA (Open Policy Agent)

Saiyam Pathak

  • 約2分間でOPAの概要を紹介しているYouTube動画。
Simplifying object storage as a service with Kubernetes and MinIO’s operator

Daniel Valdivia, MinIO

  • タイトルに沿ってCLI、図を交えて解説を行っている。MinIOオペレーターを自分で試して、Prometheusメトリックと監査ログを使用したり、LDAP / ActiveDirectoryやOpenIDプロバイダーなどの外部IDプロバイダーでMinIOテナントを保護したりするなどの他の優れた機能を調べることをオススメしている。

ICYMI: CNCF online programs this week

A weekly summary of CNCF online programs from this week.

Deploying K3s at the edge for multiplayer gaming

Marco Mancini, OpenNebula

  • OpenNebula、Firecracker、Agonesを使用して、マルチプレイヤーゲームのエッジにK3sクラスターを簡単にデプロイする方法を解説している約30分のセッション。
Kubernetes Community Days: Ask me anything

Bill Mulligan, CNCF

  • CNCFの「Kubernetes Community Days program」が再出発したことを受けて、CNCFのMarketing ManagerであるBill Mulligan氏を招いてQ&Aを行っている約1時間のセッション。

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

A look inside the KubeCon + CloudNativeCon schedule selection process

CNCF Staff Blog Post

  • クラウドネイティブコミュニティ内の透明性への取り組みの一環として、KubeCon + CloudNativeConのスケジュールを実現するために舞台裏で行われている作業の内部を調査結果を発表している。
  • CFPの採択は狭き門であることが数字で改めてわかる。
Kubernetes Infrastructure: know the inner dev loop

Vignesh T.V., The New Stack

k0s 0.11 released
  • k0sバージョン0.11のリリースに伴い、今回のバージョンのハイライトである新しいゼロダウンタイムクラスターのアップグレードを中心に解説している。
Google Summer of Code 2021 mentoring organizations announced
  • タイトル通り、Google Summer of Codeが今年も以下の日程でオープンする。
    • Student applications will open on Monday, March 29, 2021 at 19:00 UTC and the deadline to submit your application is Tuesday, April 13, 2021 at 19:00 UTC.
Harbor 2.2 and 2021 roadmap
  • Harbor v2.2のリリースの追加機能として以下をリストアップしている。
    • Multi-projects scoped robots
    • Prometheus-driven telemetry
    • Proxy caching capability extended to GCR, Quay.io, ECR, & ACR
    • OIDC auth admin group support, achieving parity with LDAP auth
    • Dell EMC ECS S3 storage support
    • Aqua CSP Enterprise Scanner Integration
    • Clair image scanner deprecated
  • 記事としては以下を列挙、解説している。
    • System level robot accounts
    • Prometheus integration
    • Deprecation of Clair
    • 2020 in review
    • Focus for 2021
    • Contributors to v2.2
    • Collaborate with the Harbor Community
47 things to become a Kubernetes expert

Yamamoto Hirotaka

  • この記事の日本語版を多くの方が見られていて私も拝見していましたが、英語版がこちらで取り上げられていました。素晴らしい。
Kubernetes is not just about containers — It’s about the API

Viktor Farcic, The New Stack

  • タイトルにある通り以下の内容をKubeVirtORKACrossplaneArgo CDCodefreshPrometheusなどを交えて解説している。
    • Kubernetes is all about the API and its ability to receive events and to have controllers that listen to those events.
The mindset shift needed for Kubernetes adoption (Part 1)

Archana Chillala, Krishnaswamy Subramanian, and Sunit Parekh, ThoughtWorks

  • タイトル通り、シリーズのPart1の記事。組織の視点と開発チームの視点という2つの重要な視点に沿っている必要があり、Part1では組織の視点で以下4つのCを解説している。
    • Culture
    • Complexity
    • Capability
    • Costs
  • Part2では、開発チームの観点から必要なマインドシフトを見ていく模様。
Tetrate, a company born out of Istio’s open-source app networking project, raises $40 million

Jonathan Shieber, TechCrunch

  • タイトルの通りTetrate社の資金調達に関するニュース。エンジニア目線で主に目を通したのは以下の文章ですね。
    • The company said it would use the cash to further develop its hybrid cloud application networking platform and support a new product, based on Istio, that makes the application service mesh easier to use, according to a statement from the company.
Snyk raises $300 million at a $4.7 billion valuation

Jonathan Shieber, TechCrunch

  • こちらはSnyk社の資金調達のニュース。個人的にSynk社のプレゼンや資料はよく目にしているものの、日本で身近に使っている話を聞いていないので、以下の情報などに目を通した。
    • So far, that suite of services has meant more than 27 million developers around the world are using Snyk tools and the company also provides a marketplace for security coders to pitch their own tools on the Snyk platform.
NetApp brings data portability to Kubernetes apps with Astra

Mike Wheatley, Silicon Angle

  • データストレージの巨人であるNetApp Inc.社の、Kubernetesアプリケーションの移植性というビジョンを実現する新しいサービス「NetApp Astra」のGAに合わせた記事。
4 best practice steps for Kubernetes policy enforcement

Robert Brennan, The New Stack

  • Kubernetesのポリシーの重要性、適用するための以下4つのベストプラクティスを解説している。
    1. Understand Your Kubernetes Strategy
    2. Create Kubernetes Policies
    3. Enforce Those Policies
    4. Use Policy Enforcement to Gain Multicluster Visibility


Upcoming CNCF Online Programs

Data protection in a Kubernetes native world
Michael Cade @Kasten
March 16, 2021 at 10am PT
Register Now

Cloud Native Live: Hacking Kubernetes
Ben Hirschberg @ARMO
March 17, 2021 at 12pm PT
Register Now

Your own Kubernetes castle
Adam Kozlowski @GrapeUp
March 18, 2021
Register Now

CNCF Online Programs Playlist on YouTube

Check out our playlist for more curated content you don’t want to miss! New content is added every Friday.


いかがでしたか?気になる記事や情報はありましたか?

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara