運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#3(2/16~2/21)

この記事は2020/2/16~2/21に発行された下記3つのWeekly Reportを読み、備忘録兼リンク集として残したものです。

  • 誰かの情報源や検索工数削減などになれば幸いです。
DEVOPS WEEKLY ISSUE #477 February 16th, 2020
SRE Weekly Issue #207 February 17th, 2020
KubeWeekly #204: February 21th, 2020

English Version of this blow is here.

  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。

  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。

  • 情報量が多いので文字とリンクだけに絞っております。

  • 各レポートで取り上げられている記事には2019年のものもあり、必ずしも最新のものという訳ではない様です。

DEVOPS WEEKLY ISSUE #477 February 16th, 2020

News


A post on organisational friction, and getting things done where work crosses team and other boundaries. Lots of examples and a useful framing of this type of problem.
  • タイトルは「SURVIVING THE ORGANISATIONAL SIDE QUEST」

  • 自身の経験、同僚のDan Na氏のプレゼンおよびスライド"organizational friction"などを使って組織内でのミスコミュニケーションの意味や、摩擦を乗り越えて目標を達成する話を展開している。

Microservices are one architectural approach, rather than the answer to all systems problems, at least according to this post on the tradeoffs and design decisions of choosing to adopt microservices.
  • タイトルは「Should I use microservices?」Considerations for when—and when not—to apply microservices in your organization.

  • Sam Newman氏のレポート「What are Microservices?」のからの抜粋記事。

  • フルバージョンはこちらから入手可能です。

  • Sam Newman氏は6月15日から18日にカリフォルニア州のSanta Claraで行われる「O’Reilly Infrastructure & Operations Conference」のco-chairを務めている。

  • マイクロサービスの適用には無数のチャレンジングな課題があり、慎重に検討する必要があると筆者は考えている。

  • マイクロサービスが上手く機能しない組織、上手く機能する組織の特徴を上げている。

  • マイクロサービスはシステムを進化させ続ける上で多くの柔軟性を与えてくれるので、もちろんコストは掛かるが、将来のシステムの変更に関わるオプションをオープンにしておくならば支払うに値するコストであると結論付けている。

An interesting discussion of the role of database migrations, looking at historical approaches and a new automated approach using GitHub Actions.
  • The GitHub Blogより、タイトルは「Automating MySQL schema migrations with GitHub Actions and more」。

  • GitHub社ではMySQLのスキーマ移行を1日あたり平均2件、日によっては6件実行している。

  • その移行作業がデータベースインフラチームに与えている多大なToilと、手動のプロセスをいかにして自動化する方法を模索してきた話。

  • DB周りは今いじっていないけれども興味深い内容なので、後で読み返す。

Most things in Kubernetes go through the API Serverer. That makes the Kubernetes audit log, which records those requests, a powerful monitoring tool. This post explores what it contains and how you can use that data effectively.
  • Datadog社の「サーバレスの現状」に対する調査レポート。タイトルは「How to monitor Kubernetes audit logs」。

  • Kubernetesのauditログを活用してクラスターを深く分析する方法を紹介しています。

A fantastically comprehensive look at what’s new in the latest Salt release. Far more than just a list of features, the post puts new capabilities in context and shows lots of examples.
  • タイトルは「What's new in Salt 3000 Neon」。

  • この記事はSalt Neonリリースの新機能の非公式な要約。 Salt Fluorineと同様に、一連のツイートとして始まり、主に新しい機能について言及している。

  • Saltは1. 構成管理システムおよび2.分散リモート実行システム。リモートノードを定義された状態に維持できる。たとえば、特定のパッケージがインストールされ、特定のサービスが実行されていることを確認できる。

  • 分散リモート実行システムとしてコマンドを実行し、リモートノードでデータをクエリするために使用される。個々のノード上で、または任意の選択基準を使用して、コマンドを照会および実行する。

  • 他の変更や廃止について(たとえば、RAETがなくなったなど)を読みたい場合は、公式リリースノートと新しい手作りの変更ログの確認を勧めている。

  • 私がそもそもSaltを全く知らず、内容を調べるのに一番時間が掛かった。

A nice migration story, moving a CI/CD pipeline from Jenkins to Concourse. Observations about improvements and expectations as well as difficulties. The fly CLI tool looks nice.
  • タイトルは「We killed the butler: Replacing Jenkins with Concourse」。

  • 文字通りJenkinsからConcourseに移行した話。

  • インフラの構成を全てgitopsで管理しようと取り組んでいる。

Infrastructure described with Terraform is still code, and applying programming techniques like refactoring to keep it maintainable is important. This post explains why and shows a few examples.
  • タイトルは「Refactoring Terraform, The Right Way」

  • 本記事は、記事の最後に載っているスライドのrecap。

  • よくある「まずは動くものを作って、時間に余裕が出来たら改善していこう」という考え方と、それに沿ったアプローチで業務を行っている所から話は始まる。

  • 上記のアプローチに課題があり、Terraformを少しユーザーフレンドリーにし、デバッグしやすくする方法が思いつかなかった筆者。

  • Yevgeniy Birkman氏のブログ「5 lessons learned from writing over 300,000 lines of infrastructure code」を見て、いかにTerraformをより堅牢で、クリーンで、使いやすくするか、何よりもいかに必要な変更や改善を行う為に必要な自信を得るかに目を向ける様になった。

Another post on writing maintainable Terraform code. Lots of examples and a seet of rules around modules, data, interpolation, state and more.
  • タイトルは「Terraform Poka-Yokes — Writing Effective, Scalable, Dynamic, and Error-Resistant Terraform」。

  • 「Poka-Yoke」って何語?と思ったら、「ポカヨケ」の事でした。面白い。

  • 筆者はSenior DevOps Engineer/SRE。

  • しばらく前に、インフラストラクチャアプリケーションパターン(I-Aパターン)と呼ばれるIaCを説明する記事を読んで感銘を受けた。その記事の6部構成のフルシリーズは、Martin Atkins氏のブログで入手可能。

  • ここでは、この記事のアイデアを広げ、I-Aパターンの他の考えられる利点や実装とを考え、ポカヨケを作成できるルールについて述べています。

This post nicely summarises why Go has made such an impact on infrastructure and cloud-based applications, outlining several of the advantages of the runtime and toolchain in particular.
  • タイトルは「Go for Cloud」。

  • この記事では、クラウドのシステムにおけるGo言語のユニークな強みと、初見のユーザーにとって落とし穴となり得る不明確な点もカバーしています。

Events


Devops Days New York is coming up on March 3rd and 4th with the usual mix of talks, ignites and open spaces. Interesting topics like lifecycle management, product management for operations teams, CI/CD pipeline sprawl and more. TIckets are available now and you can get a 15% discount with the code "devopsweekly".
  • 3月3日~4日にニューヨークで開催される「DevOpsDays NYC 2020」の案内。

Tools


Preflight is a tool for verifying a Kubernetes cluster is configured correctly using an opinionated set of Open Policy Agent policies.
  • Kubernetesのクラスターが正しく構成されているかOPA(Open Policy Agent)のポリシーを使って検証するツール「Preflight」のGitHubページ。
Host extraordinaire, Benton Rochester, talks with Gene Kim about DevOps and his excellent new book, The Unicorn Project. Don't miss this highly-anticipated episode of Ship Happens, the Splunk + VictorOps podcast:

SRE Weekly Issue #207 February 17th, 2020

Articles

You see pilot error, I see normal work

The scenario: a seemingly botched landing, a finding of human error, and retraining for the errant pilots. The author recasts the entire incident in a much more realistic light that shows that the pilots’ actions were perfectly reasonable.
Robyn Ironside — Safety Differently

  • Jetstart社のパイロットが着陸時に着陸装置を忘れてしまったとして、パイロットのミスとして結論付けられたインシデントを筆者が分析した記事。
Running servers (and services) well is not trivial

Just exactly what would it take to (reliably) run your own git server internally?
Chris Siebenmann

Trade-offs under pressure: heuristics and observations of teams resolving internet service outages

In this two part series, The Morning paper takes on John Allspaw’s master’s thesis from Lund University. Here’s part two.

Adrian Colyer — The Morning Paper (summary)
John Allspaw — Lund University (original paper)

  • Adrian Colyer氏によるCSの調査をランダムに見ていくシリーズ。2部構成でPart2も上記part twoのリンクに。

  • John Allspaw氏の2015年に発表の修士論文から。

Team Structure for Software Reliability within your Organization

The section toward the end under the heading "Things need to get worse before they get better." especially resonated with me.
Hannah Culver — Blameless

  • Will Larson氏のブログ記事「Modeling Reliability」にインスピレーションを受け、より多くの聴衆のために数式を抽象化し、信頼性のためのチーム構築を直感的に理解させる事を試みている。
Music in Resilience: The Practice of Practice

Incident response and improvisational music share a lot in common.
Matt Davis — Verica

Outages

KubeWeekly #204: February 21, 2020

The Headlines

Editor’s pick of the highlights from the past week.

Why I Contribute to the Open Source Community—and You Should Too

Marky Jackson

Marky Johnson shares his journey to becoming a passionate, open-source contributor that all started with a rocket scientist. His post reminds us that open source is welcome to all and invites you to join the fun.

  • 現在Sysdig社でシニアソフトウェアエンジニアとして活躍している筆者。

  • JenkinsのPrometheusプラグインなどのコントリビューターとしてOSS活動を行なっている。

  • 次世代のエンジニアのメンタリングやスポンサー活動を行なっていて、読者にも「今日どうやって世界に違いを生み出しますか?」とコントリビュートする素晴らしさを語りかけています。

  • 半生を振り返りながら、いかにして現在の価値観や技術力に至ったのかを渡ってきた社名なども挙げながら書いていて興味深いです。

Roaring Elephant podcast: KubeCon + Cloud NativeCon EU preview

Not a regular news episode this time. Instead, we are starting our KubeCon/CloudNativeCon Amsterdam coverage and have co-chairs Vicki Cheung and Constance Caramanolis on as a guest to tell us all about these conferences. If you’ve never attended one of these, this discussion will give a good idea on what to expect and for seasoned attendees, there is a little bit of a behind-the-scenes look at how these events take form.

  • Roaring Elephant podcastで「KubeCon + Cloud NativeCon EU」のプレビューとして、co-chairのVicki CheungとConstance Caramanolisをゲストに迎えている。

  • 運営者サイドの話も少々。

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

Open Policy Agent: Microservices Authorization Simplified

Gaurav Chaware, Infracloud

  • 筆者はマイクロサービス開発の実装時に認証と認可でよく問題にぶつかる。

  • この記事ではOPA(Open Policy Agent) がいかに認可の簡素化を手助けしてくれるかについて探っていく。

Deploying Envoy and Kafka to collect broker-level metrics

Adam Kotwasinski, Workday

  • Envoy+Kafkaの2つのデプロイ方法を紹介している。

  • Kafka関連のトラフィック全てを、Envoyを介してルーティングする (クラスター内の通信も含む)

  • Kafkaクライアントのトラフィックのみを、Envoyを介してルーティングする

Introduction to SPIFFE and SPIRE Projects (Lightboard)

Evan Gilman, maintainer SPIFFE and SPIRE

  • YouTube動画でlightboard(スピーカーがペンで書きながら解説するのに使っている透明なボード)でScytale社のEvan Gilman氏がSPIFFEとSPIREの概要を説明しています。

  • 先々週、HPE社によるScylate社のM&Aのニュースを取り上げましたね。

Find an optimal set of nodes for a Kubernetes cluster

Kubecost

  • OSSであるKubecostの紹介。

  • インストールするにはこちらのページでメールアドレスを入力して登録し、Helmかマニフェストを使う。

  • 現状はGCPとAWSのクラスターをサポートしており、インストールされ次第、ワークロードのデータ収集を開始する。

GKE Node Pool Location and Surge upgrades GA

Two new Google Kubernetes Engine (GKE) features are Generally Available. Node pool location allows GKE users to specify the location for node pools independently from the location of clusters.

Surge upgrades allow users to specify the number of extra (surge) nodes and number of accepted unavailable nodes during an upgrade, improving reliability and reducing disruption to workloads.

  • GKEのGAとなった新機能Node Pool LocationとSurge upgradesの紹介。

  • 両方とも重要な機能だと思います。動かしてみたい。どちらも現行はCLIのみかな?

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

Architecting for Multicluster Kubernetes

Thomas Rampelberg, Linkerd

  • この記事では、クロスクラスタートラフィックの信頼性、安全性、および可観測性を高めるマルチクラスターソリューションの最小要件について概説しています。

  • 後続のブログ記事では、いくつかの実装の選択肢を取り上げていくとの事。(2/22現在まだ出ていない模様)

Five Surprising Ways Enterprises Are Putting Kubernetes To Work

Murli Thirumale, Portworx (published in Forbes)

  • エンプラ企業がKubernetesを活用し、近い将来プラットフォームがどのように進化するかについての洞察を提供する5つの驚くべき(?)方法を述べています。
eBPF and Falco, with Leonardo Di Donato

Adam Glick and Craig Box, Kubernetes Podcast from Google

  • Sysdig社のOpen Source engineerであるLeonardo Di Donato氏がゲスト。

  • Leonard氏はFalco projectにフルタイムで対応している

  • LinuxカーネルのListenに使用しているeBPF(extended Berkeley Packet Filter)のアーキテクチャー、今までとこれからの使い方、Falcoで今後何が来るか?などについて語っている。

  • News of the weekは先週分も含めてKubeWeekで取り上げているニュースが多いが、そうでないものも多い。

  • 「Links from the interview」を丸ごと持ってこようと思いましたが、ニーズが分からないものに対してやり過ぎだと思ったので、やめました。上のKubernetes Podcastのリンクから興味あるものを個別に取って頂くのが良さそう。

Security concerns hampering the adoption of containers and Kubernetes

Jonathan Grieg, TechRepublic

  • 「StackRoxの調査によると、回答者の90%以上が昨年のデプロイでセキュリティインシデントを経験している」とのサブタイトルから解説がスタート。

  • 「541人の回答者に対するこの調査の結果は、クラウドネイティブの資産が安全に構築、デプロイ、実行されていることを保証しないことにより、組織がアプリケーション開発とリリースの高速化のコアメリットを危険にさらしていることを明らかにしています」など、前半は調査内容に基づく懸念や意見を述べています。

  • 最後に、コンテナサービスのプロバイダーとしてAWS/Azure/GCPのの3社、特に2位争いを繰り広げているAzureとGCPの間で競争が激しさを増していると述べています。

Google Identifies Kubernetes-Ready Storage for Anthos

Mike Melanson, The New Stack

  • Google Cloudは、Anthos Managed Kubernetes機能セットを拡張し、Anthosオンプレミスの特定の標準セットを満たすストレージパートナーを識別する資格としてAnthos Ready Storageを追加した。

  • 現在承認されたパートナーには、 Dell EMCHPENetAppPortworx、Pure Storage、およびRobin.ioが含まれている。

  • GCPのプロダクトマネージャーであるManu Batraは、ブログの記事で、各ストレージパッケージがオンプレミスでAnthosと連携するために満たさなければならない3つの主要な基準を特定している。

Managed Kubernetes Services Make K8s Simple for Platform Teams and App Developers

Emily Omier, The New Stack

  • この記事は、2020年のKubernetesの課題を検証する3か月シリーズの一部

  • 1月には、Kubernetesデベロッパーエクスペリエンスを検証した。

  • マネージドKubernetesが求められた背景、プラットフォームチームとアプリ開発者にとってKubernetesの複雑さを簡単に見せるプロダクトなどを挙げながら説明している。

Linux Foundation study throws the open-source sustainability debate into question

Matt Asay, TechRepublic

  • 「オープンソースの開発者が高い報酬を得る傾向がある」事が、最近のLinux Foundationレポート(PDF)から結論となり得るものの1つとして導き出された。

  • このレポートでは、200の最もアクティブなオープンソースプロジェクトのトップメンテナーの75%以上が、オープンソースのフルタイムまたはパートタイムでの仕事に対して報酬が支払われていることが分かった。

  • Linux Foundationは、詳細を得るために何千人もの開発者を対象としたより包括的な調査を展開中。

  • 筆者は重要なのは現金だけではないことも同様に確信している。そして、「オープンソース開発を(おそらく)経済的に持続可能である様に、感情的にも持続可能なものにするためにもっと多くのことをする必要である」と締めくくっている。

Webinar Registration

気になるWebinarがあれば登録してチェックを。以下は今週ピックアップされていたものです。

Helm Security – a Look Below Deck
Matt Farina, Helm Maintainer @Samsung SDS
Hayley Denbraver, Developer Advocate @Snyk
Raghavan "Rags" Srinivas, Lead Container Developer Advocate @Snyk
Member webinar
Feb 25, 2020 10:00 AM Pacific Time
REGISTER NOW »

Managing Observability in Modern Apps – Microservices

Ran Ribenzaft, co-founder of and CTO @ Epsagon
Member webinar
Feb 26, 2020 10:00 AM Pacific Time
REGISTER NOW »

From Notebook to Kubeflow Pipelines with MiniKF & Kale
Vangelis Koukis, CTO & Founder @Arrikto
Stefano Fioravanzo, Software Engineer @Arrikto
Member webinar
Feb 27, 2020 9:00 AM Pacific Time
REGISTER NOW »

Kubernetes Security Best Practices for DevOps
Frédéric Harper, Senior Developer Advocate @DigitalOcean
Member webinar
March 3, 2020 10:00 AM Pacific Time
REGISTER NOW »

What’s New in Linkerd 2.7
Linkerd team
Project webinar
March 6, 2020 10:00 AM Pacific Time
REGISTER NOW »

Kubernetes Security Best Practices for DevOps
Connor Gorman, Principal Engineer @StackRox
Member webinar
March 11, 2020 10:00 AM Pacific Time
REGISTER NOW »

Welcome to CloudLand! An Illustrated Intro to the Cloud Native Landscape
Kaslin Fields, Developer Advocate @Google
Ambassador webinar
March 13, 2020 10:00 AM Pacific Time
REGISTER NOW »

How to migrate a MySQL Database to Vitess
Liz van Dijk, @PlanetScale
Project webinar
March 20, 2020 10:00 AM Pacific Time
REGISTER NOW »

Argo CD, Flux CD and the GitOps Revolution
Jay Pipes Principal, Open Source Engineer @Amazon Web Services
Member webinar
March 24, 2020 10:00 AM Pacific Time
REGISTER NOW »

Best Practices for Deploying a Service Mesh in Production: From Technology to Teams
Buoyant
Member webinar
April 8, 2020 10:00 AM Pacific Time
REGISTER NOW »

Kubernetes 1.18
Kubernetes team
Project webinar
April 23, 2020 9:00 AM Pacific Time
REGISTER NOW »

Pivoting Your Pipeline from Legacy to Cloud Native
Tracy Ragan, CEO of DeployHub and CDF Board Member
Member webinar
June 30, 2020 10:00 AM Pacific Time
REGISTER NOW »

いかがでしたか?気になる記事や情報はありましたか?

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!
Yoshiki Fujiwara