運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#10(4/5~4/10)

SRE DevOps Kubernetes WeeklyReport 英文技術記事まとめ 週刊

この記事は2020/4/5~4/10に発行された下記3つのWeekly Reportを読み、備忘録兼リンク集として残したものです。

  • 誰かの情報源や検索工数削減などになれば幸いです。
DEVOPS WEEKLY ISSUE #484 April 5th, 2020
SRE Weekly Issue #214 April 6th, 2020
KubeWeekly #211: April 10th, 2020

English Version of this blow is here.

  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。
  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。
  • 情報量が多いので文字とリンクだけに絞っております。
  • 各レポートで取り上げられている記事には2019年以前のものもあり、必ずしも最新のものという訳ではない様です。

DEVOPS WEEKLY ISSUE #484 April 5th, 2020

News

A detailed look at Slack’s deployment process, covering batching deploys, fast/atomic deploys and staggered rollouts to catch issues quickly.

  • タイトルは「Deploys at Slack」。

  • 「Slackトリガーでデプロイする話?」と期待したら違いました。Slack社の業務プロセスと同社をここまで導いてきた主要なプロジェクトの概要を紹介している記事。

  • 最後にそれぞれのプロジェクトに貢献したメンバーの名前を挙げて、功績を称えるのは文化何だろうなぁ。それを可能にする、他のチームとの連携を広げられる良いツールだと思います、Slack。*回し者ではありません、利用者ではありますが。

A great piece of critique of PostgresSQL, with 10 specific issues based on a wealth of production experience.

  • タイトルは「10 Things I Hate About PostgreSQL」。

  • PostgreSQLに対する筆者の積年の恨みを感じる記事タイトル。「PostgreSQLが世界最高のデータベース」という記事を槍玉に挙げた上で、もてはやす風潮に懸念を示している。

  • 自身が挙げた10の苦痛となるポイントを減らすあるいは取り除く為にマネージドサービスを使える人は使う事を勧めている。そして結論としては、それでも自身が20年近くPostgreSQL上でソフトウェアを作り、未だにその支持者である事を誇っている。

An attack matrix for Kubernetes-based systems. A comprehensive breakdown of potential points of attack, useful when considering systematic defences.

  • タイトルは「Attack matrix for Kubernetes」。

  • 「MITRE ATT&CK®」というサイバー攻撃に使われる戦法や技術を含んだナレッジベースのフレームワークを用いて、Kubernetesへの攻撃手法を解説。

  • １つ１つを深掘りするというよりも、様々な観点/手法のサイバー攻撃から身を守る手を考えるきっかけや目安となる記事だと感じた。項目は多いがそれぞれは一言二言触れているに止まっている。

A post describing an approach to spinning up and down development environments on GCP using Google Cloud Functions and Terraform.

  • タイトルは「GKE Cluster Nodepool Scaler」。

  • GKEのクラスターノードプールをTerraform、GCPのfunction gke-cluster-nodepool-scalerをGCP Scheduler、PubSubトピックと使って必要に応じてスケールダウン、スケールアップを行なってコストを最適化する話。

An introduction and case study looking at building serverless applications using the Serverless Framework for application management and deployment.

  • タイトルは「Serverless Framework in the Real World」。

  • SSENSE社においてopen source Serverless FrameworkをAWS基盤で同社がいかにい活用して、アプリの管理、デプロイメントを行なっているかを同社のDeveloper Web Full Stack/Scrum MasterであるVictorien Avon氏が紹介している記事。

A look at some of the use cases for tagging of resources in cloud deployments, including ownership, cost tracking, compliance regimes and more.

  • タイトルは「The Context Your Team Needs」。

  • k9 Security社の技術ブログにて、同社の「k9 Security GuideのTagging Cloud Deployments」の紹介をしている記事。

  • 技術チームが、クラウドアプリケーションとインフラストラクチャリソースに、それらのリソースを効果的に管理、運用、保護するために必要なコンテキストをタグ付けする事を案内。

  • このタグモデルは、3つの要素、Identity & Scope、Security、Riskから成る。

A quick guide to service mesh and various tools in the space, looking at AWS App Mesh, Consul Connect, Istio, Linkerd and more.

Tools

kpt is a toolkit to help you manage, manipulate, customize, and apply Kubernetes Resource configuration.
Fleet is a new tool for managing fleets of Kubernetes clusters. It’s been designed specifically for edge use cases, where users might have thousands or more small clusters.

  • KubernetesクラスターのFleet(艦隊/船団などと訳せる)を管理するRancher社の新しいツール「Fleet」のGitHubページ。クラスター単位でまとめてFleetとして管理するイメージ。

  • まだearly-ALPHA版でフィードバック絶賛募集中らしいので、まだ実用というよりも新しいツールを触ってみたい方、関わっていきたい方向けかな。

Pipx is a handy tool for installing and running Python applications in isolated environments, building on top of the Pip package manager.

  • 隔離された環境でPythonのアプリをインストール、稼働させるツールである「pipx」のioページ。

  • GitHubページはこちら。

  • pip、pipsiなどの他のツールと比較しているページはこちら。

SRE Weekly Issue #214 April 6th, 2020

Articles

Trying to be too (io)nice created a "killer" directory

A nifty little pitfall in which an ioniced process can block non-ioniced processes.Author: rachelbythebay

  • 「時々、誰かがLinux のプロセスが独特の場所で詰まる新しい方法を見つける」という導入文から、筆者が数年前に見つけた方法(ioniceコマンドによるディスクI/Oの優先度変更の多用により「killer」ディレクトリーを作ってしまう)を語るブログ記事。
Technical Writing

Google published this free set of courses on technical writing. As an SRE, I have the constant need to write effectively to justify and document my designs.
Every engineer is also a writer. This collection of courses and learning resources aims to improve your technical documentation. Learn how to plan and author technical documents.
Google

  • Google社による無料の技術的なドキュメンテーションの講座。まずはPre-classの資料を読んで演習してみて、その後にIn-classを考えてみても良さそう。In-classは入り方が分からなかった。。。まだ準備中？

  • 対象はソフトウェアエンジニア、学生のソフトウェアエンジニアに加えて、多くのエンジニアリングと近いロール(プロダクトマネージャーなど)向け。

Message from ACM Regarding Open Access to ACM Digital Library during Coronavirus

The ACM has made their ACM Digital Library free to the public for the next 3 months. Many of their articles have been featured here previously.

  • ACM(Association for Computing Machinery)がACM Digital Libraryで発表しているものに対するアクセス、ダウンロードを3ヶ月間(2020/06/30まで)無料開放する案内。

  • 目的はCOVID-19によってリモートで働いている研究者、実務者、キャンパス閉鎖に伴いオンラインで教育/学習を行なっている方々、コンピューティングのコミュニティーをサポートする為。

  • 試してみましたが、800ページを超える本などがPDF版でサラッとダウンロード出来ました。ガッツリ英文でコンピューティングの読み物されたい方向け。

  • この本は「Concurrency: the Works of Leslie LamportOctober 2019」時間が取れた時...に読みたい。

The Post-Incident Review Issue 2: March 2020

Includes a great article by Jamie Woo, entitled Imagining Your Post-Incident Report As A Documentary.
Emil Stolarsky and Jaime Woo — The Post-Incident Review

  • PIR(Post-Incident Review)をSREcon EMEAでは物理本を雑誌サイズで持って行ったが、2版を出すにあたって、扱いやすい手紙大の大きさでマンスリーでより多くお届けしていく事にした模様。オンライン版、PDF版、印刷用PDF版あり。イラスト可愛い。

  • Discord社の障害を取り上げている。

SRE Thought Leader Panel about Embracing Resilience during Crises

Blameless recently had the privilege of hosting SRE leaders Liz Fong-Jones, Dave Rensin, and Alex Hidalgo to discuss how SREs can embrace resilience during pandemic, and how the principles of SRE intersect with global trends.
I especially liked the discussion of pent-up demand that may cause problems when we eventually get to relax social distancing.
Amy Tobey (moderator), Alex Hidalgo, Liz Fong-Jones, Dave Rensin

  • Blameless社がSREのリーダーであるLiz Fong-Jones、Dave Rensin、Alex Hidalgoの諸氏を招いて「いかにSREがパンデミックの最中にあって回復性を保持できるか」「いかにSREの原則はクローバルなトレンドを横断するか」について議論している内容を記載した記事。内容盛り沢山なので、これは宿題。

  • Webinar動画はこちらで申し込みをするとダウンロード出来る模様。

Incidents: What Is Often Missed & What Can Be Done About That

This is a talk that John Allspaw gave for Spotify.
Learning is not the same as fixing
John Allspaw — Adaptive Capacity Labs

  • 筆者が2月にSpotify社のニューヨークオフィスに招かれて「インシデントから学ぶ」をテーマに話された内容の1ページ目のスライドと、約45分の動画が埋め込んであるページ。

Outages

上記各社の障害情報

KubeWeekly #211: April 10th, 2020

The Headlines

**_Editor’s pick of the highlights from the past week.

API Priority and Fairness Alpha

Min Kim (Ant Financial), Mike Spreitzer (IBM), Daniel Smith (Google)
A new alpha feature in Kubernetes 1.18, API Priority and Fairness permits cluster administrators to divide the concurrency of the control plane into different weighted priority levels. Learn more about what this problem solves and how to try it out from the recent blog post.

  • Kubernetes 1.18でα版機能として新たに加わった「API Priority and Fairness」を紹介する記事。

  • Flow SchemaとPriorityLevelConfigurationを使って、コントロールプレーンの並行処理を異なった重み付け(priority level)で分ける事が出来る。

Argo CD – Declarative GitOps CD for Kubernetes

As a deployment tool, Argo CD needs to have production access which makes security a very important topic. The Argoproj team takes security very seriously and continuously working on improving it. Dive into the latest security audit here.

  • CNCFのTechnical Oversight Committee (TOC) の投票の結果、4/7にArgo ProjectをCNCFのincubationレベルとする事が発表された。

  • Argo Projectは4つのサブプロジェクト(Argo Workflows、Argo Events、Argo CD、Argo Rollouts)から成る、Kubernetes上でアプリとジョブを稼働、管理するツール。

  • CNCFのプロジェクトには、maturity(成熟度)で下から順にsandbox、incubating、graduatedとなっています。現在の基準(2020/04/12時点)を確認されたい方はCNCF Graduation Criteria v1.3を参照下さい。

TOC Votes to Move Dragonfly into CNCF Incubator

Exciting news- Dragonfly is now a CNCF incubation-level project. Celebrate the recent milestone and learn more about the roadmap from the CNCF blog.

  • 上記のArgoに続けて、CNCFのTechnical Oversight Committee (TOC) の投票の結果、4/9にイメージおよびファイルの分散システムであるDragonfl ProjectをCNCFのincubationレベルとする事が発表された。

ICYMI: CNCF Webinars

Weekly recap of CNCF member and project webinars that you might have missed.
You can view all CNCF recorded and upcoming webinars here

CNCF Ambassador Webinar: Welcome to CloudLand! An Illustrated Intro to the Cloud Native Landscape

Kaslin Fields, Developer Advocate @Google

  • Google社のDeveloper AdvocateおよびCNCF AmbassadorであるKaslin Fields氏によるイラストを用いて「CloudLandへようこそ！」と題して、クラウドネイティブ技術について背景からテーマパークの様に丁寧に楽しく解説しているWebinarの動画。自身のサイトで、イラスト付きブログも書かれている。

  • 気軽に動画ではなく、スライドのみをササッと見るのも良いかも。

CNCF Member Webinar: Pravega: Rethinking storage for streams

Flavio Junqueira, Senior Distinguished Engineer @Dell

  • Dell社のSenior Distinguished EngineerであるFlavio Junqueira氏による「ストリームの再考」と題してOSSのデータストリームのストレージツールであるPravegaを解説しているWebinarの動画。このジャンルは正直弱いので補強しておかねば。これも宿題。
CNCF Member Webinar: Best Practices for Deploying a Service Mesh in Production: From Technology to Teams

William Morgan, Co-Founder and CEO @Buoyant; Ana Calin, Systems Engineer @Paybase; William King, CTO and Founder @Subspace; and Matt Young, VP of Cloud Engineering @EverQuote

  • Buoyant社のCo-FounderおよびCEOであるWilliam Morgan氏、Paybase社のSystems Engineer であるAna Calin氏、Subspace社のFounderおよびCTOであるWilliam King氏、EverQuote社のVP of Cloud EngineeringであるMatt Young氏による「本番環境にサービスメッシュをデプロイするベストプラクティス」をプレゼンター間で対話形式のQ&Aと解説をしているWebinarの動画。
CNCF Member Webinar: New Thoughts on Distributed File System in the Cloud Native Era

Shuoran Liu, Architect @JD.COM

  • JD.COM社のArchitectであるShuoran Liu氏による「クラウドネイティブ時代の分散システムにおける新しい考え方」と題してJD.COM社でプロダクション環境でどの様に実装されているのかを、いくつかの課題と解決策を交えて解説しているWebinarの動画。 う〜ん、これも深掘りした内容。宿題。

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

Provisioning cloud resources (AWS, GCP, Azure) in Kubernetes

Daniele Polencic, LearnK8s

Agile Stacks- Docs

The goal of this tutorial is to provide automation for developer workflows on Kubernetes through the Skaffold approach.

  • Agile Stacks社によるKubernetes上でSkaffoldを利用して開発者のワークフローを自動化する方法のチュートリアル(101)。Kubernetes上のアプリのリモートデバッグにはptvsdを使っている。開発者の向けワークフロー関係では201「Kubernetes上でステートフルなアプリケーションを有効にする」もあり。
Controlling outbound traffic from Kubernetes

Monzo

  • Monzo社では同社のバンキングプラットフォームをよりセキュアにする為、昨年後半に内部のトラフィック制御を改修し、外部の侵入から顧客を守るネットワークプロジェクトをまとめた(その記事はこちら)。

  • 今回の記事では、同社のプラットフォームから出ていく外向けのトラフィックでも同様に制御を行なった事を紹介する記事。

Extending Kubernetes with Operators

Christopher Heppell, Redgate Software

  • 「KubernetesをOperatorを利用して拡張していくこと」をタイトル通り、筆者が過去に参加したRed Hat社のワークショップの体験などを交えて解説している。

  • 途轍もなくデジャブ感がある記事なのですが、過去の記事が見当たらず...気のせいか？Operator関連の記事をよく見かけているので思い込みかも。

Your own Kubernetes controller – Improving and deploying

Nicolas Frankel

Multi-tenant Kubernetes Clusters with the HAProxy Kubernetes Ingress Controller

Nick Ramirez, Haproxy

Working With Istio: Track Your Services With Kiali

Mohamed Ahmed, Magalix

Be Careful When Pulling Images by Short Name

Jason Shepard, Red Hat

  • コンテナイメージをフルURLではなく短縮名でプルする事によるimage squattingのリスクを伝え、Red Hatの基盤であるRHELやOpen Shiftなどを使っていた場合の対応方法を解説している記事。
Bottlerocket with Fork, Clone, Run! – A Container Optimized OS with a GitOps model

Chanwit Kaewkasi, Weaveworks

  • AWSが発表したOSSのコンテナを大規模に稼働させるのに最適化されたOSであるBottlerockerとGitOpsモデルを解説している記事。
Embrace and Replace: Migrating ZooKeeper into Kubernetes

James Kerbinger and Paul Furtado, HubSpot

  • HubSpot社の数百ZooKeeperインスタンスをそれぞれのサーバーインスタンスからダウンタイム無しでKubernetesに移行した話。

  • 最後にネットワーク上の重要な前提条件があるので、要確認。

Useful Interactive Terminal and Graphical UI Tools for Kubernetes

William Lam, VMware

  • VMware社のSenior Staff Solution ArchitectであるWilliam Lam氏が内部のマーケティング、サポートエンジニア向けに自社のe Tanzu Kubernetes Grid (TKG) クラスターをAWS環境上のVMware Cloudで動かすワークショップを行なった際に、「K8sを初めて使う方向けに使用体験を向上させるツールがあった方が良い」と思い導入、フィードバックなどを受けて後日そのツール群について書いた記事。

  • Octant、Lens、 Kubevious、Kubelive、K9sなどを取り上げている。

Introducing Krustlet, the WebAssembly Kubelet

Dies Labs

  • Deis Labs社が新たに発表したOSSツールKrustlet(Kubernetes-rust-kubelet)の紹介記事。

  • ツールの目的は以下の2つ。
    1.WebAssemblyのワークロードをKubernetes上に簡単にデプロイしたい。
    2.Kubernetesのエコシステムでは多くがGo言語で書かれているが、他の言語Rustで書かれたツールを提供したい。

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.
Jaeger, with Yuri Shkuro
Craig Box and Adam Glick, Kubernetes Podcast

Kubevious

This GItHub repo is for Kubevious project, application-centric Kubernetes UI

Reliable, Self-Healing Kubernetes Explained Plus, the role of self-healing nodes and infrastructure management

Kublr team

  • 「多くのベンダーが自社のプラットフォームは「セルフヒーリング機能がある」と語っており、Kubernetesもデフォルトでセルフヒーリング機能を持っているが、セルフヒーリングには3つのレイヤーがあり、Kubernetesはその内の1つをカバーしているのみである」として、1つずつそのレイヤーを解説している記事。
Five years of Raspberry Pi clusters

Alex Ellis, OpenFaaS

  • 何度か他の記事でもご登場いただいているAlex Ellis氏による「おうちRaspberry Piクラスターとの5年」を振り返った記事。

  • Swarm Classicで始め、k3sの導入などハード、ソフト両面の技術の進化が見れる記事。最後のTake-awaysが個人的に刺さる内容が多かった。

Kubernetes v1.18 advances Windows container support

Craig Peters and Mark Rossetti, Microsoft

  • Microsoft社Open Source BlogにてKubernetes v1.18でのWindowsコンテナのサポートが進んだ点の紹介をしている記事。

  • CSI Proxy for Windowsなどを紹介。今後の機能としてOSが混在したクラスターをRuntimeClassで管理する方法などが検討されているとの事。

Is there a Helm and Operators showdown?

Matt Butcher, Microsoft

  • 続けてMicrosoft社Open Source Blogにて筆者がよく聞かれる、「HelmとOperatorはどちらが勝つんだ？」問いに対して、「スーパーボールでバルセロナとNYヤンキースのどちらが勝つんだ？」という見当違いの比較をしているとして、それぞの特徴、目的の違い、用語による混乱などを紹介し、論点の整理をしている記事。
Why Linux containers are a CIO’s best friend

Brian Gracely, Red Hat

  • アジリティー、Kubernetes、銀の弾丸は無い、などのキーワードを出しながらCIO達にLinux containerを学び、強力な味方となる事を啓蒙している記事。

Upcoming CNCF webinars

気になるWebinarがあれば登録してチェックを。以下は直近のものとしてピックアップされていたものです。

Declarative Host Upgrades From Within Kubernetes
Adrian Goins,Director of Community and Evangelism @Rancher Labs
Dax McDonald,Software Engineer @Rancher Labs
Jacob Blain Christen, Principal Software Engineer @Rancher Labs
Member webinar
April 14, 2020 10:00 AM Pacific Time
REGISTER NOW »

Helping App Developers Adopt Kubernetes with Tekton and Argo Automation
Roland Barcia, CTO Solution Engineering @IBM
Sean Sundberg, Lead Architect, Cloud Native Toolkit @IBM
Member webinar
April 15, 2020 10:00 AM Pacific Time
REGISTER NOW »

Enabling Cloud Native Storage for the Enterprise
Chris Merz, Principal Technologist for DevOps @NetApp
George Tehrani, Product Manager for Kubernetes and Cloud Native Data @NetApp
Member webinar
April 16, 2020 10:00 AM Pacific Time
REGISTER NOW »

KubeCarrier: The Operator of Operators
Nico Schieder, Software Engineer @Loodse
Member webinar
April 22, 2020 10:00 AM Pacific Time
REGISTER NOW »

如何让你的Windows应用运行在Kubernetes平台
杨雨 Alex Yang, 解决方案架构师 Solution Architect @Mirantis
张文墨Larry Zhang, 解决方案架构师 Solution Architect @Mirantis
Member webinar
This webinar will be delivered in Chinese
April 23, 2020 10:00 AM China Standard Time
REGISTER NOW »

Kubernetes 1.18
Kubernetes team
Project webinar
April 23, 2020 9:00 AM Pacific Time
REGISTER NOW »

Best Practices In Implementing Container Image Promotion Pipelines
Baruch Sadogursky, Head of DevOps Advocacy @JFrog
Member webinar
April 30, 2020 10:00 AM Pacific Time
REGISTER NOW »

How AWS uses Firecracker and Fargate to run serverless Kubernetes pods in Amazon EKS
Mo Ziyuan 莫梓元 解决方案架构师 @AWS
Member webinar
This webinar will be delivered in Chinese.
May 7, 2020 10:00 AM China Standard Time
REGISTER NOW »

Pivoting Your Pipeline from Legacy to Cloud Native
Tracy Ragan, CEO of DeployHub and CDF Board Member
Member webinar
June 30, 2020 10:00 AM Pacific Time
REGISTER NOW »

いかがでしたか？気になる記事や情報はありましたか？

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara