運び屋 (A carrier(forwarder) changed his career to an engineer)

Network / Cloud Native / Kubernetes / コンテナー / SRE / DevOps

SRE / DevOps / Kubernetes Weekly Reportまとめ#27(8/2~8/7)

この記事は2020/8/2~8/7に発行された下記3つのWeekly Reportを読み、備忘録兼リンク集として残したものです。

  • 誰かの情報源や検索工数削減などになれば幸いです。
DEVOPS WEEKLY ISSUE #501 August 2nd, 2020
SRE Weekly Issue #230 August 2nd, 2020
KubeWeekly #228 August 7th

English Version of this blow is here.

  • この記事を読んで疑問点や不明点があれば、URLから本文をご確認の上、ご指摘頂ければ幸いです。
  • 理解が浅いジャンルも、とにかくコメントする様にしていますので、私の勘違いや説明不足による誤解も多々あろうかと思います。
  • 情報量が多いので文字とリンクだけに絞っております。
  • 各レポートで取り上げられている記事には2019年以前のものもあり、必ずしも最新のものという訳ではない様です。

DEVOPS WEEKLY ISSUE #501 August 2nd, 2020

News

How do you get the benefits of microservice architectures at scale while minimising operational complexity? This post looks at applying domain driven design concepts and provides a useful case study.
  • タイトルは「Introducing Domain-Oriented Microservice Architecture」
  • 先週のKubeWeeklyで取り上げているので、割愛します。
The adoption of devops practices has gone hand-in-hand with organisations embracing digital transformation. Both phrases risk overuse but these posts discuss some useful mental models to help focus conversations.
  • タイトルは「Mental Models to Clarify the Goals of Digital Transformation, Part 1 」。「Mental Models to Clarify the Goals of Digital Transformation, Part 2 」。
  • デジタルトランスフォーメーションの意味するさまざまな側面をカバーする「8つのメンタルモデル」を2回に分けて提案している。
    1. Gaining Speed
    2. Using Digital Technology
    3. Interacting Digitally
    4. Becoming Customer-Centric
    5. Being Data-Driven
    6. Increasing Resilience
    7. Becoming Future Ready
    8. Building the Enterprise of the Future
  • 特に印象に残ったものは、「スピードがセキュリティーを向上させる」。スピードとセキュリティーをトレードオフの関係で捉えがちだったので、視点を変えるきっかけになりました。
    • Speed improves security because we can respond more quickly to changes in the threat landscape, and we can repeatedly, quickly, and with low overhead test our systems as they are being built and after they are deployed.
What properties of developer platforms lead to adoption? The following post is specifically about a large scale edge platform, but it’s a great read for anyone building platforms of all kinds for developers, including those doing so in internal platform teams.
  • タイトルは「The Edge Computing Opportunity: It’s Not What You Think」。
  • Cloudflare社が3年近く前にアナウスウンスし、GAから2年経ったエッジコンピューティングプラットフォーム「Cloudflare Workers 」に、一連の拡張機能をサーバーレスウィークと呼ばれる次の週の間に、発表するというアナウンスからスタート。2020/07/26付の記事。
  • 「その週が始まる前に、私は一歩下がって、過去3年間にエッジコンピューティングについて学んだことについて少しお話ししたいと思いました」として、以下のポイントで解説している。項目の多さからわかる通り、それなりの分量があります。
    1. Matthew’s Hierarchy of Developers' Needs
    2. Speed As the Killer Feature?
    3. Speed Alone Is Niche
    4. Consistency
    5. Zero Nanosecond Cold Starts
    6. Cost
    7. More Efficient Architecture Means Lower Costs
    8. From Limits to Limitless
    9. Ease of Use
    10. The Bezos Rule
    11. Compliance
    12. The Coming Era of Data Sovereignty
    13. Edge Computing to the Rescue
    14. Serverless Week  
When first embracing devops practices and cloud services it’s common in large organisations to build a centre of excellence. There are some traps to avoid when taking this approach that the following post discusses.
  • タイトルは「Building a Cloud Centre of Excellence in 2020: 13 Pitfalls and Practical Steps」。
  • 個人的に今週のタイトルで一番興味があったテーマです。 「ますます多くの組織がクラウドジャーニーの拡張を検討しているため、多くの企業がCloud Centre of Excellence (CCoE)を設立して、ビジネス内でのクラウド導入の初期の組み込みと立ち上げを管理することを選択します」との前提からスタート。
  • 以下の「6 Common Traps to AVOID When Establishing a CCoE」と「Practical Next Steps: Overcoming 7 Common CCoE Challenges」を中心に解説している記事。
    • 6 Common Traps to AVOID When Establishing a CCoE
      1. Getting hung up on the term ‘centre’
      2. Controlling consumption of cloud services and blocking innovation opportunities
      3. Ignoring developer experience
      4. Applying traditional architecture standards and processes
      5. Confusing guardrails with blockers
      6. Catering for a single cloud maturity level
    • Practical Next Steps: Overcoming 7 Common CCoE Challenges
      • Challenge #1: Building your CCoE - who should be part of it?
      • Challenge #2: Getting started - How big should it be?
      • Challenge #3: How much and what involvement should the business have in the CCoE?
      • Challenge #4: Instilling Modern Ways of working
      • Challenge #5: How should your CCoE evolve over time?
      • Challenge #6: Should the CCoE be in charge of the cloud costs being incurred?
      • Challenge #7: How can the CCoE successfully scale cloud adoption across the organisation?
The videos from the recent DevSecCon online conference are all available, with a range of interesting topics covered including infrastructure as code security, continuous audit compliance, supply chain attacks and more.
  • タイトルは「DevSecCon24 - 24hr virtual conference」。
  • 3つのタイムゾーン3(APAC/EU/AMERICAS)で6/15に開催されたバーチャルカンファレンス「DevSecCon」のまとめページ。
  • セッションのプレイリストがリンクされていてありがたい。私も申し込んでいたのですが、全然見れていませんでした。
  • リンクが付いていないものは、動画自体が公開されていない様です。2020/8/3時点で以下はリンクが無く、公開されていない様でした。
    • APAC PANEL: The Future of DevSecOps - (Moderator) Mohammed A. Imran, Mohan Yelnadu, Jerome Walter, Stefan Streichsbier & Sarah Young
    • EU KEYNOTE: Design Thinking for Secure Development - Wolfgang Goerlich
    • The Container Security Checklist - Liz Rice
    • GitOps Progressive Security For Kubernetes - Gadi Naor
    • Threat Modeling the Death Star - Mario Areias
    • IGNITES: Unquantified Serendipity: Diversity in Development - Quintessence Anx
A nice discussion of tradeoffs between serverless architectures and monolithic applications, mainly focused on smaller scale apps.
  • タイトルは「My monolith doesn't fit in your serverless」
  • 筆者は「自身に課された問題を、サーバーレスアプローチを使用して問題を解決するのは難しい」という結論に達し、サーバーレスが全てではない理由を自身の見解を解説している。
A deep dive technical post on new features in the linux kernel which should make unprivileged containers more popular. Good introduction to the details of seccomp as well.
  • タイトルは「The Seccomp Notifier – New Frontiers in Unprivileged Container Development」。
  • 先週のKubeWeeklyで取り上げたので、割愛します。
Role-based access control plays an important role in securing Kubernetes. This handy site collects together articles and tools and the official documentation in one place.
  • RBAC.devのWebページ。説明書きは以下の通り。
    • advocacy site for Kubernetes RBAC
    • A site dedicated to good practices and tooling around Kubernetes RBAC. Both pull requests and issues are welcome.
An interesting survey for anyone using Serverless technologies to take, from a wide range of companies in the space. I’ll look forward to the results when they are published.
  • タイトルは「STATE OF SERVERLESS SURVEY 2020」。
  • 対象は以下の通り。無記名で、7~8分程度でできるようです。
    • This survey is for tech leaders, engineering managers and developers.
    • 無料のレポートと、4つのAmazon eGiftカードの内の1つ(それぞれ$20相当)が受け取れるそうです。

SRE Weekly Issue #230 August 2nd, 2020

Articles

LaunchDarkly’s Evolution from Polling to Streaming

LaunchDarkly started off with a polling-based architecture and ultimately migrated to pushing deltas out to clients.

Dawn Parzych — LaunchDarkly

  • ポーリングアーキテクチャーからストリーミングアーキテクチャーに移行した方法と、「build vs. buy question」にどのように対処したかについて説明している。ストリーミングアーキテクチャーを導入した当初は「buy」を選択し、サードパーティーとパートナーを組んだが、規模の拡大に伴って問題が顕在化し、「build」に舵をきって自前構築。
A simpler alternative to distributed tracing for troubleshooting

A brief overview of some problems with distributed tracing, along with a suggestion of another way involving AI.

Larry Lancaster — Zebrium

  • 分散トレーシングの2つの問題と、そのシンプルな代替案を提案している。
    • work required to yield results
    • inadequacy of those results.
Google Cloud Issue Summary Classroom – 2020-07-07

This is Google’s post-incident report for their Google Classroom incident on July 7.

  • Google Cloud社のClassrooml障害のフォローアップ記事。iOSとAndroidアプリ利用の一部ユーザー(ピーク時に20%)がClassroomにアクセスできない影響が発生。
Introducing Domain-Oriented Microservice Architecture

Uber has long been a champion of microservices. Now, with several years of experience, they share the lessons they’ve learned and how they deal with some of the pitfalls.

Adam Gluck — Uber

  • 再びの登場ですが、先週のKubeWeeklyで取り上げているので、割愛します。
  • このブログでチェックしている3つのメルマガ全てで取り上げられていますので、この記事の注目度の高さがわかります。
Keeping PagerDuty Always On With Remote Incident Response

This article opens with an interesting description of what the Cloudflare outage looked like from PagerDuty’s perspective.

Dave Bresci — PagerDuty

  • 直近で起きたルーターの設定ミスによる大規模障害(Cloudflareのかな?)を引き合いに出し、大規模障害発生時のPageDuty社の対応を紹介している。Slack連携を中心に同社のドキュメントを紹介。
Safe by design?

This post reflects on two distinct philosophies of safety:

the engineering design should ensure that the system is safe design alone cannot ensure that the system is safe

Lorin Hochstein

  • MIT STAMP workshopに参加中の筆者が、Nancy Leveson氏のシステムの安全性について興味深く聞き、自身の考えを明確にすべく、彼女とレジリエンスエンジニアリングコミュニティーの多くの人々の、異なる見方を解説している。私としては両方とも大事な視点として持っておく。
    • Leveson believes that depending on human adaptation in the system is itself dangerous. If we’re depending on human adaptation to achieve system safety, then the design engineers have not done their jobs properly in controlling hazards.
    • The resilience engineering folks believe that depending on human adaptation is inevitable, because of the messy nature of complex systems.
All we can do is find problems

You can’t use availability metrics to inform you about whether your system is reliable enough, because they can only tell you if you have a problem.

Lorin Hochstein

  • 上記と同じ筆者が同じくMIT STAMP workshopで、 Nancy Leveson氏の次のセッション、「Safety Assurance (Safety Case): Is it Possible? Feasible?」に参加してセッションの内容をまとめ、コメントしている。
  • Leveson氏は、システムの安全性を評価することに懐疑的。代わりに、設計後に評価を行うのではなく、設計段階で安全要件を生成することに焦点を当てて、安全を設計できると主張している。
  • 可用性に対する考え方は、一理あるなと思った。ただし、運用フェーズまでもう入ってしまっている時にこの話を聞くとツラミがある。おそらく、私が筆者とLeverson氏の大事なポイントを理解していない。運用でカバーせずに、一度設計に立ち返る、差し戻すという理解で良いのかな?
  • 彼女のスライド最後にあった3つの締めの言葉。
    1. If you are using hazard analysis to prove your system is safe, then you are using it wrong and your goal is futile
    2. Hazard analysis (using any method) can only help you find problems, it cannot prove that no problems exist
    3. The general problem is in setting the right psychological goal. It should not be “confirmation,” but exploration

Outages

上記各社の障害情報

KubeWeekly #228 August 7th

The Headlines

Editor’s pick of the highlights from the past week.

4 Tips for Maximizing Your Virtual KubeCon Experience

Amanda Katona, VMware

With hundreds of hours of programmed content for KubeCon + CloudNativeCon EU 2020 Virtual, it risks becoming an overwhelming (and occasionally numbing) experience. Don’t worry – the CNCF community is here to help! As you start to prepare for the event, Amanda shares her advice for making the most of the virtual experience. Read the blog here.

  • タイトルは4 Tipsですが、実際には以下の6つのコツを伝えています。最後Tipsは開催場所Amsterdam風の食べ方なので、自宅でも雰囲気を味わおうという趣旨でした。
    1. Build your agenda
    2. Prepare questions for your top 5 sessions
    3. Take incredible notes
    4. Get your swag on
    5. Be extra social and extra positive
    6. Eat french fries with mayonnaise
KubeCon + CloudNativeCon EU Virtual Session Spotlight

The countdown to KubeCon + CloudNativeCon EU Virtual on August 17-20, 2020 is on! As we approach the event, we curated a few recommended sessions that we don’t want you to miss. Please see the feature for this week and be sure to register today!

Keynote: How to Love K8s and Not Wreck the Planet

Presented by Holly Cummins, Worldwide IBM Garage Developer Lead, IBM

The past five years have been the warmest since records began. Human activity, including the IT industry, is driving worrying about climate change. Data centers alone consume 3% of the world’s energy, and more and more of that energy is being used by Kubernetes and workloads running on Kubernetes. Is k8s helping, or making things worse?

The beauty of the cloud is that it makes it easy to run code, virtualized, and scheduled for efficiency… but it doesn’t provide any guarantee that what’s running is useful. Even when the workload is high-value and efficient, Kube sprawl can lead to low utilization, unsatisfactory elasticity, and high costs – but mega-mono-clusters have their own problems around isolation, security, and management. How should these competing requirements be balanced? This talk discusses some of the trade-offs and provides a roadmap to figuring out the right thing.

Register now!

  • KubeCon + CloudNativeCon EU Virtualの8/19のKeynote。スケジュール: 8/19(水) 15:58 - 16:14 CEST(Central European Summer Time)。
  • 以下の投げ掛けでセッションが実施される模様。
    • 「The beauty of the cloud is that it makes it easy to run code, virtualised and scheduled for efficiency... but it doesn't provide any guarantee that what's running is useful. 」
    • 「Even when the workload is high-value and efficient, Kube sprawl can lead to low utilisation, unsatisfactory elasticity, and high costs - but mega-mono-clusters have their own problems around isolation, security, and management.」
    • 「How should these competing requirements be balanced? 」
    • 「This talk discusses some of the trade-offs and provides a roadmap to figuring out the right thing.」

ICYMI: CNCF Webinars

You can view all CNCF recorded and upcoming webinars here.

CNCF Project Webinar: How We Doubled System Read Throughput with Only 26 Lines of Code

Minghua Tang, Infrastructure Engineer @PingCAP

  • TiKVアーキテクチャー、「Follower Read」を導入した理由、および実装方法について説明している。
  • TiKVは、Raftアルゴリズムに基づいて構築された、強整合性のあるKey-Valueデータベース。
CNCF Member Webinar: Comparing eBPF and Istio/Envoy for Monitoring Microservice Interactions

Roko Kruze, Solutions Engineer @Flowmill and Jonathan Perry, CEO @Flowmill

  • Istio / EnvoyやeBPFなどのサービスメッシュを使用して、マイクロサービス間のトラフィックを監視し、比較、対比している。
  • また、各アプローチで提供できる可視性のタイプを検討し、それらのパフォーマンスへの影響を比較し、それらを補完的な方法で展開する方法について説明している。
CNCF Member Webinar: Making Data Work for Developers with Kubernetes & Cassandra

Chris Splinter, Sr. Product Manager – Developer Solutions @DataStax and Patrick McFadin, VP of Developer Relations @DataStax

  • 以下2つの課題を解決するためにKubernetesとApache Cassandraがどのように連携するか説明している。
    1. 最新のアプリケーションスタックでは、データを提供するインフラストラクチャーが、最小限のトレードオフで他のすべてのレイヤーと同じくらい柔軟である必要がある
    2. 企業は迅速に次のアプリの構築と配信する必要がある
  • トピックは以下。
    1. Data considerations when modernizing your stack with Kubernetes and microservices
    2. Examples of best practices that users are deploying to deal with these complexities
    3. Our experiences of building and using a Kubernetes Operator for Cassandra at scale
CNCF Member Webinar: Debugging your debugging tools; What to do when your service mesh goes down in production?

Neeraj Poddar, Co-founder and Chief Architect @Aspen Mesh and John Howard, Software Engineer @Google

  • Istioの本番環境でのデバッグについて、以下のトピックを中心に説明している。
    • How to debug and diagnose issues with your sidecar proxy Envoy
    • How to monitor and debug the Istio control plane
    • How to use operational tools like “istioctl” to understand issues with your configuration
    • Using profiling to identify bottlenecks
    • Recommendations for a production ready secure Istio deployment
CNCF Member Webinar: Maximizing M3 – Pushing performance boundaries in a distributed metrics engine at global scale

Ryan Allen, Senior Software Engineer @Chronosphere

  • オープンソースの分散メトリックエンジンである「M3」を紹介し、パフォーマンス最適化のいくつかを詳しく説明している。
  • コントリビューターがボトルネックの特定、潜在的なソリューションの調査、結果のベンチマーク、および不具合のテストにどのように取り組んだかに焦点を当ている。

The Technical

Tutorials, tools, and more that take you on a deep dive into the code.

Providing Persistent Storage to Windows Containers

Alina Ryan, Red Hat and Mohammad Saif Shaikh, Red Hat

  • ステートフルアプリケーションを、OpenShiftでサポートされているさまざまなクラウドプラットフォームで実行できる方法を説明している。
  • ストレージノードを動的にプロビジョニングし、混合ノード(WindowsとLinux)クラスター全体で永続ボリュームを使用している。これはハンズオンやりたいので、宿題行き。
Why I use Ingress Controllers to expose Kubernetes services

Kevin Crawley, Containous

  • 「クラウドネイティブアプリケーションの開発者が直面する複雑さのうち、Kubernetes ingress controlleの戦略的な利用は、最も理解が難しいコンポーネントの1つであり、最も重要なコンポーネントの1つ」として、Ingress Controllerの前に「開発のワークフローにとってネットワークがなぜ重要なのか?」 から解説している。
Sandboxing and Workload Isolation

Fly.io

  • サンドボックス化、ワークロードの分離について解説している。これも後で読み返す。
  • 「私が新しく設計する場合、今時点での主流となる基本的なオプションは」として、以下を最後に案内。
    • Jailing otherwise-unmanaged Unix programs with nsjail or something like it.
    • Running unprivileged Docker containers, perhaps with a tighter seccomp profile than the default.
    • Going full gVisor.
    • Running Firecracker, either directly or, in a K8s environment, with something like Kata.
How To Set Up and Secure an etcd Cluster with Ansible on Ubuntu 18.04

Digital Ocean

  • 前半では、Ubuntu 18.04サーバーに3ノードのetcdクラスターをセットアップする方法を説明。後半では、TLSを使用したクラスターの保護に焦点を当てている。
  • タイトルにあるコンポーネント以外にも、以下のツールにも触れており、勉強になる。
  • 解説、CLIやオプションが充実している。14ステップもあり、かなりのボリュームに感じる。
Kubernetes in Production with Jessica Deen at swampUP 2020

Jagdish Mirani and Adi Atzmony, JFrog

  • swampUP 2020でのセッションのまとめ記事。動画が埋め込んである。
  • Kubernetesの実装を次のレベル、エンプラグレードにしたい方向けのセッション。
How we migrated Dropbox from Nginx to Envoy

Alexey Ivanov and Oleg Guba, Dropbox

  • 古いNginxベースのトラフィックインフラストラクチャー、その問題点、およびEnvoyへの移行によって得られたメリットについて説明している。
  • 読んでいる内にBandaidなど、別の記事や気になるアイテムが諸々出てきた。これも読み返す。
The Easiest And Fastest Way To Deploy An OKD 4.5 Cluster In A Libvirt/KVM Host

Carlos Camacho, Red Hat

  • KubeInitを利用して、単一のコマンド で、OKD 4.5クラスターを約30分でデプロイしている。
  • デプロイしているのは、3つのコントローラー、1〜10のワーカー、1つのサービス、および1つのブートストラップノード。
Goldpinger

Debugging tool for Kubernetes which tests and displays connectivity between nodes in the cluster.

  • Kubernetes用のOSSデバックツールGoldpingerのGitHubページ。
  • Kubernetes上でDaemonsetとして、スクレイプ、可視化、アラート可能なPrometheusのメトリクスを生成する。
Public Sector on Air: Managed Openshift on AWS w/ Tres Vance

Tres Vance and Erik Jacobs, Red Hat

Deconstructing Kubernetes Networking

Emanuel Evans

  • シリーズの最初の記事。1つのノードで、非常に基本的な多少機能するKubernetesクラスターをセットアップしている。
  • 次の投稿では、マルチノードのクラスターを立ち上げて、稼働させるとのこと。

The Editorial

Articles, announcements, and morethatgive you a high-level overview of challenges and features.

Minikube Redux, with Thomas Strömberg

Craig Box and Adam Glick, Kubernetes Podcast from Google

LOTE #14: Katie Gamanji on Kubernetes Tooling DX, GitOps, and the Cluster API

Ambassador Podcast

  • 「Livin' on the Edge」Podcastの書き起こし記事。今週のゲストは、Katie Gamanji氏(Cloud Platform Engineer at American Express and TOC member of the CNCF)。
  • Kubernetesクラスターとのやり取りに関連する開発者エクスペリエンスの構成要素について説明している。
  • kubectlからk9sやOctantなどのUI駆動型ツール、ApplicationOps、GitOpsまでのツールの進化などについて話している。
  • 毎回、このPodcastのゲストと引き出している内容が凄いと思います。
The community hat rules the company hat in open source

Matt Asay, AWS

  • 「kube-state-metrics」のmaintainerであり、Red HatのSoftware EngineerであるLili Cosic氏にフォーカスをあて、会社とOSSでの帽子の被り分けを行なっているのかについて、本人に確信した内容に基づいて解説している。
3 reasons to use an enterprise Kubernetes platform

Ernest Jones, The Enterprisers Project

  • 「なぜOSSのKubernetes周りのツールを自社で組み立てるのではなく、エンタープライズ(≒マネージド)Kubernetesプラットフォームを選択するのか?」を以下の3つのポイントで解説している。
    1. Portability
    2. Time savings / Time to value
    3. Stability/Security
The Ups and Downs of Box’s Kubernetes Journey

Alex Williams and B. Cameron Gain, The New Stack

  • The New Stack社のPodcastの要約記事。Box社のKunal Parmar氏(director of engineering)をゲストに迎えている。Podcastが埋め込まれている。
  • Kubernetesを最初に導入した会社の1つである同社Kubernetes journeyの紆余曲折をケーススタディーとして語っている。
A Guide to Untangling the CNCF Cross-Community Relationships

Diane Mueller, Red Hat

  • CNCFのコミュニティーを跨いだ関係を紐解く方法を解説、分析する方法を紹介しているCNCFの記事。
  • コミュニティー間の「connector」となる参加者に着目している。データ化、可視化のアプローチに興味を持った。興味を持つであろう情報がリンクされている。

Upcoming CNCF webinars

気になるWebinarがあれば登録してチェックを。以下は直近のものとしてリストされていたものです。

Member Webinar: Hardware for Kubernetes, Peeling Back the Layers
Erik Reidel, SVP Compute & Storage Solutions @ITRenew
Aug 11, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: The Open-Source Observability Playbook
Hen Peretz, Head of Solutions Engineering @Epsagon
Aug 12, 2020 7:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Migrating Real-Time Communication Applications to Kubernetes at Scale: Learnings from 8×8’s Experience
Michael Laws, Sr. Site Reliability Engineer/DevOps at 8×8
Pankaj Gupta, Sr. Director at Citrix
Aug 12, 2020 1:00 PM Pacific Time
REGISTER NOW »

Ambassador Webinar: Navigating the service mesh ecosystem
Lachie Evenson, Principal Program Manager @Azure & CNCF Ambassador
Aug 14, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: MLOps automation with Git Based CI/CD for ML
Yaron Haviv, Co-Founder and CTO, Iguazio
Aug 26, 2020 1:00 PM Pacific Time
REGISTER NOW »

Project Webinar: Kubernetes 1.19
Kubernetes release team
Aug 28, 2020 10:00 AM Pacific Time
REGISTER NOW »

Member Webinar: Getting started with container runtime security using Falco
Loris Degioanni, CTO and Founder @Sysdig
Sept 2, 2020 1:00 PM Pacific Time
REGISTER NOW »

いかがでしたか?気になる記事や情報はありましたか?

私もまだ内容を咀嚼出来ていないものが多々ありますので、この備忘録兼リンク集を活用しながら理解を深めていきたいと思います。

では、また。

Bye now!!

Yoshiki Fujiwara