運び屋 (A carrier(forwarder) changed his career to an engineer)

AWS / Storage / Community / Cloud Native / Kubernetes / コンテナ / SRE / DevOps

Databricks の FILE 型で NAS 上のファイルを扱う — FSx for ONTAP S3 Access Point 接続の現状と設計の勘所

Databricks の FILE 型で FSx for ONTAP S3 Access Point 上のファイルを扱えるか検証。登録は通り読み取りは 403 になる原因と、オブジェクトタグが実質 ASCII である制約をまとめました。

S3 Burst on ONTAP Files — データ収集は S3 API、利用は FlexCache の ファイル(NFS/SMB) で

Amazon FSx for NetApp ONTAP の S3 Access Point で書き込んだデータが FlexCache の NFS/SMB で読める。コピージョブなし、反映 p50 8ms。SMB でも同等。FlexCache duality の検証結果と設計判断も解説。

ファイルポータルに AI エージェントを組み込む — AgentCore MCP からマルチエージェントチームまで(後編)

NAS 上のファイルを AI エージェントに検索・読み取りさせた記録です(全 3 回の後編)。Amazon Bedrock AgentCore を MCP で繋ぐ構成、Knowledge Bases によるセマンティック検索、複数エージェントの協調、破壊的な操作を人が承認するフロー、Athena や Te…

ファイルポータルにストレージ運用機能を組み込む — ARP/AI インシデント対応から規制保持期間管理まで(中編)

ランサムウェアの検知から封じ込めまでをブラウザ画面で回した記録です(全 3 回の中編)。ONTAP の ARP/AI、SnapLock による改変不可スナップショット(有効化後は戻せない点を含む)、保持期間プリセット、CloudTrail と Athena での監査ログ確認、平常時…

FSx for ONTAP S3 Access Points にファイルポータルを載せる — Amplify Gen2 と Nextcloud の使い分け(前編)

既存の NFS/SMB マウントを止めずに、NAS 上のファイルをブラウザから開き AI 処理まで繋げた検証記録です(全 3 回の前編)。Box や SharePoint を併用したまま NAS 側だけを Web 化する構成として、Amplify Gen2 と Nextcloud の使い分け、FSx for ONTAP …

KNFSD File Cache で FSx for ONTAP からの NFS 読取りを 爆速になるかを試した話 — S3 Access Points Dual-Path 検証記

KNFSD File Cache (Preview) を FSx for ONTAP と組み合わせ、NFS 読取り 28 倍高速化と S3 Access Points Dual-Path の E2E 検証を実施。NFSv4.1 必須の発見、FSID_MODE=local による $0 永続化、proxy cache 422-619 MB/s の実測値を報告。

Mackerel のログ機能がオープンβ公開 — OTLP パイプラインへの組み込みで分かったこと

Mackerel のログ機能(オープンβ)を FSx for ONTAP の監査ログ OTLP パイプラインに組み込んだ検証記録です。Collector 経由と直接送信の比較、認証ヘッダーとペイロード形式で遭遇した 2 つのギャップ、切り分け手順と段階的な導入ステップを扱います。

Amazon FSx for NetApp ONTAP の自動アクセス遮断 — ランサムウェア検知からストレージ層ブロックまで

SIEM や CloudWatch アラームが発火したら、侵害されたユーザーをストレージ上で自動遮断できるか?答えは YES。ONTAP REST API でユーザー/IP をストレージ層で遮断し、専用ストレージセキュリティ製品と同様の封じ込めフェーズを、任意の検知ソースから自…

CloudWatch Log Alarm で FSx for ONTAP 監査ログから直接アラートする — メトリクスフィルター不要の新しい監視パターン

2026年7月リリースの CloudWatch Log Alarm を使い、FSx for ONTAP の管理監査ログに対して Logs Insights クエリから直接アラームを作成。メトリクスフィルター不要で1コマンドデプロイ。E2E検証済み。

FSx for ONTAP の GUI 管理 — System Manager の現実とセルフホスト管理コンソール

ONTAP System Managerの実機検証結果と、Harvest+Grafana+ToolJetによるVPC内完結の管理コンソール構築。さらにSyslog VPCEによるEC2不要の管理操作監査を解説。

9 ベンダー比較とベンダーロックイン回避 — OTel Collector パターン

FSx for ONTAP 監査ログの配信先9ベンダーの選定基準と、OTel CollectorによるYAML 1行変更でのバックエンド切替パターンを全ベンダーE2E検証結果付きで解説。

ONTAP ARP/AI × FPolicy × サーバーレスパイプラインで構築するファイルストレージのランサムウェア検知

ONTAP ARP + FPolicy + EMS Webhook で構築するランサムウェア即時検知パイプライン。ストレージ層MLによる暗号化検知から自動Snapshot保全まで30分デプロイ。

FSx for ONTAP 監査ログをサーバーレスで配信する — Lambda + S3 AP アーキテクチャ

Lambda + EventBridge + S3 Access Point で FSx for ONTAP の監査ログを9つのObservabilityベンダーへ配信するサーバーレスパターンライブラリの紹介。月額$5、30分デプロイ。

GenAI 統合と 42 パターンへの成熟 — Knowledge Base セルフサービス・Amazon Quick 連携・HA 監視

GenAI Knowledge Base セルフサービス、Amazon Quick Suite連携、HA監視パターンを追加し42パターンに到達。SMBドラッグ&ドロップでAIナレッジ自動更新。

フィールド展開可能なリファレンスアーキテクチャ — 28業種パターンへの拡張と運用知見

17から28業種へ拡張、ベンチマーク・ガバナンス・パートナー資産を備えたフィールド展開可能なリファレンスアーキテクチャへの進化。

FPolicy Event-Driven パイプライン — ファイル操作をリアルタイムにサーバーレス処理する

ONTAP FPolicy を AWS サーバーレスと統合し、ファイル操作をリアルタイムに検知して処理するEvent-Drivenアーキテクチャ。ポーリングから秒単位レイテンシへ。

運用ベースラインの確立 — 17UC展開・DevSecOps・VPC Endpoint 自動検出

17ユースケース全体に展開し、DevSecOpsバリデーション、VPC Endpoint自動検出、パブリックセクター対応を完成させた運用基盤フェーズ。

本番アーキテクチャへの進化 — ニアリアルタイム処理・ML推論・CI/CD・マルチリージョン

FSx for ONTAP S3 AP パターン集を PoC から本番対応アーキテクチャへ進化。ニアリアルタイム処理、4種ML推論、マルチリージョンDR、CI/CD、Guard Hooks を追加。

FSx for ONTAP S3 Access Points で実現する業界別サーバーレスデータパイプライン — 42パターンの出発点

Amazon FSx for NetApp ONTAP の S3 Access Points を活用し、NAS データを移動せずに業界別サーバーレス自動化パイプラインを構築。最初の14パターンから42パターンへ成長したシリーズの出発点。

OpenSharing × FSx for ONTAP — ゼロコピー共有の新パスを検証する

Linux Foundation ホストの OpenSharing プロトコルで FSx for ONTAP S3 AP のデータをゼロコピー共有する代替パスを検証。STS credential vending が 11 フォーマットで動作、prefix 分離確認済み。Lambda デプロイの参照実装も公開。

Delta、Iceberg、Hudi が FSx for ONTAP S3 Access Points に書き込めない理由 — そして代わりに何が動くか

Delta Lake、Apache Iceberg、Apache Hudi が FSx for ONTAP S3 AP に書き込めない技術的理由(条件付き書き込み 501 Not Implemented)と、代わりに動作するパターン(フラット Parquet、CTAS、S3 Tables)を解説。

Redshift Spectrum + Lake Formation — NAS データにエンタープライズガバナンス

Redshift Spectrum で FSx for ONTAP S3 AP のデータをクエリし、Lake Formation の LF-Tags で行レベル・列レベルのアクセス制御を適用する方法。エンタープライズガバナンスをコピーなしで実現。

EMR Serverless Spark で NAS データの読み書き ETL — クラスター不要、コピー不要

EMR Serverless Spark で FSx for ONTAP S3 AP のデータを読み書きする ETL パイプラインを実証。クラスター管理不要、EMRFS が S3 AP エイリアスにネイティブ対応、Parquet 書き戻し確認済み。

NAS データに $0.00001/クエリのサーバーレス分析 — DuckDB Lambda × FSx for ONTAP

DuckDB を Lambda 上で実行し、FSx for ONTAP S3 AP のデータを 1 クエリ $0.00001 で分析するサーバーレスパターン。warm 実行 438ms、CloudFormation テンプレート付き。

Snowflake × Amazon FSx for NetApp ONTAP S3 Access Points — ゼロコピー読み取りから Iceberg + AI 連携まで

Snowflake から FSx for ONTAP S3 Access Points のデータを External Table でゼロコピー読み取りする方法。AWS_ACCESS_POINT_ARN パラメータの設定、Cortex AI 連携(OCR・要約・翻訳)、Iceberg Table 変換まで一気通貫で検証。

Databricks × Amazon FSx for NetApp ONTAP S3 Access Points — レイヤーごとの境界検証

Databricks Unity Catalog から FSx for ONTAP S3 Access Points へのアクセスを検証。セッションポリシーの制約により UC テーブル作成がブロックされる現状と、検証で判明した部分的成功・代替パスを詳細に解説。

Athena で NAS データをインプレースクエリ — Amazon FSx for NetApp ONTAP S3 Access Points

FSx for ONTAP S3 Access Points 経由で Athena から NAS ファイルを直接クエリする手順を実証。54.8 MB/s のベンチマーク結果、CTAS 書き戻し、セキュリティ検証(9/9テストPASS)を含む。

Amazon FSx for NetApp ONTAP S3 Access Points × Lakehouse — 動くもの、動かないもの、その理由

FSx for ONTAP S3 Access Points で NAS データをコピーせず分析する方法を 8 つのエンジンで検証。Athena, Spark, Snowflake, DuckDB で動いたもの・動かなかったものの完全な互換性マップ。

Amazon FSx for NetApp ONTAP x S3 Access Pointsを“サーバーレス自動化境界”として使う~NASデータをS3 APIで扱う設計~

Amazon FSx for NetApp ONTAP 上のSMB/NFSファイルデータを、S3互換API経由でLambdaやStep Functionsから扱う設計を整理します。S3 Access Pointsをデータパス、ONTAP REST APIを制御・メタデータ取得に使い分けることで、既存のファイル基盤を維持したまま…

AWS re:Invent 2025キーノート直前!これまでのFSx for ONTAPのアップデート振り返り

AWS

AWS What's New に掲載された Amazon FSx for NetApp ONTAP のアップデートを、件数の内訳と年別の特徴で振り返りました。2021 年から 2025 年までのリリース傾向と、2025 年下半期の直近アップデートを扱います。2025/12/02 時点の情報です。