AWS Glue Sparkジョブのバージョン管理について

このブログシリーズ 「クラウドセキュリティ 実践集」 では、一般的なセキュリティ課題を取り上げ、「なぜ危険なのか？」 というリスクの解説から、 「どうやって直すのか？」 という具体的な修復手順（コンソール、AWS CLI、Terraformなど）まで、分かりやすく解説します。

この記事では、AWS Glue Spark ジョブは、サポートされているバージョンで実行する必要がありますについて、リスクと対策を解説します。

ポリシーの説明

AWS Glue Sparkジョブがサポート終了（End of Support: EOS）またはライフサイクル終了（End of Life: EOL）となったバージョンで実行されている場合、重大なセキュリティリスクと運用上の問題が発生します。サポートされているバージョンでGlueジョブを実行することで、最新のセキュリティパッチ、パフォーマンス最適化、新機能へのアクセスが確保され、AWS SLAの保証を受けることができます。2025年現在、AWS Glue 5.0がApache Spark 3.5.4を含む最新バージョンとして提供されています。

リスク

古いバージョンのAWS Glue Sparkジョブを使用し続けることには、以下のリスクがあります：

1. セキュリティ脆弱性の放置: EOSバージョンにはセキュリティパッチが提供されないため、新たに発見された脆弱性が修正されず、データ漏洩やサイバー攻撃のリスクが高まります。例えば、Log4j脆弱性（CVE-2021-44228）のような重大な脆弱性が発見された場合、古いバージョンでは修正パッチが提供されません。
2. 技術サポートの喪失: EOSバージョンで実行されるジョブは技術サポートの対象外となり、障害発生時に迅速な問題解決が困難になります。AWSサポートへの問い合わせも対応してもらえなくなります。
3. SLA保証の無効化: サポート終了バージョンではAWSのSLA（サービスレベル契約）が適用されず、通常99.9%の可用性保証を受けられません。
4. 機能とパフォーマンスの損失: Glue 5.0ではGlue 3.0と比較して最大32%の高速化と22%のコスト削減が実現されており、古いバージョンの使用は経済的損失につながります。特に大規模なデータ処理ではコスト差が顕著に現れます。
5. 互換性の問題: 新しいライブラリやフレームワークは古いGlueバージョンではサポートされない場合があり、開発の柔軟性が失われます

修復方法

コンソールでの修復手順

既存のGlue Sparkジョブを最新のサポートバージョンに更新する手順を説明します。

重要な前提条件：

• AWS Glue 0.9/1.0から4.0以降への直接移行はできません（暗号化SDKの互換性のため）
• まずAWS Glue 2.0/3.0に移行してから、最新バージョンへ段階的に移行する必要があります

ジョブバージョンの更新手順：

1. AWS管理コンソールにログインし、AWS Glueコンソール（https://console.aws.amazon.com/glue/）にアクセス
2. ナビゲーションペインで「ETLジョブ」→「ジョブ」を選択

1. 更新対象のジョブを選択し、「アクション」→「ジョブの編集」をクリック
2. 「ジョブの詳細」タブで以下を設定：
   • Glueバージョン：「Glue 5.0 – Spark 3.5, Python 3」を選択（最新推奨）
   • 言語：Python 3またはScalaを選択
   • ワーカータイプとワーカー数を確認

1. 依存関係の確認：
   • 「スクリプトライブラリとジョブパラメータ」セクションを展開
   • 使用しているライブラリがGlue 5.0と互換性があることを確認
   • 必要に応じてPython/Javaライブラリのパスを更新
2. セキュリティ設定の確認：
   • 暗号化設定を使用している場合は互換性を確認
   • IAMロールに必要な権限があることを確認
3. 「保存」をクリックして変更を適用

移行前のテスト手順：

1. 開発環境で新しいテストジョブを作成
2. 本番ジョブと同じスクリプトとパラメータを設定
3. Glue 5.0バージョンを選択
4. 少量のサンプルデータでテスト実行
5. 結果を検証し、エラーがないことを確認
6. パフォーマンスメトリクスを比較

バージョンごとの主要な変更点

最後に

この記事では、AWS Glue Sparkジョブにおけるバージョン管理の重要性と最新バージョンへの移行方法を解説しました。

Glue 5.0への移行は、単なるバージョンアップではなく、ビジネス価値を生み出す投資です。セキュリティ強化によるリスク低減、最大32%のパフォーマンス向上、そして22%のコスト削減は、企業の競争力を大幅に向上させます。

重要なポイント：

• サポート終了バージョンの使用は即座に停止し、移行計画を立てる
• 段階的移行アプローチを採用し、各ステップで徹底的なテストを実施
• オートスケーリングやジョブインサイトなどの新機能を積極的に活用
• 定期的なバージョンレビューを実施し、常に最新状態を維持

この問題の検出は弊社が提供するSecurifyのCSPM機能で簡単に検出及び管理する事が可能です。 運用が非常に楽に出来る製品になっていますので、ぜひ興味がある方はお問い合わせお待ちしております。 最後までお読みいただきありがとうございました。この記事が皆さんの役に立てば幸いです。

CSPMについてはこちらで解説しております。併せてご覧ください。

参考情報

• AWS Glue バージョンとサポート
• AWS Glue 5.0 リリースノート
• AWS Glue バージョン移行ガイド
• AWS Glue パフォーマンス最適化
• AWS Glue セキュリティベストプラクティス
• Apache Spark 3.5 リリースノート