Amazon Linux 2023でSplunkを触ってみた

-


背景

AmazonLinux2上で利用していたSplunkを
AmazonLinux2023上でも同じような設定で動くのかを検証しました。

その検証でAmazonLinux2とAmazonLinux2023との仕様変更により
躓いた点と解決策についてまとめてみました。

今回の構成

構成は下図のような構成とし、クラスターの管理をしているコンポーネントである
Cluster Masterとデータの保管、インデクシングを行うIndexerClusterを構築。
※Splunkバージョン：9.0.2


実施内容

ClusterMasterからS3バケットにインデックスを格納する処理(SmartStore)を
構築する設定を記載した設定ファイルをIndexerClusterに配布。
このときに設定ファイルを配布する処理は動いたもののIndexer側でメタデータ取得ができない事象が発生しました。

①bundle applyで作成されたチェックサム：下4桁 2784





②正常に配布処理が完了すると各クラスターメンバーのバンドルチェックサムも
　配布時に生成されたチェックサムと一致します。今回は配布できていなため一致していません。






















原因

今回の配布処理が適用されていなかったのは
IndexerCluster側でIMDSv2を有効ではなかったことが原因でした。
(デフォルトでSplunk側ではIMDSv1が有効になっている)

IMDSv2を有効にすることで、AmazonLinux2023上のメタデータ取得が
正常に行われS3とEC2インスタンス間の通信が行われます。

IMDS(インスタンスメタデータサービス)とは

IMDSはEC2内から実行中のインスタンス情報(インスタンスIDやIPアドレス等)を
取得できる仕組みのこと。バージョン1,2が存在します。※1

バージョン1・・・リンクローカルIPで動作しており仕組みにHTTPリクエストを送ることで誰でも取得可能。
バージョン2・・・バージョン1での照会方法をURLだけでなくトークンを合わせて利用することでセキュリティ強化。

AmazonLinux2023からの仕様変更

AmazonLinux2ではIMDSv1 or IMDSv2どちらも利用可能だったのですが
AmazonLinux2023ではIMDSv2のみ使用するようになっており、SplunkのIndexerCluster側でもIMDSv2を指定する必要がありました。

解決策

IndexerClusterのサーバー設定ファイル(server.conf)にIMDSv2を有効化する設定を追加。

IMDSv2を有効化し再度ClusterMasterからIndexerClusterに対して設定配布を実施。
今度は設定ファイルが無事クラスターメンバーに適用されたことが確認できました。

①bundle applyで作成されたチェックサム：下4桁 E392



②ステータスを確認するとクラスターメンバーでもチェックサムが統一されており問題なく設定適用されています。






















参考にさせていただいたサイト

※1　https://dev.classmethod.jp/articles/ec2-metadata-config/


コメント

コメントを投稿

このブログの人気の投稿

ProxmoxでLet's Encryptを使用した証明書セットアップをやってみた

-
イメージ
■はじめに Proxmoxはデフォルトで自己証明書を使用しています。 このため、管理コンソールにアクセスすると「接続がプライベートではありません」といった画面が表示されます。 これの対処方法の一つとして、Let's Encryptを使用して簡単に証明書がセットアップできるとのことで、実際にやってみた内容を紹介したいと思います。 ■前提 ・自宅のProxmox環境（シングル構成）で実施 ・証明書取得時に使うのはDNS-01チャレンジ 　　HTTP-01チャレンジはWebサーバーを公開する必要があるためパス ・ハードル低めの（APIが使える）DNS Providerからドメインを取得して使用 　　下記の中からCloudflareをDNS Providerとして選択 　　　 How to use DNS API wiki ■手順概要 Cloudflareのアカウント作成～証明書反映まで、ということで実施内容としては下記となりました。 ＝＝＝＝＝ 1.Cloudflare アカウントの作成 2.Cloudflare ドメイン取得 3.Cloudflare アカウント APIトークンの作成 　　- ゾーン DNS を編集する権限を持つAPIトークンを作成 4.Cloudflare アカウント IDの取得 　　- ProxmoxのChallengeプラグインに投入するパラメータの取得 5.Proxmox ACME アカウントの追加 　　- 連絡先登録と利用規約への同意 6.Proxmox Challengeプラグインの追加 　　- Cloudflareのパラメータを投入 7.Proxmox ACME ドメインの追加 　　- 取得したいドメイン（FQDN）を設定 8.Proxmox 証明書の取得 　　- 証明書取得処理を手動開始 ＝＝＝＝＝ ■実施手順 1.Cloudflare アカウントの作成 Cloudflareのサイトにアクセスして画面右上の「ログイン」をクリックします。 　https://www.cloudflare.com/ja-jp/ ログイン画面に遷移するので、下部にある「サインインアップ」をクリックします。 登録するメールアドレスとパスワードを入力、ロボットでないこと確認にチェックを入れて「サインアップ」をクリックします。 アカウントが作成されます。 登録...
続きを読む

AIと共に「考える」エンジニアに！

-
イメージ
 ― ChatGPT時代に問われる「問いの力」と文章力 ― はじめに ChatGPTをはじめとする 生成AI が普及しはじめてから、もう2年近くが経ちました。   リリース当初は「すごい技術だな」と遠目から眺めている空気でしたが、今では多くの人がAIに触れる機会を持つようになりました。    我々 ITエンジニアとして 、アプローチはどうすべきか？何が必要か？について考えてみます。 AI利用の現状 まだAIを使い始めたばかりだったり、上手く使えてない人は、「このエラーを解決して」「この機能を実装して」と 指示を出すだけ になっているようです。   あるいは、「〇〇とは？」を丸ごとAIに聞いて解説してもらうケースも見られます。　便利ですが、それだと Google検索 と同じレベルに留まっていると感じます。 AIの本当の価値 私は、AIは 単なるコード生成ツールでも、Googleの上位互換でもない と考えています。   むしろ、使い方を間違えると取り残されていく可能性があります。  AIが本当に得意なのは、与えた問いに沿って 思考の幅を広げ、情報を整理すること です。   つまり、AIを活かすには、 問いを設計する力 が不可欠なのです。 問いを設計する力はAI以前からのビジネススキル 実は、問いを設計する力は、AIが登場する以前から、私たちエンジニアが日常的に使ってきたスキルです。   例えば、プロジェクトの課題を整理したり、仕様の確認事項を明確化したり、メールでの問い合わせの内容を意図通りに伝えたりなど...　いずれも、 相手や状況に応じて適切に問いを設計する力 がベースになっていました。   AIは文章やアイデアを生成してくれますが、 何を考えるべきかは教えてくれません 。だからこそ、この問いを設計する力がAI時代でも重要になるのです。 コンテキストエンジニアリング さらに最近は、単なるプロンプトの工夫（プロンプトエンジニアリング）だけでなく、文脈や前提を整理して問いを設計する「 コンテキストエンジニアリング 」が注目されています。   コンテキストエンジニアリングとは、単に「良いプロンプト...
続きを読む

ルーティングって何で必要で、何してるの？を React Routerで理解する

-
イメージ
はじめに フロントエンド開発が、正直苦手でした。 でも今回のプロジェクトでReactを触ることになり、「せっかくなら苦手意識を克服したい」と一念発起。 開発は終わりましたが、学習は継続しています。 Reactには多くの要素がありますが、今回はルーティングに絞ります。 バージョンの違いで書き方が変わり対応に戸惑ったこともあり、基本から振り返りつつ理解していった流れを記事にしたいと思います。 そもそもルーティングって何のために必要なの？ まず基礎の基礎になりますが、URL、ブラウザ、SPAの観点から振り返ります。 URLとは？ Uniform Resource Locator（統一資源位置指定子）の略語で、要するに「 インターネット上のモノの住所 」です。 https://example.com/products.html このようなURLの場合、ブラウザは、 URLを見る→( products.html というファイルが欲しいのだと解釈) サーバーにリクエストを送る HTMLファイル( products.html )をダウンロードして表示する つまり、URLは「どのファイルを取得するか」を指定する住所のようなものです。 ブラウザはURLで何をしているのか？ ブラウザにとってURLは「ページの識別子」です。 ブラウザは、URLをキーにして、いろんな機能を実現しています。      1. 履歴管理           URLが変わるたびに履歴に記録           「戻る」ボタンを押すと、履歴から1つ前のURLを取り出して、そのページに戻る           「進む」ボタンも同じ仕組み      2. ブックマーク           URLを保存することで、「このページ」を記憶           後でそのURLを開けば、同じページが表示される       3. URL共有...
続きを読む