Azure Cosmos DBを試してみた

-

背景的なこと

最近私の興味で、データの蓄積や活用について調べています。
データの蓄積と言えばデータベースですが、超ざっくり分類すると

  • RDB (Relaytional Database)
  • NoSQL (Not Only SQL)

に分かれるようです。
歴史が古く世の中のシェアで言えば圧倒的にRDBですが、それ以外の比較的新しいものがNoSQLという感じ(適当)。


NoSQLについて

NoSQLと言っても、またさらに色々種類はあります。

  • キーバリュー型
  • ワイドカラム型
  • ドキュメント型
  • グラフ型

それぞれ代表的なDBを当てはめるとこんな感じ。※Redisは少し異なるという見方あり

種類説明代表例
キーバリュー1つのキーに対して1つの値をとるRedis
ワイドカラム1つのキーに対して複数の列をとるCassandra
ドキュメントJSON形式のデータを格納できるMongoDB
グラフノード・エッジ・プロパティで関係性を表すNeo4j

各DBの特徴について詳細は割愛しますが…
これらはビッグデータにおけるRDBでは不得意なスケールアウトや、テーブル定義が困難な多様なデータの扱いなどに適しています。
今回はドキュメント型のDBを構成して、簡単にデータを参照するところまでやってみたいと思います。


Azure Cosmos DBでやってみた

さて私が触っていくのは、AzureのCosmos DBです。
PaaSなので基盤側の構成はほぼ何もいらないため、お試しで使うには手軽で良いと思いチョイスしました。

1. Cosmos DBアカウントの作成

Cosmos DBでは前述のすべての型(データモデル)に対応していますが、どの型で構成するかを決めます。
具体的には最初に「アカウント」を作成するのですが、この際にどの型のAPIを利用するかを選択します。

Azure Portalにログインし、[すべてのサービス] > [データベース] から"Azure Cosmos DB"を選びます。
今回は"コア (SQL)"でアカウントを作成していきます。そう、私でも少し知っているSQLが使えます。


作成の際に指定したパラメーターは下記の通り。
  • サブスクリプション
  • リソースグループ
  • 場所
  • アカウント名
  • 容量モード
  • ネットワーク接続
  • バックアップポリシー

"容量モード"については、"プロビジョニングされたスループット"と"サーバーレス"があるのですが、
無償利用枠を適用している関係で前者にしています。
両者の違いについて、詳しくは下記をご覧ください。

プロビジョニングされたスループットとサーバーレスのどちらかを選択する方法

"ネットワーク接続"については"パブリックエンドポイント"で設定、FW機能でAzure Portalと特定のIPアドレスからのみにアクセスを限定しています。

2. データベースの作成

次にデータベースを作成します。
ここでは下記のパラメーターを指定します。

  • データベースID(名)
  • データベーススループット
  • コンテナID(名)
  • インデックス
  • パーティションキー

"データベーススループット"は検証用途なので"手動"・"400RU/s"にしています。
"コンテナ"の概念ですが、RDBでいうテーブルみたいなものと解釈してもらえればよいです。


データベースとコンテナが一つ作成されました。
ちなみにコンテナは一つのデータベース配下に複数作成できます。

3. データの格納(アイテム作成)

続いてデータを格納していきます。
ドキュメント型なのでJSONフォーマットになります。
少量のサンプルデータなのでAzure Portalの [データ エクスプローラー] から、
先程作成したコンテナに"アイテム"を作成し、そちらに書き込みます。
作成するアイテムは3つ、データの内容はそれぞれ下記の通りです。 


{
  "employee_id": 101,
  "fullname": "中川一郎",
  "hire_date": "2007-06-01",
  "skill_sets": {
    "os": ["WindowsServer", "RHEL", "CentOS", "Solaris", "ESXi", "ONTAP"],
    "application": ["ActiveDirectory", "SCCM", "MSSQL", "PostgreSQL", "Apache", "Bind"],
    "programming": ["Powershell", "VBS", "Bash", "Python"]
  }
}


{
  "employee_id": 102,
  "fullname": "鈴鹿まさる",
  "hire_date": "2009-04-01",
  "skill_sets": {
    "os": ["RHEL", "CentOS", "IOS", "Junos", "ESXi"],
    "application": ["Syslog", "MySQL", "Nginx", "Zabbix", "Docker"],
    "programming": ["Bash", "Python"]
  }
}


{
  "employee_id": 103,
  "fullname": "山形里美",
  "hire_date": "2009-04-01",
  "skill_sets": {
    "os": ["Windows", "CentOS"],
    "application":  ["MSSQL", "IIS", "Access", "Git"],
    "programming":  ["VBA", ".NET", "C#"]
  }
}

アイテムが作成できました。

4. データの参照

さて、ここまででひと通り準備ができましたのでデータを参照していきます。
折角なのでPostmanを使ってRESTでリクエストを投げてみたいと思います。
Postmanのセットアップや使い方については割愛しますが、下記を参考にさせていただきました。
Azure CosmosDB APIをたたいてみた
(メモ: Headersにて"x-ms-version"は"2018-12-31"、"x-ms-documentdb-query-enablecrosspartition"の有効化が必要)

ということでリクエストで肝心な箇所、BodyにSQLのクエリを埋め込みます。
内容(下記)は、"skill_sets" : "os"のキーに"WindowsServer"の値を持つIDと名前を検索するものです。


    SELECT
        e.employee_id,e.fullname,e.skill_sets.os
    FROM
        engineer e
    WHERE
        ARRAY_CONTAINS(e.skill_sets.os, "WindowsServer")

ではリクエストを送信します。


無事に応答が返り(画像下段)、期待通りの結果が得られました。


まとめ

NoSQLとはなんぞや、とCosmos DBを利用して触ってみましたが、
データベースとして自由度が高く、とても扱いやすい印象でした。
また試していないですが、JSONファイルをアイテムとしてそのままアップロードもできるようです。
今後はSynaps Analyticsといった分析系サービスへの連携も試してみたい思います。

それではこの辺で。

コメント

コメントを投稿

このブログの人気の投稿

ProxmoxでLet's Encryptを使用した証明書セットアップをやってみた

-
イメージ
■はじめに Proxmoxはデフォルトで自己証明書を使用しています。 このため、管理コンソールにアクセスすると「接続がプライベートではありません」といった画面が表示されます。 これの対処方法の一つとして、Let's Encryptを使用して簡単に証明書がセットアップできるとのことで、実際にやってみた内容を紹介したいと思います。 ■前提 ・自宅のProxmox環境（シングル構成）で実施 ・証明書取得時に使うのはDNS-01チャレンジ 　　HTTP-01チャレンジはWebサーバーを公開する必要があるためパス ・ハードル低めの（APIが使える）DNS Providerからドメインを取得して使用 　　下記の中からCloudflareをDNS Providerとして選択 　　　 How to use DNS API wiki ■手順概要 Cloudflareのアカウント作成～証明書反映まで、ということで実施内容としては下記となりました。 ＝＝＝＝＝ 1.Cloudflare アカウントの作成 2.Cloudflare ドメイン取得 3.Cloudflare アカウント APIトークンの作成 　　- ゾーン DNS を編集する権限を持つAPIトークンを作成 4.Cloudflare アカウント IDの取得 　　- ProxmoxのChallengeプラグインに投入するパラメータの取得 5.Proxmox ACME アカウントの追加 　　- 連絡先登録と利用規約への同意 6.Proxmox Challengeプラグインの追加 　　- Cloudflareのパラメータを投入 7.Proxmox ACME ドメインの追加 　　- 取得したいドメイン（FQDN）を設定 8.Proxmox 証明書の取得 　　- 証明書取得処理を手動開始 ＝＝＝＝＝ ■実施手順 1.Cloudflare アカウントの作成 Cloudflareのサイトにアクセスして画面右上の「ログイン」をクリックします。 　https://www.cloudflare.com/ja-jp/ ログイン画面に遷移するので、下部にある「サインインアップ」をクリックします。 登録するメールアドレスとパスワードを入力、ロボットでないこと確認にチェックを入れて「サインアップ」をクリックします。 アカウントが作成されます。 登録...
続きを読む

AIと共に「考える」エンジニアに！

-
イメージ
 ― ChatGPT時代に問われる「問いの力」と文章力 ― はじめに ChatGPTをはじめとする 生成AI が普及しはじめてから、もう2年近くが経ちました。   リリース当初は「すごい技術だな」と遠目から眺めている空気でしたが、今では多くの人がAIに触れる機会を持つようになりました。    我々 ITエンジニアとして 、アプローチはどうすべきか？何が必要か？について考えてみます。 AI利用の現状 まだAIを使い始めたばかりだったり、上手く使えてない人は、「このエラーを解決して」「この機能を実装して」と 指示を出すだけ になっているようです。   あるいは、「〇〇とは？」を丸ごとAIに聞いて解説してもらうケースも見られます。　便利ですが、それだと Google検索 と同じレベルに留まっていると感じます。 AIの本当の価値 私は、AIは 単なるコード生成ツールでも、Googleの上位互換でもない と考えています。   むしろ、使い方を間違えると取り残されていく可能性があります。  AIが本当に得意なのは、与えた問いに沿って 思考の幅を広げ、情報を整理すること です。   つまり、AIを活かすには、 問いを設計する力 が不可欠なのです。 問いを設計する力はAI以前からのビジネススキル 実は、問いを設計する力は、AIが登場する以前から、私たちエンジニアが日常的に使ってきたスキルです。   例えば、プロジェクトの課題を整理したり、仕様の確認事項を明確化したり、メールでの問い合わせの内容を意図通りに伝えたりなど...　いずれも、 相手や状況に応じて適切に問いを設計する力 がベースになっていました。   AIは文章やアイデアを生成してくれますが、 何を考えるべきかは教えてくれません 。だからこそ、この問いを設計する力がAI時代でも重要になるのです。 コンテキストエンジニアリング さらに最近は、単なるプロンプトの工夫（プロンプトエンジニアリング）だけでなく、文脈や前提を整理して問いを設計する「 コンテキストエンジニアリング 」が注目されています。   コンテキストエンジニアリングとは、単に「良いプロンプト...
続きを読む

ルーティングって何で必要で、何してるの？を React Routerで理解する

-
イメージ
はじめに フロントエンド開発が、正直苦手でした。 でも今回のプロジェクトでReactを触ることになり、「せっかくなら苦手意識を克服したい」と一念発起。 開発は終わりましたが、学習は継続しています。 Reactには多くの要素がありますが、今回はルーティングに絞ります。 バージョンの違いで書き方が変わり対応に戸惑ったこともあり、基本から振り返りつつ理解していった流れを記事にしたいと思います。 そもそもルーティングって何のために必要なの？ まず基礎の基礎になりますが、URL、ブラウザ、SPAの観点から振り返ります。 URLとは？ Uniform Resource Locator（統一資源位置指定子）の略語で、要するに「 インターネット上のモノの住所 」です。 https://example.com/products.html このようなURLの場合、ブラウザは、 URLを見る→( products.html というファイルが欲しいのだと解釈) サーバーにリクエストを送る HTMLファイル( products.html )をダウンロードして表示する つまり、URLは「どのファイルを取得するか」を指定する住所のようなものです。 ブラウザはURLで何をしているのか？ ブラウザにとってURLは「ページの識別子」です。 ブラウザは、URLをキーにして、いろんな機能を実現しています。      1. 履歴管理           URLが変わるたびに履歴に記録           「戻る」ボタンを押すと、履歴から1つ前のURLを取り出して、そのページに戻る           「進む」ボタンも同じ仕組み      2. ブックマーク           URLを保存することで、「このページ」を記憶           後でそのURLを開けば、同じページが表示される       3. URL共有...
続きを読む