Azure Synapse Analytics を触ってみた
はじめに 昨年のアドベントカレンダー に引き続き、データエンジニアリング関連のことを書きたいと思います。 ある日、その辺りの知識に乏しい私は思ったわけです。 そもそもデータってどう蓄積してどう活用するものなのか？ そのためにはどんな環境を用意してどんな仕組みを使えばいいのか？ ということで調べていて目に留まったのが Azure Synapse Analytics です。 Azure Synapse Analytics ってサービス名を聞いても「..しなぷす...？は？」ってなりますよね。 公式docだと “データウェアハウスとビッグ データ システム全体にわたって分析情報を取得する時間を早めるエンタープライズ分析サービス” だそうです。あーはいはい、ウエハースとビッグマック的な感じね。 要するに、触ってみろってことですね (脳筋) この流れでやってみたに突入するとアレなのでこの辺りの用語の確認を。 データウェアハウス : データを保管する倉庫、構造化されたデータを扱う ビッグデータ : データそのもの、様々な形をした様々な性格を持った様々な種類のデータ なんとなくイメージ掴めましたかね。 データウェアハウスは構造化データを扱う、リレーショナルデータベースの一種ですが、 データ分析利用に特化しており、時系列でデータを蓄積していき削除・更新をしないという特徴を持ちます。 また、ビッグデータを扱う上で「データレイク」というワードも出てきますので対比的にこちらも確認します。 データレイク : ソースから元のままの多様な形式で保管するリポジトリ データレイクはデータを保管する場所という意味ではデータウェアハウスと一緒ですが、 扱うデータは構造化データ以外に半構造化データ、非構造化データも扱うことができます。 と、用語の確認はこれくらいにして Azure Synapse Analytics 触っていきましょう。 Synapse ワークスペース の作成 Azure Portalにログインし、[ すべてのサービス ] > [ 分析 ] から "Azure Syapse Analytic...