AzureAzure Synapse Analytics（ワークスペース）に以前のSQL Data Warehouseを移行する方法
こんにちは！ やましー＠データ活用クラウドエンジニア(@yamashi18041) です。 ２０２０年１２月４日についにAzure Synapse Analytics（ワークスペース）がGA（generally availa...
やってみた
Azure
CentOSTwitter Streaming APIでMongoDBに溜めたツイートをJupyter NotebookからApache Sparkで読み込んでみた
今後の仕事で活かせるよう、今日はOSSを使って簡単なデータ基盤の構築してみたいと思います。使う技術は データソース：Twitter Streaming API、分散ストレージ：MongoDB、分散データ処理：Apache Spark、データ整形：pandas、対話的コンソール：Jupyter Notebook
Azure【Dockerコンテナ超入門】作ったイメージをAzureコンテナーインスタンスで起動する方法
こんにちは！やましー＠データ活用クラウドエンジニア(@yamashi18041)です！ 今日は前回に引き続きDocker超入門記事になります。 Dockerに代表されるコンテナ技術。 まさに時代のトレンドであり、...
Azure【超簡単しかも無料】AzureでJupyter Notebookがサクッと使えた
こんにちは。やましー＠データ活用クラウドエンジニア(@yamashi18041)です。 今日はAzureでJupyter Notebookがかなり簡単に、しかも無料で扱えることが分かったのでその方法を記事にしました。 題材と...
AzureAzure Databricksでデータを整形＆統合＆可視化する方法
こんにちは。やましー＠データ活用クラウドエンジニア(@yamashi18041) です。 今日は前回書いた「Microsoft Azure Databricksを使ってデータレイクのデータを表示する方法」で使用した教材、Mi...
AzureMicrosoft Azure Databricksを使ってデータレイクのデータを表示する方法
こんにちは。やましー＠データ活用クラウドエンジニア(@yamashi18041)です。 今日は前回書いた「Microsoft Azure Data Factoryを使ってデータ基盤にデータを取り込む方法」で使用した教材、M...
AzureMicrosoft Azure Data Factoryを使ってデータ基盤にデータを取り込む方法
こんにちは。やましー＠データ活用クラウドエンジニア(@yamashi18041)です。 今日はデータ基盤にデータを取り込む方法について解説したいと思います。 以前、データ基盤の構成要素であるデータレイクついての記事を書...
AzureAzure MonitorのLog Analyticsを使ってWindowsイベントログを監視してみた
こんにちは。 やましー＠データ活用クラウドエンジニア(@yamashi18041) です。 システムを安定稼働させ、重大な問題を未然に防ぐためにも監視は非常に重要です。 最近はPaaSを活用することによるサーバーレス...