Spark

Azure Synapse Analytics（ワークスペース）に以前のSQL Data Warehouseを移行する方法

こんにちは！やましー＠データ活用クラウドエンジニア(@yamashi18041) です。２０２０年１２月４日についにAzure Synapse Analytics（ワークスペース）がGA（generally availa...

2020.12.13

AzureMicrosoftSparkSynapse Analyticsやってみたクラウドデータウェアハウスデータ基盤ビッグデータ

Twitter Streaming APIでMongoDBに溜めたツイートをJupyter NotebookからApache Sparkで読み込んでみた

今後の仕事で活かせるよう、今日はOSSを使って簡単なデータ基盤の構築してみたいと思います。使う技術はデータソース：Twitter Streaming API、分散ストレージ：MongoDB、分散データ処理：Apache Spark、データ整形：pandas、対話的コンソール：Jupyter Notebook

2020.07.13

CentOSDatabricksJupyterJupyter NotebookLinuxMongoDBPythonSparkやってみたデータ基盤ビッグデータ