AzureAzure Synapse Analytics（ワークスペース）に以前のSQL Data Warehouseを移行する方法
こんにちは！ やましー＠データ活用クラウドエンジニア(@yamashi18041) です。 ２０２０年１２月４日についにAzure Synapse Analytics（ワークスペース）がGA（generally availa...
データ基盤
Azure
CentOSTwitter Streaming APIでMongoDBに溜めたツイートをJupyter NotebookからApache Sparkで読み込んでみた
今後の仕事で活かせるよう、今日はOSSを使って簡単なデータ基盤の構築してみたいと思います。使う技術は データソース：Twitter Streaming API、分散ストレージ：MongoDB、分散データ処理：Apache Spark、データ整形：pandas、対話的コンソール：Jupyter Notebook
データウェアハウス【書評】ビッグデータを支える技術 -刻々とデータが脈打つ自動化の世界
こんにちは！やましー＠データ活用クラウドエンジニア(@yamashi18041)です！ 私はビッグデータを扱うためのデータ基盤を作る仕事をしています。 しかしまだ経験が浅く、ビッグデータを扱う基盤を構成するための技術要素を多く...
データウェアハウスデータ基盤に欠かせないデータマートとは？
こんにちは！やましー＠データ活用クラウドエンジニア(@yamashi18041)です！ 今日はデータ活用に欠かせないデータマートについて説明したいと思います。 現代は、過去にない程のスピードで様々なものが変化をする時代...
データウェアハウスデータ基盤に欠かせないデータウェアハウスとは？
こんにちは！やましー＠データ活用クラウドエンジニア(@yamashi18041)です！ あなたはデータの重要性に気が付いているでしょうか？ おそらく、あなたはその重要性に気が付き始めているからこそ、私のブログを読んで下...
AzureAzure Databricksでデータを整形＆統合＆可視化する方法
こんにちは。やましー＠データ活用クラウドエンジニア(@yamashi18041) です。 今日は前回書いた「Microsoft Azure Databricksを使ってデータレイクのデータを表示する方法」で使用した教材、Mi...
AzureMicrosoft Azure Databricksを使ってデータレイクのデータを表示する方法
こんにちは。やましー＠データ活用クラウドエンジニア(@yamashi18041)です。 今日は前回書いた「Microsoft Azure Data Factoryを使ってデータ基盤にデータを取り込む方法」で使用した教材、M...
AzureMicrosoft Azure Data Factoryを使ってデータ基盤にデータを取り込む方法
こんにちは。やましー＠データ活用クラウドエンジニア(@yamashi18041)です。 今日はデータ基盤にデータを取り込む方法について解説したいと思います。 以前、データ基盤の構成要素であるデータレイクついての記事を書...
クラウドデータ基盤に欠かせないデータレイクとは？
こんにちは。やましー@データ活用クラウドエンジニア です。 売り上げ促進、経費削減など様々なビジネス課題を解決する可能性を秘めているビッグデータの活用。 しかしその活用が進んでいないのもまた事実です。 今日はビッ...
クラウド【ベストプラクティス】ビッグデータ活用のために必要なデータ基盤とは
こんにちは。 やましー＠データ活用クラウドエンジニア(@yamashi18041) です。 ビッグデータ活用が叫ばれるようになってから久しいですが、未だに多くの企業ではビッグデータの活用が進んでいません。 売り上げ促進...