CentOSTwitter Streaming APIでMongoDBに溜めたツイートをJupyter NotebookからApache Sparkで読み込んでみた 今後の仕事で活かせるよう、今日はOSSを使って簡単なデータ基盤の構築してみたいと思います。使う技術は データソース:Twitter Streaming API、分散ストレージ:MongoDB、分散データ処理:Apache Spark、データ整形:pandas、対話的コンソール:Jupyter Notebook 2020.07.13CentOSDatabricksJupyterJupyter NotebookLinuxMongoDBPythonSparkやってみたデータ基盤ビッグデータ
Azure【Dockerコンテナ超入門】作ったイメージをAzureコンテナーインスタンスで起動する方法 こんにちは!やましー@データ活用クラウドエンジニア(@yamashi18041)です! 今日は前回に引き続きDocker超入門記事になります。 Dockerに代表されるコンテナ技術。 まさに時代のトレンドであり、... 2020.06.03AzureCentOSDockerLinuxやってみたコンテナーインスタンスコンテナーレジストリ
CentOS【Dockerコンテナ超入門】Dockerとは?丁寧に解説したよ こんにちは!やましー@データ活用クラウドエンジニア(@yamashi18041)です! IT業界にいれば一度は耳にしたことがあるDockerなどのコンテナ技術についての記事になります。 コンテナ仮想化技術導入のトレンド... 2020.05.23CentOSDockerLinux