CentOSTwitter Streaming APIでMongoDBに溜めたツイートをJupyter NotebookからApache Sparkで読み込んでみた
今後の仕事で活かせるよう、今日はOSSを使って簡単なデータ基盤の構築してみたいと思います。使う技術は データソース：Twitter Streaming API、分散ストレージ：MongoDB、分散データ処理：Apache Spark、データ整形：pandas、対話的コンソール：Jupyter Notebook
CentOS
データウェアハウス【書評】ビッグデータを支える技術 -刻々とデータが脈打つ自動化の世界
まさに私の知りたかった、ビッグデータを扱うための技術要素についてビッグデータの基礎、実践、問題点とその解消法、ベストプラクティスなどがまとめられていて、かなり理解が深まりました。ビッグデータを扱いたいと考えているエンジニアには非常におすすめの一冊です。
Azure【Dockerコンテナ超入門】作ったイメージをAzureコンテナーインスタンスで起動する方法
この記事を読むことで以下のようなことができるようになります。 Dockerfileを使ってDockerイメージを作成 Azureコンテナーレジストリを作成 作成したDockerイメージをAzureコンテナーレジストリに登録 登録したDockerイメージをAzureコンテナーインスタンスにデプロイ
CentOS【Dockerコンテナ超入門】Dockerとは？丁寧に解説したよ
こんにちは！やましー＠データ活用クラウドエンジニア(@yamashi18041)です！ IT業界にいれば一度は耳にしたことがあるDockerなどのコンテナ技術についての記事になります。 コンテナ仮想化技術導入のトレンド...
MicrosoftPowerShell エラーハンドリングの方法について その２ Trap編
今日は前回に引き続き続き PowerShellのエラーハンドリング第２弾です。 Trapにより例外をハンドリングしてみたいと思います。
インタビュー【年収アップ成功】SESからフリーランスになったすがちゃんにインタビューしてみた
今日は社会人６年目にしてSESからフリーランスに転向し収入を大幅にアップさせたインフラエンジニアのすがちゃん(28)にSESという会社の内部事情やフリーランスに転向してどうだったか、そんな話を根掘り葉掘り聞いてみたのでその記事にな...
MicrosoftPowerShell エラーハンドリングの方法について その１ Try-Catch編
今日はPowerShellのエラーハンドリングについていろいろと調べて分かってきたのでまとめておきたいと思います。その中でも今回はTry-Catchについてです。
AzureMicrosoft Azure をクラウド初学者におすすめする５つの理由
今日は、これからクラウド技術を身に着けたいと思っているけど、どのクラウドから勉強を始めたらいいかわからない方に向けてAzureの良さを紹介したいと思います。
クラウドITエンジニアがクラウド技術を身に着けるべき７つの理由
今日は「ITエンジニアがなぜクラウド技術を身に着ける必要があるのか」についてその根拠と共に解説したいと思います。 私は、ITエンジニアにとってこれから先、確実にクラウド技術は必須スキルとなっていくと確信しています。 そして、クラウド技術が扱えないエンジニアは市場価値、競争力を失っていくと言って過言ではないと思っています。
AzureAzure Data Factory Pipelineの実行Statusについて
こんにちは！やましー＠データ活用クラウドエンジニア(@yamashi18041)です！ 私はMicrosoftのクラウドサービスである、Azure上にデータ基盤を作る仕事をしています。 データ基盤を作るときに必要にな...