私は、Medium.com で一連の 7 つの無料公開記事「Google Cloud Platform の無料枠で最新のデータ プラットフォームを構築する方法」をリリースしました。 リード記事は、https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8

パート 1「GCP でのデータ プラットフォームの構築」では、機能要件を定義し、必要なソフトウェアをインストールする方法を詳しく説明しました。

パート 2「GCP インフラストラクチャと認証」では、Google アプリケーションのデフォルト認証情報 (ADC) を使用してユーザー管理のサービス アカウントを認証する方法について説明しました。

パート 3「Google Cloud Pub/Sub メッセージング」では、Python スクリプトを使用して Google Pub/Sub メッセージング サービスを生成し、サブスクライブする方法を説明しました。

パート 4「Docker を使用したコンテナ化」では、Python スクリプト用のローカル Docker イメージを構築し、ローカルで実行して、Google Artifact Registry (リポジトリ) にプッシュする方法について説明しました。

第 5 部「Google Cloud Run ジョブとスケジューラ」では、Google CLI を使用して Google Cloud Run ジョブと Cloud Scheduler ジョブを構成し、Google Artifact Registry に保存されている Python スクリプトを任意の Google リージョンから指定された間隔で実行する方法を説明しました。

パート 6「Google BigQuery クラウド データベース」では、Google CLI を使用して Google BigQuery データセットとテーブルを設定し、Python スクリプトを使用して SQL でデータの書き込みとクエリを実行しました。

第 7 部「Google Cloud Analytics」では、Google BigQuery テーブルからデータを抽出し、それを Pandas DataFrame に読み込み、分析と視覚化をすべて Python スクリプトから簡単に実行する方法について説明しました。