如何在 Google Cloud Platform 免費層上建立現代資料平台
發佈於2024-11-06
瀏覽：687
我在 Medium.com 上發布了一系列七篇免費公開文章「如何在 Google Cloud Platform 免費層上建立現代資料平台」。 主要文章位於：https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8
第一部分「在GCP上建立資料平台」定義了功能要求，並詳細說明如何安裝所需的軟體。
第二部分「GCP 基礎架構和驗證」說明如何使用 Google 應用程式預設憑證 (ADC) 來對使用者管理的服務帳戶進行驗證。
第三部分「Google Cloud Pub/Sub 訊息傳遞」展示如何使用 Python 腳本產生和訂閱 Google Pub/Sub 訊息傳遞服務。
第四部分「使用 Docker 進行容器化」介紹如何為 Python 腳本建立本機 Docker 映像，在本地運行它，然後將其推送到 Google ArtifactRegistry（儲存庫）。
第五部分「Google Cloud Run 作業和排程器」示範如何使用Google CLI 設定Google Cloud Run 作業和Cloud Scheduler 作業，以從任何Google 區域以指定的時間間隔執行儲存在Google Artifact Registry 中的Python腳本。
第六部分「Google BigQuery 雲端資料庫」使用 Google CLI 設定 Google BigQuery 資料集和表，然後使用 Python 腳本透過 SQL 編寫和查詢資料。
第七部分「Google Cloud Analytics」探索如何從 Google BigQuery 表中提取數據，將其載入到 Pandas DataFrame 中，並輕鬆地執行分析和視覺化 - 所有這些都來自 Python 腳本。
版本聲明
本文轉載於：https://dev.to/mark_kiehl_d375d99c04bc85/how-to-build-a-modern-data-platform-on-the-free-tier-of-google-cloud-platform-4162?1如有侵犯，請聯絡[email protected]刪除
最新教學
更多>
-
在GO中構造SQL查詢時，如何安全地加入文本和值？在go中構造文本sql查詢時，在go sql queries 中，在使用conting and contement和contement consem per時，尤其是在使用integer per當per當per時，per per per當per. [&&&&&&&&&&&&&&&&默元組方法在...程式設計 發佈於2025-05-22 -
PHP未來：適應與創新PHP的未來將通過適應新技術趨勢和引入創新特性來實現：1)適應云計算、容器化和微服務架構，支持Docker和Kubernetes；2)引入JIT編譯器和枚舉類型，提升性能和數據處理效率；3)持續優化性能和推廣最佳實踐。 引言在編程世界中，PHP一直是網頁開發的中流砥柱。作為一個從1994年就開始發展...程式設計 發佈於2025-05-22
-
為什麼儘管有效代碼，為什麼在PHP中捕獲輸入？在php ;?>" method="post">The intention is to capture the input from the text box and display it when the submit button is clicked.但是，輸出...程式設計 發佈於2025-05-22
-
如何有效地轉換PHP中的時區？在PHP 利用dateTime對象和functions DateTime對象及其相應的功能別名為時區轉換提供方便的方法。例如： //定義用戶的時區 date_default_timezone_set（'歐洲/倫敦'）; //創建DateTime對象 $ dateTime = ne...程式設計 發佈於2025-05-22
-
JavaScript計算兩個日期之間天數的方法How to Calculate the Difference Between Dates in JavascriptAs you attempt to determine the difference between two dates in Javascript, consider this s...程式設計 發佈於2025-05-22
-
在Python中如何創建動態變量？在Python 中，動態創建變量的功能可以是一種強大的工具，尤其是在使用複雜的數據結構或算法時，Dynamic Variable Creation的動態變量創建。 Python提供了幾種創造性的方法來實現這一目標。 利用dictionaries 一種有效的方法是利用字典。字典允許您動態創建密鑰並...程式設計 發佈於2025-05-22
-
如何在其容器中為DIV創建平滑的左右CSS動畫？通用CSS動畫，用於左右運動 ，我們將探索創建一個通用的CSS動畫，以向左和右移動DIV，從而到達其容器的邊緣。該動畫可以應用於具有絕對定位的任何div，無論其未知長度如何。 問題：使用左直接導致瞬時消失 更加流暢的解決方案：混合轉換和左 [並實現平穩的，線性的運動，我們介紹了線性的轉換。...程式設計 發佈於2025-05-22
-
如何從PHP中的Unicode字符串中有效地產生對URL友好的sl。為有效的slug生成首先，該函數用指定的分隔符替換所有非字母或數字字符。此步驟可確保slug遵守URL慣例。隨後，它採用ICONV函數將文本簡化為us-ascii兼容格式，從而允許更廣泛的字符集合兼容性。 接下來，該函數使用正則表達式刪除了不需要的字符，例如特殊字符和空格。此步驟可確保slug僅包...程式設計 發佈於2025-05-22
-
Python元類工作原理及類創建與定制python中的metaclasses是什麼？ Metaclasses負責在Python中創建類對象。就像類創建實例一樣，元類也創建類。他們提供了對類創建過程的控制層，允許自定義類行為和屬性。 在Python中理解類作為對象的概念，類是描述用於創建新實例或對象的藍圖的對象。這意味著類本身是使用...程式設計 發佈於2025-05-22
-
如何使用“ JSON”軟件包解析JSON陣列？parsing JSON與JSON軟件包 QUALDALS：考慮以下go代碼：字符串 } func main（）{ datajson：=`[“ 1”，“ 2”，“ 3”]`` arr：= jsontype {} 摘要：= = json.unmarshal（[] byte（...程式設計 發佈於2025-05-22
-
Async Void vs. Async Task在ASP.NET中：為什麼Async Void方法有時會拋出異常？在ASP.NET async void void async void void void void void的設計無需返回asynchroncon而無需返回任務對象。他們在執行過程中增加未償還操作的計數，並在完成後減少。在某些情況下，這種行為可能是有益的，例如未期望或明確預期操作結果的火災和...程式設計 發佈於2025-05-22
-
如何限制動態大小的父元素中元素的滾動範圍？在交互式接口中實現垂直滾動元素的CSS高度限制問題：考慮一個佈局，其中我們具有與用戶垂直滾動一起移動的可滾動地圖div，同時與固定的固定sidebar保持一致。但是，地圖的滾動無限期擴展，超過了視口的高度，阻止用戶訪問頁面頁腳。 $("#map").css({ margin...程式設計 發佈於2025-05-22
-
如何在php中使用捲髮發送原始帖子請求？如何使用php 創建請求來發送原始帖子請求，開始使用curl_init（）開始初始化curl session。然後，配置以下選項： curlopt_url：請求 [要發送的原始數據指定內容類型，為原始的帖子請求指定身體的內容類型很重要。在這種情況下，它是文本/平原。要執行此操作，請使用包含以下標頭...程式設計 發佈於2025-05-22
-
FastAPI自定義404頁面創建指南response = await call_next(request) if response.status_code == 404: return RedirectResponse("https://fastapi.tiangolo.com") else: ...程式設計 發佈於2025-05-22
學習中文
- 1 走路用中文怎麼說？ 走路中文發音，走路中文學習
- 2 坐飛機用中文怎麼說？ 坐飞机中文發音，坐飞机中文學習
- 3 坐火車用中文怎麼說？ 坐火车中文發音，坐火车中文學習
- 4 坐車用中文怎麼說？ 坐车中文發音，坐车中文學習
- 5 開車用中文怎麼說？ 开车中文發音，开车中文學習
- 6 游泳用中文怎麼說？ 游泳中文發音，游泳中文學習
- 7 騎自行車用中文怎麼說？ 骑自行车中文發音，骑自行车中文學習
- 8 你好用中文怎麼說？ 你好中文發音，你好中文學習
- 9 謝謝用中文怎麼說？ 谢谢中文發音，谢谢中文學習
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
