如何在 Google Cloud Platform 免费层上构建现代数据平台
发布于2024-11-06
浏览：670
我在 Medium.com 上发布了一系列七篇免费公开文章“如何在 Google Cloud Platform 免费层上构建现代数据平台”。 主要文章位于：https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8
第一部分“在GCP上构建数据平台”定义了功能要求，并详细说明了如何安装所需的软件。
第二部分“GCP 基础设施和身份验证”解释了如何使用 Google 应用程序默认凭据 (ADC) 来对用户管理的服务帐户进行身份验证。
第三部分“Google Cloud Pub/Sub 消息传递”展示了如何使用 Python 脚本生成和订阅 Google Pub/Sub 消息传递服务。
第四部分“使用 Docker 进行容器化”介绍了如何为 Python 脚本构建本地 Docker 镜像，在本地运行它，然后将其推送到 Google ArtifactRegistry（存储库）。
第五部分“Google Cloud Run 作业和调度程序”演示了如何使用 Google CLI 配置 Google Cloud Run 作业和 Cloud Scheduler 作业，以从任何 Google 区域以指定的时间间隔执行存储在 Google Artifact Registry 中的 Python 脚本。
第六部分“Google BigQuery 云数据库”使用 Google CLI 设置 Google BigQuery 数据集和表，然后使用 Python 脚本通过 SQL 编写和查询数据。
第七部分“Google Cloud Analytics”探索了如何从 Google BigQuery 表中提取数据，将其加载到 Pandas DataFrame 中，并轻松地执行分析和可视化 - 所有这些都来自 Python 脚本。
版本声明
本文转载于：https://dev.to/mark_kiehl_d375d99c04bc85/how-to-build-a-modern-data-platform-on-the-free-tier-of-google-cloud-platform-4162?1如有侵犯，请联系[email protected]删除
最新教程
更多>
-
在PHP中如何高效检测空数组？在PHP 中检查一个空数组可以通过各种方法在PHP中确定一个空数组。如果需要验证任何数组元素的存在，则PHP的松散键入允许对数组本身进行直接评估：一种更严格的方法涉及使用count（）函数： if（count（count（$ playerList）=== 0）{ //列表为空。 } 对...编程 发布于2025-05-21 -
人脸检测失败原因及解决方案：Error -215错误处理：解决“ error：（（-215）！empty（）in Function Multultiscale中的“ openCV 要解决此问题，必须确保提供给HAAR CASCADE XML文件的路径有效。在提供的代码片段中，级联分类器装有硬编码路径，这可能对您的系统不准确。相反，OPENCV提...编程 发布于2025-05-21
-
FastAPI自定义404页面创建指南response = await call_next(request) if response.status_code == 404: return RedirectResponse("https://fastapi.tiangolo.com") else: ...编程 发布于2025-05-21
-
查找当前执行JavaScript的脚本元素方法如何引用当前执行脚本的脚本元素在某些方案中理解问题在某些方案中，开发人员可能需要将其他脚本动态加载其他脚本。但是，如果Head Element尚未完全渲染，则使用document.getElementsbytagname（'head'）[0] .appendChild（v）的常规方...编程 发布于2025-05-21
-
Android如何向PHP服务器发送POST数据？在android apache httpclient（已弃用） httpclient httpclient = new defaulthttpclient（）; httppost httppost = new httppost（“ http://www.yoursite.com/script.p...编程 发布于2025-05-21
-
如何使用node-mysql在单个查询中执行多个SQL语句？在node-mysql node-mysql文档最初出于安全原因最初禁用多个语句支持，因为它可能导致SQL注入攻击。要启用此功能，您需要在创建连接时将倍增设置设置为true： var connection = mysql.createconnection（{{multipleStatement：...编程 发布于2025-05-21
-
使用jQuery如何有效修改":after"伪元素的CSS属性？在jquery中了解伪元素的限制：访问“ selector 尝试修改“：”选择器的CSS属性时，您可能会遇到困难。 This is because pseudo-elements are not part of the DOM (Document Object Model) and are th...编程 发布于2025-05-21
-
如何克服PHP的功能重新定义限制？克服PHP的函数重新定义限制在PHP中，多次定义一个相同名称的函数是一个no-no。尝试这样做，如提供的代码段所示，将导致可怕的“不能重新列出”错误。 但是，PHP工具腰带中有一个隐藏的宝石：runkit扩展。它使您能够灵活地重新定义函数。 runkit_function_renction_re...编程 发布于2025-05-21
-
如何从Python中的字符串中删除表情符号：固定常见错误的初学者指南？从python import codecs import codecs import codecs 导入 text = codecs.decode（'这狗\ u0001f602'.encode（'utf-8'），'utf-8'） 印刷（文字）＃带有...编程 发布于2025-05-21
-
在JavaScript中如何并发运行异步操作并正确处理错误？同意操作execution 在执行asynchronous操作时，相关的代码段落会遇到一个问题，当执行asynchronous操作：此实现在启动下一个操作之前依次等待每个操作的完成。要启用并发执行，需要进行修改的方法。 第一个解决方案试图通过获得每个操作的承诺来解决此问题，然后单独等待它们： co...编程 发布于2025-05-21
-
Python不会对超范围子串切片报错的原因在python中用索引切片范围：二重性和空序列索引单个元素不同，该元素会引起错误，切片在序列的边界之外没有。这种行为源于索引和切片之间的基本差异。索引一个序列，例如“示例” [3]，返回一个项目。但是，切片序列（例如“示例” [3：4]）返回项目的子序列。索引不存在的元素时，例如“示例” [9] ...编程 发布于2025-05-21
-
Async Void vs. Async Task在ASP.NET中：为什么Async Void方法有时会抛出异常？在ASP.NET async void void async void void void void void的设计无需返回asynchroncon而无需返回任务对象。他们在执行过程中增加未偿还操作的计数，并在完成后减少。在某些情况下，这种行为可能是有益的，例如未期望或明确预期操作结果的火灾和...编程 发布于2025-05-21
-
CSS可以根据任何属性值来定位HTML元素吗？靶向html元素，在CSS 中使用任何属性值，在CSS中，可以基于特定属性（如下所示）基于特定属性的基于特定属性的emants目标元素： 字体家庭：康斯拉斯（Consolas）； } 但是，出现一个常见的问题：元素可以根据任何属性值而定位吗？本文探讨了此主题。的目标元素有任何任何属性值，属...编程 发布于2025-05-21
-
如何使用Java.net.urlConnection和Multipart/form-data编码使用其他参数上传文件？使用http request 上传文件上传到http server，同时也提交其他参数，java.net.net.urlconnection and Multipart/form-data Encoding是普遍的。 Here's a breakdown of the process:Mu...编程 发布于2025-05-21
-
找到最大计数时，如何解决mySQL中的“组函数\”错误的“无效使用”？如何在mySQL中使用mySql 检索最大计数，您可能会遇到一个问题，您可能会在尝试使用以下命令：理解错误正确找到由名称列分组的值的最大计数，请使用以下修改后的查询： 计数（*）为c 来自EMP1 按名称组 c desc订购 限制1 查询说明 select语句提取名称列和每个名称...编程 发布于2025-05-21
学习中文
- 1 走路用中文怎么说？走路中文发音，走路中文学习
- 2 坐飞机用中文怎么说？坐飞机中文发音，坐飞机中文学习
- 3 坐火车用中文怎么说？坐火车中文发音，坐火车中文学习
- 4 坐车用中文怎么说？坐车中文发音，坐车中文学习
- 5 开车用中文怎么说？开车中文发音，开车中文学习
- 6 游泳用中文怎么说？游泳中文发音，游泳中文学习
- 7 骑自行车用中文怎么说？骑自行车中文发音，骑自行车中文学习
- 8 你好用中文怎么说？你好中文发音，你好中文学习
- 9 谢谢用中文怎么说？谢谢中文发音，谢谢中文学习
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
