如何在 Google Cloud Platform 免费层上构建现代数据平台
发布于2024-11-06
浏览：237
我在 Medium.com 上发布了一系列七篇免费公开文章“如何在 Google Cloud Platform 免费层上构建现代数据平台”。 主要文章位于：https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8
第一部分“在GCP上构建数据平台”定义了功能要求，并详细说明了如何安装所需的软件。
第二部分“GCP 基础设施和身份验证”解释了如何使用 Google 应用程序默认凭据 (ADC) 来对用户管理的服务帐户进行身份验证。
第三部分“Google Cloud Pub/Sub 消息传递”展示了如何使用 Python 脚本生成和订阅 Google Pub/Sub 消息传递服务。
第四部分“使用 Docker 进行容器化”介绍了如何为 Python 脚本构建本地 Docker 镜像，在本地运行它，然后将其推送到 Google ArtifactRegistry（存储库）。
第五部分“Google Cloud Run 作业和调度程序”演示了如何使用 Google CLI 配置 Google Cloud Run 作业和 Cloud Scheduler 作业，以从任何 Google 区域以指定的时间间隔执行存储在 Google Artifact Registry 中的 Python 脚本。
第六部分“Google BigQuery 云数据库”使用 Google CLI 设置 Google BigQuery 数据集和表，然后使用 Python 脚本通过 SQL 编写和查询数据。
第七部分“Google Cloud Analytics”探索了如何从 Google BigQuery 表中提取数据，将其加载到 Pandas DataFrame 中，并轻松地执行分析和可视化 - 所有这些都来自 Python 脚本。
版本声明
本文转载于：https://dev.to/mark_kiehl_d375d99c04bc85/how-to-build-a-modern-data-platform-on-the-free-tier-of-google-cloud-platform-4162?1如有侵犯，请联系[email protected]删除
最新教程
更多>
-
如何在JavaScript对象中动态设置键？在尝试为JavaScript对象创建动态键时，如何使用此Syntax jsObj['key' i] = 'example' 1;不工作。正确的方法采用方括号： jsobj ['key''i] ='example'1; 在JavaScript中，数组是一...编程 发布于2025-07-21 -
如何在其容器中为DIV创建平滑的左右CSS动画？通用CSS动画，用于左右运动 ，我们将探索创建一个通用的CSS动画，以向左和右移动DIV，从而到达其容器的边缘。该动画可以应用于具有绝对定位的任何div，无论其未知长度如何。问题：使用左直接导致瞬时消失 更加流畅的解决方案：混合转换和左 [并实现平稳的，线性的运动，我们介绍了线性的转换。这...编程 发布于2025-07-21
-
表单刷新后如何防止重复提交？在Web开发中预防重复提交 在表格提交后刷新页面时，遇到重复提交的问题是常见的。要解决这个问题，请考虑以下方法： 想象一下具有这样的代码段，看起来像这样的代码段：））{ //数据库操作... 回声“操作完成”； 死（）; } ？> ...编程 发布于2025-07-21
-
如何使用Python有效地以相反顺序读取大型文件？在python 反向行读取器生成器 == ord（'\ n'）： 缓冲区=缓冲区[：-1] 剩余_size- = buf_size lines = buffer.split（'\ n'....编程 发布于2025-07-21
-
左连接为何在右表WHERE子句过滤时像内连接？左JOIN CONUNDRUM：WITCHING小时在数据库Wizard的领域中变成内在的加入很有趣，当将c.foobar条件放置在上面的Where子句中时，据说左联接似乎会转换为内部连接。仅当满足A.Foo和C.Foobar标准时，才会返回结果。为什么要变形？关键在于其中的子句。当左联接的右侧值...编程 发布于2025-07-21
-
如何使用PHP将斑点（图像）正确插入MySQL？essue VALUES('$this->image_id','file_get_contents($tmp_image)')";This code builds a string in PHP, but the function call ...编程 发布于2025-07-21
-
在C#中如何高效重复字符串字符用于缩进？在基于项目的深度下固定字符串时，重复一个字符串以进行凹痕，很方便有效地有一种有效的方法来返回字符串重复指定的次数的字符串。使用指定的次数。 constructor 这将返回字符串“ -----”。 字符串凹痕= new String（' - '，depth）; console.Wr...编程 发布于2025-07-21
-
在细胞编辑后，如何维护自定义的JTable细胞渲染？在JTable中维护jtable单元格渲染后，在JTable中，在JTable中实现自定义单元格渲染和编辑功能可以增强用户体验。但是，至关重要的是要确保即使在编辑操作后也保留所需的格式。在设置用于格式化“价格”列的“价格”列，用户遇到的数字格式丢失的“价格”列的“价格”之后，问题在设置自定义单元格...编程 发布于2025-07-21
-
如何在Java的全屏独家模式下处理用户输入？Handling User Input in Full Screen Exclusive Mode in JavaIntroductionWhen running a Java application in full screen exclusive mode, the usual event ha...编程 发布于2025-07-21
-
如何为PostgreSQL中的每个唯一标识符有效地检索最后一行？postgresql：为每个唯一标识符提取最后一行，在Postgresql中，您可能需要遇到与在数据库中的每个不同标识相关的信息中提取信息的情况。考虑以下数据：[ 1 2014-02-01 kjkj 在数据集中的每个唯一ID中检索最后一行的信息，您可以在操作员上使用Postgres的有效效率： ...编程 发布于2025-07-21
-
用户本地时间格式及时区偏移显示指南在用户的语言环境格式中显示日期/时间，并使用时间偏移在向最终用户展示日期和时间时，以其localzone and格式显示它们至关重要。这确保了不同地理位置的清晰度和无缝用户体验。以下是使用JavaScript实现此目的的方法。方法：推荐方法是处理客户端的Javascript中的日期/时间格式化和时...编程 发布于2025-07-21
-
如何在无序集合中为元组实现通用哈希功能？在未订购的集合中的元素要纠正此问题，一种方法是手动为特定元组类型定义哈希函数，例如： template template template 。 struct std :: hash { size_t operator（）（std :: tuple const&tuple）const {...编程 发布于2025-07-21
-
解决Spring Security 4.1及以上版本CORS问题指南弹簧安全性cors filter：故障排除常见问题 在将Spring Security集成到现有项目中时，您可能会遇到与CORS相关的错误，如果像“访问Control-allo-allow-Origin”之类的标头，则无法设置在响应中。为了解决此问题，您可以实现自定义过滤器，例如代码段中的MyFi...编程 发布于2025-07-21
-
在程序退出之前，我需要在C ++中明确删除堆的堆分配吗？在C中的显式删除 在C中的动态内存分配时，开发人员通常会想知道是否有必要在heap-procal extrable exit exit上进行手动调用“ delete”操作员，但开发人员通常会想知道是否需要手动调用“ delete”操作员。本文深入研究了这个主题。 在C主函数中，使用了动态分配变量（H...编程 发布于2025-07-21
-
FastAPI自定义404页面创建指南response = await call_next(request) if response.status_code == 404: return RedirectResponse("https://fastapi.tiangolo.com") else: ...编程 发布于2025-07-21
学习中文
- 1 走路用中文怎么说？走路中文发音，走路中文学习
- 2 坐飞机用中文怎么说？坐飞机中文发音，坐飞机中文学习
- 3 坐火车用中文怎么说？坐火车中文发音，坐火车中文学习
- 4 坐车用中文怎么说？坐车中文发音，坐车中文学习
- 5 开车用中文怎么说？开车中文发音，开车中文学习
- 6 游泳用中文怎么说？游泳中文发音，游泳中文学习
- 7 骑自行车用中文怎么说？骑自行车中文发音，骑自行车中文学习
- 8 你好用中文怎么说？你好中文发音，你好中文学习
- 9 谢谢用中文怎么说？谢谢中文发音，谢谢中文学习
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
