大数据架构师
薪资：面议
-----
1. 架构设计：负责公司 PB 级用
户行为数据（ AppList + GPS ）仓库的建设。设计基于 StarRocks + MinIO 的 存算分离 架构，在私有化物理机环
境下实现低成本存储与秒级多维查询。
2. ETL 与 Python 工程化：放弃 Java 开发模式，主导使用 PySpark 编写高性能数据清洗脚本。解决海量 JSON/GPS 日志处理中的数据倾斜与内存溢出 (OOM) 问题，建立 PythonNative 的数据工程体系。
3. AI 数据管道建设：负责搭建 “数据湖 -> 训练集群” 的高速数据传输通道。解决海量小文件读取瓶颈，优化 I/O 吞吐，确
保清洗后的语料能高速流向 GPU 集群，保障 AI 训练效率。
4. 负责私有云环境下大数据组件（ Spark on K8s/YARN, StarRocks ）的部署与监
控。配合 AI 团队进行资源隔离（ CPU vs GPU ），确保数据处理与模型训练互不干扰。" "1. 计算机相关专业本科及以上学历，5 年以上大数据架构经验，必须有 PB 级数据处理实战经验。
2. 精通 Python (PySpark)：具备大型 Python 工程开发能力。同时具备 阅读 Java/Scala 报堆栈 (Stack Trace) 的能力，能排查 Spark 底层的 JVM 问题。
3. 精通 MPP 数据库原理，是 StarRocks 、Apache Doris 或 ClickHouse 的重度使用者。
4. 熟悉 私有云/IDC 环境下的资源规划，具备在物理机上搭建和维护大规模集群的能力。
-----
可直接添加 TG：Skyewen20251
有意向投递简历到 Email 邮箱： [email protected]
薪资：面议
-----
1. 架构设计：负责公司 PB 级用
户行为数据（ AppList + GPS ）仓库的建设。设计基于 StarRocks + MinIO 的 存算分离 架构，在私有化物理机环
境下实现低成本存储与秒级多维查询。
2. ETL 与 Python 工程化：放弃 Java 开发模式，主导使用 PySpark 编写高性能数据清洗脚本。解决海量 JSON/GPS 日志处理中的数据倾斜与内存溢出 (OOM) 问题，建立 PythonNative 的数据工程体系。
3. AI 数据管道建设：负责搭建 “数据湖 -> 训练集群” 的高速数据传输通道。解决海量小文件读取瓶颈，优化 I/O 吞吐，确
保清洗后的语料能高速流向 GPU 集群，保障 AI 训练效率。
4. 负责私有云环境下大数据组件（ Spark on K8s/YARN, StarRocks ）的部署与监
控。配合 AI 团队进行资源隔离（ CPU vs GPU ），确保数据处理与模型训练互不干扰。" "1. 计算机相关专业本科及以上学历，5 年以上大数据架构经验，必须有 PB 级数据处理实战经验。
2. 精通 Python (PySpark)：具备大型 Python 工程开发能力。同时具备 阅读 Java/Scala 报堆栈 (Stack Trace) 的能力，能排查 Spark 底层的 JVM 问题。
3. 精通 MPP 数据库原理，是 StarRocks 、Apache Doris 或 ClickHouse 的重度使用者。
4. 熟悉 私有云/IDC 环境下的资源规划，具备在物理机上搭建和维护大规模集群的能力。
-----
可直接添加 TG：Skyewen20251
有意向投递简历到 Email 邮箱： [email protected]
Select Language