架构师脚本编程

❶ 大数据架构师的基本职责

大数据架构师需要参与规划从数据源到数据应用的整体流程，并参与相关产品的决策。下面是我为您精心整理的大数据架构师的基本职责。

大数据架构师的基本职责1

职责：

1.负责整个大数据平台架构的设计和构建;

2.负责构建大数据平台的数据交换、任务调度等通用平台;

3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。

5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。

任职要求：

1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练linux/Unix平台上的开发环境

6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网袜没背景优先。

7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精

大数据架构师的基本职责2

职责：

1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线;

2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计;

3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;

告迅纳4. 根据公司战略和发展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。

职位要求：

1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;

2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先;

3. 熟练掌握使用Java或python,精通数据库查询语言如sql，Oracle等,在机器学习模型和算法方向有应用经验者优先;

4. 具备数据中心产品策划整体思维，有大数据处理、分析、挖掘经验者昌烂优先;

5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀;

6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。

大数据架构师的基本职责3

职责:

1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计

3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队

岗位要求：

1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通SQL，有较好的SQL性能调优经验;

2、拥有Python，R等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

3、熟悉统计学基本原理，做过实战的数据建模项目;

4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先;

大数据架构师的基本职责4

职责：

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;

任职要求：

1、本科及以上计算机相关专业毕业;

2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等;

3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;

4、掌握常见数据流接入工具，包括Flume、kafka等;

5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先;

7、有实际大规模数据(TB级以上)处理经验优先;

大数据架构师的基本职责5

职责：

1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培养团队完成组织分解的目标;

任职要求：

1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验;

4、熟悉Linux系统，熟练使用shell/perl/python脚本处理问题;

5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等

❷ 阿里巴巴资深java工程师什么水平

你好，如阿里网络腾讯等互联网大厂的工程师，资深（架构师水平）工程师是非常有实力的。

以阿里为例：

1、阿里工程师岗位职级

阿里巴巴集团采用双序列职业发展体系：

一套体系是专家路线【P序列=技术岗】，程序员、工程师，某一个专业领域的人才，一共分为14级，从P1到P14，目前校招最低从P4开始。

一套体系是M路线，即管理者路线【M序列=管理岗】，从M1到M10。

考核因素是上一年的绩效分数+直属领导的打分+晋升委员会打分，这里的委员会一般由直属领导+合作方的高管+懂业务的HRG组成。HRG：HR多面手，base在业务下面，在阿里话语权比别的互联网HR高。

晋升标准：绩效满足3.75、主管提名、技术答辩通过。

P8架构师作为阿里“IT架构灵魂人物”的角色，他们不仅做着架构师的本职工作，还同时做程序开发，写核心代码的工作。另外，架构师依旧是技术高手，编程能力依然是一流的。

但根据当前的市场需求，互联网大厂们对于普通Java开发人才需求逐年锐减，而对互联网架构师人才的需求招聘量已经上升到50%，因此薪资更是不可同日而语。

对于想学习互联网架构师的同学来说，北大青鸟、课工场等优秀品牌都是不错的选择。课程根据招聘需求制定，包含全部分布式微服务技术，对标阿里P8级别架构师。

希望我的回答对你有所帮助！

❸ mcu架构师学什么专业

计算机、电子或自动化相关专业。
mcu架构师要求：精通C语言、C++编程，熟悉数据结构和算法，了解典型的设计首粗模式，具有良好的代码习惯，熟悉汽车行业相关代码规范，具有良好弯芹茄的的英语读写能力，能阅读专埋察业英文资料，以及写英文注释，熟悉python、shell等脚本语言。
工作内容：负责MCU嵌入式底层软件平台开发和产品项目的技术管理，技术路线规划，负责MCU软件开发流程制定、执行及监督，根据产品需求选择MCU基础软件供应商，设计软件架构。

❹ 看完Linux运维发展路线想下自己想做技术还是走管理

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作扰局系统。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

Linux发行版：

Red Hat，CentOS，Ubuntu，Debian GNU/Linux，Fedora，Gentoo，MandrivaLinux，PCLinuxOS，openSUSE，ArchLinux，Puppylinux等

从事Linux运维行业，必须要了解和掌握Linux运维的各项技能，这是一个非常庞大的技术领域，下面分成几个层次来介绍下这一块内容。

Linux命令有许多强大的功能：从简单的磁盘操作、文件存取到复杂的服务器管理运行。下面把其中比较重要的和使用频率最多的命令，按照它们在系统中的作用分成几个部分介绍给大家，通过这些基础命令的学习进一步理解Linux系统：

学习shell脚本

Linux中山李差的shell是一个很好用的工具。通过shell编写脚本文件，实现工作的自动化，来减轻在Linux系统上面所做的重复劳动，这样部署服务器时，能够减少时间，高效的工作。同样通过shell可以减少服务器资源的浪费，把可使用的资源最大化的给应用软件，实现资源最优的分配。

中级进阶需要在充分了解linux原理和基础知识之后，对上层的应用和服务进行深入学习，其中说到服务肯定涉及到网络的相关知识，这是需要花时间学习的。

学到这里，掌握的基本技能，已经够用了，已经能做一些基础的运维工作和简单维护了。

能掌握到这里，基本能处理搞定很多工作了，可以考虑去面试高级运维工程师。

需要学习的是Linux平台的C/C++开发，同时还有Bash脚本编程，如果你对Java兴趣很深还有Java。 这里要做的就是积累经验，在Linux平台的开发经验。

1、 大数据方向（需要对hadoop、storm等常见开源大数据系统需要深入了解）

2、 云计算方向（主要是openstack这套东西，像一些kvm、docker也是需要掌握的逗皮）

3、 运维开发（主要是python运维开发）

4、 自动化运维（在之前自动化基础上做深入）

5、 运维架构师（主要需要广度）

❺ 网络专业学习linux最主要的学习哪几个部分

对于Linux的学习，可以分为四个阶段，Linux初级入门阶段→Linux中级进阶→Linux高级进阶→Linux资深方向细化阶段
第一阶段：初级阶段
初级阶段需要把linux学习路线搞清楚，任何学习都是循序渐进的，所以学linux也是需要有一定的路线。
1. Linux基础知识、基本命令；
2. Linux用户及权限基础；
3. Linux系统进程管理进阶；
4. linux高效文本、文件处理命令；
5. shell脚本入门
第二阶段:中级进阶
中级进阶需要在充分了解linux原理和基础知识之后，对上层的应用和服务进行深入学习，其中说到服务肯定涉及到网络的相关知识，是需要花时间学习的。
1. TCP/IP网络基础；
2. Linux企业常用服务；
3. Linux企业级安全原理和亏消防范技巧；
4. 加密/解密原理及数据安全、系统服务访问控制及服务安全基础；
5. iptables安全策略构建；
6. shell脚本进阶；
7. MySQL应用原理及管理入门
第三阶段：Linux高级进阶
1. http服务代理缓存加速；
2. 企业级负载集群；耐空改
3. 企业级高可用集群；
4. 运维监控zabbix详昌判解；
5. 运维自动化学习；
第四阶段：Linux资深方向细化
1. 大数据方向；
2. 云计算方向；
3. 运维开发；
4. 自动化运维；
5. 运维架构师

❻ 大数据测试需要学什么

大数据专业是学什么
大数据相关专业主要有三个：数据科学与大数据技术专业；大数据管理与应用专业；大数据技术与应用专业。前两个主要是本科院校漏亏开设，最后一个是高职高专开设。
需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。
基础课程：数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践等。
必修课：离散数学、概率与统计、返运神算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析等。
选修课：数据科学算法导论、数据科学专题、数据科学实践、互联网实用开发技术、抽样技术、统计学习、回归分析、随机过程等。
2大数据专业发展方向
1、大数据开发方向; 所涉及悄轮的职业岗位为：大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等；
2、数据挖掘、数据分析和机器学习方向，所涉及的职业岗位为：大数据分析师、大数据高级工程师、大数据分析师专家、大数据挖掘师、大数据算法师等；
3、大数据运维和云计算方向；对应岗位：大数据运维工程师。