全部 Python+大数据新闻动态 Python+大数据技术文章 Python+大数据学习常见问题 技术问答

• • 

    大数据spark3.2从基础到精通

    Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发，课程的讲解注重理论联系实际，方便快捷，深入浅出，让初学者也能快速掌握。让有经验的工程师也能有所收获。学习完成后可以胜任高级级别的大数据相关岗位。 查看全文>>

    Python+大数据学习常见问题2023-03-14 |传智教育 |大数据spark3.2从基础到精通

  • 

    大数据Hive+Spark离线数仓工业项目实战

    本套课程大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。 查看全文>>

    Python+大数据学习常见问题2023-03-14 |传智教育 |Hive+Spark离线数仓,数仓工业项目

  • 

    Hadoop中哪些地方使用了缓存，作用分别是什么?

    在Hadoop中，缓存机制主要用于提高MapReduce任务的性能。以下是Hadoop中使用缓存机制的几个地方以及它们的作用，DistributedCache：DistributedCache可以将文件或者归档文件缓存在集群中的每个节点上，以便在任务运行期间快速访问。通过将常用的数据预先加载到内存中，可以避免多次读取相同的数据，从而提高任务的性能。 查看全文>>

    Python+大数据学习常见问题2023-03-14 |传智教育 |Hadoop缓存,DistributedCache,FileSystem缓存

  • 

    用Mapreduce怎么处理数据倾斜问题?

    在 MapReduce 中，数据倾斜指的是在Reduce阶段中某个Reducer处理的数据量过大，导致该Reducer的处理时间过长，从而导致整个任务的运行时间变长。下面是一些处理数据倾斜问题的技术... 查看全文>>

    Python+大数据学习常见问题2023-03-14 |传智教育 |Mapreduce,数据倾斜

  • 

    什么是不可变类？

    不可变类是指一旦创建对象后，其状态(属性值)就不能被修改的类。这意味着，不可变类的对象是不可变的，无法被修改。在Python中，可以通过将类的属性设置为只读来创建不可变类。一种简单的方法是使用namedtuple，它是一个工厂函数，用于创建具有固定字段的类。 查看全文>>

    Python+大数据学习常见问题2023-03-13 |传智教育 |不可变类,函数参数,哈希表元素

  • 

    大数据就业一般工资多少？

    大数据行业的工资因地区、公司规模、职位级别和个人经验等因素而异。以下是根据我所掌握的信息提供的大致参考：一线城市(如北京、上海、深圳、广州)的大数据从业者工资普遍较高，其中大型互联网企业和金融机构的工资水平更高，高级职位的年薪可以达到数十万甚至百万以上。 查看全文>>

    Python+大数据学习常见问题2023-03-09 |传智教育 |大数据就业一般工资多少

  • 

    Flask有哪些优势和特点？Flask简介

    Flask默认依赖Werkzeug WSGI工具包和Jinja2模板引擎，它只保留了Web开发的核心功能，没有用户认证、表单验证、发送邮件等其他Web应用程序框架通常拥有的功能。开发者若需要给Flask程序添加额外的功能，可以在Flask官网找到相应的扩展包进行开发。Flask之所以如此受欢迎，离不开其自身具备的几个特点。 查看全文>>

    Python+大数据学习常见问题2023-03-08 |传智教育 |什么是Flask,Flask有哪些优势和特点,Flask简介

  • 

    如何在大量的数据中找出不重复的整数?

    利用Hash的方法，把这2.5亿个数划分到更小的文件中，以确保每个文件的大小超过可用的内存大小。接着针对每个小文件来说，所有的数据可以一次性被加载到内存中，因此可以使用字典或者set来找到每个小文件中不重复的数。当处理完所有的文件后就可以找出这2.5亿个整数中所有的不重复的数。 查看全文>>

    Python+大数据学习常见问题2023-03-07 |传智教育 |如何在大量的数据中找出不重复的整数

  << < 1 ... 26 27 28 29 30 31 32 ... 48 > >>