• 自动秒收录
  • 软件:1973
  • 资讯:57811|
  • 收录网站:279872|

IT精英团

大数据测试类型大数据测试步骤

大数据测试类型大数据测试步骤

浏览次数:
评论次数:
编辑: 乐咏
信息来源: ITPUB
更新日期: 2022-08-13 01:12:06
摘要

1.随着数据工程和数据分析技术的不断进步,大数据测试是不可避免的。2.大数据处理可以是批处理,实时或交互式处理3.测试大数据应用程序的3个阶段是数据分级验证“MapReduce”验证输出验证阶段4.架

  • 正文开始
  • 相关阅读
  • 推荐作品

1.随着数据工程和数据分析技术的不断进步,大数据测试不可避免。

2.大数据处理可以是批处理、实时或交互式处理

3.测试大数据应用程序的3个阶段是

数据分类验证

MapReduce验证

输出验证阶段

4.架构测试是大数据测试的重要阶段,因为设计糟糕的系统可能会导致前所未有的错误和性能下降。

5.大数据的性能测试包括验证。

数据吞吐量

数据处理

组件性能

6.大数据测试与传统数据测试在数据、基础设施、验证工具等方面有很大不同。

7.大数据测试挑战包括虚拟化、测试自动化和大型数据集的处理。大数据应用的性能测试也是一个问题。

3354大纲

什么是大数据?

大数据是一个庞大的数据集,传统计算技术无法处理。这些数据集的测试需要通过各种工具、技术和框架来处理。大数据涉及数据创建、存储、检索和分析,在数量、多样性和速度方面都很出色。

大数据测试类型

测试大数据应用更多的是验证其数据处理,而不是测试软件产品的单个功能。说到大数据测试,性能和功能测试是关键。

在大数据测试中,QA工程师使用集群和其他组件来验证TB级数据的成功处理。因为处理速度非常快,所以需要很高的测试技能。处理有三种类型:批处理、实时处理和交互处理。

同时,数据质量也是大数据测试的重要因素。在测试应用程序之前,有必要检查数据的质量,并将其视为数据库测试的一部分。它包括检查各种字段,如一致性、准确性、重复性、一致性、有效性、数据完整性等。

大数据测试步骤

01

数据阶段验证

大数据测试的第一步,也称为前hadoop阶段,包括以下验证:

1.应该验证来自各个方面的数据资源,以确保将正确的数据加载到系统中。

2.将源数据与推送到Hadoop系统的数据进行比较,确保它们相匹配。

3.验证是否提取了正确的数据,并将其加载到HDFS的正确位置。在这个阶段,您可以使用工具Talend或Datameer来验证数据阶段。

02

MapReduce身份验证

大数据测试的第二步是MapReduce的验证。在这个阶段,测试人员在每个节点上验证业务逻辑,然后在运行多个节点后进行验证,以确保以下操作的正确性:

1.映射和简化过程正常工作。

2.对数据实施数据聚合或隔离规则。

3.生成键值对

4.执行Map和Reduce过程后验证数据。

03

输出级验证

大数据测试的最后或第三阶段是输出验证过程。生成数据文件,并将文件移动到EDW(企业数据仓库:)或任何其他基于需求的系统。第三阶段的活动包括:

1.检查是否正确应用了转换规则。

2.检查数据完整性和成功加载到目标系统的数据。

3.通过将目标数据与HDFS文件系统数据进行比较,检查数据是否损坏。

建筑测试

doop处理大量的数据,并且是非常耗费资源的。因此,架构测试对于确保您的大数据项目的成功至关重要。系统设计不当或设计不当可能导致性能下降,系统不能满足要求。至少,性能和故障转移测试服务应该在Hadoop环境中完成。

性能测试包括测试作业完成时间,内存使用率,数据吞吐量和类似的系统指标。而故障转移测试服务的动机是为了验证在数据节点发生故障的情况下数据处理是否无缝地发生。

性能测试

大数据性能测试包括两个主要的行动,数据采集和整个过程:在这个阶段,测试人员验证快速系统如何消耗来自各种数据源的数据。测试涉及识别队列在给定时间框架内可以处理的不同消息。它还包括如何快速将数据插入到底层数据存储中,例如插入到Mongo和Cassandra数据库中。

  • 数据处理:它涉及验证执行查询或映射缩减作业的速度。它还包括在底层数据存储填充到数据集中时独立测试数据处理。例如,在底层HDFS上运行Map Reduce作业

  • 子组件性能:这些系统由多个组件组成,而且必须单独测试每个组件。例如,消息的索引和消费速度有多快,mapreduce作业,查询性能,搜索等

性能测试方法

大数据应用性能测试涉及大量结构化和非结构化数据的测试,并且需要特定的测试方法来测试这些海量数据。

01

性能测试按此顺序执行

1.过程从设置要测试性能的大数据群集开始

2.确定和设计相应的工作量

3.准备个人客户(自定义脚本创建)

4.执行测试并分析结果(如果不满足目标,则调整组件并重新执行)

5.最佳配置

02

性能测试的参数

性能测试需要验证的各种参数:

1.数据存储:数据如何存储在不同的节点中

2.提交日志:允许增长的提交日志有多大

3.并发性:有多少个线程可以执行写入和读取操作

4.缓存:调整缓存设置“行缓存”和“键缓存”。

5.超时:连接超时值,查询超时值等

6.JVM参数:堆大小,GC收集算法等

7.地图降低性能:排序,合并等

8.消息队列:消息速率,大小等。

03

测试环境需求

测试环境需求取决于您正在测试的应用程序的类型。对于大数据测试,测试环境应该包含:

1.它应该有足够的空间来存储和处理大量的数据

2.它应该有分布式节点和数据的集群

3.它应该有最低的CPU和内存利用率,以保持高性能。

大数据测试面临的挑战

01

自动化

大数据的自动化测试需要具有技术专长的人员。另外,自动化工具不具备处理测试过程中出现的意外问题的能力。

02

虚拟化

这是测试的一个不可缺少的阶段。虚拟机延迟会在实时大数据测试中造成计时问题。在大数据中管理图像也是一件麻烦事。

03

大数据集

1.需要验证更多的数据,并需要更快地完成

2.需要自动化测试工作

3.需要能够跨不同的平台进行测试

性能测试挑战

1.多种技术组合:每个子组件属于不同的技术,需要单独测试

2.不可用的特定工具:没有一个工具可以执行端到端的测试。例如,NoSQL可能不适合消息队列

3.测试脚本:需要高度的脚本来设计测试场景和测试用例

4.测试环境:数据量大,需要特殊的测试环境

5.监控解决方案:存在有限的解决方案,可以监控整个环境

6.诊断解决方案:需要定制解决方案来深入了解性能瓶颈区域



“在看”的永远18岁~
业务运维——打破运维壁垒
« 上一篇 2022-08-13
数据库罗曼史-DBS(数据库系统)和DBMS(数据库管理系统)
下一篇 » 2022-08-13
  • 如何在Ubuntu中保留文件系统并备份当前开发板镜像
    0阅读 0条评论 个赞
    在Ubuntu保留文件系统或者说备份当前开发板镜像的需求在不断增加。比如Ubuntu文件系统需要安装库文件的话直接使用apt-get工具就可以下载,但由于需要下载的核心板较多,比较费时间,这时需要将安……
  • 国产核心板全志T507助力消防系统升级
    0阅读 0条评论 个赞
    9月16日下午,位于湖南长沙市区内的中国电信大楼发生火灾,建筑高度218米,现场浓烟滚滚,数十层楼体燃烧剧烈。消防救援人员赶到现场后很快将火势控制住,目前大楼火势已被扑灭,所幸未发现人员伤亡。湖南电信……
  • 教大家如何处理Spring Boot易流中的用户和群体!
    0阅读 0条评论 个赞
    1.准备工作2.用户操作2.1添加用户2.2修改用户2.3删除用户2.4查询用户3.组操作3.1添加组3.2修改组3.3删除组3.4查询组4.查看表详情虽然说我们在实际开发中,……
  • 从PG15开始WAL压缩优化
    0阅读 0条评论 个赞
    PG15传闻中的超级令人激动的功能大多数跳票了,年初我也写过一个关于PG15新功能跳票的文章。PG15BETA已经发出几个月了,似乎PG15里令人激动人心的功能不多,不过从长长的新功能列表里,……
  • 深入了解美团叶子发射器开源方案
    0阅读 0条评论 个赞
    大家好,我是树哥。之前我们有聊过「如何设计一个分布式ID发号器」,其中有讲过4种解决方案,分别是:UUID类雪花算法数据库自增主键Redis原子自增美团以第2、3种解决方案为基础,开发出……
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
  • SQL Server备份和还原攻略
    0阅读 0条评论 个赞
    一、知识点完全备份:备份全部选中的文件夹,并不依赖文件的存档属性来确定备份那些文件。(在备份过程中,任何现有的标记都被清除,每个文件都被标记为已备份,换言之,清除存档属性)。完全备份也叫完整备份。差异……
  • 长文解读春季交易!隔离?传播性?网被消灭了!
    9阅读 0条评论 个赞
    1.什么是事务2.Spring中的事务2.1两种用法2.2三大基础设施3.编程式事务4.声明式事务4.1XML配置4.2Java配置4.3混合配置5.事务属性5.1隔离性5……
  • 转:Java老了 科特林会取而代之吗?
    0阅读 0条评论 个赞
    .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
  • SQL Server表变量和临时表的区别
    0阅读 0条评论 个赞
    一、表变量表变量在SQLServer2000中首次被引入。表变量的具体定义包括列定义,列名,数据类型和约束。而在表变量中可以使用的约束包括主键约束,唯一约束,NULL约束和CHECK约束(外键……
  • 数据库发展史1-传统数据库
    0阅读 0条评论 个赞
    1946年,美国宾夕法尼亚大学诞生了人类第一台电子计算机--ENIAC(ElectronicNumericalIntegratorAndComputer,即电子数字积分计算机),这个占地170……
  • MySQL查询性能优化指数下推的七大武器
    0阅读 0条评论 个赞
    前面已经讲了MySQL的其他查询性能优化方式,没看过可以去了解一下:MySQL查询性能优化七种武器之索引潜水MySQL查询性能优化七种武器之链路追踪今天要讲的是MySQL的另一种查询性能优化方式—索……
  • 卡夫卡数据丢失问题优化总结及重复消费原因分析(二)
    0阅读 0条评论 个赞
    .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
  • 设计模式介绍——单一模式
    0阅读 0条评论 个赞
    简介一个类只允许创建一个对象(或实例),那么这个类就是一个单例类,这种设计模式称作单例设计模式(SingletonDesignPattern),简称单例模式。单例模式保证系统内存中只存在一个对象,……
  • 详细解释MySQL隔离级别
    0阅读 0条评论 个赞
    一个事务具有ACID特性,也就是(Atomicity、Consistency、Isolation、Durability,即原子性、一致性、隔离性、持久性),本文主要讲解一下其中的Isolation,也……
  • k8s网络持久存储的StorageClass(如何一步步实现动态持久存储)
    0阅读 0条评论 个赞
    StorageClass的作用:创建pv时,先要创建各种固定大小的PV,而这些PV都是手动创建的,当业务量上来时,需要创建很多的PV,过程非常麻烦。而且开发人员在申请PVC资源时,还不一定有匹配条件的……
  • SQL Server:触发器的详细说明
    0阅读 0条评论 个赞
    1.概述2.触发器的分类3.Inserted和Deleted表4.触发器的执行过程5.创建触发器6.修改触发器:7.删除触发器:8.查看数据库中已有触发器:9.“Insteadof……
  • 卡夫卡详解(一)——卡夫卡是什么 怎么用
    0阅读 0条评论 个赞
    kafka是什么在回答这个问题之前,我们需要先了解另一个东西--eventstreaming。什么是eventstreaming我觉得,eventstreaming是一个动态的概念,它描述了一……
  • 拓扑岭CEO雷鹏:创业不只是技术
    0阅读 0条评论 个赞
    云计算的出现,加速了企业信息技术的发展。数据库是最常用的基础软件之一,它通常能提供计算和存储的能力。虽然分布式数据库也做到了很好的扩展性,但它不能算是「云原生」。「云原生数据库」的核心,是要设计一种更……
  • SQL Server数据库性能优化
    0阅读 0条评论 个赞
    分析比较执行时间计划读取情况1.查看执行时间和cpusetstatisticstimeonselect*fromBus_DevHistoryDatasetstatisticstime……
  • 深入了解美团叶子发射器开源方案
    0阅读 0条评论 个赞
    大家好,我是树哥。之前我们有聊过「如何设计一个分布式ID发号器」,其中有讲过4种解决方案,分别是:UUID类雪花算法数据库自增主键Redis原子自增美团以第2、3种解决方案为基础,开发出……
  • 如何使用spark或hive sql将Excel文件加载到hive表中
    0阅读 0条评论 个赞
    .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
  • 你知道信息架构图和功能架构图的区别吗?
    0阅读 0条评论 个赞
    .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
  • 当老板让我从Java8升级到Java11时
    4阅读 0条评论 个赞
    老板让我把一个项目从Java8迁移到Java11,我该怎么办呢?最简单的办法,当然是直接强行升级,遇到一个错就改一个错,别看它low,但是对于一个小型且非核心的项目来说,已经足够了。当然,……
  • 教大家如何处理Spring Boot易流中的用户和群体!
    0阅读 0条评论 个赞
    1.准备工作2.用户操作2.1添加用户2.2修改用户2.3删除用户2.4查询用户3.组操作3.1添加组3.2修改组3.3删除组3.4查询组4.查看表详情虽然说我们在实际开发中,……
  • Linux驱动开发十六 输入系统33543 系统附带的输入驱动程序
    0阅读 0条评论 个赞
    前面两章我们通过input子系统构建了一个按键类型的输入设备的驱动,其实Linux的内核还提供了一套基于GPIO的按键驱动程序,和LED设备一样,我们只需要在编译内核的过程中进行配置然后在设备树中定义……
最近发布资讯
更多