在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务

GooseFS 是腾讯云对象存储团队最新推出的高性能、高可用以及可弹性伸缩的分布式缓存系统，依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，可加速基于腾讯云对象存储的各类海量数据分析以及机器学习等任务。本文将介绍如何在腾讯云 EMR 上使用 GooseFS 加速大数据计算任务。

GooseFS 是腾讯云对象存储团队近期面向下一代云原生数据湖场景推出的存储加速利器，提供与 HDFS 对标的 Hadoop Compatible FileSystem 接口实现，可为云上的大数据计算任务提供：

• 高可靠、可弹性伸缩的分布式读写缓存服务；
• 内存级的数据本地化（Data Locality）访问性能；
• 基于 Namespace 粒度的读写缓存策略以及 Hive Table 级别预热；
• 与 HDFS 一致的 Ranger 鉴权机制；
• 对象存储 AZ 级别的加速访问与高 QPS 的元数据访问能力；以及快速部署和开箱即用等特性。

本文将基于腾讯云 EMR 介绍如何快速部署 GooseFS 用于加速云上大数据分析任务。

加速腾讯云 EMR 大数据计算任务

为了在腾讯云 EMR 中使用 GooseFS 加速大数据计算任务，可参考官网文档腾讯云 EMR 环境中部署和配置GooseFS，即可开启 GooseFS 的缓存加速能力。下文将以数据仓库业务以及迭代计算场景展示 GooseFS 的加速访问能力。

加速基于Hive、Spark SQL 和Presto数据仓库查询业务

很多大数据客户的数据仓库类业务具备明显的冷热周期特征，例如：某大数据客户每天会定时基于数仓生成日报报表，Hive 表的分区是日期维度。

GooseFS 集成了 Hive Table 的元数据管理能力，并且提供了 Hive table & partition 粒度的数据预热特性，用户可以通过配置工作流任务来每天在闲时预热加载 table & partition 以降低峰值查询的带宽消耗，然后在数据访问高峰期提供内存级的缓存加速能力。

在热表或分区变冷以后，使用 Free 命令将其从缓存中释放掉。

| 下面，将会详细地介绍 GooseFS Table 管理能力以及预热方法。

GooseFS Table & Partition 管理与预热

GooseFS Table & Partition 管理与预热能力都是通过 GooseFS 的 table 命令行来实现：

$ goosefs 
table Usage: goosefs table [generic options] 
[attachdb [-o|--option ] [--db ] [--ignore-sync-errors]   ] 
[detachdb ] 
[free   [-p|--partition ]] 
[help []] 
[load   [-g|--greedy] [--replication ] [-p|--partition ]] [ls [ []]] 
[stat  ] 
[sync ] 
[transform   [-d ]] 
[transformStatus []]



其中，提供 Hive DB 绑定和解绑，预热加载DB下的指定 Table & Partition。



在预热 Hive DB 中的指定 Table & Partition 到 GooseFS 之前，需要先将 DB 挂载到 GooseFS 中：



$ goosefs table attachdb --db test_db hive thrift://metastore_host:port goosefs_db_demo
response of attachdb



挂载完后，可使用 GooseFS 的命令行查看 DB 中的 Table 信息：



$ goosefs table ls test_db web_page
OWNER: hadoop
DBNAME.TABLENAME: testdb.web_page (
wp_web_page_sk bigint,
wp_web_page_id string,
wp_rec_start_date string,
wp_rec_end_date string,
wp_creation_date_sk bigint,
wp_access_date_sk bigint,
wp_autogen_flag string,
wp_customer_sk bigint,
wp_url string,
wp_type string,
wp_char_count int,
wp_link_count int,
wp_image_count int,
wp_max_ad_count int,
)
PARTITIONED BY (
)
LOCATION (
gfs://metastore_host:port/myiNamespace/3000/web_page
)
PARTITION LIST (
{
partitionName: web_page
location: gfs://metastore_host:port/myNamespace/3000/web_page
}
)



然后，可预热指定 Table 到 GooseFS中，同时还可以查看 Table 预热情况：



$ goosefs table load test_db web_page
Asynchronous job submitted successfully, jobId: 1615966078836



预热完成后，就可以正常的执行查询任务，获得 GooseFS 的本地缓存加速性能。



GooseFS 加速性能对比



这里，我们基于标准的 TPCDS benchmark 在腾讯云 EMR 环境中对比测试了本地 HDFS 得到整个测试过程总时延。其中，GooseFS 挂载 COSN 作为其UFS，并且提前预热了测试数据集。







在相同的测试数据集本地化的程度下，GooseFS 读数据访问性能上相对 HDFS 更好。具体分 SQL case 的时延数据可参考附录。



同时，COSN 和 CHDFS 作为腾讯云上两个比较常用的大数据文件系统实现，也可作为 GooseFS 的 Under File System 使用。这里也对比测试这三个文件系统，其中 GooseFS 挂载 COSN 作为其UFS，同样提前预热的测试数据集。







从该项测试结果，也可以看出，GooseFS 在预热数据的条件下，可以显著加速腾讯云上大数据存储系统的访问性能。具体分 SQL case 的时延数据可参考附录。



总结



GooseFS 作为腾讯云对象存储新推出的云原生大数据存储加速器，解决了基于 COSN 以及 CHDFS 等云上存储的 Data Locality 的缺陷，提供了本地近内存级的访问性能。



同时，GooseFS 提供了 Hive Table & Partition 级别的预热能力以及缓存策略管理，能够极大地方便用户完成数据预热和访问加速。在未来，GooseFS 会元数据访问性能、本地短路读性能以及智能 Cache 方向上做更深层次的优化开发，旨在进一步加速海量数据湖应用性能。关于了解更多请前往：https://cloud.tencent.com/doc…



附件



case100_D3_本地SATA_HDFS 和 case100_D3_本地SATA_GOOSEFS 的 TPCDS 测试结果：



SQL case
case100_D3_本地SATA-HDFS
case101_D3_本地SATA-GooseFS
 
29618
28230
query1.sql
150
167
query2.sql
1392
1213
query3.sql
402
329
query8.sql
338
255
query12.sql
280
252
query13.sql
367
293
query15.sql
767
706
query19.sql
368
297
query20.sql
503
441
query21.sql
170
182
query22.sql
96
94
query26.sql
582
583
query31.sql
1211
854
query32.sql
929
670
query33.sql
673
450
query34.sql
345
253
query36.sql
444
404
query37.sql
473
396
query38.sql
811
603
query39.sql
498
510
query40.sql
953
905
query43.sql
328
252
query45.sql
453
426
query46.sql
361
332
query48.sql
431
382
query52.sql
345
239
query53.sql
806
777
query55.sql
341
237
query56.sql
675
459
query57.sql
2627
2559
query59.sql
1711
1618
query60.sql
687
465
query63.sql
805
776
query66.sql
433
430
query68.sql
352
320
query70.sql
1261
3961
query71.sql
677
475
query73.sql
339
237
query76.sql
662
378
query82.sql
758
688
query83.sql
309
320
query86.sql
186
152
query87.sql
792
613
query89.sql
809
776
query97.sql
880
712
query98.sql
838
789



SSD 云盘环境的 GooseFS、CHDFS 以及 COSN 的对比测试结果：



SQL case
case200_S5_SSD云盘-GooseFS
case201_S5_SSD云盘-CHDFS
case204_S5_SSD云盘-COSN
 
30353
36820
41803
query1.sql
194
212
205
query2.sql
1377
1558
1921
query3.sql
463
457
570
query8.sql
294
394
509
query12.sql
287
307
347
query13.sql
307
668
814
query15.sql
837
867
1074
query19.sql
354
512
586
query20.sql
576
554
680
query21.sql
213
196
210
query22.sql
111
109
107
query26.sql
806
882
973
query31.sql
972
1328
1817
query32.sql
778
949
1453
query33.sql
524
779
1049
query34.sql
292
428
526
query36.sql
479
545
688
query37.sql
449
500
679
query38.sql
691
868
1210
query39.sql
695
565
654
query40.sql
1098
1082
1251
query43.sql
304
378
514
query45.sql
506
568
628
query46.sql
412
557
610
query48.sql
437
697
847
query52.sql
242
328
501
query53.sql
946
899
1058
query55.sql
244
351
485
query56.sql
520
704
925
query57.sql
3223
2914
3469
query59.sql
1965
1930
2302
query60.sql
539
696
905
query63.sql
935
934
1025
query66.sql
543
593
584
query68.sql
380
570
578
query70.sql
1430
4173
1608
query71.sql
536
780
951
query73.sql
282
384
547
query76.sql
368
648
981
query82.sql
796
828
972
query83.sql
369
353
378
query86.sql
163
184
219
query87.sql
712
896
1038
query89.sql
951
924
1050
query97.sql
801
871
1213
query98.sql
952
900
1092
                                                        
本文来自投稿，不代表聚云网立场，如若存在侵权问题，请联系本站，本站将及时删除。