大数据面试总结 - scala & sqoop

最新推荐文章于 2024-05-07 10:31:38 发布

荩辞

最新推荐文章于 2024-05-07 10:31:38 发布

阅读量1.6k

点赞数 1

分类专栏：大数据高频面试题文章标签：数据库

本文链接：https://blog.csdn.net/zlmldylinke/article/details/114003060

版权

大数据高频面试题专栏收录该内容

11 篇文章 2 订阅

订阅专栏

本文详细介绍了Sqoop在大数据环境中的使用，包括参数配置、数据一致性处理、性能优化以及解决数据倾斜问题。重点讨论了Sqoop在导入导出过程中的Null存储一致性，提出了解决方案，并分享了在数据导出到MySQL时如何确保数据一致性。此外，还提到了Sqoop一天可导入的数据量和执行时间，以及在处理Parquet数据时遇到的问题和解决办法。

摘要由CSDN通过智能技术生成

1.7 Sqoop

1.7.1 Sqoop参数

1.7.2 Sqoop导入导出Null存储一致性问题

1.7.3 Sqoop数据导出一致性问题

1.7.4 Sqoop底层运行的任务是什么

1.7.5 Sqoop一天导入多少数据

1.7.6 Sqoop数据导出的时候一次执行多长时间

1.7.7 Sqoop在导入数据的时候数据倾斜

1.7.8 Sqoop数据导出Parquet（项目中遇到的问题）

1.10 Scala wordcount + topn

1.7 Sqoop

1.7.1 Sqoop参数

/opt/module/sqoop/bin/sqoop import \

--connect \

--username \

--password \

--target-dir \

--delete-target-dir \

--num-mappers \

--fields-terminated-by \

--query "$2" ' and $CONDITIONS;'

1.7.2 Sqoop导入导出Null存储一致性问题

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。

1.7.3 Sqoop数据导出一致性问题

场景1：如Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时老板正好看到了这个报表数据。而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面老板再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。

官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

Since Sqoop breaks down export process into multiple transactions, it is possible that a failed export job may result in partial data being committed to the database. This can further lead to subsequent jobs failing due to insert collisions in some cases, or lead to duplicated data in others. You can overcome this problem by specifying a staging table via the --staging-table option which acts as an auxiliary table that is used to stage exported data. The staged data is finally moved to the destination table in a single transaction.

–staging-table方式

sqoop export --connect jdbc:mysql://192.168.137.10:3306/user_behavior --username root --password 123456 --table app_cource_study_report --columns watch_video_cnt,complete_video_cnt,dt --fields-terminated-by "\t" --export-dir "/user/hive/warehouse/tmp.db/app_cource_study_analysis_${day}" --staging-table app_cource_study_report_tmp --clear-staging-table --input-null-string '\N'