數(shù)據(jù)對(duì)于任何一個(gè)企業(yè)來說都是非常重要的，為了保證數(shù)據(jù) ETL 流程的質(zhì)量及效率，很多公司都會(huì)引入 ETL 工具。目前 ETL 工具有很多，但是針對(duì) ETL 測(cè)試的測(cè)試工具在業(yè)界卻比較少見。這是為什么呢？

主要是因?yàn)樵谌粘?ETL 測(cè)試過程中會(huì)遇到很多問題，特別是 Hive SQL 類測(cè)試的問題：

（1）測(cè)試以手動(dòng)測(cè)試為主，缺少自動(dòng)化工具；

（2）缺少與數(shù)據(jù)質(zhì)量相關(guān)的分析工具；

（3）測(cè)試中需要重復(fù)編寫SQL語句，效率較低；

（4）運(yùn)行SQL語句耗時(shí)太長(zhǎng)，嚴(yán)重拖慢測(cè)試進(jìn)度；

（5）shell窗口中的查詢結(jié)果不易保存，HUE的查詢結(jié)果易過期且需要手動(dòng)操作保存；

（6）數(shù)據(jù)同步場(chǎng)景及ETL場(chǎng)景下，需要對(duì)比源表和目標(biāo)表一致性，缺少對(duì)比工具；

（7）實(shí)時(shí)數(shù)據(jù)處理場(chǎng)景對(duì)數(shù)據(jù)時(shí)效性要求高，測(cè)試時(shí)場(chǎng)景難以模擬，問題難以復(fù)現(xiàn)；

（8）常用測(cè)試場(chǎng)景下的用例重復(fù)，例如，對(duì)拉鏈表測(cè)試、MapReduce腳本的測(cè)試缺少通用的測(cè)試覆蓋用例；

（9）缺少Hive與HBase一致性對(duì)比工具。

總的來說，大數(shù)據(jù)測(cè)試存在門檻高、測(cè)試效率較低、測(cè)試覆蓋不全、測(cè)試場(chǎng)景不易復(fù)現(xiàn)、 測(cè)試問題難以定位等問題，今天異步君就給大家介紹一款可以解決上述問題的超好用大數(shù)據(jù)測(cè)試工具——easy_data_test。

easy_data_test

easy_data_test 是用Python編寫的，目前它的主要功能有：

（1）支持單表數(shù)據(jù)量、列空值數(shù)據(jù)量、列非空值數(shù)據(jù)量、列最大值、列最小值、列不同值、不同值數(shù)據(jù)量查詢，支持對(duì)表結(jié)構(gòu)、任意 select 語句的查詢，支持表基本信息查詢、值域分析、異常值分析、手機(jī)號(hào)合規(guī)性分析、ID 合規(guī)性分析。

（2）支持雙表數(shù)據(jù)量對(duì)比、列空值數(shù)據(jù)量對(duì)比、列非空值數(shù)據(jù)量對(duì)比、表結(jié)構(gòu)對(duì)比、Hive 雙表一致性對(duì)比、Hive 與 HBase 一致性對(duì)比。

（3）支持查看主備集群及庫(kù)切換、庫(kù)表集群信息。

（4）支持實(shí)時(shí)查看歷史執(zhí)行命令及結(jié)果，以 HTML 頁面展示全表分析，以 HTML 頁面展示值域，以 HTML 頁面展示 Hive 雙表一致性分析結(jié)果。

（5）支持拉鏈表通用測(cè)試（判斷拉鏈表是否斷鏈，判斷拉鏈表日期正確性，對(duì)比拉鏈表與臨時(shí)表數(shù)據(jù)量、數(shù)值）

easy_data_test功能如此強(qiáng)大，是如何實(shí)現(xiàn)的呢？異步君拿到了獨(dú)家資料，從這個(gè)工具的模塊設(shè)計(jì)到技術(shù)選型、再到代碼實(shí)現(xiàn)通通都有，干貨滿滿！下面就讓我們來詳細(xì)看看吧。

模塊設(shè)計(jì)

話不多說，直接上圖：

easy_data_test 模塊設(shè)計(jì)

如圖所示，用戶運(yùn)行 easy_data_test 工具后，可以通過 ./easy_data_test –help 命令查看所有非交互式命令，使用 stdin.readline() 來獲取用戶輸入的語句。

如果沒有指定 -f 或者 -e 就會(huì)進(jìn)入交互式命令行模式。進(jìn)入交互式模式后，程序通過 raw_input 函數(shù)獲取用戶輸入的命令，并根據(jù)命令的首個(gè)關(guān)鍵字執(zhí)行對(duì)應(yīng)的函數(shù)。函數(shù)中封裝了一條或多條 SQL 語句，通過 Presto 讀取 Hive 元數(shù)據(jù)，或通過 pyHive 的 Hive 模塊連接 Hive。

部分執(zhí)行結(jié)果展示在終端頁面，并存儲(chǔ)在查詢歷史命令及結(jié)果文件中。部分命令執(zhí)行完畢后會(huì)生成 url，通過瀏覽器可以查看相應(yīng)命令的執(zhí)行結(jié)果。

不同的首個(gè)關(guān)鍵字對(duì)應(yīng)不同的功能模塊，通常每個(gè)功能模塊包含多個(gè)執(zhí)行函數(shù)。

技術(shù)選型

業(yè)內(nèi)常用的 Python 連接 Hive 的工具有 Presto、pyHive、impala 及 pyhs2 等。設(shè)計(jì)人員在經(jīng)過執(zhí)行效率及公司現(xiàn)有環(huán)境綜合比較后，最終選擇了 Presto 作為查詢主要工具。

Presto 是由 Facebook 公司開發(fā)的、一個(gè)運(yùn)行在多臺(tái)服務(wù)器上的分布式查詢引擎。本身雖然并不存儲(chǔ)數(shù)據(jù)，但是可以接入多種數(shù)據(jù)源（Hive、HBase、Oracle、MySQL、Kafka、Redis 等），并且支持跨數(shù)據(jù)源的級(jí)聯(lián)查詢。

Presto 所使用的執(zhí)行模式與 Hive 有根本的不同，大部分場(chǎng)景下 Presto 比 Hive 快一個(gè)數(shù)量級(jí)。Presto 接受請(qǐng)求后，立即執(zhí)行，全內(nèi)存并行計(jì)算；Hive 需要用 Yarn 做資源調(diào)度，為了接受查詢，需要先申請(qǐng)資源，啟動(dòng)進(jìn)程，并且采用 MapReduce 計(jì)算模型，中間結(jié)果會(huì)保存在磁盤上，所以速度就相對(duì)較慢。

使用 easy_data_test 過程中，有時(shí)會(huì)發(fā)現(xiàn) Presto 存在部分 HiveQL 不兼容問題，例如，show tables like a* 命令無法執(zhí)行，表結(jié)構(gòu)查詢與預(yù)期不符，執(zhí)行切換庫(kù)操作報(bào)錯(cuò)時(shí)不拋出異常等。

考慮到 Presto 部分功能缺失帶來的問題，于是設(shè)計(jì)人員選擇 pyHive 作為功能彌補(bǔ)工具，在執(zhí)行特定 SQL 語句時(shí)會(huì)切換到 pyHive 去連接 Hive 執(zhí)行。

區(qū)別于 Hive，需要格外注意的是，Presto 不支持隱式轉(zhuǎn)換。例如，Hive 會(huì)成功執(zhí)行以下語句：

select count(1) from sample_label where label <> ";

但是使用 Presto 執(zhí)行就會(huì)報(bào)告以下錯(cuò)誤；

PrestoUserError(type=USER_ERROR, name=SYNTAX_ERROR, message="line 1:83: '<>' cannot be applied to integer, varchar(0)", query_id=20191106_024551_ 01370_8ukjc)

報(bào)錯(cuò)原因是，label 列定義的類型為 integer，在使用 Presto 時(shí)直接將該列與空字符做比較，Presto 不支持隱式轉(zhuǎn)換。對(duì)于該類問題，使用時(shí)只需將 label 顯式轉(zhuǎn)換為 string 或者 varchar 類型即可解決。

select count(1) from sample_label where cast(label as string) <> ";

從以上內(nèi)容已經(jīng)不難看出研發(fā)人員的匠心，最后我們直接來看一看 easy_data_test 的模塊代碼。

模塊代碼

入口函數(shù)如下：

1 def main(options, hostname, port): 2 setup_cqlruleset(options.cqlmodule) 3 setup_cqldocs(options.cqlmodule) 4 # 初始化歷史執(zhí)行命令及結(jié)果文件 5 init_history() 6 if options.file is None: 7 stdin = None 8 else: 9 try:10 encoding, bom_size = get_file_encoding_bomsize(options.file) 11 stdin = codecs.open(options.file, 'r', encoding) 12 stdin.seek(bom_size) 13 except IOError, e: 14 sys.exit("Can't open %r: %s" % (options.file, e)) 15 16 try: 17 # 初始化Shell，該類繼承自cmd.Cmd 18 shell = Shell(hostname,19 port, 20 database=options.database, 21 username=options.username, 22 password=options.password, 23 stdin=stdin, 24 tty=options.tty, 25 completekey=options.completekey, 26 single_statement=options.execute, 27 connect_timeout=DEFAULT_CONNECT_TIMEOUT_SECONDS) 28 except KeyboardInterrupt: 29 sys.exit('Connection aborted.') 30 except Exception, e: 31 sys.exit('Connection error: %s' % (e,)) 32 if options.debug: 33 shell.debug = True 34 35 # 通過交互式命令循環(huán)處理 36 shell.cmdloop() 37 batch_mode = options.file or options.execute 38 if batch_mode and shell.statement_error: 39 sys.exit(2) 40 41 42 if __name__ == '__main__': 43 main(*read_options(sys.argv[1:], os.environ))

通過 Presto 連接 Hive 的代碼如下：

1 import prestodb 2 conn=prestodb.dbapi.connect( 3 host= ip, 4 port=8443, 5 user='username', 6 catalog='hive', 7 schema='default', 8 http_scheme='https', 9 auth=prestodb.auth.BasicAuthentication("username", "username的密碼"), 10 ) 11 conn._http_session.verify = './presto.pem' #身份認(rèn)證相關(guān)文件 12 cur = conn.cursor() 13 cur.execute('SELECT * FROM system.runtime.nodes') 14 rows = cur.fetchall() 15 print rows

為了使用 Hive 查詢?nèi)頂?shù)據(jù)量，需要執(zhí)行 SQL 語句 select count(*) from tablename。使用工具代碼封裝后，查詢表數(shù)據(jù)只需要使用 count tablename 即可實(shí)現(xiàn)，且查詢效率比使用原生 Hive 快一個(gè)數(shù)量級(jí)。查詢結(jié)果保存在歷史文件中，可以使用相關(guān)命令查看。

關(guān)于單表模塊的命令有多個(gè)，count 命令的代碼如下：

1 class SigleTableAnalysis(cmd.Cmd): 2 # count table，查詢表數(shù)據(jù)量，支持傳入where條件 3 @classmethod 4 def do_count(self, parsed, print_command=True, print_res=True): 5 try: 6 table_name = parsed.split(' ')[1].strip(';') 7 statement = 'select count(1) from %s' % table_name 8 if len(parsed.split(' ')) >=3 and parsed.split(' ')[2].strip() == 'where': 9 wherecondition = ' '.join(parsed.split(' ')[3:]) 10 statement = statement  ' where '   wherecondition 11 status, res = perform_simple_statement(statement, detail=False, print_  command=print_command, print_res=print_res) 12 if not print_res: 13 return status, res 14 except IndexError as e: 15 print('please check whether your command is right') 16 except Exception as e: 17 import traceback18 print('%s detail: %s' % (str(e), traceback.format_exc()))

其他模塊的代碼與 count 命令的代碼相似，雙表查詢模塊、拉鏈表測(cè)試模塊、數(shù)據(jù)質(zhì)量分析模塊會(huì)在單表模塊的基礎(chǔ)上進(jìn)行封裝，所以設(shè)計(jì)會(huì)更復(fù)雜一些，由于篇幅有限，異步君沒法在這里為大家更多地展示了。想要深入了解的小伙伴，推薦閱讀《機(jī)器學(xué)習(xí)測(cè)試入門與實(shí)踐》。

機(jī)器學(xué)習(xí)測(cè)試入門與實(shí)踐

作者：艾輝

內(nèi)容簡(jiǎn)介：

本書全面且系統(tǒng)地介紹了機(jī)器學(xué)習(xí)測(cè)試技術(shù)與質(zhì)量體系建設(shè)，能夠幫助讀者了解機(jī)器學(xué)習(xí)是如何工作的，了解機(jī)器學(xué)習(xí)的質(zhì)量保障是如何進(jìn)行的。

工程開發(fā)人員和測(cè)試工程師通過閱讀本書，可以系統(tǒng)化地了解大數(shù)據(jù)測(cè)試、特征測(cè)試及模型評(píng)估等知識(shí)；算法工程師通過閱讀本書，可以學(xué)習(xí)模型評(píng)測(cè)的方法和拓寬模型工程實(shí)踐的思路；技術(shù)專家和技術(shù)管理者通過閱讀本書，可以了解機(jī)器學(xué)習(xí)質(zhì)量保障與工程效能的建設(shè)方案。