MaxCompute大數(shù)據(jù)安全方案介紹

MaxCompute 是一個支持多租戶的統(tǒng)一大數(shù)據(jù)處理平臺，不同的用戶對數(shù)據(jù)安全需求不盡相同。為了滿足不同租戶對數(shù)據(jù)安全的靈活需求，MaxCompute 支持項目空間級別的安全配置，ProjectOwner 可以定制適合自己的外部賬號支持和鑒權(quán)模型并且在某種程度上保障Project的數(shù)據(jù)安全。

通常情況下，常見的開發(fā)模式為__MaxCompute+DataWorks__方式，針對這種場景下數(shù)據(jù)安全方案如下：

一、禁止數(shù)據(jù)下載到本地

禁止數(shù)據(jù)流出或下載本地

方式①：

數(shù)據(jù)保護機制也被稱之為開啟項目空間數(shù)據(jù)保護，可以通過MaxCompute console 開啟服務端禁止數(shù)據(jù)流出：

方式②：

那么更多開發(fā)者通過DataWorks進行數(shù)據(jù)分析，通常會屏顯在IDE上并且可以下載結(jié)果，這種可以通過項目管理 》 項目配置中打開“在本項目中能下載select結(jié)果”，具體如下：

那么這種情況下，在DataWorks查詢結(jié)果頁面就不可以通過“下載”按鈕進行下載數(shù)據(jù)到本地。

開啟數(shù)據(jù)保護機制后的數(shù)據(jù)流出方法

在您的Project被設置了ProjectProtection之后，您可能很快就會遇到這樣的需求：user1向您提出申請，她的確需要將某張表的數(shù)據(jù)導出您的項目空間。

而且經(jīng)過您的審查之后，那張表也的確沒有泄漏您關心的敏感數(shù)據(jù)。為了不影響user1的正常業(yè)務需要，MaxCompute為您提供了在ProjectProtection被設置之后的兩種數(shù)據(jù)導出途徑。

方式①：

ProjectOwner設置ExceptionPolicy，針對已經(jīng)開啟項目數(shù)據(jù)保護的進行開例外。具體方式如下（需要通過MaxCompute console操作）：

SET ProjectProtection=true WITH EXCEPTION 《policyFile》

這種policy不同于Policy授權(quán)（盡管它與Policy授權(quán)語法完全一樣），它只是對項目空間保護機制的例外情況的一種描述，即所有符合policy中所描述的訪問情形都可以打破ProjectProtection規(guī)則?！贰贰穚olicy詳細文檔

ProjectProtection是一種數(shù)據(jù)流向的控制，而不是訪問控制。只有在用戶能訪問數(shù)據(jù)的前提下，控制數(shù)據(jù)流向才是有意義的。

*** 另外，可以通過show grants ［for 《username》］ ［on type 《objectType》］ 查看某用戶權(quán)限，查看是否加例外成功。

方法②：

設置TrustedProject，若當前項目空間處于受保護狀態(tài)，如果將數(shù)據(jù)流出的目標空間設置為當前空間的TrustedProject，那么向目標項目空間的數(shù)據(jù)流向?qū)⒉粫灰暈橛|犯ProjectProtection規(guī)則。可以通過如下命令方式進行設置（需通過MaxCompute console進行）：

二、IP白名單控制

MaxCompute支持Project級別的IP白名單。

設置IP白名單后，只有白名單列表中的IP（console或者SDK所在的出口IP）能夠訪問這個Project。

設置IP白名單后，您需要等待五分鐘后才會生效。

切記在設置白名單的時候，加上自己當前機器IP，以免把自己屏蔽。

setproject odps.security.ip.whitelist=101.132.236.134，100.116.0.0/16，101.132.236.134-101.132.236.144;

白名單中IP列表的表示格式有三種。

單純IP：例如101.132.236.134。

子網(wǎng)掩碼：100.116.0.0/16。

網(wǎng)段：101.132.236.134-101.132.236.144。

具體詳細教程可以參考，》》》》IP白名單控制。

更精細化的管理

當然MaxCompute Policy機制也可以實現(xiàn)控制某個用戶/或者角色的用戶從具體IP地址來訪問具體資源（表、UDF、資源）等。

Policy樣例：

授權(quán)用戶alice@aliyun.com只能在“2013-11-11T23:59:59Z”這個時間點之前、只能從“10.32.180.0/23”這個IP段提交請求， 只允許在項目空間prj1中執(zhí)行CreateInstance， CreateTable和 List操作，禁止刪除prj1下的任何table。具體可以參考Policy文檔。

三、數(shù)據(jù)保護傘（數(shù)據(jù)脫敏）

數(shù)據(jù)保護傘為DataWorks的一個數(shù)據(jù)安全模塊，具體可以通過點擊進入進行了解，其包括數(shù)據(jù)脫敏、安全審計等。https://help.aliyun.com/document_detail/86320.html

可以針對敏感數(shù)據(jù)在DataWorks屏顯進行加**顯示，如下圖所示：

注意：數(shù)據(jù)保護傘是DataWorks的一個模塊，如果使用了數(shù)據(jù)保護傘且進行了數(shù)據(jù)脫敏，但是通過console進行tunnel download還是未脫敏狀態(tài)。

四、細粒度的權(quán)限管控

1、列級別LabelSecurity訪問控制

項目空間中的LabelSecurity安全機制默認是關閉的，ProjectOwner可以自行開啟。

【應用場景】

場景說明：user_profile是某項目空間中的一張含有敏感數(shù)據(jù)的表，它包含有100列，其中有5列包含敏感數(shù)據(jù)：id_card， credit_card， mobile， user_addr， birthday. 當前的DAC機制中已經(jīng)授權(quán)了所有用戶對該表的Select操作。ProjectOwner希望除了Admin之外，所有用戶都不允許訪問那5列敏感數(shù)據(jù)。

ProjectOwner操作步驟如下：

Alice是項目空間中的一員，由于業(yè)務需要，她要申請訪問user_profile的mobile列的數(shù)據(jù)，需要訪問1周時間。項目空間管理員操作步驟如下：

GRANT LABEL 2 ON TABLE user_profile TO USER alice WITH EXP 7;

更多關于列級別安全控制文檔：https://help.aliyun.com/document_detail/34604.html

2、Role Policy管理自定義Role

很多用戶會因為DataWorks內(nèi)置的數(shù)據(jù)開發(fā)、運維、管理員等角色不能滿足其個性化需求，會基于ACL創(chuàng)建符合自己業(yè)務邏輯的角色如數(shù)據(jù)分析師、ETL開發(fā)等，基于這些role如何進行復雜的授權(quán)，如批量授予ods_開頭的表權(quán)限，但限制條件的，以及Deny類型的角色，這個時候就需要結(jié)合Role policy來精細化管理。

一次操作對一組對象進行授權(quán)，如所有的函數(shù)、所有以”taobao”開頭的表。

帶限制條件的授權(quán)，如授權(quán)只會在指定的時段內(nèi)才會生效、當請求者從指定的IP地址發(fā)起請求時授權(quán)才會生效、或者只允許用戶使用SQL（而不允許其它類型的Task）來訪問某張表。

方式①：

Policy操作代碼如下所示：

更多關于Policy的介紹以及操作詳見文檔：http://www.aiwanba.net/plugin/odps-doc/prddoc/odps_security/odps_sec_authorization_dac.html

方式②：

通過DataWorks-項目管理-MaxCompute配置-自定義用戶角色中進行。

創(chuàng)建步驟：

【新增角色】點擊新建角色，填寫角色名稱，勾選需要加入該角色的賬號（子賬號用戶）。

【角色授權(quán)】包括兩種一個是表一個是項目。以表為例：

選擇需要授權(quán)的表，并賦予相應的操作權(quán)限，如下所示針對具體表賦予具體權(quán)限。

說明：上述兩種方式最大的區(qū)別就是，role policy可以進行批量表授權(quán)，如以taobao_開頭的。但是DataWorks大的方式需要逐個表來進行篩選并配置權(quán)限。

四、JDBC 2.4（數(shù)據(jù)安全加固）

MaxCompute JDBC 2.4針對數(shù)據(jù)安全加固做了一定的挑戰(zhàn)，具體JDBC地址：https://github.com/aliyun/aliyun-odps-jdbc/releases

在JDBC中使用數(shù)據(jù)安全加固方案具體步驟：

下載JDBC 2.4（建議）

配置jdbc url，通常如下制定Tunnel endpoint地址，如 jdbc:odps:http://service.cn.maxcompute.aliyun-inc.com/api？tunnelEndpoint=http://dt.cn-shanghai.maxcompute.aliyun-inc.com。

具體region對應的MaxCompute Endpoint和Tunnel Endpoint可以參考文檔：https://help.aliyun.com/document_detail/34951.html

開啟項目保護SET ProjectProtection=true，不需要加exception例外，具體可以想見項目保護機制章節(jié)。

打開控制返回數(shù)據(jù)條數(shù)：setproject READ_TABLE_MAX_ROW=1000;

基于JDBC的工具進行查詢，數(shù)據(jù)返回條數(shù)會控制在1000條以內(nèi)。

說明：如果使用的版本小于JDBC 2.4，并且開啟了項目保護那么通過JDBC方式會直接報錯（無權(quán)限）。

作者：云棲社區(qū) 祎休