GaussDB(for Cassandra)新特性發(fā)布：支持Lucene二級索引，讓復(fù)雜查詢更智能

今天，華為云GaussDB(for Cassandra)攜__Lucene引擎全新解決方案__來啦！

當(dāng)前，互聯(lián)網(wǎng)、大數(shù)據(jù)飛速發(fā)展，數(shù)據(jù)量呈爆發(fā)式增長，在高并發(fā)、高可用、高擴展性的業(yè)務(wù)需求推動下，NoSQL數(shù)據(jù)庫成為了越來越多場景的剛需。但在查詢方面，傳統(tǒng)的NoSQL卻有一定的局限性，嚴格來說，像開源MongoDB、Cassandra、Hbase等都不具備海量數(shù)據(jù)的多維查詢、文本檢索、統(tǒng)計分析等能力。多數(shù)企業(yè)仍然在尋求一套更完美的NoSQL解決方案。

華為云原生多模數(shù)據(jù)庫GaussDB NoSQL擁有強大的生態(tài)體系，支持鍵值、寬表、文檔、時序四種引擎接口。其中，寬表引擎接口GaussDB(for Cassandra)現(xiàn)已發(fā)布Lucene二級索引功能，既具備NoSQL的優(yōu)勢，又能支持多種復(fù)雜查詢場景，全面提升用戶在海量數(shù)據(jù)場景下的查詢體驗，憑實力寵粉！相信大家一定有很多疑問，GaussDB(for Cassandra)是什么？二級索引如何使用？Lucene二級索引又有哪些區(qū)別？別著急，接下來讓我們一一解讀。

什么是GaussDB(for Cassandra)？

GaussDB(for Cassandra)是一款基于華為自研、采用計算存儲分離架構(gòu)的分布式云數(shù)據(jù)庫，在高性能、高可用、高可靠、高安全、可彈性伸縮的基礎(chǔ)上，提供了一鍵部署、備份恢復(fù)、監(jiān)控報警等服務(wù)能力；并高度兼容開源Cassandra接口，提供高讀寫性能。當(dāng)前已經(jīng)廣泛應(yīng)用于IoT、氣象、互聯(lián)網(wǎng)、游戲等諸多領(lǐng)域。

什么是二級索引？

我們先來了解下索引的概念。索引是為了加快數(shù)據(jù)檢索速度而創(chuàng)建的一種存儲結(jié)構(gòu)，是一種以空間換時間的設(shè)計思想。作用可以理解為書的目錄，通過目錄可快速定位到所需要的內(nèi)容。

在Cassandra中，Primary Key就是索引（也被稱為一級索引），在查詢的時候，根據(jù)Primary Key可以直接檢索到對應(yīng)的記錄。而二級索引又稱輔助索引，是為了幫助定位到一級索引，然后再根據(jù)一級索引找到對應(yīng)記錄。我們平時使用CREATE INDEX語句建立的就是二級索引。

當(dāng)前Cassandra二級索引的痛點有哪些？

原生Cassandra中二級索引的實現(xiàn)其實是創(chuàng)建了一張隱式的表，該表的Primary Key是創(chuàng)建索引的列，值為對應(yīng)的Primary Key，實現(xiàn)相對簡單，因此不可避免地帶來了一些約束條件：

1.第一主鍵只能用“=”查詢；

2.第二主鍵可以使用“=、>、<、>=、<=”；

3.索引列只支持“=”查詢；

4.刪除、更新太過頻繁的列不適合建立索引；

5.High-cardinality列不適合做索引；

基于以上約束，Cassandra二級索引能提供的查詢功能非常有限。

Why Lucene？

Lucene是當(dāng)下最火的開源全文檢索引擎工具，具有以下特點：

1.穩(wěn)定、索引性能高；

2.是高效、準(zhǔn)確、高性能的搜索算法；

3.具備豐富的查詢類型：支持短語查詢、通配符查詢、近似查詢、范圍查詢等；

4.有強大的開源社區(qū)支持，可維護性好；

因此，用集成Lucene引擎來補充Cassandra查詢能力的弱點是最佳選擇，畢竟誰又會拒絕一款性能穩(wěn)定、持續(xù)成長、又更新迭代的搜索引擎呢？

Lucene引擎強大的倒排索引和列式存儲能力，賦予了GaussDB(for Cassandra)高效的多維查詢、文本檢索、統(tǒng)計分析等能力，在使用體驗上和原生二級索引相似，但同時擁有了更為豐富的語法支持。

使用Lucene二級索引后，我的查詢發(fā)生了哪些變化？

更加靈活的查詢、過濾方式：

所有查詢均可不帶PK或者帶部分PK，并且索引列支持 “>、<、in”等操作符，用戶不需要再局限于只使用“=”。

強大的文本檢索能力：

文本檢索能力正是Lucene最擅長的，使用起來十分方便，只需要通過關(guān)鍵詞like即可實現(xiàn)。

你可以這樣：

SELECT \\* FROM example WHERE field LIKE 'test%';   // 前綴查詢

也可以這樣：

SELECT \\* FROM example WHERE field LIKE 'start\\*end';   // 正則匹配

還可以這樣：

SELECT \\* FROM example WHERE field LIKE '%\\+lucene \\+index%';   // 全文搜索功能，性能高效，穩(wěn)定

支持超萬億規(guī)格的大數(shù)據(jù)量統(tǒng)計：

SELECT count\\(\\*\\) FROM example WHERE field1>\\-1 AND EXPR\\(field2, 'count'\\);

多種刪除方式：

支持single單行刪除、partition分區(qū)刪除、range范圍刪除，全方位覆蓋各種刪除場景。

DELETE FROM example WHERE pk1='a' AND field=1;   // single單行刪除

DELETE FROM example WHERE pk1='a' AND pk2=5000;   // partition分區(qū)刪除

DELETE FROM example WHERE pk1='a' AND pk2=3000 AND ck1=2 AND ck2>'a' AND ck2<'c';   // range范圍刪除

支持擴展json查詢接口，輕松應(yīng)對各種復(fù)雜查詢場景：

擴展的json查詢接口提供了豐富的查詢語法，用法更多樣化。以下是關(guān)鍵字列表：

filter

在查詢語句中json查詢的關(guān)鍵字

term

查詢時判斷某個document是否包含某個具體的值，不會對被查詢的值進行分詞查詢

match

將被詢值進行分詞，進行全文檢索

range

查詢指定某個字段在某個特定的范圍(范圍查詢子關(guān)鍵字："eq"/"gte"/"gt"/"lte"/"lt")

bool

必須和 "must"、"should"、"must not" 一起組合出復(fù)雜的查詢

must

bool類型的子查詢，類型為list，封裝"term"、"match"、"range" 查詢

should

bool類型的子查詢，類型為list，封裝"term"、"match"、"range" 查詢

must not

bool類型的子查詢，類型為list，封裝"term"、"match"、"range" 查詢

舉個栗子：

SELECT \\* FROM example WHERE EXPR\\(index\\_field, '\\{"filter": \\{"bool": \\{"should": \\[\\{"bool": \\{"should": \\[\\{"bool": \\{"must": \\[\\{"bool": \\{"should": \\[\\{"range": \\{"ck1": \\{"lt": 2\\}, "ck1": \\{"gte": 4\\}\\}\\}\\]\\}\\}, \\{"bool": \\{"should": \\[\\{"range": \\{"field1": \\{"lt": 2\\}, "field1": \\{"gt": 3\\}\\}\\}\\]\\}\\}\\]\\}\\}, \\{"bool": \\{"should": \\[\\{"term": \\{"pk1": "a", "pk1": "b", "pk1": "c"\\}\\}\\]\\}\\}\\]\\}\\}, \\{"bool": \\{"must": \\[\\{"range": \\{"field2": \\{"gte":5, "lte": 15\\}, "pk2": \\{"gt": 2000\\}\\}\\}\\]\\}\\}\\]\\}\\}\\}'\\)

通過條件組合加嵌套，您可以DIY符合自身業(yè)務(wù)的sql語句，并且最高支持200層json嵌套，再復(fù)雜的場景也能處理！

華為云GaussDB(for Cassandra)搭載Lucene引擎，通過Lucene二級索引將搜索能力下沉至底層，從根本上解放了應(yīng)用層查詢，兼具多維查詢、文本檢索、統(tǒng)計分析等多種能力，可以完美地彌補NoSql弱查詢功能的短板，讓企業(yè)從容應(yīng)對海量數(shù)據(jù)的復(fù)雜查詢場景。還等什么，速來體驗吧！
審核編輯：湯梓紅