在用戶至上、體驗為王、唯快不破的移動互聯(lián)網(wǎng)時代,借著在測試領(lǐng)域的七年工作經(jīng)驗積累來簡單談談質(zhì)量工程師可以參考的幾點工作思路。
思路一:關(guān)于質(zhì)量和過程的兩個進階
其一,質(zhì)量上的進階:從程序質(zhì)量、用戶體驗再到產(chǎn)品品質(zhì)。要引領(lǐng)品質(zhì),輸出QA的價值。
《京東技術(shù)解密》中有一段話,“技術(shù)需要分三步走,支持業(yè)務,驅(qū)動業(yè)務,再到引領(lǐng)業(yè)務”,受益匪淺,QA的質(zhì)量價值輸出同樣也需要如此進階的過程:作為支撐部門,負責程序質(zhì)量是我們工作的基本面,到達第一個層級“支持業(yè)務”;從程序質(zhì)量到用戶體驗,驅(qū)動業(yè)務體驗迭代越來越好,做到第二個層級“驅(qū)動業(yè)務”。QA作為用戶的代言人,從體驗到品質(zhì),樹立產(chǎn)品的用戶口碑,以最好的體驗領(lǐng)跑市場,力爭第三個層級“引領(lǐng)品質(zhì)”。
如下表格簡要列出“程序質(zhì)量”、 “用戶體驗”、“產(chǎn)品品質(zhì)”過程中的工程手段以及關(guān)鍵性指標。
第二,過程上的進階:從線下持續(xù)集成、灰度質(zhì)量收斂再到線上質(zhì)量監(jiān)控。做全流程質(zhì)量保障。
1. 持續(xù)集成 ,小步快跑,快速迭代。
持續(xù)集成是把線下測試能力,包括代碼檢查、編譯、自動化、性能、系統(tǒng)測試等集成起來,用自動化方式來統(tǒng)一質(zhì)量標準并規(guī)范流程,將集成性問題盡早發(fā)現(xiàn)并充分暴露,同時驗證對其他模塊和整個系統(tǒng)的影響,提升系統(tǒng)管控能力,保證發(fā)布的時間確定性。
2. 灰度收斂,最少的用戶暴露盡可能多的問題并快速修復。
灰度能力建設(shè)包括精準推送(選取什么樣的用戶)、效果評估(發(fā)現(xiàn)問題)和止損修復(解決問題)。
3. 線上監(jiān)控,QA的著力點應在業(yè)務質(zhì)量和用戶反饋。
QA做業(yè)務質(zhì)量監(jiān)控可以考慮的兩個維度:用戶視角,橫向上質(zhì)量標準體系呈現(xiàn),一覽全局;全局視角,縱向上核心質(zhì)量全景刻畫,云端各關(guān)聯(lián)模塊的信息聯(lián)動,預防和解釋業(yè)務變化的根本原因,見微知著。
在線上和線下兩個過程中的QA工作實踐中,會有很多同學碰到一些重線上還是重線下的困惑,實則線上和線下雙手都要抓,先線下再線上,用線上的問題來復盤線下。一方面移動互聯(lián)網(wǎng)時代場景、設(shè)備、網(wǎng)絡(luò)的復雜性加劇在線下收斂所有問題的困難度,而且所有線下工作最后都體現(xiàn)在線上,質(zhì)量工作離不開線上;另一方面若不重視線下,會帶來線上更多的問題。每一個線上問題都值得好好復盤,為什么在線下不能發(fā)現(xiàn),進而改進線下測試能力,不挖同一個坑。
用看過的一部勵志電影《The Great Debaters》能更好的描述清楚線上和線下兩件事情的關(guān)系, To do what we have to do then we can do what we want to do。
思路二: Top問題驅(qū)動閉環(huán),立專項優(yōu)化體驗
首先回答,什么是QA的top問題?我們可從質(zhì)量、效率兩方面拆解:
一是產(chǎn)品上的用戶痛點,從用戶反饋和質(zhì)量標準數(shù)據(jù)中尋找問題,往往對應的是業(yè)務線老大難問題,比如速度慢、視頻卡頓等。
二是工作上的效率痛點,在迭代周期中尋找那些效率低下的問題,比如自動化低,迭代中問題不收斂等。
堅持思考當下的top問題,你會為接下來的工作找到很多思路。
Top問題的解決方案包括發(fā)現(xiàn)問題、定位分析、解決問題 、效果衡量。思考本身的技術(shù)拆解,逐個擊破。比如業(yè)務線端上碰到的一個top問題是iOS視頻崩潰,每天幾十人的量反饋。這項問題優(yōu)化可以拆解的技術(shù)為 1. 如何在線下復現(xiàn)這些崩潰,手工必然不靠譜,對應需要去做iOS場景的monkey測試,遍歷大量的視頻以及隨機快進后退操作來發(fā)現(xiàn)問題;2. 崩潰數(shù)據(jù)采集與分析 3. 崩潰的修復。
所以,學會堅持思考當天top 3、一個月top 3和半年top 3,從而為當天,短期、 長期訂下相關(guān)目標和計劃。通常top問題多是老大難的疑難雜癥,需要更多的韌力和堅持去攻克 ,需要具備積極的溝通和推動能力去協(xié)同多方角色一起解決。正是這些挑戰(zhàn),在解決問題的同時也會收獲很多的個人成長。
思路三:兩個即上線原理:監(jiān)控即上線、定位即上線,練就業(yè)務質(zhì)量刻畫和分析能力。
一件事情,如果你無法很好地描述它,那么你不能進行衡量,如果你也不能衡量,那么你就不能很好的管理它。所以在功能迭代中,固有一項數(shù)據(jù)需求來源于產(chǎn)品,比如消費次數(shù)、使用頻率等,用來做產(chǎn)品維度的管理。同樣質(zhì)量的管理,也需要同時產(chǎn)出一份質(zhì)量數(shù)據(jù)的埋點需求。
問題一:質(zhì)量數(shù)據(jù)需求從哪來?
站在用戶、產(chǎn)品的視角,基于對業(yè)務的理解形成判斷,列舉迭代需求中的核心功能以及用戶經(jīng)常吐槽的高風險區(qū)域,進一步去衡量這些功能點的質(zhì)量。提前把相關(guān)的數(shù)據(jù)預埋入產(chǎn)品中一同上線,上線了即可知道線上質(zhì)量如何,一旦出了問題,有了數(shù)據(jù),便能很快評估影響面、定位原因,而不會無從下手,到處抓瞎了。做到“監(jiān)控即上線,定位即上線”,快速發(fā)現(xiàn)并解決線上問題。
問題二:要如何做到有效地預埋質(zhì)量數(shù)據(jù)?
第一維度預埋監(jiān)控數(shù)據(jù):用戶可感知的質(zhì)量數(shù)據(jù),比如文件下載服務對應即是用戶感受最強烈的下載失敗率、失敗原因以及速度大??;
第二維度預埋定位數(shù)據(jù):不符合預期的質(zhì)量數(shù)據(jù),比如文件下載一般對應的是多個鏈接并發(fā)下載,每個鏈接下載的成功率、來源服務器節(jié)點、錯誤原因等。
在這個數(shù)據(jù)預埋,收集及分析的過程能夠非??简炄藢I(yè)務的深度理解能力,刻畫和分析產(chǎn)品質(zhì)量。
思路四:成為一名質(zhì)量分析師,提升系統(tǒng)性思維,風險評估及安全意識。
相對RD代碼鉆研能力,QA所擅長的是全局產(chǎn)品觀、業(yè)務整體分析能力以及用戶視角思維。運用這些優(yōu)勢服務于質(zhì)量的最佳實踐之一即是質(zhì)量分析。在思路III提供了大量數(shù)據(jù)的基礎(chǔ)上,系統(tǒng)級地剖析架構(gòu)中的各項質(zhì)量,定位出問題,哪些模塊又是長期薄弱環(huán)節(jié)需要優(yōu)化的。
下面舉典型業(yè)務線的例子來講講兩個非常普適的質(zhì)量分析方法。
A. SLA (從后往前,由服務質(zhì)量到體驗質(zhì)量):以接口調(diào)用鏈進行分解和關(guān)聯(lián),衡量指標有接口訪問成功率、錯誤碼分布以及響應時間這些指標。
如圖1所示,按架構(gòu)將服務分層分模塊,每個層級中的每個模塊都有對應的sla來衡量其服務的穩(wěn)定性狀況,能夠清晰的度量出當前產(chǎn)品的質(zhì)量全景穩(wěn)定性;進一步,按業(yè)務邏輯梳理出關(guān)聯(lián)關(guān)系,哪個模塊的不達標一則逐步向功能層級遞進,能夠判斷出對用戶當前影響的功能。
B. 業(yè)務質(zhì)量 (從前往后,由體驗質(zhì)量到服務質(zhì)量) :用業(yè)務數(shù)據(jù)流將用戶可感知的體驗質(zhì)量分拆到各模塊對應的業(yè)務質(zhì)量指標。圖2所示是拿視頻播放體驗的用戶感知到的體驗質(zhì)量如卡頓、失敗率拆解到網(wǎng)絡(luò)、服務中去的轉(zhuǎn)碼失敗率以及用戶本身網(wǎng)絡(luò)等指標。如果用戶維度的體驗變差了,看視頻變卡了,那么能從全鏈路的各環(huán)節(jié)中的關(guān)鍵性質(zhì)量指標中找到癥結(jié)并相應解決。
-
工程師
+關(guān)注
關(guān)注
59文章
1571瀏覽量
68574
發(fā)布評論請先 登錄
相關(guān)推薦
評論