華夏基金對市面上多家數據庫進行調研測試,從性能、語言學習成本和技術服務等多方面進行綜合考量,最終選擇高性能時序數據庫 DolphinDB。本文將分享華夏基金使用 DolphinDB 的業務實踐。
本文作者:華夏基金 金融科技部高級副總裁 楊雪松,高級工程師 李乾鵬
目前我們主要研究日頻或日頻以下的中低頻因子,需要日常維護、管理和計算公共因子或用戶自定義的因子,同時進行因子的策略回測。實際生產數據已超過1TB。在使用 DolphinDB 前,我們的研究員需要自己編寫大數據的回測系統,手動改換參數和進行壓力測試。比如進行10年滬深300的日頻調倉回測需要2個小時,研發效率低下、較難滿足實際業務需求。
為了有效提升策略回測效率、改善研發環境,我們想要搭建一套全新的系統。在對比測試國內外多家數據庫后,我們選擇了高性能的時序數據庫 DolphinDB。
使用 DolphinDB 研究策略和開發引擎
我們主要使用 DolphinDB 解決策略研究的相關問題。首先使用 DataX 將異構原始數據導入 DolphinDB,再借助 DolphinDB 的分布式計算框架和豐富的金融函數庫生成技術指標,在提升效率的同時大大縮短了開發周期。然后基于技術指標生成公共因子和用戶自定義因子,同時根據股票數據進行策略回測。最后分析回測結果如收益分析、歸因分析等。
目前我們已經使用 DolphinDB 研發出數百個公共因子,利用 module 功能將其形成一個因子庫,供研究員和基金經理使用。以下為策略研發流程圖:
此外,我們借助 DolphinDB 研發了指標選股引擎、單因子分析引擎和策略回測引擎。其中,我們使用 DolphinDB 成功開發的基于事件和向量融合的策略回測引擎,性能非常優秀,在業務方面得到了極大的認可。
數據庫選型
我們在選型時從多方面對比 InfluxDB、ClickHouse、KDB+、DorisDB 和 DolphinDB。
·InfluxDB 不支持量化金融的常用函數,在性能測試中相比 DolphinDB 差了一個數量級。
·KDB+ 語言晦澀,價格昂貴,缺乏國內的技術支持團隊。
·ClickHouse 的性能不及 DolphinDB,函數的共通性較弱,并且作為開源軟件對集群的支持性并不是很好。
·DorisDB 的性能未能完全滿足我們的業務需求。
同時,我們對 DolphinDB 進行以下綜合考量:
·DolphinDB 在海量存儲、實時計算、查詢等方面的性能表現極佳。
·DolphinDB 提供豐富的金融常用函數。
·不管在 windows 還是 linux 系統中,輕量級的 DolphinDB 部署起來都很方便。
·DolphinDB 的語言是 SQL 和 Python 結合,學習成本低,我們的正式員工經過1-2周的學習就可以基本上手。
·DolphinDB 有豐富的文檔資料和國內專業的技術支持團隊,我們在使用時遇到問題,不僅可以查閱手冊,也可以尋找技術團隊支持,及時解決問題。
DolphinDB 帶來的業務效果提升
使用 DolphinDB 加快了許多業務的周期,尤其是策略回測、指標計算和因子計算等方面的提升效果很明顯。相比使用傳統數據庫,DolphinDB 的速度可以提高一個數量級。開頭提到,我們之前進行10年滬深300的日頻調倉回測需要花費2個小時,但是在使用 DolphinDB 后整個過程不超過1分鐘,提升效率超過100倍。
與 DolphinDB 的未來合作計劃
我們計劃借助 DolphinDB 搭建一個量化相關的數據平臺,把第三方數據源的數據都導入到 DolphinDB 中,這樣業務員在使用時可以調用統一的對外暴露接口查詢各個數據庫的相關數據。同時我們在研究 level2 的高頻因子。在預演中,每天的新增數據量接近40GB,加上歷史數據總計幾十 TB,這對數據庫的性能提出更高的要求。希望和 DolphinDB 繼續保持友好合作。
本文為企業推廣,本網站不做任何建議,僅提供參考,作為信息展示!
推薦閱讀:葉紫網
網友評論
請登錄后進行評論|
0條評論
請文明發言,還可以輸入140字
您的評論已經發表成功,請等候審核
小提示:您要為您發表的言論后果負責,請各位遵守法紀注意語言文明