谷歌上線“新型冠狀病毒公共數(shù)據(jù)集”,可免費(fèi)使用到9月15日
開(kāi)放可獲取、完整、細(xì)顆粒、及時(shí)、可機(jī)讀、結(jié)構(gòu)化數(shù)據(jù),對(duì)疫情防控尤為重要。
疫情防控,科技公司一直在行動(dòng)。
在全球疫情蔓延的情況下,3月31日,谷歌啟動(dòng)了一項(xiàng)名為“COVID-19 Public Datasets(新型冠狀病毒公共數(shù)據(jù)集)”的項(xiàng)目,托管一個(gè)與疫情相關(guān)的公共數(shù)據(jù)資料庫(kù),并免費(fèi)向外界開(kāi)放,用戶(hù)可以自由訪問(wèn),以及自由分析其中的數(shù)據(jù)信息。
“COVID-19 Public Datasets”是什么?
據(jù)項(xiàng)目官方解釋?zhuān)?ldquo;COVID-19 Public Datasets”中的數(shù)據(jù),囊括了JHU CSSE(約翰·霍普金斯大學(xué)系統(tǒng)科學(xué)與工程中心)數(shù)據(jù)集、世界銀行的全球健康數(shù)據(jù)和OpenStreetMap數(shù)據(jù),它們都被存儲(chǔ)在了Google Cloud 上,并帶有“COVID-19 ”標(biāo)簽,研究人員可以免費(fèi)訪問(wèn)和查詢(xún),并通過(guò)BigQuery ML服務(wù)(一個(gè)完全托管的數(shù)據(jù)倉(cāng)庫(kù))直接在內(nèi)部使用這些數(shù)據(jù)訓(xùn)練高級(jí)機(jī)器學(xué)習(xí)模型,直至2020年9月15日。
谷歌方面表示,“COVID-19 Public Datasets”的啟動(dòng)是為了更好的為‘以教育和研究為目的’的工作者提供賦能服務(wù),我們不會(huì)加入或管理PHI(一個(gè)致病菌的數(shù)據(jù)庫(kù))或PII(個(gè)人驗(yàn)證信息)數(shù)據(jù),希望盡最大努力阻止疫情蔓延。
不過(guò)需要注意的是,如果用戶(hù)要將“COVID-19 Public Datasets”和其它非新冠病毒數(shù)據(jù)集結(jié)合使用,那么BigQuery Sandbox將以字節(jié)為計(jì),在每月的免費(fèi)額僅有10GB存儲(chǔ)空間和1TB查詢(xún)空間之外,超出部分則按量收費(fèi)。
疫情之下,開(kāi)放數(shù)據(jù)集意味著什么?
數(shù)據(jù)統(tǒng)計(jì)顯示,截至到昨日下午2點(diǎn),全球COVID-19病毒確診感染人數(shù)已超72萬(wàn)人,死亡人數(shù)達(dá)3.4萬(wàn)人。
但與此同時(shí),正因數(shù)據(jù)量龐大、分散,研究人員面臨著極高強(qiáng)度的數(shù)據(jù)分析工作。除此之外,數(shù)據(jù)信息的不完整和部分不公開(kāi),也在一定程度上讓大眾對(duì)疫情了解不夠全面。也因此,開(kāi)放可獲取、完整、細(xì)顆粒、及時(shí)、可機(jī)讀、結(jié)構(gòu)化數(shù)據(jù)尤為重要。
此前,為加強(qiáng)全球疫情防控聯(lián)動(dòng),多個(gè)科技界、學(xué)術(shù)界機(jī)構(gòu)便聯(lián)合推出了一個(gè)公開(kāi)數(shù)據(jù)集“CORD-19”,其中涵蓋了截至3月13日之前的近3萬(wàn)篇新型冠狀病毒相關(guān)論文,以及針對(duì)文本進(jìn)行優(yōu)化的文本處理工具包SciSpacy、在科學(xué)文本上進(jìn)行預(yù)訓(xùn)練的BERT模型SciBERT、開(kāi)放研究語(yǔ)料庫(kù)和API等。
而針對(duì)谷歌的“COVID-19 Public Datasets”數(shù)據(jù)集,Descartes Labs的工程主管Sam Skillman評(píng)論稱(chēng),“谷歌在BigQuery中開(kāi)放并提供COVID-19數(shù)據(jù)將極大的推動(dòng)研究人員進(jìn)行數(shù)據(jù)分析,特別是免費(fèi)查詢(xún)服務(wù)的推出,會(huì)吸引更多人參與到這一項(xiàng)目中來(lái),這對(duì)全球數(shù)據(jù)共享、提升數(shù)據(jù)分析能力、普及病毒信息非常有幫助。”
最后,記得關(guān)注微信公眾號(hào):鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新
