1月10日,2021開源知識運動線上研討會成功舉辦。EpiK邀請清華大學信息技術研究院副院長邢春曉、中國計算機學會知識圖譜SIG主席、著名知識圖譜專家王昊奮、著名數據及知識圖譜公司創始人及項目負責人王會珍等重量級嘉賓參與,各位專家學者紛紛發表主題演講,為開源知識運動做了不同角度的解讀。
今天我們來分享東北大學計算機應用專業博士、小牛思拓(北京)科技有限公司,董事長兼CEO王會珍主題演講《數據標注助力知識獲取》,全文如下:
謝謝主持人的介紹,感謝Epik的邀請,很高興參加今天的研討會,今天我的演講題目是數據標注助力知識獲取,王昊奮老師提到了知識圖譜的構建和審核,邢老師講解了區塊鏈的發展趨勢,同時也提及了數據體系的構建融合,這種跨領域的數據的挖掘應用,包括知識體系的構建,實際上所有工作,我是認為都是離不開數據標注的。
小牛思拓已做了三年的數據標注服務了,今天跟大家分享這些年我們在數據標注方面的經驗。
我是東北大學自然語言處理實驗室的老師,實驗室從80年開始做自然語言處理。我從碩士博士都是做ROP方向的,在做算法時,在研究方向上發現,基本上都是在少數例題做驗證。但是2012年成立公司做產學研落地時,團隊發現實際上小數據是很難進行落地的,比如說機器翻譯。以小牛思拓的一個產品小牛翻譯為例,當前可以支持304種語言的互譯,而且翻譯質量非常好,這得益于有中英兩億個聚對后臺支撐,用深度學習的方法去訓練機器翻譯引擎。因此,在做算法或人工智能方法技術落地實踐中,數據標注就顯得更加重要。只有高質量的帶標注的數據才能支撐算法學習。
Ripple與歐盟加密項目Super How和Axiology合作,擬探索穩定幣測試發行:金色財經報道,據Ripple官方消息,Ripple已與歐盟加密項目Super How和Axiology合作,擬探索央行數字貨幣和穩定幣測試發行,據悉Super How總部位于立陶宛,他們將為Ripple提供與加密貨幣相關的項目專業知識;Axiology是一個建立在XRP Ledger之上的交易和結算代幣化證券基礎設施系統,允許當前資本市場基礎設施的多個層在單個技術層上并存,使所有流程更加高效,推出新的業務模式等等,Ripple稱此次合作量繼續傳播創新理念和技術,幫助推動區塊鏈在金融領域的采用。[2023/7/22 15:51:22]
什么是數據標注?
什么是數據標注?數據標注是小牛思拓的重要業務之一。公司一開始定位的是做文本的標注。在這個層面,其實大家對圖像和聲音的標注會更熟悉,比如人臉識別標注出來加在圖片里;比如,在線會議可以直接同屏有字幕,這種可以由語音自動轉換成文字的標注。
下面是文本標注的兩個例子,其中一個是從一句話里面能標注出來實體,并要找到兩個實體間的關系;另一個是智能語音對話形式很火,如發布一個問題,首先,我們要理解出來這個問題的意圖是什么,這個問題還有很多種方法,不管是哪種方式去提問,我們都可以找到它對應的答案,所以這里面是我們一個問句復述的例子,給出一個問句,我們標注師要能夠寫出來十個句子,不同的說法,但是跟這個句子的問題都是一致的,這個是復述的例子。
接下來是從圖像、聲音、文字不同的處理對象,進行一些標注的樣例,實際上最終的都是要有大量的人工去標注好的,或者是半人工標注好的帶標數據來供機器訓練和學習。
DeFi流動性協議Squid現已支持Arbitrum:3月6日消息,基于Axelar的DeFi流動性協議Squid現已支持Arbitrum,用戶可在Arbitrum網絡與主要EVM鏈之間交換代幣。
目前,Squid已支持以太坊、Avalanche、Polygon、BNB Chain、Fantom、Moonbeam、Celo等多個網絡。[2023/3/6 12:44:48]
當前有幾千家數據標注的公司比如京東百度等都有眾包平臺,通常都是群體智慧,包括區塊鏈也是加入了很多的群體智慧。這就不得不提數據標注的重要角色—標注師,來了數據任務的時候,我們就需要給他進行任務分配,這是傳統模式。
現在我們新的模式,在兩方面進行處理,第一個,在任務層面,由于有ROP的技術,我們會做一些相似任務的訓練分析,我們認為把相似的問題都給同樣的一批人,會提高效率。另一方面,利用一些自動的技術,比如說我剛才提到的去做關系抽取,可以做出來一個關系抽取的模型,對數據進行預處理,然后我去用模型先預標注,預標注的結果再扔給標注師,他們在里面進行審核校正,就可以提高標注的效率。這個是我們從數據模型和人員方面進行的新模式嘗試。
經過三年打磨,目前,我們團隊已形成了完善的數據標注工作流程。當我們拿到任務需求時,我們需要與用戶明確標注規范,去試標,用戶認可標注的方案和報價,彼此達成一致則正式開始標注任務。
首先,我們會對標注師進行培訓,因為每個數據標注任務都是不同的,都需要重新進行培訓。
高度為759054的比特幣區塊出塊時間超1小時:金色財經報道,據歐科云鏈OKLink多鏈瀏覽器信息顯示,高度為759054的比特幣區塊出塊時間達到了1小時25分左右。
此前報道,高度為759053的區塊由FoundryUSA礦池挖出,而高度為759054的區塊由Luxor挖出,導致約1.3萬筆交易無法處理,目前尚不清楚何種原因導致出塊延遲。[2022/10/17 17:29:04]
其次,培訓合格后,開始實施任務。實施的過程中我們就會有各種的質量的監控,有去完善標注的規范,再培訓。
再次,并非達成一致后就原封不動地按照客戶給確認的規范執行,小牛團隊與客戶是強溝通關系,我們不斷的從規范迭代更新,規范重新定義好以后,我們再培訓,再質檢,不合格的實時淘汰。
在標注的實施過程,我們有自己的標注工具,我們會有一些抽檢和埋雷,及時的發現標注師哪塊可能會存在質量的不合格風險。再后面還會有一些抽檢,這是在標注過程中隨時做得。在確認標注質量合格后會提交給客戶,客戶這邊進行驗收,最終結算,銷毀數據。
當前也在考慮是否可通過采用區塊鏈的技術保證數據的安全,我們現在的處理方式就是提交完客戶以后,我們會把數據進行銷毀,這個是現在整個的標注工作流程。
數據標注如何助力知識獲取?
數據標注如何來助力知識獲取呢?知識獲取簡單的說,就是我們要用機器獲取知識,有廣義的知識獲取,如機器里通過不斷的程序運行,不斷的進行知識的積累,它能夠自動的,像人有理解和舉一反三的能力一樣,不斷的對這個知識進行擴充;同時也有狹義的是如我們一直在做得,包括我們知識圖譜的人員也在做的一件事,通過程序和人機交互或者是很多的知識圖譜的工具,通過專家或者是領域專家來去構建知識庫的過程。
CoinShares 為散戶投資者推出算法交易策略平臺 HAL:9月20日消息,CoinShares 周二為散戶投資者推出了一個算法交易策略平臺。該平臺名為 HAL,將為用戶提供由 CoinShares 量化團隊設計的交易算法。該平臺最初將在該公司所在的歐洲推出,它將與主要交易所整合,逐步增加更多整合。HAL 每月收費 19.90 歐元(19.88 美元),可以隨時取消。目前用戶可以選擇的策略數量沒有限制。?[2022/9/20 7:09:10]
知識獲取的本質就是從這種爆炸性的信息里,去甄別判斷,來提取對我們有用的知識。數據標注就是知識獲取的一個過程,舉個例子,比如說你被蒙上眼睛,讓你看到瓶里是空的還是盛滿水,你會怎么做?一種方式是不用把面罩揭開,把手伸到桶里試一下,這個是一種嘗試的方法,另外一種方式是我往里面扔一個東西,聽聽發出了什么樣的聲音,就能感覺到里面應該是有東西的,是一個推理的方式。還有一種,我也不用做什么,我就詢問一下,向值得信任的人問:這個桶里是有水嗎?對方告知有水,我相信他。
不同的知識的獲取方法,實際上可以對應不同的標注類型。比如需要基于感知,把手伸進去判斷是否有水,這是一個分類標注問題;基于推理的過程需要識別理解篩選歸納,可以對應到實體的標注;比如說我從一句話里面把人名地名結構名標注出來,這是實體的標注;在句子里看到內容進行推理判斷,如這個到底是人名還是地名,這是閱讀理解的標注;還有一個,信任,這個可以對應信息檢索,我們養成了用搜索引擎的習慣,這個也是第三個標注的類別。
人們會問現在的技術這么發達了,當前的手段很先進,有爬蟲和自動抽取自動分類,還需要標注嗎?實際上我們可以靠爬蟲對數據的來源關鍵詞怎么得到的,爬取數據要怎么驗證,剛才也提到了驗證也有開源知識圖譜審核的過程,怎么歸類,怎么表示,還有自動抽取和分類之前的算法訓練數據從哪來,這個是我們現在數據標注存在的非常重要的意義,能夠去支撐前面的這些問題。
Slope回應:未在集中式服務器上存儲個人數據,仍在調查具體原因:8月4日消息,針對Solana生態錢包大規模攻擊事件,Slope發布公告稱,根據目前了解的情況,很多Slope錢包遭到入侵,Slope許多員工和創始人的錢包也被盜了。Slope關于攻擊事件起因有一些假設,但尚未確定。Slope正在積極開展內部調查和審計,與頂級外部安全和審計團隊合作;正與整個生態系統中的開發人員、安全專家和協議合作,努力識別和糾正這些問題。
Slope建議所有用戶采取以下措施:創建一個新的、獨立的種子短語錢包,并將所有資產轉移到新錢包。同樣,不建議在新錢包上使用與Slope上相同的種子短語。硬件錢包仍然是安全的。
此外,Slope的公告沒有說明是否可能與私鑰存儲問題有關。一位Slope代表告訴CoinDesk,“我們不會在集中式服務器上存儲任何個人數據。”
據此前報道,Solana?Labs首席執行官Anatoly Yakovenko最初在推特上表示,他懷疑該漏洞可能與Apple iOS供應鏈攻擊有關,但后來將源頭縮小到對Slope集中式服務器的黑客攻擊,其中私鑰似乎以純文本形式存儲。Twitter 上的其他開發人員也推測,Slope將私鑰以明文形式存儲在集中式服務器上,而攻擊者已將其破壞。(CoinDesk)[2022/8/4 2:57:58]
數據標注是構建知識庫必須的手段,也是知識獲取的一個基礎和保證,我可以人工標注的結果做算法訓練,通過人工標注進行知識的校驗。
如何進行數據標注?
今天想給大家分享的是從另一個角度來給大家介紹,一個是什么樣的標注服務是專業的。標注的速度快,標注的質量好,這個就是專業嗎?實際上我們覺得不完全是。專業的標注服務是什么樣的呢?
首先服務前建立合理的標注體系;不是用戶提了一個需求以后,就完全按照客戶的需求或者是客戶給的標注說明,原封不動的做這個數據標注,我們會在看數據的過程中會跟客戶商量,不斷的完善標注體系。
之前,我們做過上百個項目,發現實際上在最早建立標注規范的時候,客戶并沒有審查數據,因此在真實的數據場景里,這個標注規范會有千奇百怪覆蓋不到的,為此,我們會跟客戶一同構建標注體系。
其次,標注的原始數據;有一些客戶給我們提供的帶標的數據,其實里面會有一些問題,比如說會有重復的,數據標注是按條計費的,這對客戶來說是損失,包括里面相似的句子比較多,或者說句子里面覆蓋的領域或者行業不太充分,這些我們都會給客戶進行一些建議。
再次,標注服務建立完善的流程,這個流程也非常重要,是質量的一個保證。
最后,為客戶提供強有力的保障;如客戶需要兩天就出標注的結果,從理解規范培訓,前面的整個一大套的流程,就需要兩天完成;當然客戶有各種各樣的需求,因此要給用戶提供一個強有力的保障,我們達到這四點,才認為數據標注是一個專業的。
事實上,不僅僅是服從和服務的過程,我們的標注團隊還希望和客戶構建一個深度信任的合作伙伴的關系,來共同做好這件事情,使得標注出來的數據有價值。
在數據標注過程中有以下幾個環節構成,每個環節都在扮演不同的角色,比如標注師、標注規范、標注系統等等。
有人會問,什么樣的標注師是好的?標注師的學歷分布,背景,這個雖然重要,但不是最重要的。公司里面有300多個比較穩定的兼職標注師。這是我們從兩三千人里經過培訓做任務篩選下來的。專業的標注師一定是熱愛標注行業,同時充分理解用戶需求。
標注流程,標注流程不是固定的,它會根據客戶的或者我們的任務場景需求不斷的去變化,如果比較繁雜的數據,我們可能會先給他一個聚類的環節,給他聚成堆,比如軍事領域聚在一起,有一些標注人員比較擅長理解這個領域的這些數據,我們就給他分配這樣的標注師。比如說項目進度比較緊張,像剛才那么一大堆的流程,可能至少有一周的時間,我們需要根據客戶的需求來簡化流程,保障進度。
除此之外,標注規范也是比較一個需要關注的節點。這是一個必須要經過反復驗證的過程,之前客戶給我們一個規范半頁紙,在我們做完的時候標注規范已經寫了三十多頁了。因此標注規范是標注過程中不斷去完善的。標注規范要保證它的全面,也要保證標注效果。
還有一個就是標注規范的呈現形式,客戶給我們的往往都是實際上是技術人員寫的,比如說算法工程師寫的,如果讓不懂算法的人去看的時候,就會非常的麻煩,所以我們在里面還會有一個過程,就是原始規范的改寫,我們會把標注規范呈現的方式,讓標注師更容易理解。因此,在整個標注服務過程中,我們專業的標注規范,要有明確的標注內容,標注時候的規律,基本的處理原則,還有一些注意事項,所以這些都要在規范里把它都表述的非常清楚,而且要用通俗易懂的語言來描述出來。
接著是標注系統,知識圖譜構建的工具,我們這個標注系統實際上之前也開放過。標注系統可以完成各種標注任務的,當前標注系統支持圖象的二倍拉框,語音轉文字的標注,還有文本方面的標注,如實體的標注,關系標注,事件的標注,包括分類,類型的標注,問句的意圖標注,包括對話的生成等等。
標注系統實際上是為了提高我們標注效率的,這個系統的構建實際上就是需要減少標注人員在系統外的操作,會根據任務在標注系統里嵌很多,比如嵌入搜索結果,從百度搜索還有各種搜索引擎的結果,幫助標注師去理解概念,提高標注的效率和一致性,這些都會在標注系統里進行考慮。
標注過程一定是不斷的反饋更新培訓和淘汰的過程,單純的一次質檢是保證不了質量的,所以在整個的標注服務過程中,構建了四重機制,比如說質量的把控,抽檢,埋雷,多人標注,數據安全的機制,應急的預案,包括人員預留,突發事故的應急組等等,另外,我們還會有一些考慮,包括過程的控制,比如說規范的適用性,規范的確認改寫,包括培訓測試,包括狀態項目進度的監控,包括反饋機制,包括實施過程等方面,總之,通過各種機制,我們來保證標注的質量。
EpiK?Protocol?銘識協議
EpiKProtocol致力于去中心化的超大規模知識圖譜構建,通過去中心化存儲技術、去中心化自治組織和通證經濟模型,組織并激勵全球社區成員將人類各領域知識梳理成知識圖譜,共建共享并持續更新這一人類永恒知識庫,從而將人工智能(AI)的視野拓展到更智能的未來。
通證名稱:EPK
EPIK官網?:
https://www.epik-protocol.io/
EPIK白皮書?:
https://www.epik-protocol.io/EPIK-whitepaper-cn.pdf
EPIK經濟白皮書:
https://www.epik-protocol.io/EPIK-whitepaper-economy-cn.pdf
EPIKGitHub:
https://github.com/EpiK-Protocol
EPIK電報群:
https://t.me/EpikProtocol
來源:金色財經
Tags:EPIKSLOPEPROTPROepikprime幣的未來價值Slope FinanceEML ProtocolXPRO幣
比特幣飆升至40000美元以上后,隨后經過大幅價格回調,加密貨幣的價格在短短24小時內跌至32000美元的低點,以美元計算,這是有史以來最大的日跌落.
1900/1/1 0:00:00東哥論幣1.15晚間以太坊行情分析與操作策略 順境也好,逆境也好,人生就是一場對種種困難的無盡無休的斗爭,一場以寡敵眾的斗爭.
1900/1/1 0:00:00前言:別人的方法不一定適合自己,但別人的方法值得去借鑒,對于操盤技巧,有很多東西要去看,去學,去悟,心領神會才能融會貫通!選擇比努力重要,方法比能力重要,選對人,跟對單,利潤才能有翻番.
1900/1/1 0:00:00行情觀點: 昨日上午建議回調多單入場。給出的操作建議1180-1190附近多單入場,目標1220-1230-1250,止損1150,截至午夜00:00以太最高漲至1294.36一線,完美抵達目標.
1900/1/1 0:00:00Lazarus自11月上線以來備受關注,以其前沿的理念和卓越的經濟模型,積累了眾多忠實粉絲,建立了強大的共識,為拉撒路的未來發展奠定了良好的社群基礎.
1900/1/1 0:00:00人生多一份挫折,就多一份人生的感悟,人生多一次跌打,就多一條抗爭的經驗。午夜好,幣圈投資朋友們!比特幣午夜應該如何操作-----????從下午18點的行情走勢圖來看,比特幣出現了震蕩上行結構,并.
1900/1/1 0:00:00