Trico爬蟲(chóng)云原是一款全新不一樣的網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用服務(wù)平臺(tái),這款軟件有著強(qiáng)大的協(xié)作管理平臺(tái),靈活調(diào)度任務(wù),順利爬取海量數(shù)據(jù)的一套云數(shù)據(jù)采集平臺(tái),能夠采集各方面數(shù)據(jù)采集操作!
trico爬蟲(chóng)云原功能介紹
trico爬蟲(chóng)云原生可提供商品、房?jī)r(jià)、快遞物流、天氣、新聞、咨詢、知識(shí)體庫(kù)、文獻(xiàn)、媒體廣告、股票基金、汽車、醫(yī)藥等各行業(yè)百萬(wàn)數(shù)據(jù)信息采集服務(wù),眼見(jiàn)即可采,不管是圖片電話,還是貼吧論壇,支持所有業(yè)務(wù)渠道的爬蟲(chóng),滿足各種采集需求。目前已有杭州淘粉吧、海狐等公司在爬取數(shù)百個(gè)海內(nèi)外電商官網(wǎng)(amazon,Esteelauder,Eastbay,Nordstrom,Mankind,Macy,Iherb,Escentual、聚劃算、大淘客等)數(shù)據(jù)源,全面覆蓋電商行業(yè)商品類目選品,只需簡(jiǎn)單設(shè)置,就可快速準(zhǔn)確獲取數(shù)據(jù)。另外還有商戶爬取了北美等城市的房產(chǎn)信息源,速度極快。
trico爬蟲(chóng)云原軟件特色
爬取片段
編寫(xiě)自定義的爬取片段,上傳至Trico,Trico將會(huì)幫助你部署你的片段代碼,并且以最優(yōu)的調(diào)度原則將任務(wù)投遞到Trico的爬蟲(chóng)集群。剩下的你只需要等待Trico回調(diào)你的服務(wù),給想要的結(jié)果。當(dāng)然你也可以選擇將數(shù)據(jù)投遞到你的郵箱,更高效簡(jiǎn)單的查看簡(jiǎn)單的數(shù)據(jù)。
無(wú)需發(fā)布部署
強(qiáng)大的集群支持
Trico爬蟲(chóng)語(yǔ)言處理
復(fù)雜邏輯的數(shù)據(jù)結(jié)
使用方法
在將segment(yml語(yǔ)法的代碼片段)提交給Trico部署前,您可以選擇在本地搭建Trico服務(wù)來(lái)驗(yàn)證和調(diào)試你的segment。
Step 1: 下載/安裝Docker
先下載docker到您使用的機(jī)器中(Mac版本/Windows版本), 并安裝它(Mac版本/Windows版本)。
Step 2: 拉取鏡像并啟動(dòng)容器
我們已經(jīng)將trico運(yùn)行所需要的環(huán)境打入鏡像中,您只需要通過(guò)以下代碼拉取鏡像,并通過(guò)docker運(yùn)行。
sudo docker pull tricooffical/kenerl
sudo docker run -d -p 8080:8080 -p 9010:9010 -it tricooffical/kenerl
Step 3: 使用編輯器
打開(kāi)編輯器,左下角的kenerl變?yōu)榫G色表示連接成功,輸入對(duì)應(yīng)的腳本點(diǎn)擊RUN按鈕運(yùn)行