八爪魚采集器 官方版 v8.7.7

八爪魚采集器是一款全網(wǎng)通用的互聯(lián)網(wǎng)數(shù)據(jù)采集器，通過模擬人瀏覽網(wǎng)頁的行為，將網(wǎng)頁數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)于EXCEL或數(shù)據(jù)庫等多種形式。它提供基于云計(jì)算的大數(shù)據(jù)云采集解決方案，實(shí)現(xiàn)精準(zhǔn)、高效、大規(guī)模的數(shù)據(jù)采集。

更新日志

      新增激勵(lì)任務(wù)，簡單幾步即可獲得余額獎(jiǎng)勵(lì)，趕緊沖

      首頁增加資訊模塊，最新采集模版和培訓(xùn)直播不再錯(cuò)過

      OTD模板任務(wù)支持文件下載

      團(tuán)隊(duì)版試用申請免審核，第一時(shí)間快速體驗(yàn)

      模版關(guān)鍵詞或URL檢索優(yōu)化

軟件特色

模板采集

模板采集模式內(nèi)置上百種主流網(wǎng)站數(shù)據(jù)源，如京東、天貓、大眾點(diǎn)評等熱門采集網(wǎng)站，只需參照模板簡單設(shè)置參數(shù)，就可以快速獲取網(wǎng)站公開數(shù)據(jù)。

智能采集

八爪魚采集可根據(jù)不同網(wǎng)站，提供多種網(wǎng)頁采集策略與配套資源，可自定義配置，組合運(yùn)用，自動(dòng)化處理。從而幫助整個(gè)采集過程實(shí)現(xiàn)數(shù)據(jù)的完整性與穩(wěn)定性。

云采集

由5000多臺云服務(wù)器支撐的云采集，7*24小時(shí)不間斷運(yùn)行，可實(shí)現(xiàn)定時(shí)采集，無需人員值守，靈活契合業(yè)務(wù)場景，幫你提升采集效率，保障數(shù)據(jù)時(shí)效性。

API接口

通過八爪魚API，可以輕松獲取八爪魚任務(wù)信息和采集到的數(shù)據(jù)，靈活調(diào)度任務(wù)，比如遠(yuǎn)程控制任務(wù)啟動(dòng)與停止，高效實(shí)現(xiàn)數(shù)據(jù)采集與歸檔。基于強(qiáng)大的API體系，還可以無縫對接公司內(nèi)部各類管理平臺，實(shí)現(xiàn)各類業(yè)務(wù)自動(dòng)化。

自定義采集

針對不同用戶的采集需求，八爪魚可提供自動(dòng)生成爬蟲的自定義模式，可準(zhǔn)確批量識別各種網(wǎng)頁元素，還有翻頁、下拉、ajax、頁面滾動(dòng)、條件判斷等多種功能，支持不同網(wǎng)頁結(jié)構(gòu)的復(fù)雜網(wǎng)站采集，滿足多種采集應(yīng)用場景。

便捷定時(shí)功能

簡單幾步點(diǎn)擊設(shè)置，即可實(shí)現(xiàn)采集任務(wù)的定時(shí)控制，不論是單次采集的定時(shí)設(shè)置，還是預(yù)設(shè)某一天或是每周每月的定時(shí)采集，都可以同時(shí)對多個(gè)任務(wù)自由進(jìn)行設(shè)置，根據(jù)需要對選擇時(shí)間進(jìn)行多重組合，靈活調(diào)配自己的采集任務(wù)。

全自動(dòng)數(shù)據(jù)格式化

八爪魚內(nèi)置了強(qiáng)大的數(shù)據(jù)格式化引擎，支持字符串替換、正則表達(dá)式替換或匹配、去除空格、添加前綴或后綴、日期時(shí)間格式化、HTML轉(zhuǎn)碼等多項(xiàng)功能，采集過程中全自動(dòng)處理，無需人工干預(yù)，即可得到所需格式數(shù)據(jù)。

多層級采集

很多主流新聞、電商類的網(wǎng)站，里面包含一級商品列表頁，也包含二級商品詳情頁，還有三級評論詳情頁面;不論網(wǎng)站有多少層級，八爪魚都可以不限制層級的采集數(shù)據(jù)，滿足各類業(yè)務(wù)采集需求。

功能介紹

簡單來講，使用八爪魚可以非常容易的從任何網(wǎng)頁精確采集你需要的數(shù)據(jù)，生成自定義的、規(guī)整的數(shù)據(jù)格式。八爪魚數(shù)據(jù)采集系統(tǒng)能做的包括但并不局限于以下內(nèi)容：

1. 金融數(shù)據(jù)，如季報(bào)，年報(bào)，財(cái)務(wù)報(bào)告, 包括每日最新凈值自動(dòng)采集;

2. 各大新聞門戶網(wǎng)站實(shí)時(shí)監(jiān)控，自動(dòng)更新及上傳最新發(fā)布的新聞;

3. 監(jiān)控競爭對手最新信息，包括商品價(jià)格及庫存;

4. 監(jiān)控各大社交網(wǎng)站，博客，自動(dòng)抓取企業(yè)產(chǎn)品的相關(guān)評論;

5. 收集最新最全的職場招聘信息;

6. 監(jiān)控各大地產(chǎn)相關(guān)網(wǎng)站，采集新房二手房最新行情;

7. 采集各大汽車網(wǎng)站具體的新車二手車信息;

8. 發(fā)現(xiàn)和收集潛在客戶信息;

9. 采集行業(yè)網(wǎng)站的產(chǎn)品目錄及產(chǎn)品信息;

10. 在各大電商平臺之間同步商品信息，做到在一個(gè)平臺發(fā)布，其他平臺自動(dòng)更新。

持的格式有：MP4、MOV、WMV、AVI，碰到不能播放的視頻格式請自行轉(zhuǎn)換。

FAQ

      問：如何采集電話號碼?(服務(wù)類網(wǎng)站)

      答：許多服務(wù)類的網(wǎng)站(58同城、趕集網(wǎng)、美團(tuán)等)電話號碼的采集

      采集步驟：

      1.確定采集的行業(yè)分類，將該分類的網(wǎng)頁復(fù)制到八爪魚采集器中打開

      2.打開采集器，建立采集任務(wù)

      3.輸入采集網(wǎng)址，根據(jù)需要編輯采集規(guī)則

      4.選擇采集方式，開始采集

      5.導(dǎo)出采集好的數(shù)據(jù)

      注意事項(xiàng)：

      采集不同的數(shù)據(jù)需要的規(guī)則略有不同，不懂怎么編輯規(guī)則的可以到規(guī)則市場尋找用戶分享的完整采集規(guī)則

      問：八爪魚可以采集QQ空間嗎?如何采集?

      答：八爪魚采集器可以采集QQ空間中所有的數(shù)據(jù)信息，但加了密碼的空間是無法采集的，

      自己的QQ空間則需要登錄后再進(jìn)行采集。

      采集步驟：

      1.創(chuàng)建采集任務(wù)，在八爪魚采集器的瀏覽器中打開需要采集的空間;

      2.編輯采集規(guī)則，采集需要的信息;

      3.將采集好的數(shù)據(jù)導(dǎo)出。

      smart模式下輸入網(wǎng)址，提示登錄失敗?

      采集的網(wǎng)頁需要進(jìn)行登陸的，smart模式因?yàn)椴粠ё詣?dòng)登錄系統(tǒng)的能力，所以會(huì)提示登錄失敗。

      smart模式針對的是開放的網(wǎng)頁，需要登錄的網(wǎng)頁，暫時(shí)無法進(jìn)行采集，向?qū)Ｊ酵瑯右彩遣恢С植杉枰卿浀木W(wǎng)頁。

      這類網(wǎng)站必須使用八爪魚采集器的高級模式才能進(jìn)行采集。

安裝步驟

      一、在本站下載最新版的八爪魚采集器安裝包，雙擊運(yùn)行。

  二、可以點(diǎn)擊【瀏覽】，選擇軟件的安裝路徑;或者直接點(diǎn)擊【下一步】，軟件會(huì)安裝在默認(rèn)的位置。

   三、耐心等待軟件安裝完畢，點(diǎn)擊【關(guān)閉】就可以啦。

使用技巧

      先我們新建一個(gè)任務(wù)-->進(jìn)入流程設(shè)計(jì)頁面-->添加一個(gè)循環(huán)步驟到流程中-->選中循環(huán)步驟-->勾選上軟件右方的URL 列表勾選框-->打開URL列表文本框-->將準(zhǔn)備好的URL列表填寫到文本框中

接下來往循環(huán)中拖入一個(gè)打開網(wǎng)頁的步驟-->選中打開網(wǎng)頁步驟-->勾選上使用當(dāng)前循環(huán)里的URL作為導(dǎo)航地址-->點(diǎn)擊保存。系統(tǒng)會(huì)在界面下方的瀏覽器中打開循環(huán)中選中的URL對應(yīng)的網(wǎng)頁

到這里，循環(huán)打開網(wǎng)頁的流程就配置完成了，運(yùn)行流程的時(shí)候，系統(tǒng)會(huì)逐個(gè)的打開循環(huán)中設(shè)置的URL。最后我們不需要配置一個(gè)采集數(shù)據(jù)的步驟，這里就不在多講，下圖就是最終和流程。