網(wǎng)絡(luò)礦工采集軟件

網(wǎng)絡(luò)礦工采集軟件（Soukeyminer，以下簡稱網(wǎng)絡(luò)礦工）是一款集互聯(lián)網(wǎng)數(shù)據(jù)采集、數(shù)據(jù)編輯、數(shù)據(jù)存儲、數(shù)據(jù)發(fā)布、數(shù)據(jù)監(jiān)控為一體的專業(yè)數(shù)據(jù)采集軟件，其不僅可通過內(nèi)置的配置工具將采集變得簡單，而且還可輕松應(yīng)對復(fù)雜結(jié)構(gòu)網(wǎng)站數(shù)據(jù)的采集。網(wǎng)絡(luò)礦工采集極其專業(yè)，功能豐富，操作簡單，同時輔以完善的服務(wù)體系助您無憂采集。

目錄

• 1 概況
• 2 特點
• 3 使用手冊
  • 3.1 使用教程
  • 3.2 視頻講解
  • 3.3 用戶手冊
  • 3.4 FAQ
• 4 主要功能
• 5 相關(guān)條目
• 6 參考來源

概況

• 官方網(wǎng)站：http://www.soukey.com
• 開發(fā)語言：C#
• 授權(quán)方式：免費軟件/商業(yè)軟件
• 運行環(huán)境：Windows + Microsoft .NetFramework2.0
• 最新下載：官方下載 站長百科下載

特點

• 多線程 多任務(wù) 多實例運行機制

可以同時執(zhí)行多個采集任務(wù)，每個任務(wù)可多個實例多線程運行；

• N層導(dǎo)航 跨層采集 多頁采集

通過N層導(dǎo)航技術(shù)，支持跨層、多頁采集功能，對復(fù)雜的網(wǎng)站結(jié)構(gòu)進(jìn)行海量采集；

• 強大的采集數(shù)據(jù)編輯能力

數(shù)據(jù)采集能力超強，同時提供了強大的數(shù)據(jù)加工操作，完美實現(xiàn)高質(zhì)量數(shù)據(jù)的輸出；

• 真正的無人值守運行模式

后臺服務(wù)運行模式使您的其他工作不受干擾，真正的無人值守；

• 可視化采集

所見即所得，點點鼠標(biāo)即可完成采集的配置，簡單便捷，易于上手；

• 輕松應(yīng)對數(shù)據(jù)發(fā)布

提供發(fā)布模版工具，可制作復(fù)雜的網(wǎng)站發(fā)布規(guī)則及數(shù)據(jù)庫發(fā)布規(guī)則，發(fā)布數(shù)據(jù)easy；

• 網(wǎng)絡(luò)雷達(dá) / 數(shù)據(jù)監(jiān)測

自動監(jiān)控您想要的數(shù)據(jù)，猶如在網(wǎng)絡(luò)中設(shè)置了一雙眼睛，幫您監(jiān)控數(shù)據(jù)的變化；

• 自由靈活的計劃任務(wù)

定時運行最小間隔可達(dá)到5分鐘，可按照周、日靈活制定采集計劃；

• 智能采集 / 配置助手 / 嗅探器

智能提取標(biāo)題、正文、時間等信息；配置助手、嗅探器輔助您完成復(fù)雜規(guī)則配置；

• =OCR識別 / 圖片水印

可實現(xiàn)英文、數(shù)字圖片到文本的識別；可對下載圖片自動增加水印；

• 文件下載 / 支持多數(shù)據(jù)庫

支持任意文件下載，支持MSSqlserver、Access、Mysql等數(shù)據(jù)庫；

• 插件擴展

支持插件，可通過插件擴展屬于自有的采集功能；

使用手冊

使用教程

網(wǎng)絡(luò)礦工使用教程

視頻講解

視頻講解

用戶手冊

用戶手冊

FAQ

網(wǎng)絡(luò)礦工FAQ

主要功能

1. 數(shù)據(jù)采集：以數(shù)據(jù)采集為核心提供了導(dǎo)航、多頁、代理采集、跨層采集、文件下載、編碼解碼、參數(shù)配置等功能，確保在數(shù)據(jù)采集時可應(yīng)對各種復(fù)雜的采集配置需求；
2. 強大的采集能力：支持各種編碼、壓縮采集，可實現(xiàn)U碼轉(zhuǎn)換、HTML代碼轉(zhuǎn)換，支持cookie登錄采集、自定義HTTP Header，支持代理輪詢、采集延時等多種設(shè)置，支持各種排重，具備斷點續(xù)采能力；
3. 可視化及智能：全面支持可視化配置，從導(dǎo)航、翻頁及數(shù)據(jù)采集規(guī)則，都支持可視化的配置；
4. 數(shù)據(jù)加工：提供了各種字符串的加工方式，可邊采集邊進(jìn)行數(shù)據(jù)加工，同時也提供了專用的數(shù)據(jù)加工工具，可進(jìn)行數(shù)據(jù)表合并、創(chuàng)建列、數(shù)據(jù)格式化等多種方式，最終可獲取到高質(zhì)量的數(shù)據(jù)信息；提供OCR識別能力，圖片水印功能及偽原創(chuàng)功能；
5. 數(shù)據(jù)發(fā)布：數(shù)據(jù)可發(fā)布到數(shù)據(jù)庫（Access、mssqlserver、MySql），也可直接發(fā)布數(shù)據(jù)到網(wǎng)站，同時還提供了直接入庫的模式，適應(yīng)采集海量數(shù)據(jù)；
6. 發(fā)布模板：提供發(fā)布模板，助您實現(xiàn)一鍵發(fā)布操作；
7. 多種輔助工具：數(shù)據(jù)加工發(fā)布工具、日志工具、HTTP嗅探器、編解碼助手、正則分析器、配置助手，全面輔助您完成配置工作；
8. 插件支持：支持.net插件，用戶可基于接口擴展自己個性化的功能，網(wǎng)絡(luò)礦工提供了cookie獲取、數(shù)據(jù)加工及數(shù)據(jù)發(fā)布的接口操作；
9. 數(shù)據(jù)監(jiān)控：提供文字匹配及數(shù)字匹配規(guī)則，滿足數(shù)據(jù)監(jiān)控的大部分需求，并可對監(jiān)控數(shù)據(jù)進(jìn)行預(yù)警、快照保存等操作；
10. 其他：支持靈活的定時采集策略、靜默運行等多種附加功能，不僅可以方便用戶的采集工作，也從數(shù)據(jù)采集實用角度大大豐富的軟件的功能應(yīng)用；

相關(guān)條目

采集

參考來源

網(wǎng)絡(luò)礦工官方站點