従来のオープンソースデータの収集は、単一サーバーモードが多く、大量のウェブサイトの収集作業に対しては、人工的に横分割する必要があります。ウェブサイトの周期性の採集の需要は大いに人工参加の負担を増加しました。私たちの分散デザインは、大量のウェブサイトの周期的な収集を統一的に管理することができます。マスターは自動的にネットワークをスケジューリングし、資源を計算し、保存し、資源利用を最大化し、後期のプロセス化開発のコストを節約することができます。