C#でWebサイトをクロールするライブラリの「Abot Web Crawler」の続きです。 aoki1210.hatenablog.jp 基本的な使い方は前回書いた通りですが、この記事では、URLのフィルタ方法とクロール時の基本イベントについて紹介します。 URLによる対象ページの絞り込…

C#でWebサイトをクロールするライブラリの「Abot Web Crawler」というものがありますので、そのメモです。 github.com Abotとは Abotはアリゾナ州のStevenさんが開発されているC#によるクローラー用ライブラリです。 商用・個人問わず使えるオープンソース(A…

kuduでgzファイルをダウンロードしようと思って、curlコマンドを使ったのですが、エラーでした。 少し調べました。 curl -O http://＜ドメイン＞/files.7z がダメでした github.com によれば curl -Ss -O -L http://＜ドメイン＞/files.7z であればOKとのこ…