クローラー作ってるよ
ちょいと研究のデータ集め用にクローラーを作っている。言うなら超特定目的用クローラー。一応拡張の余地はあるように作る予定なので、似たような用途には使えると思う。似たような用途があるか知らないけど。
特にスペックにもこだわらないので、純粋に気分的な理由でRubyで書いてみた。で、RubyでいいHTMLパーサーないかなぁと思ってたら、scrAPIっちゅうのが便利っぽい。使ってみたら、サクっと１時間くらいで特定の要素をゲットする部分は作成できた。
まだクローリングするところは実装できてないけど、出だしとしては好調なんじゃないかなぁ。この調子なら明日のオープンキャンパスの暇な時間で大体実装終わりそう。ただ、クローラーは迂闊に動かすと迷惑をかけるので、参考資料見たり、クローラー作ってる他のメンバーに話聞いたりしてから、ブラッシュアップ＆試験運転開始としよう。
というか、うちの研究室クローラー好きだな。自分の知ってる範囲でもこれで３人目だ。と言っても、自分の場合は別にクローラー自体がメインじゃないので、そんな大したものじゃないけど。
