やっぱりスクレイピングが難しくて挫折しそう

動画を探してくるところから埋め込みコードをコピーしてサムネイル画像を取得して、そんでタイトルをつけて投稿っていうフローで今更新してるんだけど、これを1日20記事とかやろうとするとちょっとしんどい。

そんなことを増田に書いてみたりして自分でもPHPのスクレイピングに関して勉強しはじめた。

たぶんスクレイピングができるようになれば自分は動画のタイトルをつければいいだけって状況が作り出せるはずだからなんとか実装したいんだがやっぱり躓いてる。

とおもったら増田にトラックバックでやり方を教えてくれた人がいた。

1. 取得したいページのURL配列を作る ["http://www.hogehoge.com/1","http://www.hogehoge.com/2"・・・]

2. URLを引数とした、該当のページから取得したい情報を抜き出すプログラム（関数）を書く　タイトル、xvideoのURL、xvideoのIDなどなど

3. 2のプログラムの最後に、抜き出した情報をデータベースに登録する処理を書く。この時、xvideoのidなどで登録済みか未登録かを場合分けして、登録済みの場合はスキップする。

4. 1の配列に対してループを回して、2のプログラムをそれぞれのURLで実行する。

 うん、だいたいのところまではわかったのでこれを元にPHPのコードを書いていくことにしよう。

まわりにすぐ聞けるエンジニアがいないってのは痛いなあ。Google先生頼みでやるしかないか。