読者です 読者をやめる 読者になる 読者になる

備忘録

なんとなく暇なときにでも....

php-webdriverを使用してスクレイピングをした話

久しぶりの投稿です。 あっという間に今年も終わり。 以前phpのライブラリを使用せずにwebサイトをスクレイピングする記事を投稿しました。 hchckeeer.hatenadiary.jp hchckeeer.hatenadiary.jp これまでは、このツールを少しづつ改良しスクレイピングを行っ…

CakePHPのHtmlヘルパを使用した<a>タグ内にimg要素やdiv要素追加するには...

最近週末はcakephp3を使用して、Webページを作成しているのですが、それに伴ってHtml部分をcakephpのHtmlヘルパやFormヘルパを使ったり(使わなかったり)してます。 今日はその中でもHtmlヘルパでaタグの生成に使用するlink()についてです。 link()は $this…

楽天の商品検索APIで詰まってしまった話

php

楽天の商品検索APIを使って、指定したキーワードを用いて楽天市場に出回っている商品を検索するツールを受託で開発しました。 その際に、ある問題で1時間ほどハマってしまいましたので、共有できればと思います。 まず楽天の商品検索APIについてですが、導…

指定したWebページにログインしてスクレイピングを行う

先日の記事でネイティブのPHPだけでWebページのスクレイピングを行いました。 hchckeeer.hatenadiary.jp このままでももちろんスクレイピングを行うことはできます。 しかしもし、仮にログインしていた時と未ログインの場合で表示情報が異なる場合、しかも実…

PHPでライブラリなどを使用せずに、WEBページをスクレイピングする

php

Simple HTML DOM Parser や Goutteなどがありますが、ライブラリなどを使用した際の保守性などを考えて、ネイティブのPHPだけでスクレイピングを行ってみます。 一応、githubにあげておりますので、詳しくはそちらから! github.com HTMLを整形できるらしいD…