Pythonを使用したWebスクレイピング その1
2023 年 7 月 14 日 by miedarこの投稿では、スクレイピングという技術について紹介していきます。
その1～その4でスクレイピングについての説明から実際にスクレイピングを行う方法までご紹介していきます。
スクレイピングとは？
スクレイピングとは取得したHTMLを抽出や加工することにより、Webサイト上からデータを取得することです。
近年は、データや情報の価値が高まるとともに、スクレイピングを利用し始める企業も増えているようです。
スクレイピングを行うことにより、大量のWebサイト上のデータを集める際に自動でデータを収集することで作業時間を大幅に削減することが可能です。
スクレイピングのメリット
・業務の効率化ができる
上記でのご説明通り、スクレイピングを行うことで、自身が欲しいデータの収集を自動化することができます。
これにより、サイト上のデータを集めるという時間のかかる単純作業から解放され、作業時間の削減ができます。
・サイトの情報が更新された際にもデータの入れ替えがスムーズに行える
スクレイピングを利用すればデータ更新も自動化できます。
更新頻度の高いサイトでもデータを最新の状態を維持することができます
定期的なデータ取得の仕組みを作成しておけば、更新も自動化することができ、さらに作業時間の削減ができるでしょう。
スクレイピングのデメリット
・WebページのHTML構造に影響を受ける
スクレイピングではHTMLの情報をもとにデータを収集するので、HTML構造が変更されると、取得に失敗することがあります。
その際はプログラムを修正しなければいけません。
・スクレイピングが禁止されているWebサイトもある
短期間で何度も Webページにアクセスしてデータを収集するスクレイピングは提供元のサーバに過度な負荷をかける行為です。
スクレイピングが禁止されている Webページではスクレイピングを行わないようにスクレイピングを行う前に確認する必要があります。
利用規約などを確認してからスクレイピングを行うようにしましょう。
次回 Pythonを使用したWebスクレイピング その2ではPythonでスクレイピングを行うためのライブラリを紹介していきます。
