ネット上には、いろいろな情報が公開されています。プログラムを使うと自動で集めることをクローリングといいます。さらに収集したデータを解析して、必要なデータを取り出すことをスクレイピングといいます。

Pythonはネットへアクセスするライブラリが充実していて、「クローリング」や「スクレイピング」をしやすい言語になっています。

これらを学ぶことで、情報収集にかける時間が短縮され、気づけなかった情報や欲しい情報だけを集めることも可能です。

特に副業でせどりをしている方やデータ分析を始めたい方におすすめの教材となっています。

限定動画でわかりやすく解説します。

Pythonをインストール

https://www.python.org/downloads/

からインストールします。自動的に自分のOSに合わせたiページが表示されます。

windowsの方は、「□Add Python 3.x to PATH」は必ずチェックを入れるようにしてください。

Macの方へPython3.6以降では、インストール後にネットワーク通信に使用するSSL証明書をインストールする必要があります。Python3.xフォルダを開き、「install Certificates.command」ファイルをダブルクリックしてください。ターミナルが自動的に起動して、証明書のインストールが実行されます。[プロセスが完了しました]と表示されたら、表示されたターミナルを終了してください。

requestsでアクセスしてみる

インターネットにアクセスする命令としては、Pythonの標準ライブラリに「urllib request」があります。しかし、もっと簡単に使える「requests」という外部ライブラリがあるので、これを使います。

ライブラリのインストール方法 Windowsではコマンドプロンプトを起動

スタートメニューを開いて、[Windowsシステムツール]→コマンドプロンプトを起動します。そして以下のpip コマンドでインストールします。

pip install requests

macOSではターミナルを起動

[アプリケーション]フォルダの中の[ユーティリティ]フォルダにあるターミナルをクリック、起動させます。以下pip3コマンドでインストールします。

pip3 install requests

HTMLファイルを読み込むプログラム

インストールしたrequestsを使って、ネット上のHTMLファイルを読み込んで表示させてみます。練習用に簡単なWebページを作ったので、このHTML ファイルを読み込むプログラムを作ってみましょう。

練習用テストページ

https://creaters-you.com/

(テスト用ページには以下のコードを書いています)

<!DOCTYPE html> <html lang="ja"> <head> 
<metacharset="UTF-8"> <metahttp-equiv="X-UA-Compatible"content="IE=edge"> <metaname="viewport"content="width=device-width, initial- scale=1.0">
 <title>スクレイピングを学ぶ</title>
 </head>
 <body>
 <h1>寺中晴紀のスクレイピング講座</h1>
 <div id= "chap1">
 <h2>Pythonでデータをダウンロード</h2>
 <ol>
 <li>スクレイピングって何</li>
 <li>Pythonをインストール</li>
 <li>Requestsでアクセスしてみよう</li>
 </ol>
 </div><div id= "chap2">
 <h2>HTMLを解析する</h2>
 <ol>
 <li>HTMLを解析</li>
 <li>ニュースの記事を取得</li>
 <li>画像をダウンロード</li>
 </ol>
 </div>
 <p><img src="pc.png" width="50%" height="50%"></p>
 <p><img src="pc2.png" width="50%" height="50%"></p>
 <p><a href="https://creaters-you.com/index2.html">絶対URLでリンク へとぶ</a></p>
 <p><a href="index3.html">相対URLでリンクへとぶ</a></p>
 </body>
 </html>

インターネット上のWebページには、「requests.get(URL)」という命令で取得できます。ただし、取得したデータにはいろいろな情報が入っているので、そこから「.text」で文字列データを取り出します。また、日本語が文字化けしないように、「requests.encoding=response.apparent_encoding」と指定しておきます。

step/step1.py

import requests
 # Webページを取得する
 url ="https://creaters-you.com/"
 response = requests.get(url)
 # 文字化けしないようにする
 response.encoding = response.apparent_encoding # 取得した文字列データを表示する print(response.text)

テキストファイルに書き込む:open、close

HTMLファイルを読み込めたので、これをファイルに書き込むかたちで保存します。

step/step2.py

import requests 
 # Webページを取得する
 url ="https://creaters-you.com/" 
response = requests.get(url)
 # 文字化けしないようにする
 response.encoding = response.apparent_encoding filename="download.txt"
 f=open(filename,mode="w")
 f.write(response.text)

f.close() 実行すると、step1フォルダの中に「download.txt」というテキストファイルが作られます。この中に、取り出したデータがしるされます。

openのいろいろなモード

r 　読み込み用

w　書き込み用

a. 追加書き込み(書き足す)

t. テキストモード

HTMLを解析する

Beautiful Soup をインストール

HTMLを簡単に解析できるライブラリがあります。それがBeautifil Soupです。外部ライブライなので、pipコマンドでインストールします。

windowsの方

pip install beautifulsoup4

macOSの方

pip3 install beaftifulssoup4

Beautifu Soupは、bs4というパッケージに入っているので、「from bs4 import BeautifulSoup」とします。

次にそのHTMLデータ(.content)をBeautifulSoup(HTMLデータ,"html.parser")に渡します。

step/step3.py

import requests
 from bs4 import BeautifulSoup
 import urllib load_url="https://creaters-you.com/index.html" html=requests.get(load_url) soup=BeautifulSoup(html.content,"html.parser") print(soup)

実行結果

<!DOCTYPE html>
<html lang="ja">
<head>
  <meta charset="UTF-8">
  <meta http-equiv="X-UA-Compatible" content="IE=edge">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <title>スクレイピングを学ぶ</title>
</head>
<body>
  <h1>寺中晴紀のスクレイピング講座</h1>
  <div id= "chap1">
    <h2>Pythonでデータをダウンロード</h2>
    <ol>
      <li>スクレイピングって何</li>
      <li>Pythonをインストール</li>
      <li>Requestsでアクセスしてみよう</li>
    </ol>
  </div>
  </div>
  <div id= "chap2">
  <h2>HTMLを解析する</h2>
  <ol>
    <li>HTMLを解析</li>
    <li>ニュースの記事を取得</li>
    <li>画像をダウンロード</li>
  </ol>
  </div>
<p><img src="pc.png" width="50%" height="50%"></p>
<p><img src="pc2.png" width="50%" height="50%"></p>
<p><a href="https://creaters-you.com/index2.html">絶対URLでリンクへとぶ</a></p>
<p><a href="index3.html">相対URLでリンクへとぶ</a></p></body>
</html>

読み込んだHTMLがそのまま表示されています。ここからいろいろな要素を取り出して行きます。

タグを探して表示する

要素を取り出してみます。「soup.find("タグ名")」と命令します。 titleタグ、h2タグ、liタグを表示させてみます。

step/3-1.py

 import requests 
from bs4 import BeautifulSoup
 import urllib
load_url="https://creaters-you.com/index.html" html=requests.get(load_url) soup=BeautifulSoup(html.content,"html.parser") print(soup.find("title")) 
print(soup.find("h2")) print(soup.find(“li"))

要素が3つ表示されました。ここから文字列だけを表示させます。最後に.textをつけます。3-1.pyを次のように変えます。

step/3-1.py

import requests
 from bs4 import BeautifulSoup
 import urllib 
load_url="https://creaters-you.com/index.html" html=requests.get(load_url) soup=BeautifulSoup(html.content,"html.parser") print(soup.find("title").text) print(soup.find("h2").text) print(soup.find(“li").text)

実行結果

スクレイピングを学ぶ

Pythonでデータをダウンロード

スクレイピングって何

全てのタグを探して表示する

.find(タグ名)で取得できるのは1つだけです。全ての要素を取得するには、.find_all("タグ名")を使います。そして、見つかった要素は、for文で取り出せます。

ページ全てのliタグを取り出す

step/step3-2.py

import requests
 from bs4 import BeautifulSoup
 import urllib load_url="https://creaters-you.com/index.html" html=requests.get(load_url) soup=BeautifulSoup(html.content,"html.parser") for element in soup.find_all("li"): print(element.text)

実行結果

スクレイピングって何

Pythonをインストール

Requestsでアクセスしてみよう

HTMLを解析

ニュースの記事を取得

画像をダウンロード