Section 15 Scrapy Arguments

カテゴリー検索を可能にする方法
カテゴリーを決める→ターミナルでそのカテゴリのURL入力→実行

Arguments の設定方法

①start_urlを変更して以下のdefを作るだけ。

    def __init__(self, category):
        self.start_urls = [category]

②ターミナルで以下を入力
$ scrapy crawl books -a category=" URL ” とするとmusicの中のみ取得する。
実際には以下の通り。

$ scrapy crawl books -a category="http://books.toscrape.com/catalogue/category/books/travel_2/index.html"

closeファンクション

closeファンクションを使ってファイル名の変更をする。
実際には、closeファンクションを使えば、scraping終了したらメールするとか色々設定できる。

2つのことをする。 ①import する

②def close 　を作る

Scrapy Items