В этом репозитории находится полезная информация, собранная участниками чата.

• Прочитать документацию
• Базовые вопросы по питону @ru_python_beginners

• CLOSESPIDER_PAGECOUNT = 10

• ставится Splash(удобно в Docker) и плагин scrapy_splash
• смотреть откуда идут данные в Chrome -> devtools -> network -> XHR
• JS to Python

• Использовать css селекторы чтобы избежать пробелов в названии при использовании @class в xpath, альтернатива "contains(@class, 'someclass')" выглядит сложнее.
• Использовать xpath для поиска сложных значений, например в таблицах
• Использовать inline-requests для синхронных запросов в функции
• Посмотреть мобильную версию

• Достать href тега a: "a::attr(href)"
• Достать текст ноды: "title::text"
• Аналог contains у xpath, "a[href*=image] img::attr(src)"
• Можно добавить xpath ".css('img').xpath('@src')"
• Проверка css-селекторов
• Список css-селекторов

• html_text - извлечь текст из сложного селектора, аналог .get_text(' ', strip=True) из BeautifulSoup, но быстрее и точнее.

• Selector Gadget получить короткий css или xpath элемента(ов), см. видео на их сайте. Получается намного лучше встроенного в браузер copy as css/xpath.

После return жизни нет. Нужно возвращать список или что-то итерируемое.

Через CSS - никак. Использовать xpath contains. Документация по xpath.

Простой способ - поставить в anaconda

https://app.scrapinghub.com/api/items.json?project=PROJECT&spider=SPIDERNAME&apikey=KEY там где SPIDERNAME нужно вставить именно название, а не номер паука. дополнительно можно почитать тут

Использовать цикл по форме c FormRequest.from_response, дополнительное поле со счетчиком формы formnumber=counter и с фильтром dont_filter=True.

Страница отдает 503 ошибку. На этой странице javascript собирает код в форму с рандомным урлом и тремя hidden полями. После отправки этой формы отдается 302 редирект на нужную страницу.

При надобности в передаче заранее подготовленных (например после авторизации на сайте) cookies, осуществить это можно через свой DownloaderMiddleware так:

• В settings.py активируйте ваши DOWNLOADER_MIDDLEWARES
• В settings.py убедиться, что значение по умолчанию COOKIES_ENABLED = True не переопределено на False, иначе scrapy не будет сохранять передаваемые ему страницой cookies.
• В middlewares.py в методе обработки запросов process_request вашего DownloaderMiddleware прописать что-то такое:

def process_request(self, request, spider):
    request.cookies[cookiename] = value     # вставьте ваши значения
    return None

• COOKIES_DEBUG = True в settings.py может помочь увидеть, что же происходит.

default_settings.py в офф.репо

Chrome -> devtools -> network -> клик на страницу -> copy as curl. Далее гуглим "curl to python", вставляем код и получаем распаршенный код в библиотеке requests
Если в Network в браузере поставить галочку напротив preserve log, то история запросов перестает очищаться при переходах между страницами.

Fiddler или postman(он умеет сразу в питонкод конвертить). Мощнее и сложнее wireshark.

По умолчанию скрапи обрабатывает успешные ответы, для обработки остальных ответов используйте handle_httpstatus_list, например:

class MySpider(CrawlSpider):
    handle_httpstatus_list = [404]

В requests можно передать дополнительные параметры в GET методе:

import requests


params = (
    ('q', 'scrapy'),
)

response = requests.get('https://github.com/search', params=params)

В scrapy можно сделать аналогично, через FormRequest:

FormRequest(
    url='https://github.com/search',
    method='GET',
    formdata=params,
    callback=self.parse_data,
)

• Хостинг Scrapinghub по дефолту стоит задержка, нужно отключать в настройках AUTOTHROTTLE_ENABLED чекбокс False
• UI для Scrapy ScrapydWeb
• Управление Scrapyd

• Spidermon

Проверка N страниц.

• requests в один поток - бесконечное время
• scrapy из локальной машины - 30 минут
• scrapinghub с включенным по дефолту тротлингом - больше 1 часа
• scrapinghub без троттлинга 1 юнит - 23 минуты
• scrapinghub без троттлинга 3 юнита - 15 минут

Да, можно

• Два туториала от Corey Shaffer: How to Match Any Pattern of Text и How to Write and Match Regular Expressions
• Mastering Python Regular Expressions
• Тираногайд по регуляркам

Исходный текст

<p>Включает:</p><p>Клапан впускной / VALVE INLET АРТ: 3142H111		3	шт</p>

Удаление HTML тегов из текста без сохранения визуального переноса строк:

from w3lib.html import remove_tags

remove_tags(какой то там текст)

Результат

Включает:Клапан впускной / VALVE INLET АРТ: 3142H111		3	шт                   

Удаление тегов из текста с сохранением визуального переноса строк с помощью библиотеки html2text

import html2text

html2text.html2text(какой то там текст)

Результат

Включает:

Клапан впускной / VALVE INLET АРТ: 3142H111 3 шт

Справочники и туториалы с примерами:

• Отличный гайд для начинающих от Guru99
• Интро от W3Schools
• Справочник-гайд от Javatpoint
• Туториал по работе с xpath и xslt в библитеке lxml
• от Zvon
• от TutorialsPoint

Подборка cheatsheets и bestpractices по xpath

• Подборка cheatsheets
• Cheatsheet с примерами
• Лучшие практики
• Тренажер XPATH