Scrapy
 Logo programu | |
| Autor | Scrapinghub |
|---|---|
| Pierwsze wydanie | 28 czerwca 2008 |
| Aktualna wersja stabilna | 1.8.0 (28 października 2019; około 6 lat temu)[1] |
| Język programowania | Python |
| System operacyjny | Microsoft Windows, macOS, Linux |
| Rodzaj | framework |
| Licencja | Licencja BSD |
| Strona internetowa | |
Scrapy – otwartoźródłowy szkielet do tworzenia aplikacji napisany w języku programowania Python i służący do pisania robotów internetowych, które przeszukują strony internetowe i wydobywają z nich określone dane[2].
Scrapy ma „selektory“, czyli własny mechanizm pozwalający na ekstrakcję danych. Jednakże może być w łatwy sposób łączony z bibliotekami do parsowania takimi jak: BeautifulSoup, czy lxml. Wspiera wykorzystywanie pośredników HTTP. Używa kolejki LIFO do przechowywania oczekujących żądań, co oznacza, że wykorzystuje przeszukiwanie w głąb. Jednakże umożliwia zmianę ustawień skutkującą przeszukiwaniem wszerz. Dodatkowo Scrapy odbiera i przechowuje ciasteczka wysyłane przez serwery i odsyła je w kolejnych żądaniach, w taki sam sposób jak robi to przeglądarka internetowa[2].
Aby wykorzystywać framework, potrzebny jest Python w wersji 2.7 lub 3.5+ (implementacja CPython) albo 5.9 (implementacja PyPy)[2].
Przypisy
- ↑ Release notes. doc.scrapy.org. [dostęp 2020-01-03]. (ang.).
- ↑ a b c Frequently Asked Questions. doc.scrapy.org. [dostęp 2018-03-27]. (ang.).
Content Disclaimer
Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.
- The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
- There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
- It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
- Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
- Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.