AIGC動態歡迎閱讀
原標題:MediaCrawler,輕松爬取抖音小紅書評論數據!
關鍵字:快手,,數據,環境,帖子
文章來源:大數據文摘
內容字數:3242字
內容摘要:
大數據文摘受權轉載自法納斯特
今天給大家介紹一個Python實戰的項目,MediaCrawler。
可以實現小紅書,抖音, 快手, B站, 微博。
目前能抓取小紅書、抖音、快手、B站、微博的視頻、圖片、評論、點贊、轉發等信息。項目地址:
https://github.com/NanmiCoder/MediaCrawler
原理:利用playwright搭橋,保留登錄成功后的上下文瀏覽器環境,通過執行JS表達式獲取一些加密參數 通過使用此方式,免去了復現核心加密JS代碼,逆向難度大大降低。
下面小F就來介紹下如何使用~
首先使用conda創建虛擬環境,Python版本3.9。
激活環境后,安裝相關的依賴。
#創建conda環境condacreate–nameMediaCrawlerpython=3.9#激活環境condaactivateMediaCrawler#安裝相關依賴pipinstall-rrequirements.txt-ihttps://pypi.tuna.tsinghua.edu.cn/simple#安裝playwright瀏覽器驅動playwrig
原文鏈接:MediaCrawler,輕松爬取抖音小紅書評論數據!
聯系作者
文章來源:大數據文摘
作者微信:BigDataDigest
作者簡介:普及數據思維,傳播數據文化
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章

暫無評論...