本文主要是介绍Selenium抓取youtube视频推荐,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Youtube作为一个全球最大的视频资源平台,对于视频资源有很好的规整处理。所以当我们想要抓取一些视频资源时,它本身提供的API能力不符合时,我们需要使用Selenium去抓取视频。
以下是根据一条视频链接去抓取推荐列表的功能:
async def recommendVideo(url):driver = webdriver.Chrome()driver.get(url)recommended_videos = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'ytd-compact-video-renderer')))author_element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, "yt-formatted-string#text.ytd-channel-name")))html_source = driver.page_sourcechannel_origin_id = re.search(r'\"channelId\":\"(.*?)\"', html_source).group(1)author_origin_name = author_element.textlen(recommended_videos)search_videos = []unique_author = set()for video in recommended_videos[:50]:video_link = video.find_element(By.CSS_SELECTOR, '#thumbnail').get_attribute('href')author_name = video.find_element(By.ID, 'text-container').text.split('\n')[0]video = {"video_link": video_link,"author_name": author_name}search_videos.append(video)return search_videos,origin,unique_author
而Youtube的视频抓取API是需要一定的限制的,你需要获取到youtube Key,并且YouTube的API接口还需要一定积分的,不能够无限制获取。
async def youtubeAPI(channelId):API_KEY = '' # 你的API密钥url = f"https://youtube.googleapis.com/youtube/v3/playlists?part=snippet%2CcontentDetails&channelId={channelId}&maxResults=10&key={API_KEY}"response = requests.get(url)videos = response.json()apivideos = []for video in videos.get('items', []):url = video['snippet']['thumbnails']['default']['url']video_id = re.search(r'/vi/(.*?)/', url).group(1)video_link = f"https://www.youtube.com/watch?v={video_id}"con_video = {"video_link": video_link,}apivideos.append(con_video)return apivideos
这样就可以获取主页视频信息,
如果您有什么不懂的可以关注我们的公众号:总结鸭
这篇关于Selenium抓取youtube视频推荐的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!