使用python怎么編寫一個(gè)網(wǎng)站篩選工具-創(chuàng)新互聯(lián)

使用python怎么編寫一個(gè)網(wǎng)站篩選工具？針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。

站在用戶的角度思考問題，與客戶深入溝通，找到和靜網(wǎng)站設(shè)計(jì)與和靜網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、空間域名、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋和靜地區(qū)。

一．思路

1.整體思路

2.代碼思路

思路很簡(jiǎn)單，就是用python發(fā)送請(qǐng)求，提取響應(yīng)體中的狀態(tài)碼加以判斷，最后保存到本地txt文本中，以實(shí)現(xiàn)網(wǎng)站信息的篩選。

二．撰寫代碼

import time
import requests
import urllib3
from concurrent.futures import ThreadPoolExecutor

#取源文件中的網(wǎng)址并且去重
def get_url(old_file):
  with open(old_file,'r',encoding='gbk')as f:
    urllist=list(set(f.readlines()))
    return urllist

#主體，發(fā)送請(qǐng)求，通過異常捕獲判斷能否響應(yīng)，通過狀態(tài)碼判斷網(wǎng)閘能否正常訪問
def request(url):
  url=url.strip()
  #構(gòu)造請(qǐng)求頭信息
  headers = {
    'Connection': 'keep-alive',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
  }
  try:
    #忽略證書安全警告
    urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
    r=requests.get(url,headers=headers,timeout=10,verify=False)#timeout設(shè)置超時(shí)時(shí)間，我設(shè)置了10s，使用verif=False忽略sll認(rèn)證
    if r.status_code==200:
      cost_time=r.elapsed.total_seconds()#計(jì)算訪問耗時(shí)
      print(url,' ----->【能訪問】訪問耗時(shí):\033[35;46m{:.2f}s\033[0m'.format(cost_time))
      can_access_save_to_txt(url)
    else:
      print(url,' ----->不能訪問,狀態(tài)碼為:\033[31;44m{}\033[0m'.format(r.status_code))
  except:
    print(url, ' ----->不能訪問,原因：\033[31;44m不能響應(yīng)\033[0m')


#將能訪問的網(wǎng)址保存到new_file
def can_access_save_to_txt(result):
  result=result.strip()
  #篩選出不是.apk的url,此判斷可以不加
  if not result.endswith('.apk'):
    with open(aim_file,'a')as f:
      f.write(result+'\n')


def main():
  s_time=time.time()
  #使用線程池，創(chuàng)建四條線程。
  pool=ThreadPoolExecutor(max_workers=4)
  urls=get_url(orign_file)
  for url in urls:
    pool.submit(request,url)
  pool.shutdown()
  e_time=time.time()
  sum_time=int(e_time-s_time)
  if sum_time>60:
    print(f'\033[38;46m 程序正常執(zhí)行結(jié)束退出！共耗時(shí):【{sum_time//60}分鐘】 \033[0m')
  elif sum_time/60>1:
    print(f'\033[38;46m 程序正常執(zhí)行結(jié)束退出！共耗時(shí):【{sum_time//60*60}小時(shí)】 \033[0m')


if __name__ == '__main__':
  orign_file=r'E:\test.txt'
  #篩選后能訪問的網(wǎng)址
  aim_file="./data/test_can_access.txt"
  #篩選后不能訪問的網(wǎng)址
  main()

三．運(yùn)行結(jié)果

關(guān)于使用python怎么編寫一個(gè)網(wǎng)站篩選工具問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

網(wǎng)站題目：使用python怎么編寫一個(gè)網(wǎng)站篩選工具-創(chuàng)新互聯(lián)
鏈接URL：http://www.muchs.cn/article22/dpgjcc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、自適應(yīng)網(wǎng)站、微信小程序、品牌網(wǎng)站制作、搜索引擎優(yōu)化、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)