python 抓取招标信息

        url="http://www.xxx.cn/nowlist"    
        r=requests.get(url)
        soup=BeautifulSoup(r.text,"html.parser")
        divlist=soup.find("div",class_="list")
        ahrefs=divlist.find_all("a",class_='item')
        for ah in ahrefs:
            ahurl="http://www.xxx.cn"+ah.get('href')
            r2=requests.get(ahurl)
            soup2=BeautifulSoup(r2.text,"html.parser")
            f_PName=str(soup2.find('div',class_='pd-top-title').get_text())
            city=soup2.find("div",class_="city").get_text()
            f_tp1="拟在建项目"
            f_tp2=self.getType2FromTit(f_PName)
            cityr=city.split(" ")
            f_ProvinceName="全国"
            f_city="全国"
            if(len(cityr)>1):           
                f_ProvinceName=cityr[0]
                f_city=cityr[1]
            f_CreateTime=soup2.find("div",class_="top-date-left").get_text()
            f_CreateTime=re.search(r"\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}",f_CreateTime).group()
            f_detils=(soup2.find("div",class_="pd-contact"))
            del_e= f_detils.find("div",class_="pd-bottm")
            del_e.decompose()
            #print(f_tp1,f_tp2,f_ProvinceName,f_city,f_PName,f_CreateTime)
            #self.main_upload_Interface(f_tp1,f_tp2,f_ProvinceName,f_city,f_PName,str(f_detils),f_CreateTime)    
            

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值