分享60个ASP整站程序源码,总有一款适合您

分享60个ASP整站程序源码,总有一款适合您
 

60个ASP整站程序源码下载链接:https://pan.baidu.com/s/1AjGM4AsHOgpWnajcXeiBFQ 
提取码:e3b8

Python采集代码下载链接:采集代码.zip - 蓝奏云

我的博客地址:亚丁号-知识付费平台 支付后可见 扫码付费可见

import os
import shutil

import requests
from bs4 import BeautifulSoup

from framework.base.BaseFrame import BaseFrame
from sprider.access.SpriderAccess import SpriderAccess
from sprider.plugin.SpriderTools import SpriderTools
from sprider.plugin.UserAgent import UserAgent


class CNSourceCoder:
    base_url = "http://www.downcode.com"

    max_pager = 10  # 每页的数量 影响再次采集的起始位置.
    word_image_count = 5  # word插入图片数量 同时也是明细采集图片和描述的数量

    page_end_number = 0
    word_content_list = []
    haved_sprider_count = 0  # 已经采集的数量
    sprider_detail_index = 0  # 明细方法采集的数量 累加

逗留网整站程序

永三貿有限公司企业系统(双语)

开心母婴网全站程序

TS1.0党政源码正式开源政府版

良精免费版博客网站管理系统

八卦网站系统 V1.0

XY CMS企业建站系统3.0

真爱空间学校网站整站程序Zschool V2.7Full

酷炫Flash整站 V1.2

最新实用查询工具站2009版

HSORT分类信息 V4.2

XUSOFT09_asp整站静态化程序 V0.5

Escms个人主页

流年岁月个人网站系统 V3.0

非主流QQ空间站整站

Cso中国Seo优化Html整站

小涛企业网站4.0

剑魂极限之地生存与尊严的挑战传奇配套网站

昆明租房网4.0(大型房产门户)

蓝色传奇外传神武雪域冰宫配套网站

汽车美容加盟总部管理系统 V1.0

嘟嘟在线1.85特色合成商业开区版配套网站

断魂赤壁之战英雄合击版配套站

家政无忧网 V4.4

百俊企业网站源码

中华查询网便民实用查询系统-四合一版090622

泮泡地方门户系统V2.0

独创六大连击1.951热血炎龙版配套网站

纵横天下1.76复古强化版配套网站

太阳能科技公司企业网站程序完整无错版

神之王座倾心网游界特色网站

朱茵官方网站Athena迷你版—新炫出品

TacodEmp企业网站管理系统V1.4

龙腾心意明星会集星王09升级版

天津工业大学工商学院Html版

嘻哈小镇EMINEM风格站长专用版

QuickWAP XML 企业WAP2.0平台系统

完美国战系统传奇非合击无英雄版配套站

1.76烟花之地玛雅神殿富甲天下配套网站

经典英雄合击三裂加强版配套网站

玛法龍神中变元宝版配套网站模版

天下大乱投名状配套站

夜圣DJ站2009最新版自带歌曲永久连接

墨默个人主页系统 V3.0

QQ工具箱

秋实家教网站系统V3.0

缘蛙非主流网络搞笑证件制作V2.0

枫的记忆个人主页程序

佳蓝游戏工作室采购平台 V2.0.0

PeterCMS3 V3.2

EWSHOP易网网上商城系统-内置12种风格

尘月网络画廊程序 V3.0 ACCESS

2009仿3GP.CN站3GP手机小电影站带数据

网兜网系统17VD 2.0升级版

QQ空间互踩联盟整站代码

我爱巴士网公交程序

飞虹CMS通用网站平台V20090415

仿当下软件园的游戏黑客站源码

手机主题整站源代码

开心否非主流整站-新云4.0内核


    def sprider(self,sprider_name,sprider_count,start_number,
                pager_number,sprider_type,is_show_browse,root_path,
                first_column_name,second_column_name,is_record_db):
        """
        http://www.downcode.com/sort/j_1_2_1.shtml
        :param sprider_name:
        :return:
        """
        self.first_folder_name=sprider_type.upper()
        self.base_path=root_path
        self.first_column_name = first_column_name
        self.second_column_name = second_column_name
        self.sprider_start_count=start_number
        self.is_record_db=is_record_db
        BaseFrame().debug("开始采集[源码下载站]" + self.first_folder_name + "源码...")
        BaseFrame().right("本次采集参数:sprider_count(采集数量):" + str(sprider_count) + "")
        BaseFrame().right("本次采集参数:sprider_name(采集名称):" + sprider_name + "")
        sprider_url = self.base_url + "/{0}/{1}_1.shtml".format(self.first_column_name, self.second_column_name)# 根据栏目构建URL
        BaseFrame().debug("本次采集参数:sprider_url:" + sprider_url)

        self.second_folder_name = str(sprider_count) + "个" + sprider_name  # 二级目录也是wordTitle
        self.merchant = int(self.sprider_start_count) // int(self.max_pager) + 1  # 起始页码用于效率采集
        self.file_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name
        BaseFrame().right("本次采集参数:file_path=" + self.file_path + "")
        # 浏览器的下载路径
        self.down_path = self.base_path + os.sep + self.first_folder_name+ os.sep + self.second_folder_name+ "\\Temp\\"
        BaseFrame().right("本次采集参数:down_path=" + self.down_path + "")
        # First/PPT/88个动态PPT模板/动态PPT模板
        self.save_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name + os.sep + sprider_name
        BaseFrame().right("本次采集参数:save_path=" + self.save_path + "")


        if os.path.exists(self.down_path) is True:
            shutil.rmtree(self.down_path)
        if os.path.exists(self.down_path) is False:
            os.makedirs(self.down_path)

        if os.path.exists(self.save_path) is True:
            shutil.rmtree(self.save_path)
        if os.path.exists(self.save_path) is False:
            os.makedirs(self.save_path)
        response = requests.get(sprider_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))
        response.encoding = 'gb2312'
        soup = BeautifulSoup(response.text, "html5lib")
        #print(soup)
        element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})
        page_end_number = 1
        page_end_url = ""
        page_end_title = soup.find("a", attrs={"title": '最后页'})
        page_end_url = page_end_title.get("href")
        if page_end_url is None or page_end_url == "":
            page_end_number = 1
        else:
            page_end_number = (page_end_url.split(".shtml")[0].split("_")[3])

        self.page_count = self.merchant

        while self.page_count <= int(page_end_number):  # 翻完停止
            try:
                if self.page_count == 1:
                    self.sprider_detail(element_list, page_end_number,sprider_count)
                    pass
                else:
                    if int(self.haved_sprider_count) == int(sprider_count):
                        BaseFrame().debug("sprider采集到达数量采集停止...")
                        BaseFrame().debug("开始写文章...")
                        SpriderTools.builder_word(self.second_folder_name,
                                                  self.word_content_list,
                                                  self.file_path,
                                                  self.word_image_count,
                                                  self.first_folder_name)
                        SpriderTools.copy_file(self.word_content_list,
                                               self.save_path,
                                               self.second_folder_name,
                                               self.file_path)
                        SpriderTools.gen_passandtxt(self.second_folder_name, self.word_content_list, self.file_path)
                        BaseFrame().debug("文件编写完毕,请到对应的磁盘查看word文件和下载文件!")
                        break
                    next_url = self.base_url + "/{0}/{1}_{2}.shtml".format(self.first_column_name,
                                                                           self.second_column_name,
                                                                           self.page_count)

                    response = requests.get(next_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))
                    response.encoding = 'gb2312'
                    soup = BeautifulSoup(response.text, "html5lib")
                    element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})
                    self.sprider_detail(element_list, page_end_number,sprider_count)
                    pass
                self.page_count = self.page_count + 1  # 页码增加1
            except Exception as e:
                BaseFrame().error("sprider()执行过程出现错误:" + str(e))

最后送大家一首诗:

山高路远坑深,
大军纵横驰奔,
谁敢横刀立马?
惟有点赞加关注大军。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

亚丁号

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值