--引用公用包
local com=require "res.util.comm"
local json=require "json"
--名称
spiderName="test_name_3";
--代码
spiderCode="test_code_3";
--是否下载3级页
spiderDownDetailPage=true;
--开始下载页
spiderStartPage=1;
--最大下载也
spiderMaxPage=1;
--上次下载时间
spiderLastDownloadTime="2015-01-01 01:10:01";
--执行频率30分钟
spiderRunRate=1;
--下载内容写入表名
spider2Collection="test";
--下载页面时使用的编码
spiderPageEncoding="utf8";
--是否使用代理
spiderUserProxy=false;
--是否是安全协议
spiderUserHttps=false;
--下载详细页线程数
spiderThread=1
--存储模式 1 直接存储，2 调用消息总线 ...
spiderStoreMode=1
spiderStoreToMsgEvent=1111 --消息总线event
--判重字段 空默认不判重，spiderCoverAttr="title" 按title判重覆盖
spiderCoverAttr="title"
--延时毫秒 基本延时(spiderSleepBase)+随机延时(spiderSleepRand)
spiderSleepBase=1000
spiderSleepRand=1000
spiderTimeout=5
spiderTargetChannelUrl="http://www.ccgp.gov.cn/zycg/zycgdt/"
spiderUserName="张三"
spiderUserEmail="1043366210@qq.com"
spiderUploadTime="2016-11-22"

--取得对方网站最后发布时间 必须返回yyyy-MM-dd HH:mm:ss 格式
function getLastPublishTime()
	timeSleep(15)
	return os.date("%Y-%m-%d %H:%M:%S", os.time())
end

--下载分析列表页
function downloadAndParseListPage(pageno)
	local page = {}
	item={}
	item["href"]="www.zhaobiao.info"
	item["title"]="剑鱼招标网站信息"
	item["publishtime"]=com.parseDate("2017年01月20","yyyyMMdd")
	table.insert(page,item)
	--printf(page)  
	return page
end

--下载三级页,分析三级页
function downloadDetailPage(data)
	data["site"]=spiderName
	data["detail"]="detail"
	data["contenthtml"]="detail"
	data["l_np_publishtime"]=com.strToTimestamp(data["publishtime"])
	data["_d"]="comeintime"
	--printf(data)
	return data
end