--引用公用包
local com = require "res.util.comm"
local area="天津"
--名称 网站名称_栏目
spiderName="天津建设工程信息网_设计中标";
--代码 区域代码_网站代码_栏目代码
spiderCode="a_zgzbtbggfwpt_gzgggs2";
--是否下载3级页
spiderDownDetailPage=true;
--开始下载页
spiderStartPage=1;
--最大下载页
spiderMaxPage=300;
--上次下载时间 yyyy-MM-dd HH:mm:ss
spiderLastDownloadTime="2014-08-08 14:10:01";
--执行频率30分钟
spiderRunRate=30;
--下载内容写入表名 统一为：bidding，测试除外
spider2Collection="bidding";
--下载页面时使用的编码 根据页面编码填写,一般为utf8,gbk(gb2312也填gbk)
spiderPageEncoding="utf8";
--是否使用代理
spiderUserProxy=false;
--是否是安全协议
spiderUserHttps=false;
--下载详细页线程数
spiderThread=1
--存储模式 1 直接存储，2 调用消息总线 ...
spiderStoreMode=1
spiderStoreToMsgEvent=4002 --消息总线event
--消息传送判重字段统一按title判重覆盖
spiderCoverAttr="title"
--延时毫秒 基本延时(spiderSleepBase)+随机延时(spiderSleepRand)
spiderSleepBase=1000
spiderSleepRand=1000
--默认列表页第一页		
spiderTargetChannelUrl="http://bulletin.cebpubservice.com/"
--取得对方网站最后发布时间 必须返回yyyy-MM-dd HH:mm:ss 格式
function getLastPublishTime()
	return os.date("%Y-%m-%d %H:%M:%S", os.time())
end
local trylistnum=0
local lastcontentid = ""
local currentid = ""
local firstStart = true
--下载分析列表页
function downloadAndParseListPage(pageno)
--	local page={}		
--	local hre = "http://www.tjconstruct.cn/zbgs.aspx?type=sjzb&page="..pageno
--	local content = download(hre,{})
--	local list = findListHtml("#Tp1 tbody tr",content)
--	table.remove(list,1)
--	for k,v in pairs(list) do
--			local item={}
--			item["href"]="td:eq(0) a:attr(href)"
--			item["title"]="td:eq(0) a"
--			item["publishtime"]="td:eq(3) div"
--			item=findMap(item,"<table><tr>"..v.."</tr></table>")
--			item["title"] = com.trim(item["title"])
--			item["publishtime"]=com.parseDate(item["publishtime"],"yyyyMMdd")
--			item["href"]="http://www.tjconstruct.cn/"..item["href"]
		
--		table.insert(page,item)
--	end
	local list = findMgoData()
	return list
end

--下载三级页,分析三级页
function downloadDetailPage(data)
	--下载附件
--	for i=1,5 do
--		local content = download(data["href"],{})
--		local name = data["title"]..".swf"
--		local href = regexp(content,"escape\\('(.+)",2)[1]
--		href = com.split(href,"'")[1]
--		local aa="<a href='"..href.."'>"..name.."</a>"
--		local attachments = com.getFileAttachmentsArrayWithTag(data["href"],"dl","<dl>"..aa.."</dl>",false)
--		print(table.getn(attachments)>0)
--		if table.getn(attachments)>0 then
--			data["projectinfo"]={
--				["attachments"]=attachments
--			}
--			return data
--		end
--	end	

	--处理jsondata数据
--	for i=1,5 do
--		local content = download(data["href"],{})
--		local lyqd = findOneText("div.mian_list_02 p span:eq(2)",content)
--		local sourcehref = findOneText("div.mian_list_02 p span:eq(3) a:attr(href)",content)
--		lyqd = regexp(lyqd,"来源渠道：(.+)",2)[1]
--		print("--",lyqd)
--		if lyqd ~= nil then
--			if lyqd=="发布工具" then
--				data["jsondata"]={
--					["sourcewebsite"]=0,
--					["sourcehref"]=sourcehref
--				}
--			else
--				data["jsondata"]={
--					["sourcewebsite"]=1,
--					["sourcehref"]=sourcehref
--				}
--			end
--			return data
--		end
--	end
end
--保存错误日志
--saveErrLog(spiderCode,spiderName,出错url,出错原因)