browserSpider/program/spider/scripts/模版/3层带机构列表无需翻页模版.lua_bak

-- 采集参数设置，芜湖第一屏是机构清单
-- 二层级,单位信息列表/信息
-- 不用拼接列表页地址，直接模拟点击列表页的下一页链接
-- href_tpl 可以不用理会
local href = "https://www.bjxch.gov.cn/zt/yjs/index.html"
-- 机构选择
local organ_list_css_selector = "div#Section1 div.box-danwei a"
-- 列表页CSS选择期，可以避免检测垃圾数据，不想定义，直接写a也行
local info_list_css_selector = ""
-- 三级页特征，用于找到tab页，准备在这个tab页执行js，关闭tab页
local info_url_path_tpl = "contents"
-- 下一页链接或者按钮的CSS选择期
local next_page_css_selector = 'document.querySelector("div#page_public_info a[aria-label=跳转至尾页]")'
-- 列表页最大页数
local max_pages = 1

-- 用JS点击下一页，这个变量将弃用
local href_tpl = "https://www.bjshy.gov.cn/web/zwgk/czsj/3fb44002-%d.html"
local timeout = 1000 * 60 * 120

-- JS函数集合
local find_organ_list_js = [[
	var ns = [];
       document.querySelectorAll("%s").forEach((v,i)=>{
		v.setAttribute("target","_blank");
		ns.push({"index":i,"title":v.innerText,"href":v.href});
		return
		v.querySelectorAll("a").forEach((v1,i1)=>{
		var linkText = v1.innerText;
		var href = v1.href;
		if (href==""){return;}
		if( linkText.indexOf("财政预算")>-1 || linkText.indexOf("三公")>-1 || linkText.indexOf("专项资金")>-1 ){
		ns.push({"index":i1,"title":linkText,"href":href});
		}
		});
	});
    ns
]]
find_organ_list_js = string.format(find_organ_list_js, organ_list_css_selector)

local find_info_list_js = [[
    var ns = [];
    document.querySelectorAll("%s").forEach((v,i)=>{
        v.setAttribute("target","_blank");
        var linkText = v.innerText;
        //ns.push({"index":i,"title":linkText,"href":v.href})
        if((linkText.indexOf("预算")>-1 ||linkText.indexOf("预决算")>-1) &&
            (linkText.indexOf("2022年")>-1 || linkText.indexOf("2023年")>-1 || linkText.indexOf("2024年")>-1)) {
            ns.push({"index":i,"title":linkText,"href":v.href})
        }
    });
    ns
]]
find_info_list_js = string.format(find_info_list_js, info_list_css_selector)


local find_info_attach_file_js = [[
       var ns = [];
       var extensions = ['pdf', 'doc', 'docx', 'xls', 'xlsx', 'zip', 'rar'];
       var extensionRegex = new RegExp('\\.(' + extensions.join('|') + ')', 'i');
       document.querySelectorAll("a").forEach((v,i)=>{
        v.setAttribute("target","_blank");
        var linkText = v.innerText;
        var href = v.href
	if(extensionRegex.test(linkText.toLowerCase())||extensionRegex.test(href.toLowerCase())){
        	ns.push({"index":i,"title":linkText,"href":v.href})
        }
    });
    ns
]]

browser_navagite(timeout, href)
browser_sleep(1000 * 2)

local ok, list = browser_executejs(1000*30, 1, find_organ_list_js)
print('执行查找机构列表', ok, list, #list)
if ok == "ok" then
    for _, v in pairs(list) do
		-- 打开机构页面
        print("机构信息",v.title, v.href)
		-- 关闭其他页面，莫名其妙有tab关不掉
		browser_closetabs_without("",href,1000*1)
        --browser_click(1000*5, 3, string.format('document.querySelectorAll("%s")[', organ_list_css_selector) .. v['index'] .. ']')
		browser_navagite(true,1000*30,v.href)
		-- 点击一下更多
		
		
		local path = browser_url_last_segs(2,v.href)
		print("机构页path",path)
		browser_click(path,1000*10,3,'document.querySelector("div.zfxxgk_zdgkc div.more a")')
		browser_sleep(1000 * 1)
		-- 找机构页面的信息列表
		local ok2, list2 = browser_executejs(path,1000*30, 1, find_info_list_js)
		print('执行查找信息列表', ok, list, #list)	
		if ok2 == "ok" then
			for _, v2 in pairs(list2) do
				print(v2.title,v2.href)
				--打开信息页
				browser_click(path,1000*5, 3, string.format('document.querySelectorAll("%s")[', info_list_css_selector) .. v2['index'] .. ']')
				browser_sleep(1000 * 1)
				local path2 = browser_url_last_segs(1,v2.href)
				print("详情页path",path2)
				local ok3, list3 = browser_executejs(v2.href,1000*30, 1, find_info_attach_file_js)
				print('执行查找附件列表', ok, list, #list)	
				if ok3=="ok" then
					for _, v3 in pairs(list3) do
						print("找到附件",v.title,v2.title,v3.title,v3.href)
						browser_save("", "", "", "", { ["department"] = v.title, ["info_title"] = v2.title, ["attach_href"] = v3.href })
					end
				else
					print("错误",v2.title,v2.href)
					browser_log("错误",v.title,v.href,v2.title,v2.href)
				end
				browser_closetabs(path2, 500)
			end
		else
			print("错误",v.title,v.href)
			browser_log("错误",v.title,v.href,"","")
		end
		browser_sleep(1000 * 2)
		browser_closetabs(path, 500)
    end
else
	print("抓取失败",ok)
end

print("任务完成")