JS自动化获取网站信息开发说明
一、自动获取信息的必要性
1. 提高效率与节省时间
-
批量处理：自动化可以快速抓取大量数据，比人工手动操作快得多。
-
24/7 运行：自动化工具可以全天候工作，不受时间限制。
-
减少重复劳动：避免人工反复执行相同的任务，提高生产力。
2. 数据驱动决策
-
实时监控：自动化爬虫可以持续跟踪价格、新闻、股票等信息，帮助企业和个人快速做出决策。
-
市场分析：电商、金融等行业依赖数据抓取来分析竞争对手、行业趋势等。
-
舆情监控：政府和企业可以通过自动化抓取社交媒体、新闻网站等，了解公众舆论。
3. 商业智能与竞争分析
-
竞品分析：企业可以自动化抓取竞争对手的产品、价格、评论等信息，优化自身策略。
-
价格监控：电商平台（如亚马逊、淘宝）可以利用爬虫动态调整定价策略。
4. 科研与学术研究
-
数据收集：研究人员可以自动化抓取公开数据集、论文、专利等信息，加速研究进程。
-
文本挖掘：自然语言处理（NLP）需要大量文本数据，自动化抓取能提供语料库。
5. 个性化推荐与内容聚合
-
新闻聚合：如今日头条、Google News 等平台依赖自动化抓取整合内容。
-
个性化服务：通过分析用户行为数据（如购物、阅读习惯），提供定制化推荐。
6. SEO 与网络优化
-
搜索引擎索引：Google、百度等依赖爬虫（如Googlebot）建立网页索引。
-
网站优化：企业可以通过爬虫分析搜索引擎排名，优化SEO策略。
7. 避免人为错误
-
人工操作容易出错（如复制错误、遗漏数据），而自动化工具能保证数据准确性。
8. 合规与风控
-
金融监管：自动化抓取公开的财报、公告，辅助审计和风险管理。
-
反欺诈：银行和保险公司可以通过数据抓取识别异常交易或虚假信息。
9. 人工智能与机器学习
-
训练AI模型需要大量数据，自动化抓取能提供结构化数据集（如图像、文本、视频）。
10. 动态数据需求
-
某些数据（如天气、交通、加密货币价格）需要实时更新，人工无法高效完成。
二、实现的关键步骤：
Z_Tampermonkey脚本宿主插件（百度搜索可以下载）
AIMain.html
<!DOCTYPE html>
<!--【1】Html文件读取本地Excel文件（使用场景比如做输入查询）-->
<html>
<div style="text-align: center;margin-top: 300px;"><input type="file" id="input-excel" accept=".xls,.xlsx"/><button onclick="START()"style="background-color: #4CAF50; color: white; padding: 15px 32px; text-align: center;text-decoration: none; display: inline-block; font-size: 16px; margin: 4px 2px;cursor: pointer;">执行脚本文件</button>
</div>
</html><script src="./xlsx/xlsx.js" charset="utf-8"></script>
<script>function START() {const input = document.getElementById('input-excel');const file = input.files[0];if (!file) {alert('请选择一个Excel文件');return;}const reader = new FileReader();reader.onload = function (e) {const data = e.target.result;const workbook = XLSX.read(data, {type: 'array'});/*【2】指定读取Excel的第一个Sheet*/const sheetName = workbook.SheetNames[0];const sheet = workbook.Sheets[sheetName];const jsonData = XLSX.utils.sheet_to_json(sheet);/*【3】把Excel内容读取为JSON对象，也可以打印JSON字符串，*/console.log(JSON.stringify(jsonData));/*【4】定义一个公司名称集合，单独放到一个companyList*/let companyList = [];for (var i = 0; i < jsonData.length; i++) {companyList.push(jsonData[i].company);}/*【5】借助window.name实现 跨页面数据传输的临时存储。window.name只能存储一个变量 所以需要想办法拼接多个变量*/window.name = "ALL_VARIABLES_LIST=" + JSON.stringify(companyList) + "&index*0&flag*0&mark*0";/*---【6】基于以上拼接 ，拆分逻辑就是先用& split，然后用*split---*//* 延时3秒打开需要操作的主网站，进行操作 。*/setTimeout(function () {window.open("http://wdfgdzx.top","_self")}, 3000)};reader.readAsArrayBuffer(file);}
</script>
clear.js
// ==UserScript==
// @name 搜索参数显示
// @namespace http://tampermonkey.net/
// @version 0.1
// @description 显示搜索的参数
// @author You
// @description 【1】网站域名/* 代表脚本允许在网站及所有子域名下执行
// @include https://search.ccgp.gov.cn/*
// @grant none
// ==/UserScript==
clearCookie("doWork");//还是应该清除cookie
localStorage.removeItem('finalExcelList');
clearCookie("index");//还是应该清除cookie
alert("清除cookie成功")// 清除cookie
function clearCookie(cookieName) {document.cookie = cookieName + "=; expires=" + new Date(0).toUTCString() + "; path=/";
}
AIMain.js
// ==UserScript==
// @name 搜索参数显示
// @namespace http://tampermonkey.net/
// @version 0.1
// @description 显示搜索的参数
// @author You
// @description 【1】网站域名/* 代表脚本允许在网站及所有子域名下执行
// @include https://search.ccgp.gov.cn/*
// @grant none
// ==/UserScript==/*【1】来自AIMain读取Excel数据全局变量拆分逻辑，用到的时候再打开注释*/
/*let ALL_VARIABLES_LIST = getVarFromWindowName("ALL_VARIABLES_LIST"); // 拿到所有变量
let varArray = ALL_VARIABLES_LIST.split("&");
let companyList = JSON.parse(varArray[0]); // 公司名称-全局
let indexArray = varArray[1].split("*");
let index = parseInt(indexArray[1]); // 下标-全局*/// 【2】从window.name获取全局变量
/*function getVarFromWindowName(varName) {var nameValuePairs = window.name.split(';');for (var i = 0; i < nameValuePairs.length; i++) {var pair = nameValuePairs[i].split('=');if (pair[0] === varName) {return pair[1];}}return null;
}*//*【3】 经过以上几个通用方法，可以开始写脚本操作的主程序了*/
if (getCookie("doWork") == null) {var finalExcelList = [];var index = 1;if (localStorage.getItem("finalExcelList") != null) { // 这里用localStorage因为大小限制5M 而cookie只有4kfinalExcelList = JSON.parse(localStorage.getItem("finalExcelList"));}if (getCookie("index") != null) {index = parseInt(getCookie("index"))if (index > 888) {setCookie("doWork", "false");exportJsonToCsv(finalExcelList); // 满足条件进行导出}}console.log(JSON.stringify(finalExcelList) + "---VS---" + index)// getLiList()setTimeout(function () {getLiList();}, 3000)
}/* 【4】主程序中所需要的具体方法实现*/
function getLiList() {window.open("xxx", "_self")let links = document.querySelectorAll('ul.vT-srch-result-list-bid li a');// 遍历并打印href值links.forEach(link => {// alert(link.getAttribute('href'));finalExcelList.push("http://www.ccgp.gov.cn/cggg/dfgg/" + link.getAttribute('href').replace("./", ""))// 或者直接使用link.href});localStorage.setItem("finalExcelList", JSON.stringify(finalExcelList));setCookie("index", index + 1);
}/* 【5】通过cookie 临时存储需要的变量和设置红绿灯的方法*/
function getCookie(name) {var nameEQ = name + "=";var ca = document.cookie.split(';');for (var i = 0; i < ca.length; i++) {var c = ca[i];while (c.charAt(0) == ' ') c = c.substring(1, c.length);if (c.indexOf(nameEQ) == 0) return c.substring(nameEQ.length, c.length);}return null;
}function setCookie(name, value, days) {var expires = "";if (days) {var date = new Date();date.setTime(date.getTime() + (days * 24 * 60 * 60 * 1000));expires = "; expires=" + date.toUTCString();}document.cookie = name + "=" + (value || "") + expires + "; path=/";
}function clearCookie(cookieName) {document.cookie = cookieName + "=; expires=" + new Date(0).toUTCString() + "; path=/";
}/*【6】最终把临时存储的变量导出到CSV */
function exportJsonToCsv(my_export_data) { // 触发导出//要导出的json数据const jsonData = my_export_data;//列标题let str = `网站地址\n`;//增加\t为了不让表格显示科学计数法或者其他格式for (let i = 0; i < jsonData.length; i++) {str += `${jsonData[i] + '\t'}\n`; // Just add the URL and newline, no comma}//encodeURIComponent解决中文乱码let uri = 'data:text/csv;charset=utf-8,\ufeff' + encodeURIComponent(str);//通过创建a标签实现let link = document.createElement("a");link.href = uri;//对下载的文件命名link.download = "脚本运行获得的数据.csv";document.body.appendChild(link);link.click();document.body.removeChild(link);
}