柳州制作网站深圳市建设工程交易服务网宝安

柳州制作网站,深圳市建设工程交易服务网宝安,天津网站优化方案,小语种网站制作Java Elasticsearch 全量 增量同步实战#xff1a;打造高性能合同搜索系统在企业合同管理系统中#xff0c;我们常常遇到以下挑战#xff1a;合同量大#xff0c;文本内容多#xff0c;传统数据库查询慢搜索需求多样#xff1a;全文搜索、按签署人筛选、分页排序历…Java Elasticsearch 全量 增量同步实战打造高性能合同搜索系统在企业合同管理系统中我们常常遇到以下挑战合同量大文本内容多传统数据库查询慢搜索需求多样全文搜索、按签署人筛选、分页排序历史合同也要可搜索不仅仅是新建合同统计报表需求合同签署量、签署人分析等本文将分享如何使用Elasticsearch MySQL ClickHouse构建一个高性能合同搜索系统并提供完整 Java 示例。一、系统架构概览合同系统采用“三角架构”┌───────────────────────┐ │ 前端 / API │ │ 创建 / 修改 / 查询 │ └─────────┬─────────────┘ │ ▼ ┌───────────────────────┐ │ MySQL 数据库 │ │ 权威业务数据源 │ └─────────┬─────────────┘ │ ┌──────────────┴───────────────┐ │ │ 【历史数据全量初始化】 【增量同步 / 实时更新】 │ │ ▼ ▼ 分页 / 批量读取历史合同 新建合同 / 修改合同 / 删除合同 │ │ ▼ ▼ 转换为 ContractDoc 转换为 ContractDoc │ │ ▼ ▼ ES Bulk API ES Index / Update / Delete API │ │ └───────────┬──────────────────┘ ▼ ┌───────────────┐ │ Elasticsearch │ │ contract │ │ index │ └───────────────┘ │ ▼ ┌───────────────┐ │ 查询接口 │ │合同列表 / 搜索│ └───────────────┘核心说明MySQL权威数据源存储所有合同业务信息ES用于搜索支持全文搜索、筛选和排序ClickHouse用于统计报表处理大规模合同分析二、为什么使用宽表1. 什么是宽表宽表 把多张业务表的数据提前合并到一张字段很多的表里用“空间换时间”减少查询时的 join。传统 MySQL 查询可能涉及多个 join性能差SELECT c.*, u.name, e.enterprise_name FROM contract c JOIN user u ON c.user_id u.id JOIN enterprise e ON c.enterprise_id e.id WHERE c.status SIGNED;宽表设计后所有信息在一条记录中{ contractId: 10001, contractTitle: 劳动合同, contractStatus: SIGNED, signTime: 2025-12-01 10:30:00, initiatorId: 2001, initiatorName: 张三, initiatorPhone: 138****, enterpriseId: 3001, enterpriseName: 天津数字认证有限公司, fileHash: xxxx, signType: SILENT, source: OPEN_API }查询无需 joinES 或 ClickHouse 查询极快冗余换来性能是搜索系统的设计常态三、ES 全量初始化历史数据1. Java 代码示例全量导入Service public class ContractEsService { Autowired private ContractMapper contractMapper; Autowired private RestHighLevelClient esClient; /** * 全量初始化合同数据到 Elasticsearch */ public void initHistoricalContracts() throws IOException { int pageSize 500; int page 0; while (true) { ListContract contracts contractMapper.selectHistorical(page * pageSize, pageSize); if (contracts.isEmpty()) break; BulkRequest bulkRequest new BulkRequest(); for (Contract contract : contracts) { ContractDoc doc toContractDoc(contract); bulkRequest.add(new IndexRequest(contract_index) .id(String.valueOf(doc.getContractId())) .source(doc.toMap())); } esClient.bulk(bulkRequest, RequestOptions.DEFAULT); page; } } private ContractDoc toContractDoc(Contract contract) { ContractDoc doc new ContractDoc(); doc.setContractId(contract.getId()); doc.setContractTitle(contract.getTitle()); doc.setContractStatus(contract.getStatus()); doc.setSignTime(contract.getSignTime()); doc.setInitiatorId(contract.getUserId()); doc.setInitiatorName(contract.getUserName()); doc.setInitiatorPhone(contract.getUserPhone()); doc.setEnterpriseId(contract.getEnterpriseId()); doc.setEnterpriseName(contract.getEnterpriseName()); doc.setFileHash(contract.getFileHash()); doc.setSignType(contract.getSignType()); doc.setSource(contract.getSource()); return doc; } }✅说明分批读取避免内存爆炸BulkRequest提高写入性能ContractDoc为宽表结构支持全文搜索四、增量同步1. 新建合同public void saveContract(Contract contract) throws IOException { contractMapper.insert(contract); // 写 MySQL ContractDoc doc toContractDoc(contract); esClient.index(new IndexRequest(contract_index) .id(String.valueOf(doc.getContractId())) .source(doc.toMap()), RequestOptions.DEFAULT); // 写 ES }2. 更新合同public void updateContract(Contract contract) throws IOException { contractMapper.update(contract); ContractDoc doc toContractDoc(contract); esClient.update(new UpdateRequest(contract_index, String.valueOf(doc.getContractId())) .doc(doc.toMap()), RequestOptions.DEFAULT); }3. 删除合同public void deleteContract(Long contractId) throws IOException { contractMapper.delete(contractId); esClient.delete(new DeleteRequest(contract_index, String.valueOf(contractId)), RequestOptions.DEFAULT); }五、查询示例public ListContractDoc searchContracts(String keyword, String status) throws IOException { SearchRequest searchRequest new SearchRequest(contract_index); SearchSourceBuilder sourceBuilder new SearchSourceBuilder(); BoolQueryBuilder boolQuery QueryBuilders.boolQuery(); if (keyword ! null) { boolQuery.must(QueryBuilders.multiMatchQuery(keyword, contractTitle, enterpriseName)); } if (status ! null) { boolQuery.filter(QueryBuilders.termQuery(contractStatus, status)); } sourceBuilder.query(boolQuery).from(0).size(20); searchRequest.source(sourceBuilder); SearchResponse response esClient.search(searchRequest, RequestOptions.DEFAULT); ListContractDoc results new ArrayList(); for (SearchHit hit : response.getHits()) { results.add(ContractDoc.fromMap(hit.getSourceAsMap())); } return results; }支持全文搜索和条件过滤支持分页支持宽表字段查询无需 join六、增量 历史数据同步策略总结数据类型处理方式历史合同全量初始化→ 批量写入 ES新建合同实时写入 ES更新合同实时更新 ES删除合同实时删除 ES建议增量同步可结合消息队列 CDC保证最终一致性历史数据初始化建议在低峰时执行分批写入七、总结宽表 ES提高合同搜索性能避免 join全量初始化历史数据ES 支持既往合同搜索增量同步保证新数据实时可查三角架构MySQL ES ClickHouse各司其职MySQL权威数据ES快速搜索ClickHouse报表分析【聚合极快、适合统计数据量亿级报表】通过这套设计合同系统既能秒级响应搜索又能提供高效报表分析满足大规模企业业务需求。