欢迎访问机房运维工作室

爱数知识库

AnyRobot 未成功归档的数据重新归档最佳实践_2

频道:爱数知识库 日期: 浏览:26

AnyRobot 未成功归档的数据重新归档最佳实践

关键字

kafka、归档

适用产品

  • AnyRobot 5.0.x

目的

若 AnyRobot 数据接入量超过了 Kafka 负责归档的消费者组 Archive 的消费能力,会导致数据归档时,前一天接收到的数据不能全部写入归档的缓存目录,那这一部分数据会被漏归档。为了解决该问题,可以通过手动执行归档脚本,将漏归档的缓存数据重新归档。

解决方案

1.浏览器地址栏输入 <AnyRobotIP>:30880 登录 Kubesphere 页面,输入用户名和密码,点击登录

2.依次点击平台管理>集群管理>应用负载>工作负载,在搜索栏中搜索 archive,并点击搜索结果,进入 archive 容器配置页面;

3.点击,进入 archive 容器终端;

4.在终端中执行以下命令:

bash

cd new_manual_archive

./new manual_archive​ -s "2023-11-01" -e "2023-11-10"

注意:该命令​ -s 参数后对应的是需要重新归档的日志的起始日期,-e 参数后对应的是需要重新归档的日志的结束日期,请根据实际情况调整。

更多信息

AnyRobot 默认每天 22:00 发起归档,归档的数据为缓存路径 /anyrobot/archive_data/cache 中前一天接收到的数据。