增加消息转发功能.
This commit is contained in:
@@ -22,4 +22,9 @@ public class ForwardMessage {
|
|||||||
* 目标集群id.
|
* 目标集群id.
|
||||||
*/
|
*/
|
||||||
private long targetClusterId;
|
private long targetClusterId;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 目标topic.
|
||||||
|
*/
|
||||||
|
private String targetTopic;
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -49,6 +49,10 @@ public class ContextSetFilter implements Filter {
|
|||||||
String uri = request.getRequestURI();
|
String uri = request.getRequestURI();
|
||||||
if (!excludes.contains(uri)) {
|
if (!excludes.contains(uri)) {
|
||||||
String headerId = request.getHeader(Header.ID);
|
String headerId = request.getHeader(Header.ID);
|
||||||
|
String specificId = request.getHeader(Header.SPECIFIC_ID);
|
||||||
|
if (StringUtils.isNotBlank(specificId)) {
|
||||||
|
headerId = specificId;
|
||||||
|
}
|
||||||
if (StringUtils.isBlank(headerId)) {
|
if (StringUtils.isBlank(headerId)) {
|
||||||
// ResponseData failed = ResponseData.create().failed("Cluster info is null.");
|
// ResponseData failed = ResponseData.create().failed("Cluster info is null.");
|
||||||
ResponseData failed = ResponseData.create().failed("没有集群信息,请先切换集群");
|
ResponseData failed = ResponseData.create().failed("没有集群信息,请先切换集群");
|
||||||
@@ -84,5 +88,6 @@ public class ContextSetFilter implements Filter {
|
|||||||
interface Header {
|
interface Header {
|
||||||
String ID = "X-Cluster-Info-Id";
|
String ID = "X-Cluster-Info-Id";
|
||||||
String NAME = "X-Cluster-Info-Name";
|
String NAME = "X-Cluster-Info-Name";
|
||||||
|
String SPECIFIC_ID = "X-Specific-Cluster-Info-Id";
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -7,6 +7,8 @@ import com.xuxd.kafka.console.beans.enums.FilterType;
|
|||||||
import com.xuxd.kafka.console.beans.vo.ConsumerRecordVO;
|
import com.xuxd.kafka.console.beans.vo.ConsumerRecordVO;
|
||||||
import com.xuxd.kafka.console.beans.vo.MessageDetailVO;
|
import com.xuxd.kafka.console.beans.vo.MessageDetailVO;
|
||||||
import com.xuxd.kafka.console.beans.vo.QuerySendStatisticsVO;
|
import com.xuxd.kafka.console.beans.vo.QuerySendStatisticsVO;
|
||||||
|
import com.xuxd.kafka.console.config.ContextConfig;
|
||||||
|
import com.xuxd.kafka.console.config.ContextConfigHolder;
|
||||||
import com.xuxd.kafka.console.dao.ClusterInfoMapper;
|
import com.xuxd.kafka.console.dao.ClusterInfoMapper;
|
||||||
import com.xuxd.kafka.console.service.ConsumerService;
|
import com.xuxd.kafka.console.service.ConsumerService;
|
||||||
import com.xuxd.kafka.console.service.MessageService;
|
import com.xuxd.kafka.console.service.MessageService;
|
||||||
@@ -21,8 +23,6 @@ import org.apache.kafka.clients.admin.TopicDescription;
|
|||||||
import org.apache.kafka.clients.consumer.ConsumerRecord;
|
import org.apache.kafka.clients.consumer.ConsumerRecord;
|
||||||
import org.apache.kafka.clients.producer.ProducerRecord;
|
import org.apache.kafka.clients.producer.ProducerRecord;
|
||||||
import org.apache.kafka.common.TopicPartition;
|
import org.apache.kafka.common.TopicPartition;
|
||||||
import org.apache.kafka.common.header.Header;
|
|
||||||
import org.apache.kafka.common.header.internals.RecordHeader;
|
|
||||||
import org.apache.kafka.common.serialization.*;
|
import org.apache.kafka.common.serialization.*;
|
||||||
import org.springframework.beans.BeansException;
|
import org.springframework.beans.BeansException;
|
||||||
import org.springframework.beans.factory.annotation.Autowired;
|
import org.springframework.beans.factory.annotation.Autowired;
|
||||||
@@ -31,7 +31,6 @@ import org.springframework.context.ApplicationContextAware;
|
|||||||
import org.springframework.stereotype.Service;
|
import org.springframework.stereotype.Service;
|
||||||
import scala.Tuple2;
|
import scala.Tuple2;
|
||||||
|
|
||||||
import java.nio.charset.StandardCharsets;
|
|
||||||
import java.util.*;
|
import java.util.*;
|
||||||
import java.util.stream.Collectors;
|
import java.util.stream.Collectors;
|
||||||
|
|
||||||
@@ -316,32 +315,32 @@ public class MessageServiceImpl implements MessageService, ApplicationContextAwa
|
|||||||
return ResponseData.create().failed("Target cluster not found.");
|
return ResponseData.create().failed("Target cluster not found.");
|
||||||
}
|
}
|
||||||
SendMessage sendMessage = message.getMessage();
|
SendMessage sendMessage = message.getMessage();
|
||||||
List<SendMessage.Header> headers = sendMessage.getHeaders();
|
// first, search message detail
|
||||||
ProducerRecord<byte[], byte[]> record = null;
|
Map<TopicPartition, Object> offsetTable = new HashMap<>();
|
||||||
List<Header> recordHeaders = null;
|
TopicPartition topicPartition = new TopicPartition(sendMessage.getTopic(), sendMessage.getPartition());
|
||||||
if (headers != null) {
|
offsetTable.put(topicPartition, sendMessage.getOffset());
|
||||||
recordHeaders = new ArrayList<>();
|
Map<TopicPartition, ConsumerRecord<byte[], byte[]>> recordMap = messageConsole.searchBy(offsetTable);
|
||||||
for (SendMessage.Header header : headers) {
|
ConsumerRecord<byte[], byte[]> consumerRecord = recordMap.get(topicPartition);
|
||||||
recordHeaders.add(new RecordHeader(header.getHeaderKey(), header.getHeaderValue().getBytes(StandardCharsets.UTF_8)));
|
if (consumerRecord == null) {
|
||||||
|
return ResponseData.create().failed("Source message not found.");
|
||||||
}
|
}
|
||||||
|
|
||||||
|
String topic = message.getTargetTopic();
|
||||||
|
if (StringUtils.isEmpty(topic)) {
|
||||||
|
topic = sendMessage.getTopic();
|
||||||
}
|
}
|
||||||
if (message.isSamePartition()) {
|
// copy from consumer record.
|
||||||
// same partition
|
ProducerRecord<byte[], byte[]> record = new ProducerRecord<>(topic,
|
||||||
record = new ProducerRecord<>(sendMessage.getTopic(),
|
message.isSamePartition() ? consumerRecord.partition() : null,
|
||||||
sendMessage.getPartition(),
|
consumerRecord.key(),
|
||||||
null,
|
consumerRecord.value(),
|
||||||
sendMessage.getKey() != null ? sendMessage.getKey().getBytes(StandardCharsets.UTF_8) : null,
|
consumerRecord.headers());
|
||||||
sendMessage.getBody() != null ? sendMessage.getBody().getBytes(StandardCharsets.UTF_8) : null,
|
|
||||||
recordHeaders);
|
ContextConfig config = ContextConfigHolder.CONTEXT_CONFIG.get();
|
||||||
} else {
|
config.setClusterInfoId(clusterInfoDO.getId());
|
||||||
// no partition is specified
|
config.setClusterName(clusterInfoDO.getClusterName());
|
||||||
record = new ProducerRecord<>(sendMessage.getTopic(),
|
config.setBootstrapServer(clusterInfoDO.getAddress());
|
||||||
null,
|
// send.
|
||||||
null,
|
|
||||||
sendMessage.getKey() != null ? sendMessage.getKey().getBytes(StandardCharsets.UTF_8) : null,
|
|
||||||
sendMessage.getBody() != null ? sendMessage.getBody().getBytes(StandardCharsets.UTF_8) : null,
|
|
||||||
recordHeaders);
|
|
||||||
}
|
|
||||||
Tuple2<Object, String> tuple2 = messageConsole.sendSync(record);
|
Tuple2<Object, String> tuple2 = messageConsole.sendSync(record);
|
||||||
boolean success = (boolean) tuple2._1;
|
boolean success = (boolean) tuple2._1;
|
||||||
if (!success) {
|
if (!success) {
|
||||||
|
|||||||
@@ -15,7 +15,7 @@ kafka:
|
|||||||
# 缓存连接,不缓存的情况下,每次请求建立连接. 即使每次请求建立连接,其实也很快,某些情况下开启ACL,查询可能很慢,可以设置连接缓存为true,
|
# 缓存连接,不缓存的情况下,每次请求建立连接. 即使每次请求建立连接,其实也很快,某些情况下开启ACL,查询可能很慢,可以设置连接缓存为true,
|
||||||
# 或者想提高查询速度,也可以设置下面连接缓存为true
|
# 或者想提高查询速度,也可以设置下面连接缓存为true
|
||||||
# 缓存 admin client的连接
|
# 缓存 admin client的连接
|
||||||
cache-admin-connection: false
|
cache-admin-connection: true
|
||||||
# 缓存 producer的连接
|
# 缓存 producer的连接
|
||||||
cache-producer-connection: false
|
cache-producer-connection: false
|
||||||
# 缓存 consumer的连接
|
# 缓存 consumer的连接
|
||||||
|
|||||||
@@ -300,6 +300,10 @@ export const KafkaMessageApi = {
|
|||||||
url: "/message/send/statistics",
|
url: "/message/send/statistics",
|
||||||
method: "post",
|
method: "post",
|
||||||
},
|
},
|
||||||
|
forward: {
|
||||||
|
url: "/message/forward",
|
||||||
|
method: "post",
|
||||||
|
},
|
||||||
};
|
};
|
||||||
|
|
||||||
export const KafkaClientQuotaApi = {
|
export const KafkaClientQuotaApi = {
|
||||||
|
|||||||
248
ui/src/views/message/ForwardMessage.vue
Normal file
248
ui/src/views/message/ForwardMessage.vue
Normal file
@@ -0,0 +1,248 @@
|
|||||||
|
<template>
|
||||||
|
<a-modal
|
||||||
|
title="转发消息"
|
||||||
|
:visible="show"
|
||||||
|
:width="600"
|
||||||
|
:mask="false"
|
||||||
|
:destroyOnClose="true"
|
||||||
|
:footer="null"
|
||||||
|
:maskClosable="true"
|
||||||
|
@cancel="handleCancel"
|
||||||
|
>
|
||||||
|
<div>
|
||||||
|
<a-spin :spinning="loading">
|
||||||
|
<div>
|
||||||
|
<h4>选择集群</h4>
|
||||||
|
<hr />
|
||||||
|
<div class="message-detail" id="message-detail">
|
||||||
|
<a-form
|
||||||
|
:form="form"
|
||||||
|
:label-col="{ span: 5 }"
|
||||||
|
:wrapper-col="{ span: 18 }"
|
||||||
|
@submit="handleSubmit"
|
||||||
|
>
|
||||||
|
<a-form-item label="集群">
|
||||||
|
<a-select
|
||||||
|
class="select-width"
|
||||||
|
@change="clusterChange"
|
||||||
|
v-decorator="[
|
||||||
|
'targetClusterId',
|
||||||
|
{
|
||||||
|
rules: [{ required: true, message: '请选择一个集群!' }],
|
||||||
|
},
|
||||||
|
]"
|
||||||
|
placeholder="请选择一个集群"
|
||||||
|
>
|
||||||
|
<a-select-option
|
||||||
|
v-for="v in clusterList"
|
||||||
|
:key="v.id"
|
||||||
|
:value="v.id"
|
||||||
|
>
|
||||||
|
{{ v.clusterName }}
|
||||||
|
</a-select-option>
|
||||||
|
</a-select>
|
||||||
|
</a-form-item>
|
||||||
|
<a-form-item label="Topic">
|
||||||
|
<a-select
|
||||||
|
class="select-width"
|
||||||
|
show-search
|
||||||
|
option-filter-prop="children"
|
||||||
|
v-decorator="[
|
||||||
|
'targetTopic',
|
||||||
|
{
|
||||||
|
rules: [{ required: true, message: '请选择一个topic!' }],
|
||||||
|
},
|
||||||
|
]"
|
||||||
|
placeholder="请选择一个topic"
|
||||||
|
>
|
||||||
|
<a-select-option v-for="v in topicList" :key="v" :value="v">
|
||||||
|
{{ v }}
|
||||||
|
</a-select-option>
|
||||||
|
</a-select>
|
||||||
|
</a-form-item>
|
||||||
|
<a-form-item label="相同分区">
|
||||||
|
<a-radio-group
|
||||||
|
v-decorator="[
|
||||||
|
'samePartition',
|
||||||
|
{
|
||||||
|
initialValue: 'false',
|
||||||
|
rules: [{ required: true, message: '请选择!' }],
|
||||||
|
},
|
||||||
|
]"
|
||||||
|
>
|
||||||
|
<a-radio value="false"> 否</a-radio>
|
||||||
|
<a-radio value="true"> 是</a-radio>
|
||||||
|
</a-radio-group>
|
||||||
|
<span class="mar-left">和原消息保持同一个分区</span>
|
||||||
|
</a-form-item>
|
||||||
|
<a-form-item>
|
||||||
|
<div class="form-footer">
|
||||||
|
<a-button type="primary" html-type="submit"> 提交</a-button>
|
||||||
|
</div>
|
||||||
|
</a-form-item>
|
||||||
|
</a-form>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</a-spin>
|
||||||
|
</div>
|
||||||
|
</a-modal>
|
||||||
|
</template>
|
||||||
|
|
||||||
|
<script>
|
||||||
|
import request from "@/utils/request";
|
||||||
|
import { KafkaClusterApi, KafkaMessageApi, KafkaTopicApi } from "@/utils/api";
|
||||||
|
import notification from "ant-design-vue/lib/notification";
|
||||||
|
import moment from "moment";
|
||||||
|
|
||||||
|
export default {
|
||||||
|
name: "ForwardMessage",
|
||||||
|
props: {
|
||||||
|
record: {},
|
||||||
|
visible: {
|
||||||
|
type: Boolean,
|
||||||
|
default: false,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
data() {
|
||||||
|
return {
|
||||||
|
show: this.visible,
|
||||||
|
data: {},
|
||||||
|
loading: false,
|
||||||
|
showForwardDialog: false,
|
||||||
|
targetClusterId: -1,
|
||||||
|
clusterList: [],
|
||||||
|
partition: -1,
|
||||||
|
topicList: [],
|
||||||
|
form: this.$form.createForm(this, { name: "ForwardMessageForm" }),
|
||||||
|
};
|
||||||
|
},
|
||||||
|
watch: {
|
||||||
|
visible(v) {
|
||||||
|
this.show = v;
|
||||||
|
if (this.show) {
|
||||||
|
this.getClusterList();
|
||||||
|
}
|
||||||
|
},
|
||||||
|
},
|
||||||
|
methods: {
|
||||||
|
getClusterList() {
|
||||||
|
this.loading = true;
|
||||||
|
request({
|
||||||
|
url: KafkaClusterApi.getClusterInfoList.url,
|
||||||
|
method: KafkaClusterApi.getClusterInfoList.method,
|
||||||
|
}).then((res) => {
|
||||||
|
this.loading = false;
|
||||||
|
if (res.code != 0) {
|
||||||
|
notification.error({
|
||||||
|
message: "error",
|
||||||
|
description: res.msg,
|
||||||
|
});
|
||||||
|
} else {
|
||||||
|
this.clusterList = res.data;
|
||||||
|
this.targetClusterId = this.clusterList[0].id;
|
||||||
|
}
|
||||||
|
});
|
||||||
|
},
|
||||||
|
handleSubmit(e) {
|
||||||
|
e.preventDefault();
|
||||||
|
this.form.validateFields((err, values) => {
|
||||||
|
if (!err) {
|
||||||
|
const params = {
|
||||||
|
message: Object.assign({}, this.record),
|
||||||
|
};
|
||||||
|
this.forward({ ...params, ...values });
|
||||||
|
}
|
||||||
|
});
|
||||||
|
},
|
||||||
|
handleCancel() {
|
||||||
|
this.$emit("closeForwardDialog", { refresh: false });
|
||||||
|
},
|
||||||
|
formatTime(time) {
|
||||||
|
return time == -1 ? -1 : moment(time).format("YYYY-MM-DD HH:mm:ss:SSS");
|
||||||
|
},
|
||||||
|
clusterChange(e) {
|
||||||
|
this.getTopicNameList(e);
|
||||||
|
},
|
||||||
|
forward(params) {
|
||||||
|
this.loading = true;
|
||||||
|
request({
|
||||||
|
url: KafkaMessageApi.forward.url,
|
||||||
|
method: KafkaMessageApi.forward.method,
|
||||||
|
data: params,
|
||||||
|
}).then((res) => {
|
||||||
|
this.loading = false;
|
||||||
|
if (res.code != 0) {
|
||||||
|
notification.error({
|
||||||
|
message: "error",
|
||||||
|
description: res.msg,
|
||||||
|
});
|
||||||
|
} else {
|
||||||
|
this.$message.success(res.msg);
|
||||||
|
}
|
||||||
|
});
|
||||||
|
},
|
||||||
|
openForwardDialog() {
|
||||||
|
this.showForwardDialog = true;
|
||||||
|
},
|
||||||
|
closeForwardDialog() {
|
||||||
|
this.showForwardDialog = false;
|
||||||
|
},
|
||||||
|
getTopicNameList(clusterInfoId) {
|
||||||
|
this.loading = true;
|
||||||
|
request({
|
||||||
|
url: KafkaTopicApi.getTopicNameList.url,
|
||||||
|
method: KafkaTopicApi.getTopicNameList.method,
|
||||||
|
headers: {
|
||||||
|
"X-Specific-Cluster-Info-Id": clusterInfoId,
|
||||||
|
},
|
||||||
|
}).then((res) => {
|
||||||
|
this.loading = false;
|
||||||
|
if (res.code == 0) {
|
||||||
|
this.topicList = res.data;
|
||||||
|
} else {
|
||||||
|
notification.error({
|
||||||
|
message: "error",
|
||||||
|
description: res.msg,
|
||||||
|
});
|
||||||
|
}
|
||||||
|
});
|
||||||
|
},
|
||||||
|
},
|
||||||
|
};
|
||||||
|
</script>
|
||||||
|
|
||||||
|
<style scoped>
|
||||||
|
.m-info {
|
||||||
|
/*text-decoration: underline;*/
|
||||||
|
}
|
||||||
|
|
||||||
|
.title {
|
||||||
|
width: 15%;
|
||||||
|
display: inline-block;
|
||||||
|
text-align: right;
|
||||||
|
margin-right: 2%;
|
||||||
|
font-weight: bold;
|
||||||
|
}
|
||||||
|
|
||||||
|
.ant-spin-container #message-detail textarea {
|
||||||
|
max-width: 80% !important;
|
||||||
|
vertical-align: top !important;
|
||||||
|
}
|
||||||
|
|
||||||
|
.center {
|
||||||
|
text-align: center;
|
||||||
|
}
|
||||||
|
|
||||||
|
.mar-left {
|
||||||
|
margin-left: 1%;
|
||||||
|
}
|
||||||
|
|
||||||
|
.select-width {
|
||||||
|
width: 80%;
|
||||||
|
}
|
||||||
|
|
||||||
|
.form-footer {
|
||||||
|
text-align: center;
|
||||||
|
margin-top: 3%;
|
||||||
|
}
|
||||||
|
</style>
|
||||||
@@ -120,8 +120,22 @@
|
|||||||
重新发送
|
重新发送
|
||||||
</a-button>
|
</a-button>
|
||||||
</a-popconfirm>
|
</a-popconfirm>
|
||||||
|
<a-button
|
||||||
|
type="dashed"
|
||||||
|
class="mar-left"
|
||||||
|
icon="plus"
|
||||||
|
v-action:message:forward
|
||||||
|
@click="openForwardDialog()"
|
||||||
|
>
|
||||||
|
转发消息
|
||||||
|
</a-button>
|
||||||
</div>
|
</div>
|
||||||
</a-spin>
|
</a-spin>
|
||||||
|
<ForwardMessage
|
||||||
|
:visible="showForwardDialog"
|
||||||
|
:record="data"
|
||||||
|
@closeForwardDialog="closeForwardDialog"
|
||||||
|
></ForwardMessage>
|
||||||
</div>
|
</div>
|
||||||
</a-modal>
|
</a-modal>
|
||||||
</template>
|
</template>
|
||||||
@@ -131,9 +145,11 @@ import request from "@/utils/request";
|
|||||||
import { KafkaMessageApi } from "@/utils/api";
|
import { KafkaMessageApi } from "@/utils/api";
|
||||||
import notification from "ant-design-vue/lib/notification";
|
import notification from "ant-design-vue/lib/notification";
|
||||||
import moment from "moment";
|
import moment from "moment";
|
||||||
|
import ForwardMessage from "@/views/message/ForwardMessage.vue";
|
||||||
|
|
||||||
export default {
|
export default {
|
||||||
name: "MessageDetail",
|
name: "MessageDetail",
|
||||||
|
components: { ForwardMessage },
|
||||||
props: {
|
props: {
|
||||||
record: {},
|
record: {},
|
||||||
visible: {
|
visible: {
|
||||||
@@ -151,6 +167,7 @@ export default {
|
|||||||
valueDeserializer: "String",
|
valueDeserializer: "String",
|
||||||
consumerDetail: [],
|
consumerDetail: [],
|
||||||
columns,
|
columns,
|
||||||
|
showForwardDialog: false,
|
||||||
};
|
};
|
||||||
},
|
},
|
||||||
watch: {
|
watch: {
|
||||||
@@ -232,6 +249,12 @@ export default {
|
|||||||
}
|
}
|
||||||
});
|
});
|
||||||
},
|
},
|
||||||
|
openForwardDialog() {
|
||||||
|
this.showForwardDialog = true;
|
||||||
|
},
|
||||||
|
closeForwardDialog() {
|
||||||
|
this.showForwardDialog = false;
|
||||||
|
},
|
||||||
},
|
},
|
||||||
};
|
};
|
||||||
const columns = [
|
const columns = [
|
||||||
@@ -264,4 +287,7 @@ const columns = [
|
|||||||
max-width: 80% !important;
|
max-width: 80% !important;
|
||||||
vertical-align: top !important;
|
vertical-align: top !important;
|
||||||
}
|
}
|
||||||
|
.mar-left {
|
||||||
|
margin-left: 1%;
|
||||||
|
}
|
||||||
</style>
|
</style>
|
||||||
|
|||||||
Reference in New Issue
Block a user