tangmingyou
3 years ago
26 changed files with 983 additions and 433 deletions
@ -0,0 +1,16 @@ |
|||||||
|
package logic |
||||||
|
|
||||||
|
import "sonet/pkg/utils/logger" |
||||||
|
|
||||||
|
// RoomLoader todo 从持久存储加载用户群关系
|
||||||
|
type RoomLoader struct { |
||||||
|
} |
||||||
|
|
||||||
|
func NewRoomLoader() *RoomLoader { |
||||||
|
return &RoomLoader{} |
||||||
|
} |
||||||
|
|
||||||
|
func (l *RoomLoader) Load(uid string) (groupIds []string, err error) { |
||||||
|
logger.Infof("load %s join rooms", uid) |
||||||
|
return |
||||||
|
} |
||||||
@ -0,0 +1,110 @@ |
|||||||
|
package deliver |
||||||
|
|
||||||
|
import ( |
||||||
|
"hash/fnv" |
||||||
|
"sort" |
||||||
|
"strconv" |
||||||
|
) |
||||||
|
|
||||||
|
type PickNode struct { |
||||||
|
Key string |
||||||
|
Weight int |
||||||
|
} |
||||||
|
|
||||||
|
type ConsistentHashPicker struct { |
||||||
|
nodes []*PickNode |
||||||
|
replicas int |
||||||
|
salt string |
||||||
|
hashKeys []uint32 // sorted hashKeys
|
||||||
|
hashNodes map[uint32]*PickNode |
||||||
|
length int |
||||||
|
} |
||||||
|
|
||||||
|
func NewConsistentHashPicker(nodes []*PickNode, replicas int, salt string) *ConsistentHashPicker { |
||||||
|
return &ConsistentHashPicker{ |
||||||
|
nodes: nodes, |
||||||
|
replicas: replicas, |
||||||
|
salt: salt, |
||||||
|
hashKeys: make([]uint32, 0, len(nodes)*replicas), |
||||||
|
hashNodes: make(map[uint32]*PickNode, len(nodes)*replicas), |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
var ( |
||||||
|
DefaultReplicas = 10 |
||||||
|
DefaultSalt = "this_is_salt" |
||||||
|
) |
||||||
|
|
||||||
|
func (c *ConsistentHashPicker) hashFnv32(data []byte) uint32 { |
||||||
|
f := fnv.New32() |
||||||
|
_, err := f.Write(data) |
||||||
|
if err != nil { |
||||||
|
panic(err) |
||||||
|
} |
||||||
|
return f.Sum32() |
||||||
|
} |
||||||
|
|
||||||
|
// Init 构建hash环
|
||||||
|
func (c *ConsistentHashPicker) Init() { |
||||||
|
for _, node := range c.nodes { |
||||||
|
weight := node.Weight |
||||||
|
if weight < 1 { |
||||||
|
weight = 1 |
||||||
|
} |
||||||
|
for i := 0; i < weight; i++ { |
||||||
|
for j := 0; j < c.replicas; j++ { |
||||||
|
key := c.hashFnv32([]byte(strconv.Itoa(i) + node.Key + strconv.Itoa(j) + c.salt)) |
||||||
|
|
||||||
|
if _, ok := c.hashNodes[key]; !ok { |
||||||
|
c.hashKeys = append(c.hashKeys, key) |
||||||
|
} |
||||||
|
c.hashNodes[key] = node |
||||||
|
} |
||||||
|
} |
||||||
|
} |
||||||
|
sort.Slice(c.hashKeys, func(i, j int) bool { |
||||||
|
return c.hashKeys[i] < c.hashKeys[j] |
||||||
|
}) |
||||||
|
c.length = len(c.hashKeys) |
||||||
|
} |
||||||
|
|
||||||
|
func (c *ConsistentHashPicker) Pick(key string) (node *PickNode, ok bool) { |
||||||
|
if c.length == 0 { |
||||||
|
return |
||||||
|
} |
||||||
|
hash := c.hashFnv32([]byte(key + c.salt)) |
||||||
|
|
||||||
|
idx := sort.Search(c.length, func(i int) bool { // 二分查找最小为true的index
|
||||||
|
return c.hashKeys[i] >= hash |
||||||
|
}) |
||||||
|
if idx == c.length { |
||||||
|
idx = 0 |
||||||
|
} |
||||||
|
node, ok = c.hashNodes[c.hashKeys[idx]] |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
// PickOffset
|
||||||
|
// key: pick key
|
||||||
|
// offset: 顺时针第n个节点
|
||||||
|
// return node: pick node
|
||||||
|
// return same: node是否是offset=0时的相同节点
|
||||||
|
func (c *ConsistentHashPicker) PickOffset(key string, offset int) (node *PickNode, same bool, ok bool) { |
||||||
|
if c.length == 0 { |
||||||
|
return |
||||||
|
} |
||||||
|
hash := c.hashFnv32([]byte(key + c.salt)) |
||||||
|
idx := sort.Search(c.length, func(i int) bool { |
||||||
|
return c.hashKeys[i] >= hash |
||||||
|
}) |
||||||
|
if idx == c.length { |
||||||
|
idx = 0 |
||||||
|
} |
||||||
|
hit := (idx + offset) % c.length |
||||||
|
if hit < 0 { |
||||||
|
hit = c.length + hit |
||||||
|
} |
||||||
|
node, ok = c.hashNodes[c.hashKeys[hit]] |
||||||
|
same = c.hashNodes[c.hashKeys[idx]] == node |
||||||
|
return |
||||||
|
} |
||||||
@ -0,0 +1,51 @@ |
|||||||
|
package deliver |
||||||
|
|
||||||
|
import ( |
||||||
|
"strconv" |
||||||
|
"testing" |
||||||
|
) |
||||||
|
|
||||||
|
func TestConsistentHashPicker(t *testing.T) { |
||||||
|
var nodes []*PickNode |
||||||
|
var hits = make(map[string]int, 10) |
||||||
|
for i := 0; i < 10; i++ { |
||||||
|
node := &PickNode{ |
||||||
|
Key: "node-" + strconv.Itoa(i), |
||||||
|
Weight: 10, |
||||||
|
} |
||||||
|
if i < 5 { |
||||||
|
node.Weight = 5 // 遵循 weight 进行负载均衡
|
||||||
|
} |
||||||
|
nodes = append(nodes, node) |
||||||
|
hits[node.Key] = 0 |
||||||
|
} |
||||||
|
picker := NewConsistentHashPicker(nodes, DefaultReplicas, DefaultSalt) |
||||||
|
picker.Init() |
||||||
|
|
||||||
|
for i := 0; i < 100000; i++ { |
||||||
|
node1, ok1 := picker.Pick(strconv.Itoa(i)) |
||||||
|
node2, ok2 := picker.Pick(strconv.Itoa(i)) |
||||||
|
if !ok1 || !ok2 { |
||||||
|
t.Error("pick non node") |
||||||
|
} |
||||||
|
if node1 != node2 { |
||||||
|
t.Error("pick same key not same node") |
||||||
|
} |
||||||
|
hits[node1.Key]++ |
||||||
|
} |
||||||
|
|
||||||
|
for nodeKey, hit := range hits { |
||||||
|
if hit == 0 { |
||||||
|
t.Errorf("node %s not picked", nodeKey) |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
node1, same1, ok1 := picker.PickOffset("100", 1) |
||||||
|
node2, same2, ok2 := picker.PickOffset("100", 1) |
||||||
|
if !ok1 || !ok2 { |
||||||
|
t.Error("pick non node") |
||||||
|
} |
||||||
|
if node1 != node2 || same1 != same2 { |
||||||
|
t.Error("pick same key not same node") |
||||||
|
} |
||||||
|
} |
||||||
@ -1,218 +0,0 @@ |
|||||||
package deliver |
|
||||||
|
|
||||||
import ( |
|
||||||
"context" |
|
||||||
"fmt" |
|
||||||
"google.golang.org/grpc" |
|
||||||
"google.golang.org/grpc/credentials/insecure" |
|
||||||
"google.golang.org/protobuf/proto" |
|
||||||
"sonet/api/gen/postal" |
|
||||||
"sonet/pkg/grpc/balancer" |
|
||||||
"sonet/pkg/grpc/discovery" |
|
||||||
"sonet/pkg/plugins/mq" |
|
||||||
"sonet/pkg/protocol/event" |
|
||||||
"sonet/pkg/utils/logger" |
|
||||||
"sync" |
|
||||||
"sync/atomic" |
|
||||||
) |
|
||||||
|
|
||||||
type GroupLoader interface { |
|
||||||
Load(uid string) (groupIds []string, err error) |
|
||||||
} |
|
||||||
|
|
||||||
type GroupDeliver struct { |
|
||||||
svcName string |
|
||||||
groupLoader GroupLoader |
|
||||||
consumer mq.Consumer |
|
||||||
resolver discovery.Resolver |
|
||||||
postal postal.PostalClient // postal consistent hash client
|
|
||||||
directPostalDialOptions []grpc.DialOption |
|
||||||
directPostals *atomic.Value //map[string]*Postal , postal server 直连客户端
|
|
||||||
lock *sync.RWMutex |
|
||||||
} |
|
||||||
|
|
||||||
func NewGroupDeliver( |
|
||||||
msgInServiceName string, |
|
||||||
groupLoader GroupLoader, |
|
||||||
consumer mq.Consumer, |
|
||||||
resolver discovery.Resolver, |
|
||||||
directPostalDialOptions []grpc.DialOption, |
|
||||||
) *GroupDeliver { |
|
||||||
directPostals := &atomic.Value{} |
|
||||||
directPostals.Store(make(map[string]*Postal, 3)) |
|
||||||
|
|
||||||
return &GroupDeliver{ |
|
||||||
svcName: msgInServiceName, |
|
||||||
groupLoader: groupLoader, |
|
||||||
consumer: consumer, |
|
||||||
resolver: resolver, |
|
||||||
directPostalDialOptions: directPostalDialOptions, |
|
||||||
directPostals: directPostals, |
|
||||||
lock: &sync.RWMutex{}, |
|
||||||
} |
|
||||||
} |
|
||||||
|
|
||||||
func (d *GroupDeliver) Init(ctx context.Context, grpcResolver discovery.GrpcResolver, opts ...grpc.DialOption) (err error) { |
|
||||||
err = d.initPostal(ctx, grpcResolver, opts...) |
|
||||||
if err != nil { |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
// initial all postal direct clients
|
|
||||||
servers, err := d.resolver.ResolveAll(ctx, postal.Postal_ServiceDesc.ServiceName) |
|
||||||
if err != nil { |
|
||||||
return |
|
||||||
} |
|
||||||
d.buildPostals(servers) |
|
||||||
|
|
||||||
// watch postal server instance
|
|
||||||
err = d.watchPostal(ctx) |
|
||||||
if err != nil { |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
err = d.subscribe() |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
// toPostalGid 加上 svc name 前缀避免和其他服务群组冲突
|
|
||||||
func (d *GroupDeliver) toPostalGid(gid string) string { |
|
||||||
return d.svcName + "." + gid |
|
||||||
} |
|
||||||
|
|
||||||
// subscribe postal online events
|
|
||||||
func (d *GroupDeliver) subscribe() error { |
|
||||||
consumerChannel := fmt.Sprintf("%s:%s", "deliver", d.svcName) |
|
||||||
return d.consumer.Subscribe(event.TopicOnline, consumerChannel, func(message *mq.Message) (err error) { |
|
||||||
online := &event.Online{} |
|
||||||
if e := online.UnmarshalBinary(message.Body); e != nil { |
|
||||||
logger.Error("deliver unmarshal online event payload error: ", e) |
|
||||||
return |
|
||||||
} |
|
||||||
// load uid groups join to postal
|
|
||||||
groupIds, err := d.groupLoader.Load(online.Uid) |
|
||||||
if err != nil { |
|
||||||
logger.Error("deliver load groups error:", err) |
|
||||||
return |
|
||||||
} |
|
||||||
if err = d.GroupJoin(context.Background(), online.Uid, groupIds); err != nil { |
|
||||||
logger.Errorf("deliver uid %s group join error: %v", online.Uid, err) |
|
||||||
return |
|
||||||
} |
|
||||||
return |
|
||||||
}) |
|
||||||
} |
|
||||||
|
|
||||||
func (d *GroupDeliver) initPostal(ctx context.Context, resolver discovery.GrpcResolver, opts ...grpc.DialOption) (err error) { |
|
||||||
balancer.InitConsistentHashBuilder() |
|
||||||
rb, err := resolver.Resolver() |
|
||||||
if err != nil { |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
postalUrl := resolver.DialUrl(postal.Postal_ServiceDesc.ServiceName) |
|
||||||
var options []grpc.DialOption |
|
||||||
// consistent hash lb
|
|
||||||
options = append(options, grpc.WithDefaultServiceConfig(fmt.Sprintf(`{"loadBalancingPolicy":"%s"}`, balancer.ConsistentHash))) |
|
||||||
options = append(options, grpc.WithResolvers(rb)) |
|
||||||
options = append(options, grpc.WithTransportCredentials(insecure.NewCredentials())) |
|
||||||
options = append(options, opts...) |
|
||||||
conn, err := grpc.DialContext(ctx, postalUrl, options...) |
|
||||||
if err != nil { |
|
||||||
return |
|
||||||
} |
|
||||||
d.postal = postal.NewPostalClient(conn) |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
// watchPostal watch postal service list
|
|
||||||
func (d *GroupDeliver) watchPostal(ctx context.Context) (err error) { |
|
||||||
ch, err := d.resolver.Watch(ctx, postal.Postal_ServiceDesc.ServiceName) |
|
||||||
if err != nil { |
|
||||||
return |
|
||||||
} |
|
||||||
go func() { |
|
||||||
for { |
|
||||||
select { |
|
||||||
case <-ctx.Done(): |
|
||||||
return |
|
||||||
case servers := <-ch: |
|
||||||
d.buildPostals(servers) |
|
||||||
} |
|
||||||
} |
|
||||||
}() |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
func (d *GroupDeliver) buildPostals(servers []discovery.Server) { |
|
||||||
postals := make(map[string]*Postal) |
|
||||||
directPostals := d.directPostals.Load().(map[string]*Postal) |
|
||||||
for _, server := range servers { |
|
||||||
if p, ok := directPostals[server.Addr]; ok { |
|
||||||
postals[server.Addr] = p |
|
||||||
continue |
|
||||||
} |
|
||||||
// new connection
|
|
||||||
conn, err := grpc.DialContext(context.Background(), server.Addr, d.directPostalDialOptions...) |
|
||||||
if err != nil { |
|
||||||
logger.Errorf("dial postal server %+v error: %v", server.Addr, err) |
|
||||||
continue |
|
||||||
} |
|
||||||
postals[server.Addr] = NewPostal(conn) |
|
||||||
} |
|
||||||
|
|
||||||
// close old connection
|
|
||||||
oldPostals := directPostals |
|
||||||
d.directPostals.Store(postals) |
|
||||||
for addr, p := range oldPostals { |
|
||||||
if _, ok := postals[addr]; !ok { |
|
||||||
p.Close() |
|
||||||
} |
|
||||||
} |
|
||||||
} |
|
||||||
|
|
||||||
func (d *GroupDeliver) DeliverGroup(ctx context.Context, gid string, msg proto.Message, options ...Option) (err error) { |
|
||||||
gid = d.toPostalGid(gid) |
|
||||||
|
|
||||||
// deliver to all postal
|
|
||||||
message, err := protoMessage2Deliver(d.svcName, msg) |
|
||||||
if err != nil { |
|
||||||
return |
|
||||||
} |
|
||||||
req := postal.ReqDeliverGroup{Gid: gid, Msg: message} |
|
||||||
for _, p := range d.directPostals.Load().(map[string]*Postal) { |
|
||||||
p.DeliverGroup(&req) |
|
||||||
} |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
func (d *GroupDeliver) GroupDissolve(gid string) { |
|
||||||
gid = d.toPostalGid(gid) |
|
||||||
|
|
||||||
req := postal.ReqGroupDissolve{Gid: gid} |
|
||||||
for _, p := range d.directPostals.Load().(map[string]*Postal) { |
|
||||||
p.GroupDissolve(&req) |
|
||||||
} |
|
||||||
} |
|
||||||
|
|
||||||
func (d *GroupDeliver) GroupJoin(ctx context.Context, uid string, gids []string) (err error) { |
|
||||||
if len(gids) == 0 { |
|
||||||
return |
|
||||||
} |
|
||||||
for i := 0; i < len(gids); i++ { |
|
||||||
gids[i] = d.toPostalGid(gids[i]) |
|
||||||
} |
|
||||||
|
|
||||||
ctx = context.WithValue(ctx, balancer.ConsistentHashKey, uid) |
|
||||||
req := &postal.ReqGroupJoin{Uid: uid, Gids: gids} |
|
||||||
_, err = d.postal.GroupJoin(ctx, req) |
|
||||||
return |
|
||||||
} |
|
||||||
|
|
||||||
func (d *GroupDeliver) GroupLeave(ctx context.Context, uid string, gids []string) (err error) { |
|
||||||
req := &postal.ReqGroupLeave{Uid: uid, Gids: gids} |
|
||||||
|
|
||||||
ctx = context.WithValue(ctx, balancer.ConsistentHashKey, uid) |
|
||||||
_, err = d.postal.GroupLeave(ctx, req) |
|
||||||
return |
|
||||||
} |
|
||||||
@ -0,0 +1,136 @@ |
|||||||
|
package deprecated |
||||||
|
|
||||||
|
import ( |
||||||
|
"context" |
||||||
|
"fmt" |
||||||
|
"google.golang.org/grpc" |
||||||
|
"google.golang.org/grpc/credentials/insecure" |
||||||
|
"google.golang.org/protobuf/proto" |
||||||
|
"sonet/api/gen/postal" |
||||||
|
"sonet/pkg/grpc/balancer" |
||||||
|
"sonet/pkg/grpc/discovery" |
||||||
|
"sonet/pkg/protocol/deliver" |
||||||
|
"sonet/pkg/utils/logger" |
||||||
|
) |
||||||
|
|
||||||
|
type Status int16 |
||||||
|
|
||||||
|
const ( |
||||||
|
StatusSuccess Status = 1 |
||||||
|
StatusError Status = 2 |
||||||
|
StatusReceiverOffline Status = 10 |
||||||
|
) |
||||||
|
|
||||||
|
// DDeliver n包,通知消息投递
|
||||||
|
// Deprecated
|
||||||
|
type DDeliver struct { |
||||||
|
svcName string |
||||||
|
postal postal.PostalClient |
||||||
|
} |
||||||
|
|
||||||
|
func NewDDeliver(msgInServiceName string) *DDeliver { |
||||||
|
return &DDeliver{ |
||||||
|
svcName: msgInServiceName, |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func (d *DDeliver) InitWithResolver(ctx context.Context, resolver discovery.GrpcResolver, opts ...grpc.DialOption) (err error) { |
||||||
|
balancer.InitConsistentHashBuilder() |
||||||
|
rb, err := resolver.Resolver() |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
postalUrl := resolver.DialUrl(postal.Postal_ServiceDesc.ServiceName) |
||||||
|
var options []grpc.DialOption |
||||||
|
// consistent hash lb
|
||||||
|
options = append(options, grpc.WithDefaultServiceConfig(fmt.Sprintf(`{"loadBalancingPolicy":"%s"}`, balancer.ConsistentHash))) |
||||||
|
options = append(options, grpc.WithResolvers(rb)) |
||||||
|
options = append(options, grpc.WithTransportCredentials(insecure.NewCredentials())) |
||||||
|
options = append(options, opts...) |
||||||
|
conn, err := grpc.DialContext(ctx, postalUrl, options...) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
d.postal = postal.NewPostalClient(conn) |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
func (d *DDeliver) InitWithAddr(postalAddr string, opts ...grpc.DialOption) (err error) { |
||||||
|
// Conn *grpc.ClientConn
|
||||||
|
var options []grpc.DialOption |
||||||
|
options = append(options, grpc.WithTransportCredentials(insecure.NewCredentials())) |
||||||
|
options = append(options, opts...) |
||||||
|
conn, err := grpc.Dial(postalAddr, options...) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
d.postal = postal.NewPostalClient(conn) |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
func (d *DDeliver) Deliver(ctx context.Context, msg proto.Message, receiver string, options ...deliver.Option) (Status, error) { |
||||||
|
return d.deliver0(ctx, msg, []string{receiver}, options...) |
||||||
|
} |
||||||
|
|
||||||
|
func (d *DDeliver) DeliverBatch(ctx context.Context, msg proto.Message, receivers []string, options ...deliver.Option) (Status, error) { |
||||||
|
return d.deliver0(ctx, msg, receivers, options...) |
||||||
|
} |
||||||
|
|
||||||
|
func (d *DDeliver) deliver0(ctx context.Context, msg proto.Message, receivers []string, options ...deliver.Option) (status Status, err error) { |
||||||
|
//opts := deliver.defaultOptions
|
||||||
|
//if options != nil {
|
||||||
|
// for _, opt := range options {
|
||||||
|
// opt.f(&opts)
|
||||||
|
// }
|
||||||
|
//}
|
||||||
|
if receivers == nil || len(receivers) == 0 { |
||||||
|
// return StatusError, errors.New("receivers is empty")
|
||||||
|
return StatusSuccess, nil |
||||||
|
} |
||||||
|
|
||||||
|
// encode msg
|
||||||
|
message, err := deliver.Proto2DeliverMessage(d.svcName, msg) |
||||||
|
if err != nil { |
||||||
|
return StatusError, err |
||||||
|
} |
||||||
|
|
||||||
|
// deliver to gateway
|
||||||
|
if len(receivers) == 1 { |
||||||
|
// deliver one receiver
|
||||||
|
reqDeliver := &postal.ReqDeliver{ |
||||||
|
Receiver: receivers[0], |
||||||
|
Msg: message, |
||||||
|
} |
||||||
|
|
||||||
|
ctx = context.WithValue(ctx, balancer.ConsistentHashKey, reqDeliver.Receiver) |
||||||
|
res, err := d.postal.Deliver(ctx, reqDeliver) |
||||||
|
if err != nil { |
||||||
|
return StatusError, err |
||||||
|
} |
||||||
|
// TODO res code
|
||||||
|
if res.Ok { |
||||||
|
status = StatusSuccess |
||||||
|
} else { |
||||||
|
status = StatusError |
||||||
|
} |
||||||
|
logger.Info("deliver result: ", err, res) |
||||||
|
} else { |
||||||
|
|
||||||
|
// deliver batch receiver
|
||||||
|
ctx = context.WithValue(ctx, balancer.ConsistentHashKey, receivers[0]) |
||||||
|
req := &postal.ReqDeliverBatch{Receivers: receivers, Msg: message} |
||||||
|
res, err := d.postal.DeliverBatch(ctx, req) |
||||||
|
if err != nil { |
||||||
|
logger.Error("deliver error: ", err) |
||||||
|
return StatusError, err |
||||||
|
} |
||||||
|
if res.Ok { |
||||||
|
status = StatusSuccess |
||||||
|
} else { |
||||||
|
status = StatusError |
||||||
|
} |
||||||
|
logger.Info("deliver batch result: ", res) |
||||||
|
} |
||||||
|
return |
||||||
|
} |
||||||
@ -0,0 +1,140 @@ |
|||||||
|
package deliver |
||||||
|
|
||||||
|
import ( |
||||||
|
"context" |
||||||
|
"errors" |
||||||
|
"fmt" |
||||||
|
"google.golang.org/protobuf/proto" |
||||||
|
"sonet/api/gen/postal" |
||||||
|
"sonet/pkg/plugins/mq" |
||||||
|
"sonet/pkg/protocol/event" |
||||||
|
"sonet/pkg/utils/collect" |
||||||
|
"sonet/pkg/utils/logger" |
||||||
|
) |
||||||
|
|
||||||
|
type GroupLoader interface { |
||||||
|
Load(uid string) (groupIds []string, err error) |
||||||
|
} |
||||||
|
|
||||||
|
type GroupDeliver struct { |
||||||
|
svcName string |
||||||
|
groupLoader GroupLoader |
||||||
|
consumer mq.Consumer |
||||||
|
postalPicker *PostalPicker |
||||||
|
} |
||||||
|
|
||||||
|
func NewGroupDeliver( |
||||||
|
msgInServiceName string, |
||||||
|
groupLoader GroupLoader, |
||||||
|
consumer mq.Consumer, |
||||||
|
) *GroupDeliver { |
||||||
|
return &GroupDeliver{ |
||||||
|
svcName: msgInServiceName, |
||||||
|
groupLoader: groupLoader, |
||||||
|
consumer: consumer, |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func (d *GroupDeliver) Init(ctx context.Context) (err error) { |
||||||
|
err = d.subscribe() |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
// toPostalGid 加上 svc name 前缀避免和其他服务群组冲突
|
||||||
|
func (d *GroupDeliver) toPostalGid(gid string) string { |
||||||
|
return d.svcName + "." + gid |
||||||
|
} |
||||||
|
|
||||||
|
// subscribe postal online events
|
||||||
|
func (d *GroupDeliver) subscribe() error { |
||||||
|
consumerChannel := fmt.Sprintf("%s:%s", "deliver", d.svcName) |
||||||
|
return d.consumer.Subscribe(event.TopicOnline, consumerChannel, func(message *mq.Message) (err error) { |
||||||
|
online := &event.Online{} |
||||||
|
if e := online.UnmarshalBinary(message.Body); e != nil { |
||||||
|
logger.Error("deliver unmarshal online event payload error: ", e) |
||||||
|
return |
||||||
|
} |
||||||
|
// load uid groups join to postal
|
||||||
|
groupIds, err := d.groupLoader.Load(online.Uid) |
||||||
|
if err != nil { |
||||||
|
logger.Error("deliver load groups error:", err) |
||||||
|
return |
||||||
|
} |
||||||
|
if err = d.GroupJoin(context.Background(), online.Uid, groupIds); err != nil { |
||||||
|
logger.Errorf("deliver uid %s group join error: %v", online.Uid, err) |
||||||
|
return |
||||||
|
} |
||||||
|
return |
||||||
|
}) |
||||||
|
} |
||||||
|
|
||||||
|
// DeliverGroup 群组消息广播投递到所有 postal 节点
|
||||||
|
func (d *GroupDeliver) DeliverGroup(ctx context.Context, gid string, msg proto.Message, options ...Option) (err error) { |
||||||
|
message, err := Proto2DeliverMessage(d.svcName, msg) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
clients := d.postalPicker.PickAll() |
||||||
|
|
||||||
|
var errs []error |
||||||
|
req := postal.ReqDeliverGroup{Gid: d.toPostalGid(gid), Msg: message} |
||||||
|
for _, client := range clients { |
||||||
|
_, err := client.DeliverGroup(ctx, &req) |
||||||
|
if err != nil { |
||||||
|
errs = append(errs, err) |
||||||
|
} |
||||||
|
} |
||||||
|
if len(errs) > 0 { |
||||||
|
err = errors.Join(errs...) |
||||||
|
return |
||||||
|
} |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
// GroupDissolve 群组消息广播投递到所有 postal 节点
|
||||||
|
func (d *GroupDeliver) GroupDissolve(ctx context.Context, gid string) (err error) { |
||||||
|
clients := d.postalPicker.PickAll() |
||||||
|
|
||||||
|
var errs []error |
||||||
|
req := postal.ReqGroupDissolve{Gid: d.toPostalGid(gid)} |
||||||
|
for _, client := range clients { |
||||||
|
_, err := client.GroupDissolve(ctx, &req) |
||||||
|
if err != nil { |
||||||
|
errs = append(errs, err) |
||||||
|
} |
||||||
|
} |
||||||
|
if len(errs) > 0 { |
||||||
|
err = errors.Join(errs...) |
||||||
|
return |
||||||
|
} |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
func (d *GroupDeliver) GroupJoin(ctx context.Context, uid string, gids []string) (err error) { |
||||||
|
if len(gids) == 0 { |
||||||
|
return |
||||||
|
} |
||||||
|
gids = collect.Mapping(gids, d.toPostalGid) |
||||||
|
|
||||||
|
client, err := d.postalPicker.Pick(uid) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
_, err = client.GroupJoin(ctx, &postal.ReqGroupJoin{Uid: uid, Gids: gids}) |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
func (d *GroupDeliver) GroupLeave(ctx context.Context, uid string, gids []string) (err error) { |
||||||
|
if len(gids) == 0 { |
||||||
|
return |
||||||
|
} |
||||||
|
gids = collect.Mapping(gids, d.toPostalGid) |
||||||
|
|
||||||
|
client, err := d.postalPicker.Pick(uid) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
req := &postal.ReqGroupLeave{Uid: uid, Gids: gids} |
||||||
|
_, err = client.GroupLeave(ctx, req) |
||||||
|
return |
||||||
|
} |
||||||
@ -1,45 +0,0 @@ |
|||||||
package deliver |
|
||||||
|
|
||||||
import ( |
|
||||||
"context" |
|
||||||
"google.golang.org/grpc" |
|
||||||
"sonet/api/gen/postal" |
|
||||||
"sonet/pkg/utils/logger" |
|
||||||
) |
|
||||||
|
|
||||||
type Postal struct { |
|
||||||
conn *grpc.ClientConn |
|
||||||
client postal.PostalClient |
|
||||||
} |
|
||||||
|
|
||||||
func NewPostal(conn *grpc.ClientConn) *Postal { |
|
||||||
return &Postal{ |
|
||||||
conn: conn, |
|
||||||
client: postal.NewPostalClient(conn), |
|
||||||
} |
|
||||||
} |
|
||||||
|
|
||||||
func (p *Postal) Close() { |
|
||||||
err := p.conn.Close() |
|
||||||
if err != nil { |
|
||||||
logger.Error("postal close error: ", err) |
|
||||||
} |
|
||||||
} |
|
||||||
|
|
||||||
// DeliverGroup 群消息发送
|
|
||||||
func (p *Postal) DeliverGroup(req *postal.ReqDeliverGroup) { |
|
||||||
// todo put in chan
|
|
||||||
res, err := p.client.DeliverGroup(context.Background(), req) |
|
||||||
if err != nil || !res.Ok { |
|
||||||
logger.Errorf("deliver to postal failed: %+v, %v", res, err) |
|
||||||
} |
|
||||||
} |
|
||||||
|
|
||||||
// GroupDissolve 解散群组
|
|
||||||
func (p *Postal) GroupDissolve(req *postal.ReqGroupDissolve) { |
|
||||||
// todo put in chan
|
|
||||||
_, err := p.client.GroupDissolve(context.Background(), req) |
|
||||||
if err != nil { |
|
||||||
logger.Errorf("group dissolve failed: %v", err) |
|
||||||
} |
|
||||||
} |
|
||||||
@ -0,0 +1,40 @@ |
|||||||
|
package deliver |
||||||
|
|
||||||
|
import ( |
||||||
|
"google.golang.org/grpc" |
||||||
|
"sonet/api/gen/postal" |
||||||
|
"sonet/pkg/utils/logger" |
||||||
|
) |
||||||
|
|
||||||
|
type PostalNode struct { |
||||||
|
addr string |
||||||
|
conn *grpc.ClientConn |
||||||
|
client postal.PostalClient |
||||||
|
} |
||||||
|
|
||||||
|
func NewPostalNode(addr string, conn *grpc.ClientConn) *PostalNode { |
||||||
|
return &PostalNode{ |
||||||
|
addr: addr, |
||||||
|
conn: conn, |
||||||
|
client: postal.NewPostalClient(conn), |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalNode) Close() { |
||||||
|
err := p.conn.Close() |
||||||
|
if err != nil { |
||||||
|
logger.Error("postal close error: ", err) |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalNode) GetAddr() string { |
||||||
|
return p.addr |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalNode) GetConn() *grpc.ClientConn { |
||||||
|
return p.conn |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalNode) GetClient() postal.PostalClient { |
||||||
|
return p.client |
||||||
|
} |
||||||
@ -0,0 +1,172 @@ |
|||||||
|
package deliver |
||||||
|
|
||||||
|
import ( |
||||||
|
"context" |
||||||
|
"errors" |
||||||
|
"fmt" |
||||||
|
"google.golang.org/grpc" |
||||||
|
"sonet/api/gen/postal" |
||||||
|
"sonet/pkg/grpc/discovery" |
||||||
|
"sonet/pkg/utils/collect" |
||||||
|
"sonet/pkg/utils/logger" |
||||||
|
"sync/atomic" |
||||||
|
) |
||||||
|
|
||||||
|
type PostalPicker struct { |
||||||
|
resolver discovery.Resolver |
||||||
|
directPostalDialOptions []grpc.DialOption |
||||||
|
directPostalNodes atomic.Value // map[string]*PostalNode , postal server 直连客户端
|
||||||
|
picker atomic.Value // *ConsistentHashPicker
|
||||||
|
} |
||||||
|
|
||||||
|
func NewPostalPicker(resolver discovery.Resolver, directPostalDialOptions ...grpc.DialOption) *PostalPicker { |
||||||
|
return &PostalPicker{ |
||||||
|
resolver: resolver, |
||||||
|
directPostalDialOptions: directPostalDialOptions, |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalPicker) Init(ctx context.Context) (err error) { |
||||||
|
// initial all postal direct clients
|
||||||
|
servers, err := p.resolver.ResolveAll(ctx, postal.Postal_ServiceDesc.ServiceName) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
p.newPostalServers(servers) |
||||||
|
|
||||||
|
// watch postal server instance
|
||||||
|
err = p.watchPostal(ctx) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
// watchPostal watch postal service list
|
||||||
|
func (p *PostalPicker) watchPostal(ctx context.Context) (err error) { |
||||||
|
ch, err := p.resolver.Watch(ctx, postal.Postal_ServiceDesc.ServiceName) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
go func() { |
||||||
|
for { |
||||||
|
select { |
||||||
|
case <-ctx.Done(): |
||||||
|
return |
||||||
|
case servers := <-ch: |
||||||
|
p.newPostalServers(servers) |
||||||
|
} |
||||||
|
} |
||||||
|
}() |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
// newPostalServers postal集群节点增减
|
||||||
|
func (p *PostalPicker) newPostalServers(servers []discovery.Server) { |
||||||
|
newPostal := make(map[string]*PostalNode) |
||||||
|
var pickServers []discovery.Server |
||||||
|
oldPostal, ok := p.directPostalNodes.Load().(map[string]*PostalNode) |
||||||
|
if !ok { |
||||||
|
oldPostal = make(map[string]*PostalNode) |
||||||
|
} |
||||||
|
|
||||||
|
for _, server := range servers { |
||||||
|
if p, ok := oldPostal[server.Addr]; ok { |
||||||
|
newPostal[server.Addr] = p |
||||||
|
continue |
||||||
|
} |
||||||
|
// new connection
|
||||||
|
conn, err := grpc.DialContext(context.Background(), server.Addr, p.directPostalDialOptions...) |
||||||
|
if err != nil { |
||||||
|
logger.Errorf("dial postal server %+v error: %v", server, err) |
||||||
|
continue |
||||||
|
} |
||||||
|
newPostal[server.Addr] = NewPostalNode(server.Addr, conn) |
||||||
|
pickServers = append(pickServers, server) |
||||||
|
} |
||||||
|
// 重新构建 consistent hash picker
|
||||||
|
p.newConsistentHash(pickServers) |
||||||
|
|
||||||
|
// close old connection
|
||||||
|
p.directPostalNodes.Store(newPostal) |
||||||
|
for addr, p := range oldPostal { |
||||||
|
if _, ok := newPostal[addr]; !ok { |
||||||
|
p.Close() |
||||||
|
} |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalPicker) newConsistentHash(servers []discovery.Server) { |
||||||
|
nodes := collect.Mapping(servers, func(server discovery.Server) *PickNode { |
||||||
|
return &PickNode{ |
||||||
|
Key: server.Addr, |
||||||
|
Weight: server.GetWeight(), |
||||||
|
} |
||||||
|
}) |
||||||
|
|
||||||
|
picker := NewConsistentHashPicker(nodes, DefaultReplicas, DefaultSalt) |
||||||
|
picker.Init() |
||||||
|
p.picker.Store(picker) |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalPicker) Pick(key string) (client postal.PostalClient, err error) { |
||||||
|
postalNode, err := p.PickNode(key) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
client = postalNode.client |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalPicker) PickNode(key string) (postalNode *PostalNode, err error) { |
||||||
|
picker := p.picker.Load().(*ConsistentHashPicker) |
||||||
|
node, ok := picker.Pick(key) |
||||||
|
if !ok { |
||||||
|
err = errors.New("no available postal server") |
||||||
|
return |
||||||
|
} |
||||||
|
postalNode, ok = p.directPostalNodes.Load().(map[string]*PostalNode)[node.Key] |
||||||
|
if !ok { |
||||||
|
err = fmt.Errorf("no conn for postal server %s", node.Key) |
||||||
|
return |
||||||
|
} |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
// PickOffset
|
||||||
|
// return same: client 是否与 offset=0 时相同
|
||||||
|
func (p *PostalPicker) PickOffset(key string, offset int) (client postal.PostalClient, same bool, err error) { |
||||||
|
postalNode, same, err := p.PickOffsetNode(key, offset) |
||||||
|
if err != nil { |
||||||
|
return |
||||||
|
} |
||||||
|
client = postalNode.client |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalPicker) PickOffsetNode(key string, offset int) (postalNode *PostalNode, same bool, err error) { |
||||||
|
picker := p.picker.Load().(*ConsistentHashPicker) |
||||||
|
node, same, ok := picker.PickOffset(key, offset) |
||||||
|
if !ok { |
||||||
|
err = errors.New("no available postal server") |
||||||
|
return |
||||||
|
} |
||||||
|
postalNode, ok = p.directPostalNodes.Load().(map[string]*PostalNode)[node.Key] |
||||||
|
if !ok { |
||||||
|
err = fmt.Errorf("no conn for postal server %s", node.Key) |
||||||
|
return |
||||||
|
} |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
func (p *PostalPicker) PickAll() (clients []postal.PostalClient) { |
||||||
|
nodes, ok := p.directPostalNodes.Load().(map[string]*PostalNode) |
||||||
|
if !ok { |
||||||
|
return |
||||||
|
} |
||||||
|
clients = make([]postal.PostalClient, 0, len(nodes)) |
||||||
|
for _, node := range nodes { |
||||||
|
clients = append(clients, node.client) |
||||||
|
} |
||||||
|
return |
||||||
|
} |
||||||
@ -0,0 +1,28 @@ |
|||||||
|
package nets |
||||||
|
|
||||||
|
import "testing" |
||||||
|
|
||||||
|
func TestIpConvert(t *testing.T) { |
||||||
|
ip := "192.168.1.110" |
||||||
|
// ip := "255.255.255.255"
|
||||||
|
i64, err := Ip2i64(ip) |
||||||
|
if err != nil { |
||||||
|
t.Error(err) |
||||||
|
} |
||||||
|
ip2 := I642Ip(int64(int32(i64))) |
||||||
|
if ip2 != ip { |
||||||
|
t.Error("ip parse error") |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func TestAddressConvert(t *testing.T) { |
||||||
|
addr := "192.168.1.110:8080" |
||||||
|
i64, err := Address2i64(addr) |
||||||
|
if err != nil { |
||||||
|
t.Error(err) |
||||||
|
} |
||||||
|
addr2 := I642Address(i64) |
||||||
|
if addr2 != addr { |
||||||
|
t.Error("address parse error") |
||||||
|
} |
||||||
|
} |
||||||
Loading…
Reference in new issue