Go优雅关机:信号处理与连接排空摘要: 本篇讲解Go服务优雅关机实战涵盖signal.Notify捕获SIGTERM信号、http.Server.Shutdown排空连接、context超时控制关机时长、gRPC服务的GracefulStop分享K8s滚动更新时强制关闭导致在途请求丢失的踩坑经历对比强制关闭、超时关机、优雅关机三种方案。开篇故事去年我们做了一次K8s滚动更新发版过程持续5分钟。更新完后监控报警有30多个订单状态卡在处理中。排查日志发现这些请求都是发版那一刻进来的旧Pod正在关闭请求进来了但没处理完就被杀了。当时我们的服务没有优雅关机逻辑K8s发SIGTERM信号后默认30秒强制杀进程。我们的HTTP服务直接退出正在处理的请求全部中断。数据库事务回滚但有些下游调用已经发出去了造成数据不一致。后来我给服务加了优雅关机收到SIGTERM后停止接收新请求等在途请求处理完再退出。这篇把信号处理、连接排空、超时控制讲清楚。一、signal.Notify捕获信号Unix系统里进程收到的信号分两类SIGINT是CtrlC发的SIGTERM是K8s发版或kill命令发的。Go用signal.Notify注册信号处理。packagemainimport(contextfmtlogosos/signalsyscalltime)// WaitForSignal 阻塞等待中断信号// 收到SIGINT或SIGTERM返回funcWaitForSignal()os.Signal{// 创建信号通道缓冲大小1避免信号丢失sigCh:make(chanos.Signal,1)// 注册要监听的信号signal.Notify(sigCh,syscall.SIGINT,syscall.SIGTERM)// 阻塞等待信号到达sig:-sigChreturnsig}// WaitForSignalWithContext 带context的信号等待// context取消时也能退出funcWaitForSignalWithContext(ctx context.Context)(os.Signal,error){sigCh:make(chanos.Signal,1)signal.Notify(sigCh,syscall.SIGINT,syscall.SIGTERM)select{casesig:-sigCh:returnsig,nilcase-ctx.Done():returnnil,ctx.Err()}}funcmain(){// 设置一个超时context30秒后自动取消ctx,cancel:context.WithTimeout(context.Background(),30*time.Second)defercancel()fmt.Println(服务启动等待信号...)// 等待信号或超时sig,err:WaitForSignalWithContext(ctx)iferr!nil{log.Printf(等待信号超时: %v,err)return}log.Printf(收到信号: %v,sig)}有个细节要注意signal.Notify的channel必须带缓冲大小至少1。如果没缓冲且信号到达时没人接收信号会被丢弃。二、HTTP服务优雅关机Go标准库的http.Server自带Shutdown方法调用后停止接收新连接等所有在途请求处理完再返回。packagemainimport(contextlognet/httposos/signalsyscalltime)// ServerWrapper HTTP服务封装支持优雅关机typeServerWrapperstruct{server*http.Server}// NewServerWrapper 创建服务funcNewServerWrapper(addrstring)*ServerWrapper{mux:http.NewServeMux()// 注册路由模拟一个耗时请求mux.HandleFunc(/order,func(w http.ResponseWriter,r*http.Request){// 模拟业务处理耗时测试关机时是否等它处理完time.Sleep(3*time.Second)w.Write([]byte(order created))})mux.HandleFunc(/health,func(w http.ResponseWriter,r*http.Request){w.Write([]byte(ok))})returnServerWrapper{server:http.Server{Addr:addr,Handler:mux,// 读超时避免慢攻击ReadTimeout:10*time.Second,WriteTimeout:30*time.Second,// 空闲超时复用连接IdleTimeout:60*time.Second,},}}// StartAndServe 启动服务并优雅关机func(s*ServerWrapper)StartAndServe()error{// 用goroutine启动HTTP服务errCh:make(chanerror,1)gofunc(){log.Printf(HTTP服务启动监听%s,s.server.Addr)// ListenAndServe返回非nil表示出错退出iferr:s.server.ListenAndServe();err!nilerr!http.ErrServerClosed{errCh-err}}()// 监听信号sigCh:make(chanos.Signal,1)signal.Notify(sigCh,syscall.SIGINT,syscall.SIGTERM)select{casesig:-sigCh:// 收到关机信号log.Printf(收到信号%v开始优雅关机,sig)returns.gracefulShutdown()caseerr:-errCh:// 服务异常退出returnerr}}// gracefulShutdown 优雅关机核心逻辑func(s*ServerWrapper)gracefulShutdown()error{// 给关机设置超时超时后强制关闭ctx,cancel:context.WithTimeout(context.Background(),15*time.Second)defercancel()// Shutdown停止接收新连接等待在途请求处理完// 超时后返回context.DeadlineExceedediferr:s.server.Shutdown(ctx);err!nil{iferrcontext.DeadlineExceeded{log.Printf(关机超时仍有请求未完成)}returnerr}log.Printf(优雅关机完成)returnnil}funcmain(){srv:NewServerWrapper(:8080)iferr:srv.StartAndServe();err!nil{log.Fatalf(服务异常: %v,err)}}Shutdown的工作原理分三步。第一步关闭监听socket新连接进不来。第二步轮询所有活跃连接等它们处理完。第三步等满超时时间还有连接没完成强制关闭。超时时间设15秒是经验值K8s默认给30秒留一半时间给服务自己处理。三、gRPC服务优雅停止gRPC服务的优雅关机用GracefulStop逻辑和HTTP类似停止接收新请求等在途RPC调用完成。packagemainimport(contextlognetosos/signalsyscalltimegoogle.golang.org/grpc)// GRPCServerWrapper gRPC服务封装typeGRPCServerWrapperstruct{server*grpc.Server addrstring}// NewGRPCServerWrapper 创建gRPC服务// 注册拦截器和服务实现由调用方完成funcNewGRPCServerWrapper(addrstring)*GRPCServerWrapper{// 创建gRPC server带一元拦截器server:grpc.NewServer(grpc.UnaryInterceptor(unaryInterceptor),)returnGRPCServerWrapper{server:server,addr:addr,}}// unaryInterceptor 简单日志拦截器// 每个请求记录耗时funcunaryInterceptor(ctx context.Context,reqinterface{},info*grpc.UnaryServerInfo,handler grpc.UnaryHandler,)(interface{},error){start:time.Now()// 执行业务handlerresp,err:handler(ctx,req)log.Printf(%s 耗时%v,info.FullMethod,time.Since(start))returnresp,err}// StartAndServe 启动并优雅关机func(g*GRPCServerWrapper)StartAndServe()error{// 监听TCP端口lis,err:net.Listen(tcp,g.addr)iferr!nil{returnerr}// goroutine启动gRPC服务gofunc(){log.Printf(gRPC服务启动监听%s,g.addr)iferr:g.server.Serve(lis);err!nil{log.Printf(gRPC服务退出: %v,err)}}()// 监听信号sigCh:make(chanos.Signal,1)signal.Notify(sigCh,syscall.SIGINT,syscall.SIGTERM)sig:-sigCh log.Printf(收到信号%v开始优雅关机,sig)// GracefulStop阻塞等待所有在途RPC完成// 没有超时参数需要外部用context控制stopDone:make(chanstruct{})gofunc(){g.server.GracefulStop()close(stopDone)}()// 给GracefulStop设置超时select{case-stopDone:log.Printf(gRPC优雅关机完成)returnnilcase-time.After(20*time.Second):// 超时后强制停止log.Printf(gRPC关机超时强制停止)g.server.Stop()returnnil}}funcmain(){gsrv:NewGRPCServerWrapper(:50051)// 这里注册你的pb服务实现// pb.RegisterOrderServiceServer(gsrv.server, OrderService{})iferr:gsrv.StartAndServe();err!nil{log.Fatalf(gRPC服务异常: %v,err)}}GracefulStop和Stop的区别要分清。GracefulStop等所有在途请求处理完可能永远不返回。Stop立即关闭中断所有请求。生产环境先调GracefulStop加超时兜底超时了再调Stop强制杀。四、踩坑经验:强制关闭导致请求丢失这个坑和K8s滚动更新有关。我们的服务部署在K8s上配置了terminationGracePeriodSeconds: 60按理说有60秒处理时间。发版时丢请求排查发现两个问题。第一个问题K8s发SIGTERM的同时preStop hook里我们配了个健康检查服务还在跑但K8s的Service已经把Pod从端点列表移除了。问题是移除端点有延迟发版瞬间还有流量进来而我们的服务收到SIGTERM就停止接收新连接了。第二个问题关机超时设太短。我们设了10秒但有个批量查询接口耗时20秒关机时这个请求没跑完就被强制杀了。packagemainimport(contextlognet/httposos/signalsyscalltime)// SmartServer 智能关机服务// 解决关机时丢请求的问题typeSmartServerstruct{httpServer*http.Server// 预停止钩子关机前先做点准备preStopfunc()error}// StartAndServe 启动并优雅关机func(s*SmartServer)StartAndServe()error{gofunc(){log.Printf(服务启动监听%s,s.httpServer.Addr)iferr:s.httpServer.ListenAndServe();err!nilerr!http.ErrServerClosed{log.Fatalf(服务异常: %v,err)}}()sigCh:make(chanos.Signal,1)signal.Notify(sigCh,syscall.SIGINT,syscall.SIGTERM)sig:-sigCh log.Printf(收到信号%v,sig)// 关键步骤1: 先等几秒// 让K8s的Service把Pod从端点列表移除// 这样新请求不会再来time.Sleep(5*time.Second)log.Printf(等待5秒让负载均衡摘除节点)// 关键步骤2: 执行预停止钩子// 比如反注册到注册中心通知下游不要调我ifs.preStop!nil{iferr:s.preStop();err!nil{log.Printf(preStop失败: %v,err)}}// 关键步骤3: 优雅关机超时设长一点// 30秒足够大部分请求处理完ctx,cancel:context.WithTimeout(context.Background(),30*time.Second)defercancel()iferr:s.httpServer.Shutdown(ctx);err!nil{log.Printf(关机失败: %v,err)returnerr}log.Printf(优雅关机完成)returnnil}funcmain(){mux:http.NewServeMux()mux.HandleFunc(/order,func(w http.ResponseWriter,r*http.Request){// 模拟耗时业务time.Sleep(10*time.Second)w.Write([]byte(ok))})srv:SmartServer{httpServer:http.Server{Addr::8080,Handler:mux,},// preStop反注册到服务发现preStop:func()error{log.Printf(执行preStop反注册服务)returnnil},}srv.StartAndServe()}解决方案三点。收到SIGTERM后先等5秒让负载均衡把节点摘除。然后执行preStop钩子反注册到注册中心。最后优雅关机超时设30秒覆盖最慢的接口。三个步骤配合发版时不再丢请求。五、对比分析关机方案在途请求新请求超时控制实现复杂度强制关闭(os.Exit)全部丢失立即拒绝无极低信号等待Shutdown等待完成拒绝有低信号preStopShutdown等待完成摘除后无有中强制关闭日志记录丢失但可恢复拒绝无低强制关闭最简单但丢请求生产环境绝对不能用。信号等待加Shutdown是基本款覆盖90%场景。信号加preStop加Shutdown是完整方案适合K8s滚动更新。强制关闭加日志记录算补偿方案记录哪些请求丢了后续补偿处理。总结与预告优雅关机的核心是收到信号后停止接收新请求等在途请求处理完再退出。HTTP用ShutdowngRPC用GracefulStop都要配超时兜底。K8s场景要加preStop等待节点摘除。关机超时设多长按最慢接口来。下一篇讲Go依赖注入Wire看看怎么用代码生成管理复杂依赖。