• 自动秒收录
  • 软件:1973
  • 资讯:56351|
  • 收录网站:191327|

IT精英团

无监控 无运维!普罗米修斯在线服务监控实用指南

无监控 无运维!普罗米修斯在线服务监控实用指南

浏览次数:
评论次数:
编辑: 乐咏
信息来源: ITPUB
更新日期: 2022-05-30 21:18:48
摘要

本文可以看做是对《SRE》一书第10章《基于时间序列数据进行有效报警》的实践总结。Prometheus是一款开源的业务监控软件,可以看作是Google内部监控系统Borgmon的一个(非官方)实现

  • 正文开始
  • 相关阅读
  • 推荐作品

这篇文章可以看作是《SRE》书第十章的练习总结。Prometheus是一款开源的商业监控软件,可以看作是谷歌内部监控系统Borgmon的(非官方)实现。本文将介绍我最近用Prometheus搭建的一套完整的半自动(有点手动操作)监控系统方案,可用于中小型(500个节点以下)。

主动监控

它是监控运维系统的基础。我们可以通过看一个公司/部门的监控系统来衡量他们的运维水平。监控手段一般可分为三种:

主动监控:在业务上线前,根据运维制定的标准,应该提前埋好站点。实现的方法有很多,比如日志、向本地代理报告、提供REST API等。

被动监控:通常情况下,它是主动监测的一种补充。从外围进行黑盒监控,通过主动检测服务的功能可用性进行监控。例如周期性地查验服务端口。

旁路监控:主动监测和被动监测通常在内部进行。一个流畅的内部运行并不能保证用户的体验是正常的(比如用户的网络出了问题),所以还是要通过舆情监测和第三方监测工具的数据来间接监测真实的服务质量。

主动监测是最理想的方案,后两者主要作为补充。本文只关注主动监控。监控实际上是一个端到端的系统(基础设施-服务器-业务-用户体验)。本文只关注业务级的主动监控。

Prometheus

为什么选择Prometheus而不是其他TSDB实现(比如InfluxDB)?主要是因为Prometheus的核心功能——查询语言PromQL,比SQL更像一个可编程的计算器,这也意味着PromQL几乎可以无限组合各种查询结果。

例如,我们有一个http服务,监控项http_requests_total用于统计请求的数量。某组监控数据可能如下所示:

http _ requests _ total { instance=' 1 . 1 . 1 . 1:80 ',job='cluster1 ',location='/a ' } 100 http _ requests _ total { instance=' 1 . 1 . 1 . 1:80 ',job='cluster1 ',location='/b ' } 110 http _ requests _ total { instance=' 1 . 1 . 2:80 ',job='cluster2 ',location='/b ' } 100 http _ total

这里有3个标签,分别对应捕获的实例,它所属的作业(一般我用集群名),访问路径(你可以理解为Nginx的位置)。普罗米修斯多维数据模型意味着我们可以在任何一个或多个维度上进行计算:

如果要统计单机的qp,sum(rate(http _ requests _ total[1m]))by(instance)

如果要对每个集群中每个不同位置的路径的qps,sum(rate(http _ requests _ total[1m])乘(job,path)进行计数,PromQL会根据标签job-path的值对结果进行聚合。

除了PromQL,丰富的数据类型可以提供更有意义的监控项目:Counter:标识单调递增的数据,比如接口访问次数。

量规:当前的瞬时状态,可能会增加或减少,如CPU利用率、平均延迟等。

Historgram:用于统计数据分布,如95%的延迟。

大部分监控项目可以使用计数器实现,少数使用标尺和直方图。服务器端直方图的计算是相当CPU密集型的,所以不需要导出太多的直方图数据。

最后,普罗米修斯采用拉模型的实时捕获和存储计算,主动捕获监控实例数据。与推送模式相比,Prometheus具有更低的业务入侵,并且与基于lo

g的离线统计则更实时,而监控实例只需提供一个文本格式的/metrics接口也更容易debug。

服务框架的改造

笔者所在团队使用统一的服务框架来规范项目开发并有效降低了开发难度。这里先介绍下我们的服务框架:
  • 类似于 Nginx 的多进程架构(master/worker),但同时也支持多线程的事件循环编程模型
  • 支持多种接入协议(HTTP,Thrift,PB等),但主流是HTTP
  • 业务通过 Module 来加载进框架执行(类似 Nginx 的 module,但更简单)
  • 提供纯异步的下游访问 API
为了使服务框架可以导出内部监控项,主要涉及几方面的工作:
  • 提供基础数据类型

    • 目前并没有官方的Prometheus Client Library,几种开源实现也都不太符合框架的需求。目前实现了支持多线程多进程的Counter和Histogram(除了初始化之外,更新操作都是无锁的),而Gauge由于多进程场景有的情况是无法聚合监控数据的(没用统一的聚合方法,并不一定都可以相加),所以没有提供具体实现

    • 基础数据要有类似注册表的功能,方便自动导出数据到/metrics接口

  • 在服务框架埋点

    • 要足够灵活,将容易变化的信息通过标签来表达。

      比如一个web服务可能有echo,date两个location,如果要统计它们qps,不要定义echo_requests_total, date_requests_total两个不同名字的 metrics,而应该定义一个名为http_requests_total的 metrics,通过标签location(分别为echo/date)来区分,这样再增加/减少接口是不需要改代码的

    • 理想情况是业务几乎为各种通信功能自行埋点,所以内置埋点要将常用监控项都要覆盖到(QPS,Latency,Error Ratio)

数据的抓取与展现

具备导出能力后,就可以通过Prometheus 进行抓取了,但还有几个小坑:用户定义的metrics名字,可能是不符合Prometheus规范的,而遇到一条不合法的数据,Prometheus就会停止抓取,所以导出数据时要先做一遍过滤和改写
要控制导出数据规模,一些只对单机监控有意义的数据可以不导出(框架有针对单机的监控页面)在使用 Prometheus 时,也有几个地方要注意:Prometheus即是一个CPU密集型(查询)也是一个IO密集型(数据落地)的,CPU数量是多多益善,内存越大越好(来缓存抓取的数据,所以应该减少不必要的业务数据导出),尽量要使用SSD(这个很关键!),因为一旦Prometheus的内存使用量达到阈值会停止抓取数据!这个停止抓取的时间,至少是分钟级,甚至是无法恢复!所以只要有条件就要用SSD。

Prometheus号称支持 reload,但目测不是很好用,比如你修改了告警规则文件,重载之后,新旧告警规则似乎会一起计算执行….

Prometheus本身也提供图形界面,但是很简陋:

通常还是使用Grafana来展示监控数据。

因为是统一的业务框架,统一的监控指标,所以 Grafana 的 Dashboard 很容易统一配置:
  • 我没有找到将默认模板打包进 Grafana 的方法,只能迂回的创建了一个新的Grafana Plugin,在启动之后,每个业务实例只需要启动下这个插件,然后配置一个默认的 Prometheus 数据源,就可以使用统一的监控 Dashboard
  • Dashboard 分为3行
    • 第一行展示实时的 QPS,平均延时,平均排队时间,Coredump 数量,下游引擎失败率,下游引擎延时变化
    • 第二行展示业务的延迟(50%和95%延迟),流量,吞吐(按照不同错误码)
    • 第三行展示下游引擎的延迟(50%和95%延迟),流量,吞吐(按照不同错误码)
能够展示 Prometheus 强大威力的是,这里面每一个图表,都可以同时展示所有机房的监控指标,而每一个指标的计算只需要一条 Query 语句。比如第一行第五列,各个机房的各个下游的失败率统计并排序,只用了一条语句:
    topk(5, 100*sum(rate(downstream_responses{error_code!="0"}[5m])) by (job, server)/sum(rate(downstream_responses[5m])) by (job, server))
    注意这里的 Range Vector Selector - [5m],意味着我们是基于过去5分钟的数据来计算rate,这个值取的越小,得到的监控结果波动越大,越大则越平滑,选择多大的值,取决于你想要什么结果。建议图表使用5m,而告警规则计算采用1m。如果业务不是很重要,可以适当增大这个值。
    这一套监控模板基本覆盖了业务对可用性监控的需求,同时业务也可以自己定义监控指标并进行监控。

    AlertManager

    Prometheus 周期性进行抓取数据,完成抓取后会检查是否有告警规则并进行计算,满足告警规则就会触发告警,发送到 alertmanager。基于这个流程,当你在监控图表看到异常时,告警已经先行触发了。

    默认情况我们配置了不到10条告警规则,要注意的是周期的选择,过长的话会产生较大延迟,太短的话一个小的流量波动都会导致大量报警出现。

    Prometheus 的设计是产生报警,但报警的汇总、分发、屏蔽则在 AlertManager 服务完成。

    AlertManager 目前还是非常简单的,但它可以将告警继续分发到其他接收者:
    • 可以通过 webhook机制,发送告警到一个中间服务转换格式再发送到内部告警接口
    • 如果使用第三方告警管理平台,如PageDuty、OneAlert,可以直接用内置的 pageduty 支持或 webhook 发送告警过去
    • 如果是一穷二白的团队,建议配置 email + slack,实现告警归档和手机 Push
    更复杂告警分级管理,AlertManager 还是有很长的路要走,这个话题也值得今后单独讲下。

    Prometheus + Grafana + Mesos

    Prometheus + Grafana 的方案,加上统一的服务框架,可以满足大部分中小团队的监控需求。我们将这几个组件打包一起部署在 Mesos 之上,统一的安装包进一步降低监控系统部署的难度,用户需要配置一些简单的参数即可。但还需要注意几点:

    • 目前并没有将 Prometheus 和 Grafana 容器化部署,因为这两者本身就没有什么特殊依赖;安装包存储在 minio 中。

    • 由于 Prometheus 系统的特殊性,我们通常将其指定在一台固定的机器上执行,且将数据落地到一个固定的目录,这样重启 Prometheus 的影响会非常低

    • Grafana 是展示给用户的,需要尽可能的保持固定入口,所以我们通过 HAPROXY_CONSUL给其配置了代理


    结论

    Prometheus 是相当强大并快速成长的一个监控系统实现,虽然在稳定性、性能、文档上仍有很大提升空间,但对于中小团队是一个很棒的选择,通过定制服务框架,设计完善的埋点,统一的Prometheus/Grafana配置模板,再加上Mesos平台,可以半自动化的部署实时业务监控系统。
    标签:数据 业务 框架
    如何保证MySQL和Redis的数据一致性?
    « 上一篇 2022-05-30
    • 如何保证MySQL和Redis的数据一致性?
      0阅读 0条评论 个赞
      以下文章来源于公众号-楼仔,作者楼仔我直接先抛一下结论:在满足实时性的条件下,不存在两者完全保存一致的方案,只有最终一致性方案。根据网上的众多解决方案,总结出6种,直接看目录:不好的方案1.先……
    • 运维必备!Linux运维远程文件传输命令详解
      0阅读 0条评论 个赞
      文本目录rsync命令介绍rsync命令特性rsync常用参数rsync基础使用rsync排除文件rsync远程同步rsync增量备份rsync双向同步企业数据存储需求在企业里数据是最重要的,因此需要……
    • 管理关系型数据库常用的统计语句
      1阅读 0条评论 个赞
      以下文章来源于公众号-悦专栏,作者马听这一节内容,整理一些管理MySQL会经常用到的统计语句,比如表的碎片率、非InnoDB的表、所有用户和所有业务库等。1查看所有业务库selectsche……
    • 前端质量|基于业务驱动的前端绩效有效实践案例
      1阅读 0条评论 个赞
      一、背景1.1.前端性能优化的业务意义前端的本质价值是什么?我认为是给用户创造良好的交互体验。前端性能对用户体验、对业务跳失率的影响,在业界已有共识,不言而喻。根据Google的数据,如果移动站点……
    • 如何正确创建和销毁Java对象?
      16阅读 0条评论 个赞
      一、介绍Java由SunMicrosystems发明并在1995年发布,是世界上使用最广泛的编程语言之一。Java是一个通用编程语言。由于它拥有功能强大的库、运行时、简单的语法、平台无关(Write……
    发表评论 共有条评论
    用户名: 密码:
    验证码: 匿名发表
    • Linux最常用的命令:解决95%以上的问题
      1阅读 0条评论 个赞
      Linux是目前应用最广泛的服务器操作系统,基于Unix,开源免费,由于系统的稳定性和安全性,市场占有率很高,几乎成为程序代码运行的最佳系统环境。linux不仅可以长时间的运行我们编写的程序代码,还可……
    • 如何在Bash脚本中使用强大的Linux测试命令
      1阅读 0条评论 个赞
      Linuxtest命令是Shell内置命令,用来检测某个条件是否成立。test通常和if语句一起使用,并且大部分if语句都依赖test。可以将一个元素与另一个元素进行比较,但它更常……
    • 一万字长文讲解HBase读写性能优化
      2阅读 0条评论 个赞
      一、HBase读优化1.HBase客户端优化和大多数系统一样,客户端作为业务读写的入口,姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法,这里一般需要关注四个问题:1)s……
    • 纳尼?数据也是立法的吗?
      1阅读 0条评论 个赞
      编辑:彭文华来源:大数据架构师(ID:bigdata_arch)彭友们好,我是老彭。最近忙疯了,天天给客户写方案,都没时间写文章了。趁着五一假期,跟彭友们唠唠新鲜事儿。今天这个,真的是颠覆我的认知,……
    • 高可用性架构设计的无状态服务
      2阅读 0条评论 个赞
      笑谈架构设计事故的发生是量的积累的结果,任何事情都没有表面看起来那么简单,在软件运行的过程中,随着用户量的增加,不考虑高可用,迟早有一天会发生故障,不得事先考虑高可用设计,而高可用是一门庞大的学问。在……
    • 代码| C语言根据可执行文件名获取进程运行信息
      1阅读 0条评论 个赞
      如下示例可根据可执行文件名获得线程数、虚拟内存占用大小、物理内存占用大小、进程PID、CPU占用率和进程启动次数等信息。1.程序源码main.c:#include#include<……
    • Python中6个堪称不朽的内置函数
      1阅读 0条评论 个赞
      以下文章来源于公众号-快学Python,作者朱小五在很多计算机书籍中,它们也通常作为高阶函数来介绍。而我自己在日常工作中,经常使用它们来使代码更快,更易于理解。Lambda函数Lambda函数用于创……
    • 7 种提升Spring Boot吞吐量神技!
      0阅读 0条评论 个赞
      一、异步执行实现方式二种:1.使用异步注解@aysnc、启动类:添加@EnableAsync注解2.JDK8本身有一个非常好用的Future类——CompletableFuture@AllArg……
    • 干货:10个聚类算法的完整Python操作实例
      1阅读 0条评论 个赞
      来源:海豚数据科学实验室本文约7000字,建议阅读14分钟本文将介绍一篇关于聚类的文章,10种聚类介绍和Python代码。聚类或聚类分析是无监督学习问题。它通常被用作数据分析技术,用于发现数据中的有趣……
    • MySQL减肥3种方法 还有谁不行?
      2阅读 0条评论 个赞
      在使用SQL提数的时候,常会遇到表内有重复值的时候,比如我们想得到uv(独立访客),就需要做去重。在MySQL中通常是使用distinct或groupby子句,但在支持窗口函数的sq……
    • 管理关系型数据库常用的统计语句
      1阅读 0条评论 个赞
      以下文章来源于公众号-悦专栏,作者马听这一节内容,整理一些管理MySQL会经常用到的统计语句,比如表的碎片率、非InnoDB的表、所有用户和所有业务库等。1查看所有业务库selectsche……
    • 高并发服务的几点优化经验
      1阅读 0条评论 个赞
      前言:如何优化高并发服务,这里指的是qps在20万以上的在线服务,注意不是离线服务,在线服务会存在哪些挑战呢?①无法做离线缓存,所有的数据都是实时读的②大量的请求会打到线上服务,对于服务的响应时间要……
    • MySQL 8.0如何创建规范表
      1阅读 0条评论 个赞
      这一节内容,基于MySQL8.0版本,聊一下如何创建一张规范的表。首先贴出一张相对规范的表结构:CREATETABLEstudent_info(`id`INTNOTNULLAUTO_IN……
    • 2022年大数据五大发展趋势
      12阅读 0条评论 个赞
      2021年,我们看到围绕现代数据栈的兴起出现了相当大的加速效应。我们现在有一个海啸般的通讯、影响者、投资者、专门的网站、会议和活动来宣扬它。围绕现代数据栈的概念(尽管仍处于早期阶段)与云中数据工具的爆……
    • 脸书数据库项目负责人:我从做基础设施中学到的42件事
      2阅读 0条评论 个赞
      最近读到了分布式系统研究者MaheshBalakrishnan的一篇博客《42thingsIlearnedfrombuildingaproductiondatabase》。同样做……
    • 用Ansible实现MySQL的备份、操作和维护
      0阅读 0条评论 个赞
      作者简介曹杰,中国结算上海分公司高级经理,从事系统运维管理工作。本文以容器形式部署了开源自动化运维工具Ansible,基于自带的MySQL管理模块编排了playbook配置文件,最终实现M……
    • Linux预定任务调度(crontab) 好实用!
      0阅读 0条评论 个赞
      概述crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。可以使用crontab定时处理离线任务,比如每天凌晨2点更新数……
    • Docker 从入门到实战 未雨绸缪收藏~
      1阅读 0条评论 个赞
      一、概述1.1基本概念Docker是一个开源的应用容器引擎,基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中……
    • 提高Java字符串编码和解码性能的技巧
      1阅读 0条评论 个赞
      1常见字符串编码●常见的字符串编码有:LATIN1只能保存ASCII字符,又称ISO-8859-1。UTF-8变长字节编码,一个字符需要使用1个、2个或者3个byte表示。由于中文通常需要3个字节……
    • 优雅地处理重复请求(并发请求)
      1阅读 0条评论 个赞
      利用唯一请求编号去重业务参数去重计算请求参数的摘要作为参数标识继续优化,考虑剔除部分时间因子请求去重工具类,Java实现总结对于一些用户请求,在某些情况下是可能重复发送的,如果是查询类操作并无大碍,但……
    • 战“疫”时刻彰显创业本色  恒昌蓄力破局谋发展
      1阅读 0条评论 个赞
      近期,国内多地疫情频发。为此,各地政府针对本轮疫情及时采取相应防控措施,部分城市地区甚至按下了“暂停键”,这无疑对企业发展带来了一定的困难。但这并不能阻挡创业者前进的步伐,以恒昌为代表的诸多创业公司上下团结一心,唱响了一首坚守初心的战“疫”之歌。恒昌一方面积极进行抗疫部署,按照相关规定有序推进员工疫情防控工作;另一方面,持续远程在线推进业务开展,坚持做好客户服务,彰显了创业者在特殊时期初心不改、以勤补拙的奋斗精神和责任担当。……
    • 科技赴港IPO推迟或因金融业务:刘持有52.4%投票权 被曝与存在关联交易
      0阅读 0条评论 个赞
      近日,据市场消息称,京东旗下的金融科技公司京东科技被迫推迟了在香港上市的20亿美元计划,原因是监管机构尚未批准其上市。消息显示,监管部门对京东科技IPO计划的主要担忧可能与其消费金融业务有关。……
    • 腾讯披露第一季度金融科技营收数据
      1阅读 0条评论 个赞
      腾讯控股(00700,HK)发布了2022年第一季度业绩报告。财报显示,2021年Q1腾讯营收1354.71亿元,与上年同比基本持平;归母净利润(Non-IFRS)255.45亿元,同比下滑23%。这也是腾讯在继2021年Q3净利润同比下滑2%、Q4净利润同比下滑25%后,连续第三个季度出现单季净利润负增长。……
    • Kubernetes 4000节点运维经验分享
      1阅读 0条评论 个赞
      1摘要在PayPal,我们最近开始试水Kubernetes。我们大部分的工作负载都运行在ApacheMesos上,而作为迁移的一部分,我们需要从性能方面了解下运行Kubernetes集群……
    • 辞职近4年的建行女高管被调查
      1阅读 0条评论 个赞
      曾任建行部门总……
    • 管理关系型数据库常用的统计语句
      1阅读 0条评论 个赞
      以下文章来源于公众号-悦专栏,作者马听这一节内容,整理一些管理MySQL会经常用到的统计语句,比如表的碎片率、非InnoDB的表、所有用户和所有业务库等。1查看所有业务库selectsche……
    • 白杨SEO:什么是百家号SEO?如何引流百家号?
      6阅读 0条评论 个赞
      前言:这是公众号白杨SEO原创第372篇。为什么再写百家号?一是因为还有很多个人或企业没有重视;二是现在网站SEO并不好做,不管白帽SEO还是其它。认真看完,希……
    • 如何优雅地升级Kubernetes集群的Docker和Containerd版本
      1阅读 0条评论 个赞
      前言公司用的k8s集群是“多环境合一”的方式,集群流量入口也摒弃了常见的traefik和ingress-nginx,直接用了一个国内不常见的底层基于Envoy的APIGateway网关服务。当然还有……
    • 趣店宣布重新达到纽交所连续上市的股价标准 周四早盘跌近6%
      1阅读 0条评论 个赞
      近日,趣店宣布,经纽交所于2022年5月2日发出的通知函确认,公司已重新符合纽约证券交易所(“纽约证券交易所”)的持续上市价格标准。……
    • 头衔:沈东 PICC宝洁公司前副总裁;c保险 被“双开”:“风贪一体”问题突出 分管财务
      0阅读 0条评论 个赞
      经中国人民保险集团股份有限公司党委研究,决定给予沈东开除党籍处分和开除处分;收缴其违纪违法所得。……
    • 专家:十四五期间金融科技有哪些新变化?
      2阅读 0条评论 个赞
      作者 |&nbsp;肖翔 丁洋洋来源 | 北大金融评论杂志2021年12月,人民银行印发《金融科技发展规划(2022-2025年)》(以下简称《规……
    • 河南村镇银行“无法提现”背后:非法集资集团控制多省及农商行
      11阅读 0条评论 个赞
      此次涉事的村镇银行,多数都由许昌农商行控股,且在过去几年间,都曾因违规放贷被处罚过。同时,在取款难的问题出现后,一家名叫河南新财富集团投资控股有限公司(以下简称“新财富集团”)的企业也浮出水面。据一份储户和接警人员的通话录音显示,新财富集团与涉事银行存在合作关系,涉嫌非法吸收公众存款。北青深一度从当地银行系统的一位内部人员处获悉,现在已经基本确定,新财富集团涉嫌非法集资,且金额巨大。目前银行关闭提现入口,是因为无法鉴别非法资金与合法资金,所以采取了应急措施。……
    • 法拉第未来2022年第一季度净亏损1.53亿美元 累计亏损30亿美元
      0阅读 0条评论 个赞
      法拉第未来公布了该公司的2022财年第一季度财报。报告显示,法拉第未来第一季度运营亏损约为1.49亿美元,相比之下上年同期的运营亏损约为1900万美元;净亏损为1.53亿美元,相比之下上年同期的净亏损为7550万美元,同比有所扩大。截至2022年3月31日,公司累计亏损约30亿美元。……
    • JD.COM科技港股失败?财务属性是关键
      3阅读 0条评论 个赞
      有媒体报道称,其未获监管批准,原计划在3月底向香港证券交易所提交上市文件,预计筹集多达20亿美元。……
    • 有效提高网站关键词排名的六大策略
      2阅读 0条评论 个赞
      想要让自己的我哪敢这哪在百度前三出现,该怎么办呢?今天我们就来看看这些年做seo优化的一些经验,下面我们就从六种方面来介绍提升网站关键词排名的技巧,需要的朋友可以参考下……
    • 可以解决80%问题的故障排除思路
      1阅读 0条评论 个赞
      在讲解事件、故障处理思路前,先讲一个故障场景(以呼叫中心系统作为一例子):业务人员反映呼叫中心系统运行缓慢,部份电话在自助语言环节系统处理超时,话务转人工座席,人工座席出现爆线情况。运维人员开始忙活了……
    • 京东云首次公布JD.COM供应链金融科技平台
      1阅读 0条评论 个赞
      近日,京东云举办了产业融合新品发布会-金融科技专场,在线上发布了3款金融科技产品,具体包括:一是面向金融机构的数智化营销增长方案;二是京东生物资产监管平台和京东供应链金融科技平台。目前,京东云已经与中国银行、工商银行、建设银行、中信银行、民生银行、平安银行等金融机构共建了全场景营销生态,探索以数字化合作模式实现场景获客和持续用户经营,实现客户增长。……
    • 拉卡拉展望2022年整体业务目标:克服压力 保持一定的增长水平
      13阅读 0条评论 个赞
      据拉卡拉支付公布的投资者关系活动记录表显示,日前,针对展望2022年整体经营目标,拉卡拉表示,今年情况比较复杂,主要是疫情的反复,对商户和实体经济的影响。公司已经在经营战略和策略上,围绕商户形态和数字化经营,在前中后台、直营和渠道、产品和技术、机制和能效等方面开始做些调整,克服压力,努力保持一定增长水平。……
    • 中行某支行副行长及其同伙拿着贷款 以24%的高息借给别人!
      1阅读 0条评论 个赞
      中行江门新会支行副行长苏某清为谋取非法利益,与同伙马某伦以抵押房产的方式虚构贷款用途。……
    • 委托支付不合规 建行、交行、邮储被处罚
      5阅读 0条评论 个赞
      合计被罚90万。……
    最近发布资讯
    更多