阿捷外传之Git代码统计:DotNetCore + PowerBI 实现Git仓库日志分析

本文主要是介绍阿捷外传之Git代码统计:DotNetCore + PowerBI 实现Git仓库日志分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

2020年3月初春,虽然春节已经过去一个多月,大街上还未恢复往年的热闹。由于春节前夕突然降临的冠状病毒,导致很多员工无法回到城市复工。春节之后,阿捷所在的公司考虑到复工带来的风险,通知所有员工以远程的方式在家办公。

某一天,PM联系到阿捷,说目前有一个需求,想要对各个项目组的Git仓库提交信息进行相关统计,让阿捷调研一下。于是阿捷查了一番资料,了解到可以直接用原生 Git 命令行的方式来实现。

即使用内置的 git log 命令,提取仓库下的提交日志。

实践经过

git log 默认的输出格式是下面这个样子:

其中,上面的输出内容里主要包含了以下4种信息:

  • Commit 信息,每次提交的一个hash值;

  • Author 相关信息,提交的作者和及邮箱信息;

  • Commit Message, 提交时填写的信息,可能会包含多行文字。

Date 信息,这个信息中除了有日期时间,还包含时区信息。例如,从上图中可以看到有一条记录的日期为 Mon Mar 2 22:06:13 2020 -0800,其中最后的 -0800 就是所在的时区,即西八区,根据时区地图,可以看到 -0800是在美国西部湾区。中国处于东八区,所以如果是在中国提交的话,时区部分将会是 +0800 。

除了以上的4个基础信息,PM还想要拿到每次提交时变动的代码行数,阿捷通过查询Git Log 的命令行文档,了解到可以通过追加配置项 git log --shortstat 来输出变更的行数,如下图所示。

另外,git log 也考虑到输出格式化的问题,可以使用特殊的占位符指定输出格式。经过反复实验,优化后的命令如下:

git log --all --pretty="%x40%h%x2C%an%x2C%ad%x2C%x22%s%x22%x2C" --shortstat | tr "\n" " " | tr "@" "\n"

通过上面的魔幻配置,基本上能从每条提交记录中提取出需要的列,然后用逗号方式进行拼接,最终可以生成出CSV格式的文件。

然而这种方式始终不够优雅,命令中额外使用了 tr 对字符串进行处理,这意味着在目标机器上也要有这个工具,否则无法运行,而 windows 上只能通过安装第三方工具实现。

另外一点是扩展性问题,命令行对于csv这种简单的格式处理还好说,如果要输出JSON格式的话,就不好办了,而且命令行的配置项几乎没人能看懂,以后维护起来免不了要996。

基于上述痛点,阿捷又在网上搜寻了一番,最终在MVP大佬的一篇博客(https://edi.wang/post/2019/3/26/operate-git-with-net-core)中找到了蛛丝马迹。根据博客中的内容来看,可以通过一款名为libgit2sharp(https://github.com/libgit2/libgit2sharp)的类库,实现我们的需求。

libgit2sharp内部嵌套了一个基于C语言实现的Git内核,它自身对外提供一系列和Git操作相关的接口,并且它的上游核心仓库libgit2(https://github.com/libgit2/),提供了对包括Python,PHP,C#在内的多种语言的支持。而且项目是开源的,由社区进行维护。

阿捷经过简单上手,觉得提供的API可以满足需要,然后快速制作出了一个简易的命令行程序。核心代码如下:

using (var repo = new Repository(workdir))
{Console.WriteLine("all commit count:" + repo.Commits.Count());foreach (Commit commit in repo.Commits){var commitDto = new GitCommitLogDto{CommitHash = commit.Sha,AuthorName = commit.Author.Name,AuthorEmail = commit.Author.Email,MessageShort = commit.MessageShort,AuthorDate = commit.Author.When.DateTime,};var patch = GetPatchInfo(repo, commit);if (patch != null){commitDto.LinesAdded = patch.LinesAdded;commitDto.LinesDeleted = patch.LinesDeleted;};Console.WriteLine(commitDto.ToString());list.Add(commitDto);}
}

由于有了良好封装和结构化数据的支持,理论上可以将结果转化成任何格式,包括CSV,JSON,XML等,并且可以很方便地对数据格式进行任意加工。

考虑到工具在实际使用时,面临着跨平台和环境依赖的问题,于是阿捷使用了DoNetCore3.0提供的新特性,将程序打包成了不依赖安装环境的可执行文件,不需要安装外部依赖,开箱即用,最终打包的命令如下:

# publish win-x64
dotnet publish -c Release -o publish/win-x64 -r win-x64 /p:PublishSingleFile=true /p:IncludeSymbolsInSingleFile=true /p:PublishTrimmed=true#publish linux-x64
dotnet publish -c Release -o publish/linux-x64 -r linux-x64 /p:PublishSingleFile=true /p:IncludeSymbolsInSingleFile=true /p:PublishTrimmed=true

然后因为是开源项目,可以用GitHub的高性能构建机器,阿捷使用了yml文件为项目制作了自动构建的流水线,每次提交代码后自动触发编译生成出新的二进制文件。

除了CSV文件的部分,PM那还需要制作出相关报表,对CSV中的数据进行统计。阿捷考察了目前市面上流行的BI工具,最终选择了免费的PowerBI桌面版(https://powerbi.microsoft.com/zh-cn/)。

PowerBI是由微软出品的一款专业的用于商业智能方向的报表工具,桌面版内嵌了一套高性能的计算引擎,不需要安装任何依赖,开箱即用。而且支持的数据源种类非常多,CSV文件完全不在话下。

阿捷首先用吃狗粮的态度,用自己制作的命令行工具,从AspNetCore(https://github.com/dotnet/aspnetcore)的官方Github仓库中提取出了共计4万多提交信息,数据如下:

然后,阿捷经过对PowerBI简单的上手,制作出了下面几张报表。

上图中可以看到AspNetCore中仓库提交记录是最早从2013年开始的。

上图中,可以看到2017和2018年是提交次数和增加行数最多的一年,参考aspnetcore的发布时间,可以知道这期间经历了从1.1到2.0和2.2之间的迭代。

上面两张图展示了根据提交者的邮箱后缀,对提交次数和增加行数的统计。可以看出,来自微软员工的提交占了相当的分量,并且来自外部的贡献者也很广泛,说明AspNetCore有着广泛的社区贡献者。

上述两种图展示 的提交的日期主要分布在周一到周五之间的工作日,在提交的时间分布上,主要集中在上午10点到下午5点之间。

后记

有了DotNetCore和PowerBI的助力,阿捷很轻松地搞定了PM的需求,为了发扬回馈社区的精神,阿捷将项目托管在了GitHub上,仓库链接:https://github.com/leansoftX/dotnet-gitstats。有需要的小伙伴可以直接拿来食用。目前项目还在早期阶段,欢迎动手能力强的小伙伴增加新功能,提交ISSUE或PR。

参考资源

  • Git Log 命令行文档(https://git-scm.com/docs/git-log)

  • libgit2sharp上手博客(https://edi.wang/post/2019/3/26/operate-git-with-net-core)

  • libgit2sharp 上手wiki(https://github.com/libgit2/libgit2sharp/wiki/git-log)

  • PowerBI下载地址(https://www.microsoft.com/en-us/download/details.aspx?id=58494)

本周二(今天)晚8点,Boat House共创迭代会议直播????

这篇关于阿捷外传之Git代码统计:DotNetCore + PowerBI 实现Git仓库日志分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/355368

相关文章

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

C#数据结构之字符串(string)详解

《C#数据结构之字符串(string)详解》:本文主要介绍C#数据结构之字符串(string),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录转义字符序列字符串的创建字符串的声明null字符串与空字符串重复单字符字符串的构造字符串的属性和常用方法属性常用方法总结摘