2020 中国 .NET 开发者大会精彩回顾:葡萄城高性能表格技术解读 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
GrapeCityChina
V2EX    推广

2020 中国 .NET 开发者大会精彩回顾:葡萄城高性能表格技术解读

  •  
  •   GrapeCityChina 2020-12-23 16:36:42 +08:00 3029 次点击
    这是一个创建于 1822 天前的主题,其中的信可能已经有所发展或是发生改变。

    12 月 19 日,2020 中国 .NET 开发者大会在苏州召开。本次会议以“开源、共享、创新”为主题,结合线下、线上实时同步直播的方式,征集了来自知名企业的 40 余位技术大咖,为 50 余万名开发者带来了近 50 场技术讲座和 .NET 应用实践。

    葡萄城的表格技术负责人王鸿先生,有幸作为本次大会的演讲嘉宾,向在场的 .NET 开发者分享了葡萄城高性能表格技术调优方面的经验积累。

    image.png

    王鸿,作为葡萄城表格技术的负责人,自 2014 年起,便一直聚焦于企业高性能表格技术领域的研究,为葡萄城设计了全新的表格组件架构,并带领研发团队推出了一款性能在业界领先的电子表格组件 GcExcel, 积累了大量高并发、高可用性表格组件的架构设计经验。

    image.png

    在本次分享中,王鸿从葡萄城研发电子表格组件的背景与初衷出发,详细对比了 Excel 与原生 C# 代码的读取性能差异,并总结了若干针对 prototype 原型进行性能调优的手段,如减少垃圾回收的影响、共享对象提升性能、压缩数据降低内存、充分利用高速缓存等方式。

    以下是王鸿老师的主要分享内容:

    1. 葡萄城研发电子表格组件的背景与初衷

    早在 30 多年前,电子表格就已经作为办公软件中的一个基础功能套件,首次出现在个人电脑中。近些年,随着网络信息化的进一步加强,电子表格的应用越来越广泛和深入。

    如今“表格”也已经成为数据的一种重要表现形式,广泛应用于各类桌面软件、应用系统和 SaaS 平台的存储结构、系统构成中。

    image.png

    葡萄城,很早便投入了研发精力,开拓并探索如何将电子表格以组件的方式嵌入到各类系统中。经过近 30 年的研究,葡萄城的表格技术已经实现了在保留用户 Excel 使用习惯的同时,也能基于用户的经验和积累在业务系统中提供高效的数据处理和可视化能力。

    2. 通过 C# 代码,测试 Excel 文件读取的极限性能

    电子表格的应用场景一般都较为复杂,开发实现它们会碰到很多技术难点,其中最为典型的便是性能问题。

    葡萄城为实现高性能的表格组件,克服了很多性能挑战:如怎样快速打开和保存一个电子表格文件、如何计算海量的公式函数、如何让用户快速完成大量单元格的值和样式设置等。

    为了测试 C# 代码对 Excel 文件的读取性能,王鸿老师选取了一个日常生活中很容易碰到的场景:当一个电子表格文件很大的时候(包含 30 列、1,000,000 行、30,000,000 个单元格数据),用 Excel 打开它需要等待 34 秒。

    image.png

    如果用户想要用更短的时间打开这样的大文件时,有没有办法实现呢?答案是有,经过测试,用葡萄城的表格组件 GcExcel 打开这样一份文件,仅需 12 秒。

    image.png

    3. 葡萄城表格技术优化:减少垃圾回收的影响

    Excel 文件就是一个标准的 Zip 文件,对其解压后,找到一个名为“Worksheets”的文件夹,在其中的“sheet1.xml”文件中,存放了每个 Excel 文件单元格对应的位置和值。

    image.png

    如何通过更高效的算法取出这些位置和值,便是葡萄城表格技术的优化方向。对于一段未经优化的 C# 代码而言,把每个单元格的值读出来,存放在一个 List 中,需要 27 秒。在这里,我们仅仅将代码中的 object 改为 double,就可以让其在 20 秒完成。

    image.png

    image.png

    这 7 秒差距,便是由于垃圾回收带来的影响。在 List 中有太多的 object 对象,这耗费了大量的垃圾回收时间,尽管它没有被回收掉,但因为它们是 object,所以在垃圾回收的过程中,需要不断的检测它们是否可以回收,将 object 改为 double,垃圾回收的时间便可以忽略不计。

    葡萄城表格技术如何克服垃圾回收的影响?

    1. 消除单元格概念。因为单元格的数量太多了,保留这个概念就很难把 object 的数量降得很低。葡萄城把原来在单元格类型里得数据分开处理,把样式剔除出去另外处理,这里只考虑单元格值。电子表格中单元格的值可能有四种类型:数字、文本、布尔和错误,数字在内部都是用 double 类型来表示,布尔和错误也可以用 double 来存储。对于文本,不能用常规方法存储,但我们可以想一个办法,让 double 也可以存文本,这个后面详细讲。总之,用 double 可以存储所有的 Excel 数据,这样我们就可以设计一个简单单元格的数据对象,它是一个结构体,不是 object 。

    2. 行存储改成列存储。电子表格行的数量最大为 2 的 20 次方(约 1048576 ),而列的数量最大为 2 的 14 次方(约 16384 ),所以把行存储改成列存储,可以减少对象的数量。利用 C# 的泛型,让字典中存储值类型数据。经过这样一改造,object 的数量会从九千多万下降到一万多,垃圾回收的影响基本忽略不计。

    6. 葡萄城表格技术优化:其他实践

    除了上述优化方法,葡萄城的表格技术还有更多优化实践。如创建 Cache 、使用基于集合的操作运算、利用 SIMD 计算大量数据等。

    image.png

    以上就是王鸿老师分享的主要内容,通过一个个示例代码+时间对比,也让大家对葡萄城高性能的表格技术形成了非常深刻的认识。

    于此同时,王鸿老师在大会上分享的高性能表格技术,均已经实现落地。在前端,纯前端表格控件 SpreadJS可针对 Excel 、Grid 数据进行在线编辑、计算和展示;在后端,服务端表格组件 GrapeCity Documents for Excel (简称:GcExcel )可批量处理 Excel 文档,执行更高效的导出与打印。

    image.png

    9 条回复    2020-12-29 14:23:15 +08:00
    netnr
        1
    netnr  
       2020-12-23 18:35:44 +08:00 via Android
    支持
    ShaunSS
        2
    ShaunSS  
       2020-12-23 18:39:23 +08:00   5
    看到这个名字老是感觉耳边有人在说开业了
    Jooooooooo
        3
    Jooooooooo  
       2020-12-24 10:31:19 +08:00   1
    葡萄城怎么感觉就是赌场
    Rwing
        4
    Rwing  
       2020-12-24 10:32:12 +08:00
    看了分享,挺好的,对 C#的性能优化很有帮助
    neilp
        5
    neilp  
       2020-12-24 13:22:45 +08:00
    怎么没有主讲的特写照片
    GrapeCityChina
        6
    GrapeCityChina  
    OP
       2020-12-24 13:57:43 +08:00
    @neilp 关注技术,[手动狗头]
    GG668v26Fd55CP5W
        7
    GG668v26Fd55CP5W  
       2020-12-29 13:03:21 +08:00 via iPhone
    澳门最大的那啥
    beyondex
        8
    beyondex  
       2020-12-29 13:15:45 +08:00
    很棒,解析 xml 时应该也有很多性能消耗。
    m1a0
        9
    m1a0  
       2020-12-29 14:23:15 +08:00
    勾起了十几年前的记忆, 用过不少葡萄城的控件, 这么多年了, 还活着, 挺好。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2558 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 14:57 PVG 22:57 LAX 06:57 JFK 09:57
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86