【性能优化】EFCore性能优化(一)-IEnumerable和IQueryable

2023-12-26 08:36
文章标签 优化 性能 efcore ienumerable iqueryable

本文主要是介绍【性能优化】EFCore性能优化(一)-IEnumerable和IQueryable，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

阅读本文你的收获

  1. 了解EF Core在使用上应该要注意的地方
  2. 学习EF Core的优化技术，如禁用跟踪、IQueryable接口等

一、问题描述

Entity Framework Core（以下简称EF）是微软自家出品的大型O/RM框架，使用EF Core，我们可以在C#中用操作对象的方式来访问和操作数据库，它可以帮助我们把对C#对象的增删改查，转换成对应的关系型数据库的SQL语句，同时可以把从数据库返回的数据转换成C#的对象，并可以对对象的状态进行跟踪，只要状态发生改变，它就可以帮助我们生成对应的update、insert或者delete的SQL命令。使用EF可以大大提高程序员的开发效率。

但是使用EF的时候，也有不少要注意的地方。比如说EF操作数据库的性能肯定没有直接用ADO.NET操作SQL语句的性能高；另外，如果使用不当，则会导致内存占用过高，系统性能下降的问题等等。

如果你的系统对性能要求很高，我们就必须知道怎么去规避这些问题，在使用EF Core作为ORM时，你必须要注意以下几个方面：

  • IEnumerable和IQueryable两种接口要充分理解，区别使用
  • EF默认自带实体跟踪机制，只读查询用非跟踪式查询可以提高效率。用AsNoTracking方法。
  • EF对批量操作的支持不太高效，所以像批量添加、删除、修改等操作的执行效率，要注意分析与改进。
  • 对于一些复杂查询，EF帮我们生成的SQL语句有时是低效的，这时可以让EF直接执行原生SQL语句，或者改用ADO.NET方式去执行。（关于这一点，请参考 EFCore基础之如何执行原生SQL语句 ）

今天先来学习一下IEnumerable和IQueryable接口。

二、理解IEnumerable和IQueryable接口

LINQ标准查询运算符是依靠一组 扩展方法 来实现的。而这些扩展方法分别在System.Linq.Enumerable和System.Linq.Queryable这两个静态类中定义。比如：Where()、Select()、Count()、Any()等方法。

以Where扩展方法为例，在System.Linq.Enumerable类中，是这样定义的，它操作的是IEnumerable< TSource > 类型的集合数据，参数是Func< T, bool >委托类型。

public static IEnumerable<TSource> Where<TSource>(this IEnumerable<TSource> source, Func<TSource, bool> predicate);

在System.Linq.Queryable类中，Where扩展方法是这样定义的，它操作的是IQueryable< TSource >类型的数据，参数一个Expression< T,bool >表达式树类型。

public static IQueryable<TSource> Where<TSource>(this IQueryable<TSource> source,Expression<Func<TSource, bool>> predicate);

事实上，IEnumerable是可枚举接口，集合类型如List、Dictionary等都是继承了该接口，它还有一个泛型的版本IEnumerable< T >, 实现了该接口的对象都是集合对象，可以使用foreach接口进行遍历。

对于IEnumerable接口的LINQ扩展方法，可以实现在内存中对这些集合对象进行LINQ查询。使用IEnumerable的例子：

List<Department> data = new List<Department>(); //实例化一个空集合
data.Add(new Department { Id=Guid.NewGuid(), DepName="部门1" });
data.Add(new Department { Id=Guid.NewGuid(), DepName="部门2" });//对集合做一个LINQ查询，是在内存中操作的
IEnumerable<Department>  result = data.Where(x => x.DepName.Contains("1"));//result是一个可枚举对象，所以可以用foreach进行遍历
foreach (var item in result) 
{Console.WriteLine($"{item.Id}数据是：{item.DepName}");
}

IQueryable继承了IEnumerable，IQueryable是可查询接口，采用这个接口去调用LINQ的扩展方法，则可以根据用户指定的条件表达式生成对应的带筛选条件的SQL语句，但是并没有立即执行SQL语句，所以可以继续对这个可查询的对象拼接各种筛选条件、排序、分组等操作，等到执行ToList、Count等方法的时候，Linq to SQL引擎会把表达式树转化成相应的SQL在数据库服务器上执行，再将结果加载到内存中来。这也是Linq的延迟加载核心思想所在，在很复杂的操作下可能比较慢了，时间换空间 以下是使用IQueryable的例子：

/// <summary>
/// 获取车辆分页列表
/// </summary>
/// <param name="input"></param>
/// <returns></returns>
public async Task<PageResponseDto<VehicleProductDto>> GetListAsync(QueryVehicleProductDto input)
{//虽然用了where方法，但是并没有立即执行SQL语句IQueryable<VehicleProductInfo> query = from vendor in _vehicleProductRepository.Tablewhere (string.IsNullOrEmpty(input.ItemBrand) || vendor.ItemBrand.Contains(input.ItemBrand))orderby vendor.ItemBrandselect vendor;PageResponseDto<VehicleProductDto> result = new ();//执行分页查询List<VehicleProductInfo> pageList = await query.Skip((input.PageIndex - 1) * input.PageSize) .Take(input.PageSize) //继续拼接 分页的参数，但不执行SQL语句.ToListAsync();       //调用ToList方法则执行SQL语句result.PagedList = pageList.MapToList<VehicleProductDto>(); //通过AutoMapper转换成VehicleProductDtoresult.TotalCount = query.Count();                         //调用Count方法则执行SQL语句return result;
}

三、两者的比较总结

在应用到IEnumberable 和IQueryable两个接口时，代码往往很相似，从而造成了很多困惑，然后从上面分析可以看出，两者还是有很大的区别的，各自都有自己特定的使用场景。

下面是IEnumberable和IQueryable的对比：

项目IEnumerable接口IQueryable接口
命名空间System.CollectionsSystem.Linq
继承于没有基类接口继承于IEnumerable
延迟执行支持支持
延迟加载不支持支持
工作流程把查询的数据加载在内存中，然后再筛选数据，因此这个操作比较占用内存，运行慢当从数据库中查询数据，IQueryable在服务器端根据所有的filter条件执行查询操作，因此该操作需要更少的工作而运行快
适用于LINQ to Object 和LINQ to XML查询LINQ to SQL查询.
使用场合遍历内存中的数据集合(如List，Array等)当查询非内存中的数据集合(如远程数据库，service等)

错误案例演示

//根据输入条件，获取用户分页列表
public PageResponseModel<User> GetUserList(UserPageRequestDto input)
{using MyDbContext db = new MyDbContext();//过早地ToList了，加载全部数据进内存var query = db.Set<User>().AsQueryable().ToList();//拼接查询条件if (string.IsNullOrEmpty(input.Name)){query = query.Where(x => x.UName.StartsWith(input.Name)).ToList();}PageResponseModel<User> pageList = new ();pageList.TotalCount = query.Count();pageList.PageList = query.OrderBy(x=>x.CreateTime).Skip((input.PageIndex-1)*input.PageSize).Take(input.PageSize).ToList();return pageList;
}

以上案例中，因为所有对于IEnumerable的过滤、排序、分组、聚合等操作，都是在内存中进行的，所以在EF Core中使用LINQ查询的时候，如果你不加任何的筛选条件，马上ToList()，然后再进行排序，分组、筛选的话，那也就是说把所有的数据不管用不用得到，都从数据库加载到内存中，只是在内存中进行过滤和排序操作，这样做虽然性能很高，但很消耗内存。属于用“空间换时间”，所以要谨慎使用。

小结

说了这么多，这两者怎么区分使用呢？——操作本地数据源用IEnumerable，操作远程数据源用IQueryable。IQueryable是负责生成SQL语句的，但并不马上执行，可以继续拼接各种的条件到SQL语句中之后再去服务器上执行，占用内存空间小，但是如果查询很复杂，就会比较慢。
IEnumerable是对任意类型的集合都能操作的，不限于是数据库还是一般的数组还是List集合，因为在内存中操作，所以性能高，但是如果你把数据库中的数据全加载进内存来处理，那会很耗内存，导致严重问题。

如果本文对你有帮助的话，请点赞+评论+关注，或者转发给需要的朋友。

这篇关于【性能优化】EFCore性能优化(一)-IEnumerable和IQueryable的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/538745。

相关文章

Vue3 的 shallowRef 和 shallowReactive：优化性能

Vue3 的 shallowRef 和 shallowReactive：优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉，那么对 shallowRef 和 shallowReactive 是否了解呢？ 在编程和数据结构中，“shallow”（浅层）通常指对数据结构的最外层进行操作，而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素，而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层（Shallow） 定义
阅读更多...
性能测试介绍

性能测试介绍

性能测试是一种测试方法，旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试，可以确定系统是否能够满足预期的性能要求，找出性能瓶颈和潜在的问题，并进行优化和调整。 发现性能瓶颈：性能测试可以帮助发现系统的性能瓶颈，即系统在高负载或高并发情况下可能出现的问题
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
MySQL高性能优化规范

MySQL高性能优化规范

前言：      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后，总结出了这篇！ 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来） 数据库对象的命名要能做到见名识意，并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀，备份
阅读更多...
黑神话，XSKY 星飞全闪单卷性能突破310万

黑神话，XSKY 星飞全闪单卷性能突破310万

当下，云计算仍然是企业主要的基础架构，随着关键业务的逐步虚拟化和云化，对于块存储的性能要求也日益提高。企业对于低延迟、高稳定性的存储解决方案的需求日益迫切。为了满足这些日益增长的 IO 密集型应用场景，众多云服务提供商正在不断推陈出新，推出具有更低时延和更高 IOPS 性能的云硬盘产品。 8 月 22 日 2024 DTCC 大会上（第十五届中国数据库技术大会），XSKY星辰天合正式公布了基于星
阅读更多...
SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型，它综合考虑了土壤-水分-大气以及植被间的相互作用；是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程，使其能够精确的模拟土壤中水分的运动，而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者
阅读更多...
从状态管理到性能优化：全面解析 Android Compose

从状态管理到性能优化：全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动
阅读更多...
PR曲线——一个更敏感的性能评估工具

PR曲线——一个更敏感的性能评估工具

在不均衡数据集的情况下，精确率-召回率（Precision-Recall, PR）曲线是一种非常有用的工具，因为它提供了比传统的ROC曲线更准确的性能评估。以下是PR曲线在不均衡数据情况下的一些作用： 关注少数类：在不均衡数据集中，少数类的样本数量远少于多数类。PR曲线通过关注少数类（通常是正类）的性能来弥补这一点，因为它直接评估模型在识别正类方面的能力。 精确率与召回率的平衡：精确率（Pr
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2