Ranger用户手册、登录系统、退出系统、添加服务、编辑服务、Ranger策略、HDFS策略、HIVE策略、HBASE策略

本文主要是介绍Ranger用户手册、登录系统、退出系统、添加服务、编辑服务、Ranger策略、HDFS策略、HIVE策略、HBASE策略,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

26.5.2登录系统
26.5.3退出系统
26.5.4 Service Manager(Access Manager)
26.5.4.1添加服务
26.5.4.2HDFS
26.5.4.3 HBASE
26.5.4.4Hive
26.5.4.5YARN
26.5.4.6 STORM
26.5.4.7 KAFKA
26.5.4.8 KYLIN
26.5.4.9 SQOOP
26.5.4.10编辑服务
26.5.4.11删除服务
26.5.5 Ranger策略(Ranger Policies)
26.5.5.1 HDFS
26.5.5.2 HBASE
26.5.5.3 HIVE
26.5.6 USERS/GROUPS
26.5.6.1 USERS
26.5.7 Groups
26.5.8 报告(Reports)
26.5.9 Audit
26.5.9.1 Access
26.5.9.2 Admin
26.5.9.3 Login Sessions
26.5.9.4 Plugins
26.5.9.5 Plugin Status
26.5.9.6User Sync
26.5.10 权限(Permission)
26.5.10.1 权限模块
26.5.10.2 添加/编译权限

26.5Apache Ranger用户手册

转载博文:https://blog.csdn.net/Happy_Sunshine_Boy/article/details/94560240 (对博文中遗漏点进行了补充,有些是重新整理的)

26.5.1关于本文档

本用户指南适用于管理员策略管理。URL信息可以在安装指南或系统管理员处找到。

26.5.2登录系统

通过提供的用户名和密码登录到系统(管理员用户名和密码是安装时设置的admin/Admin123456,密码保证最低8位)。为了简单起见,用户名也显示在主页上。注意登录是区分大小写的。
在这里插入图片描述
在这里插入图片描述

26.5.3退出系统

用户名显示在主页的右上角。下拉列表中提供了注销选项。
在这里插入图片描述

26.5.4 Service Manager(Access Manager)

Access Manager可以从顶部菜单栏访问。顶部菜单栏显示了管理员支持的模块列表。
Access Manager模块帮助在这些服务下添加和管理各种受支持的服务和策略。

26.5.4.1添加服务

步骤1:通过单击服务管理器页面上每一列旁边的加号图标来添加服务。可以在此步骤中添加服务和其他配置属性的详细信息。添加的服务将如下所示。
在这里插入图片描述
步骤2:在“创建服务”屏幕上填充与服务类型相关的所有属性,如下所示

26.5.4.2HDFS

在这里插入图片描述
点击”Test Connection”,只有成功了才可以。如下:
在这里插入图片描述
可以查看配置信息
在这里插入图片描述
参数介绍

标签描述
Service Name服务的名称,需要在代理配置中指定服务名称。
Description提供服务描述以供参考。
Active Status选择此选项来启用(Enabled)或禁用(Disabled)服务。
Select Tag Service选择标签服务。
Username指定可用于连接的终端系统用户名(如:hdfs用户)
Password添加上面用户名和密码(如:admin)
Namenode URLhdfs://namenode_host1:8020,hdfs://namenode_host2:8020 (如果有ha的时候,以逗号分开)
Authorization Enabled授权包括限制对资源的访问。如果启用,用户需要授权凭据。
Authentication Type指定身份验证类型(Simple,Kerberos)
hadoop.security.auth_to_local它应该取自hadoop配置文件core-site.xml,使用hadoop将登录凭证映射到用户名。
dfs.datanode.kerberos.principal它应该取自hadoop配置文件hdfs-site.xml;仅在启用kerberos身份验证时才提供;与datanode相关的原理
dfs.namenode.kerberos.principal它应该取自hadoop配置文件hdfs-site.xml;仅在启用kerberos身份验证时才提供;与namenode相关的原则
dfs.secondary.namenode.kerberos.principal应从hadoop配置文件hdfs-site.xml中获取;仅在启用kerberos身份验证时才提供;与次级namenode相关联的主体。
RPC Protection Type只有授权用户才能查看,使用和贡献数据集;Authentication(认证);Integrity(完整);Privacy(隐私)
Common Name for Certificate指定证书的名称
Add New Configurations指定任何其他新配置
26.5.4.3 HBASE

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
参数描述

标签描述
Service Name服务的名称,需要在代理配置中指定服务名称。
Description提供任何描述以供参考。
Active Status可以选择此选项来启用(Enabled)或禁用(Disabled)服务。
Select Tag Service选择标签服务
Username指定可用于连接的最终系统用户名(如:hbase)
Password添加上面用户的密码(如:admin)
hadoop.security.authentication指定身份验证类型(Simple,Kerberos)
hbase.master.kerberos.principal属性指定Kerberos主体HBASE Master(只适用于支持Kerberos的环境)
hbase.security.authentication设置必须与此属性(Simple,Kerberos)的hbase-site.xml设置匹配
hbase.zookeeper.property.clientPort设置必须与此属性的hbase-site.xml设置匹配(默认值为2181)
hbase.zookeeper.quorum设置必须与此属性的hbase-site.xml设置匹配
zookeeper.znode.parent设置必须与此属性的hbase-site.xml设置匹配
Common Name for Certificate指定证书的公共名称。
Add New Configurations指定任何其他新配置。
26.5.4.4Hive

案例如下:
在这里插入图片描述

参数描述:

标签描述
Service Name服务的名称,需要在代理配置中指定服务名称。
Description提供服务描述以供参考。
Active Status可以选择此选项来启用(Enabled)或禁用(Disabled)服务
Select Tag Service选择标签服务
Username指定可用于连接的最终系统用户名(如:hive)
Password添加上面用户名的密码(如:admin)
jdbc.drierClassName驱动程序用于Hive连接的完整类名,缺省HiveServer2类名是:org.apache.hive.jdbc.HiveDriver
jdbc.urljdbc:hive2://HIVESERVER2_HOST:10000
Common Name for Certificate指定证书的公共名称。
Add New Configurations指定任何其它新配置
26.5.4.5YARN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

26.5.4.6 STORM

在这里插入图片描述
在这里插入图片描述

26.5.4.7 KAFKA

在这里插入图片描述
在这里插入图片描述

26.5.4.8 KYLIN

在这里插入图片描述
在这里插入图片描述

26.5.4.9 SQOOP

在这里插入图片描述
在这里插入图片描述

26.5.4.10编辑服务

您可以编辑服务细节,包括每个服务名称旁边的edit图标中的配置属性
在这里插入图片描述

26.5.4.11删除服务

您可以通过单击“管理服务”页面上列出的每个服务名称旁边的“删除”按钮来删除服务。
在这里插入图片描述

26.5.5 Ranger策略(Ranger Policies)

26.5.5.1 HDFS

前置条件
配置好hdfs的server,如下:
在这里插入图片描述

配置好上面的配置之后,要点击下面的Test Connection。只有测试成功之后,才可以接下来的进行下面的配置。

最后,进入HDFS的配置界面:将dfs.permissions.enabled改成true。如下:
在这里插入图片描述
另外,要将dfs.namenode.acls.enabled的值改成true。如下:
在这里插入图片描述
添加HDFS策略
可以从HDFS策略列表页面为特定服务添加一个新策略。在添加时,策略应列在下表中。可以通过提供的搜索过滤器搜索策略。
点击:
在这里插入图片描述
步骤1:单击清单页面上的Add New Policy按钮
在这里插入图片描述
步骤2:创建策略
其中all - path的如下配置:
在这里插入图片描述
说明:hdfs和hive用户具有所有的读写执权限。
{USER}表示所有用户,表示所有用户拥有读写执权限。

toto_1策略的配置如下:
在这里插入图片描述
在这里插入图片描述
上面policy的含义是:除了toto_1和hive用户,所有用户对/toto_1/和/user/toto_1用户都不能进行读写执。

对应的toto_2也类似,只不过给路径和用户改成toto_2

[root@hadoop4 ~]# su toto_2
[toto_2@hadoop4 root]$ hdfs dfs -ls /toto_1
ls: Permission denied: user=toto_2, access=EXECUTE, inode="/toto_1"
[toto_2@hadoop4 root]$ hdfs dfs -ls /toto_2
Found 9 items
-rw-r--r--   3 toto_2 hdfs          5 2020-05-20 18:01 /toto_2/1.txt
-rw-r--r--   3 toto_2 hdfs          5 2020-05-20 18:03 /toto_2/2.txt
-rw-r--r--   3 toto_2 hdfs          6 2020-05-20 18:05 /toto_2/3.txt
-rw-r--r--   3 toto_2 hdfs         10 2020-05-20 18:06 /toto_2/4.txt
drwxr-xr-x   - toto_2 hdfs          0 2020-05-15 14:47 /toto_2/aaaa
drwxr-xr-x   - toto_2 hdfs          0 2020-05-15 14:50 /toto_2/bbbbb
drwxr-xr-x   - hive   hdfs          0 2020-04-16 18:21 /toto_2/hiveWarehouse
drwxr-xr-x   - hive   hdfs          0 2020-05-21 10:49 /toto_2/t3
drwxr-xr-x   - toto_2 hdfs          0 2020-05-15 14:31 /toto_2/toto_2
[toto_2@hadoop4 root]$ hdfs dfs -ls /user/toto_1
ls: Permission denied: user=toto_2, access=EXECUTE, inode="/user/toto_1"
[toto_2@hadoop4 root]$ hdfs dfs -ls /user/toto_2
Found 1 items
drwx------   - toto_2 hdfs          0 2020-05-21 14:00 /user/toto_2/.Trash
[toto_2@hadoop4 root]$

参数描述

标签描述
Policy Type
Policy Name输入适当的策略名称。不能为相同的服务类型(HDFS)复制此名称。这个字段是强制性的。
Policy Label
Resource Path定义文件夹/文件的资源路径。您可以通过通配符,如/home*,以避免写入完整路径,并为所有子文件夹或文件启动该策略。
Description可以包括正在创建的策略的描述
Audit Logging指示是否审计此策略。
Select Group从用户组列表中选择一个特定的组并为该组选择权限。
Select User从用户列表中选择一个特定的用户并为该用户选择权限。
Delegate Admin当策略被分配一个用户或一组用户时,这些用户将成为委托的管理员。被授权的管理员可以更新、删除策略。它还可以基于原始策略(基本策略)创建子策略。

创建策略时的权限
在这里插入图片描述

权限描述
Read允许用户执行读取操作
Write允许用户执行写操作
Execute允许用户执行操作
Select/Deselect All全选/取消全选

步骤3:策略使用唯一id创建
在这里插入图片描述
查看/编辑/删除HDFS的策略
可以通过单击策略旁边的编辑/删除按钮从HDFS策略列表页面编辑/删除策略。
在这里插入图片描述

26.5.5.2 HBASE

前置配置
要想使这些个策略起作用,需要进入Ambari后台的HBASE配置项:
在这里插入图片描述
添加HBASE策略
您可以从HBASE策略列表页面添加一个新策略。在添加时,策略应列在下表中。可以通过’ column ‘、’ column family ‘、’ Group name ‘、’ Policy name ‘、’ Status’、‘Table’、’ Username '来搜索策略。
步骤1:单击清单页面上的Add New Policy按钮
在这里插入图片描述
步骤2、创建Hbase策略
在这里插入图片描述

标签描述
Policy Type
Policy Name输入适当的策略名称。不能为相同的服务类型(Hbase)复制此名称。这个字段是强制性的。
Policy Type
HBase Table选择适当的表。可以为特定策略选择多个表。这个字段是强制性的。
HBASE Column-family对于选定的表和列族,选择策略将适用于其的列
Description对策略适当描述
Audit Logging选择是否审计特定的策略
Select Group从用户组列表中选择一个特定的组并为该组选择权限。选择admin权限将指定该组为所选资源的admin
Select User从用户列表中选择一个特定的用户并为该用户选择权限。选择admin权限将指定用户为所选资源的admin
Delegate Admin授权管理员
Enable/Disable默认情况下,策略是启用的。您可以禁用策略来限制该策略的用户/组访问。

步骤3、创建策略时的权限
| 权限 | 描述 |
| Read | 允许用户执行读取操作。|
| Write | 允许用户执行写操作。|
| Create | 允许用户执行创建操作。|
| Admin | 这将为用户提供委托的管理访问。|
| Select/Deselect All | 全选/取消全选 |

步骤4、GRANT: HBase GRANT是一个命令,用于向用户提供对HBase数据库表的访问或特权。

# 语法
grant '<user-or-group>','<permissions>','<table>'# 举例
grant 'ranger’' , 'RW' , 'testtable2'# 这将创建一个策略,并为testtable2上的ranger提供读写访问权限

这将创建一个策略,并为testtable2上的user1(ranger)提供读写访问权限。
在这里插入图片描述
在这里插入图片描述
查看/编辑/删除/撤销HBASE策略
通过单击策略行旁边的view/edit/delete按钮,可以从HBASE策略列表页面查看/编辑/删除策略。
在这里插入图片描述

REVOKE: Hbase REVOKE是一个命令,用于从用户撤消对Hbase数据库表的访问或特权

# 语法
revoke ‘<user-or-group>','<table>'
# 举例 
revoke 'ranger','testtable2'

在这里插入图片描述
这将撤销ranger的所有权利,在hbase中,您没有像在hbase中那样为每个特权指定特定的revoke命令。
在这里插入图片描述

26.5.5.3 HIVE

前置条件
在这里插入图片描述
其中jdbc url是:
jdbc:hive2://hadoop6:2181,hadoop5:2181,hadoop4:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2

要注意,在配置好service之后,一定要test成功了之后再验证,否则,配置了策略之后,策略可能不给力。

添加Hive策略
进入Hive的service列表页面。可以看到一堆策略。可以通过”Group Name”、”Hive Column”、”Hive Database”、”Hive Service”、”Hive Table”、”Hive UDF”等搜索。
在这里插入图片描述
1、单击列表右上角的Add New Policy按钮,添加策略
在这里插入图片描述
可以为hive数据库、hive表和hive列名的组合创建策略。
| 标签 | 描述 |
| Policy Type | |
| Policy Name | 输入适当的策略名称。不能为相同的服务类型(Hive)复制此名称。这个字段是强制性的。|
| Policy Label | |
| database/url/hiveservice | 选择适当的数据库。可以为特定策略选择多个数据库。|
| table/udf | 对于所选数据库,选择策略适用的表;还可以为UDF设置策略。用户定义的函数。输入适当的udf |
| Hive Column | 对于选定的数据库和表,选择策略适用的列。|
| Description | 对策略适当描述 |
| Audit Logging | 选择是否审计特定的策略。|
| Select Group | 从用户组列表中选择一个特定的组并为该组选择权限。|
| Select User | 从用户列表中选择一个特定的用户并为该用户选择权限。|
| Delegate Admin | |
| Include/exclue | include标志意味着它将考虑字段中输入的值。默认值设置为include。exclude标志将排除在该特定字段中输入的所有表名或列名。|
enable/disable 默认情况下,策略是启用的。您可以禁用策略来限制该策略的用户/组访问。
案例:
在这里插入图片描述

权限描述
select允许用户执行选择操作。
update允许用户执行更新操作。
Create允许用户执行创建操作。
Drop允许用户执行删除操作。
Alter允许用户执行索引操作。
Index允许用户执行索引操作。
Lock允许用户对指定的资源执行锁定操作。
All允许用户执行所有操作。
Read允许用户执行可读操作。
Write允许用户执行可写操作。
ReplAdmin
Service Admin
Select/Deselect All全选/取消全选

GRANT:Hive GRANT是一个命令,用于向用户提供对Hive数据库表的访问或特权。

# 语法
grant <permissions> on table <table> to user <user or group>;
# 例如
grant select on table default.newtable to user ranger;#这将创建一个策略并将select权限授予ranger

在这里插入图片描述
在这里插入图片描述
查看/编辑/删除/撤销HIVE策略
在这里插入图片描述

REVOKE: Hive REVOKE是一个命令,用于从用户撤消对Hive数据库表的访问或特权。

# 语法
revoke <permissions> on table <table> from user <user or group>;
# 举例  
revoke select on table default.newtable from user ranger;# 这将撤销ranger中的select权限

在这里插入图片描述

26.5.6 USERS/GROUPS

策略权限分配给用户和组

26.5.6.1 USERS

这些用户可以登录到Ranger门户并执行管理和报告任务。可以在添加用户时分配角色。只有管理员才允许创建用户和服务。”admin”/”admin user”的角色指定可以分配给新用户的角色。

内部与外部用户:内部用户是由管理员管理员创建的用户。比如:XA Policy Manager。外部用户是那些从其他系统(如Active Directory(AD)、LDAP或unix系统)同步的用户。

添加用户
您可以从用户列表页面添加一个新组。在添加时,用户应该在下面的表中列出。在系统中创建的用户是您可以通过“电子邮件地址”、“角色”、“用户名”、“用户源”、“用户状态”、“可见性”搜索用户。

步骤1:单击用户列表页面上的Add New User按钮。
在这里插入图片描述

步骤2:输入详细信息并保存
在这里插入图片描述

标签描述
User Name输入适当的用户名。此名称不能在整个系统中复制
New Password输入适当的密码
Password Confirm确认输入的密码
First Name输入一个合适的名字
Last Name输入适当的姓
Email Address以所需格式输入适当的第一个电子邮件地址。
Select Role选择适当的角色(管理员、用户)。这是一个强制字段。
Group选择用户所属的组

步骤3:设置可见性(即可见/隐藏)
单击”可见”选项后,在”用户列表”页面中选择”用户获取可见”。
在这里插入图片描述
编辑用户
我们只能编辑内部用户。对于外部用户,只能更改角色。
Admin登录
您可以通过单击用户名从用户列表页面编辑用户。
在这里插入图片描述
User登录
您可以通过单击profile从用户列表页面编辑用户。
在这里插入图片描述

26.5.7 Groups

Ranger也允许在组级别分配权限

添加组
您可以从组列表页面添加一个新组。在添加时,组应该在下表中列出。您可以通过”组名称”和”组源”可见性搜索组。

步骤1:单击组列表页面上的Add New Group按钮
在这里插入图片描述
步骤2:输入详细信息并保存
在这里插入图片描述

标签描述
Group Name输入适当的用户名。此名称不能在整个系统中复制。这是一个强制字段。
Description提供任何描述以供参考。

编辑组
您可以通过单击组的名称从组列表页面编辑组。(只能由管理员执行)
在这里插入图片描述
可见性的组:隐藏组不会出现在组列表页中。要使组隐藏,请选择组组名称旁的复选框
在这里插入图片描述
在这里插入图片描述

26.5.8 报告(Reports)

报告模块用于随着策略数量的增加更有效地管理策略。这个页面将列出所有的政策从HDFS,HBASE,HIVE,YARN,KNOX,STORM,SOLR,KAFKA,NIFI,KYLIN,SQOOP和ATLAS。
您可以基于Search Criteria进行搜索

标签描述
Policy Name输入策略名称
Policy Type选择策略类型,例如。 访问,屏蔽,行级别过滤策略
Component选择Hadoop组件,例如:HDFS,HIVE等。
Resource输入资源名称,例如。 路径,表/列名称等。
Policy Label输入策略标签
Search By按用户名或组名搜索

26.5.9 Audit

目前Ranger支持定期审计。这包括在资源级别进行日志记录。它将支持基于用户、组或日期/时间等的条件审计。

26.5.9.1 Access

为审核设置为“开”的所有策略提供服务活动数据。 默认服务策略配置为记录服务中的所有用户活动。 此默认策略不包含用户和组访问规则。您可以根据以下条件筛选数据

搜索条件描述
Access Enforcer按访问强制实施器名称搜索
Access Type按访问搜索类型,如READ_EXECUTE,WRITE_EXECUTE
Client IP按访问资源的IP地址进行搜索
Cluster Nameambari群集的名称
End Date设置结束日期
Resource Name资源名称
Resource Type基于组件按资源类型搜索。 例如。 HDFS中的路径,数据库,Hive中的表。
Result按访问结果搜索,即允许/拒绝日志
Service Name服务名称
Service Type选择服务类型
Start Date设置开始日期
User用户名
Tags标签名称

在这里插入图片描述

26.5.9.2 Admin

此模块包含HDP安全管理Web UI的所有事件,包括服务、策略管理器、登录等(创建、更新、删除、密码更改等操作)。您可以根据以下内容过滤数据。
在这里插入图片描述
| 搜索条件 | 描述 |
| Actions | 这些是对资源执行的操作,例如创建、更新、删除、更改密码等操作 |
| Audit Type | 根据对服务、策略和用户执行的操作,有三个值资源、资产和用户 |
| End Date | |
| Session Id | 每次尝试登录系统时,会话计数都会递增。|
| Start Date | 每个会话都存储登录时间和日期。日期范围用于过滤特定日期范围的结果。|
| User | 已执行创建、更新和删除操作的用户名 |
单击操作时的差异视图(本例中为Update操作)
在这里插入图片描述

26.5.9.3 Login Sessions

此模块为每次登录记录与会话相关的信息。您可以基于此过滤数据。
在这里插入图片描述

| 搜索条件 | 描述 |
| End Date | 每个会话都存储登录时间和日期。日期范围用于过滤特定日期范围的结果 |
| IP | 登录的系统的IP |
| Login Id | 通过其登录到系统的用户名 |
| Login Type | 用户尝试登录的模式。(输入用户名及密码) |
| Result | 基于登录成功或失败的结果 |
| Session Id | 每次尝试登录系统时,会话计数都会递增 |
| Start Date | 每个会话都存储登录时间和日期 |
| User Agent | 每次登录系统时用户代理 |
单击会话id查看会话详细信息
在这里插入图片描述

26.5.9.4 Plugins

此模块显示安全代理的上载历史。此模块显示从系统导出的所有服务。可以根据以下内容过滤数据。
在这里插入图片描述

搜索条件描述
Cluster Name导出服务操作的集群名称
Start/End Date每个代理都存储了导出时间和日期。日期范围用于过滤特定日期范围的结果
Http Response Code导出服务时得到的http状态
Plugin ID试图导出服务的代理的名称
Plugin IP试图导出服务的代理的Ip
Service Name我们要导出的服务名称

Plugin选项卡用于检查组件是否成功地与ranger通信。

26.5.9.5 Plugin Status
26.5.9.6User Sync

26.5.10 权限(Permission)

26.5.10.1 权限模块

权限模块的目的是提供用户角色的灵活性。在权限模型的帮助下,管理员可以限制非管理员用户对任何模块的访问或分配权限。权限模型的主要目的是根据策略管理器、审计、报告、用户管理、密钥管理器等服务为非管理员用户分配专用角色。
步骤1:将指针放在”设置”选项卡上。从下拉菜单中点击”权限”
在这里插入图片描述
步骤2:可以按组名、模块名和用户名搜索权限
在这里插入图片描述

26.5.10.2 添加/编译权限

步骤3:单击“操作”列下的“编辑”按钮,以访问权限清单页面上选定的用户的特定模块
在这里插入图片描述
步骤4:可以从下拉列表中选择多个用户和组
在这里插入图片描述

步骤5:如果ranger user只有Audit and Reports选项卡的权限,那么只有这两个模块是可见的,以便在用户登录时标记用户。
在这里插入图片描述
在这里插入图片描述

这篇关于Ranger用户手册、登录系统、退出系统、添加服务、编辑服务、Ranger策略、HDFS策略、HIVE策略、HBASE策略的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/918177

相关文章

Security OAuth2 单点登录流程

单点登录(英语:Single sign-on,缩写为 SSO),又译为单一签入,一种对于许多相互关连,但是又是各自独立的软件系统,提供访问控制的属性。当拥有这项属性时,当用户登录时,就可以获取所有系统的访问权限,不用对每个单一系统都逐一登录。这项功能通常是以轻型目录访问协议(LDAP)来实现,在服务器上会将用户信息存储到LDAP数据库中。相同的,单一注销(single sign-off)就是指

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式(Singleton Pattern) 确保一个类只有一个实例,并提供一个全局访问点。 示例代码: class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)

【测试】输入正确用户名和密码,点击登录没有响应的可能性原因

目录 一、前端问题 1. 界面交互问题 2. 输入数据校验问题 二、网络问题 1. 网络连接中断 2. 代理设置问题 三、后端问题 1. 服务器故障 2. 数据库问题 3. 权限问题: 四、其他问题 1. 缓存问题 2. 第三方服务问题 3. 配置问题 一、前端问题 1. 界面交互问题 登录按钮的点击事件未正确绑定,导致点击后无法触发登录操作。 页面可能存在