aws lakeformation注册s3位置的原因

本文主要是介绍aws lakeformation注册s3位置的原因，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

参考资料

lakeformation底层数据的访问逻辑

向lakeformation注册s3位置的目的是让lakeformation控制对AWS S3 位置底层数据的访问（以下简称LF）

注册s3位置后可以进行两种授权

数据访问授权（SELECT、INSERT 和 DELETE）
数据位置授权，在指定s3位置创建和修改元数据（在授权CREATE_TABLE或ALTER之后限制创建的位置）。

数据访问授权

当注册第一个 Amazon S3 路径时，将代表您创建服务相关角色和新的内联策略。Lake Formation 将第一个路径添加到内联策略，并将其附加到服务相关角色

注册位置时可以选择角色，授予该角色对该位置的读/写权限，LF在向集成 AWS 服务提供临时凭证时承担该角色（例如，AWSServiceRoleForLakeFormationDataAccess）

注册结果如下

一些例外情景

如果手动删除s3桶，可能出现权限无法删除的问题，需要手动创建s3桶并注册资源，之后重新解注册
由于AWSServiceRoleForLakeFormationDataAccess为服务角色，因此无法修改策略。只能通过api修改，相关api为
```
aws lakeformation deregister-resource --resource-arn arn:aws-cn:s3:::lakefowmation
```

具体的策略如下所示

走lakeformation路径的数据访问者需要lakeformation:GetDataAccess权限

Amazon Athena 要求用户具有该 lakeformation:GetDataAccess 权限。其他集成服务需要其基础执行角色才能具有该 lakeformation:GetDataAccess 权限

如果要对现有的glue data catalog进行管理，需要进行额外配置。推荐开启混合模式同时兼容IAM授权和lakeformation

开启混合访问模式避免现有工作流中断
若要在混合访问模式下共享数据目录数据库和表，需要将跨帐户版本设置更新到版本 4

使用 Lake Formation GetEffectivePermissionsForPath API 操作，可以确定引用 Amazon S3 位置的数据目录资源，以及对这些资源具有权限的委托人。

$ aws lakeformation get-effective-permissions-for-path --resource-arn arn:aws-cn:s3:::zhaojiew-datalake
{"Permissions": [],"NextToken": "eyJoYXZlQ2F0YWxvZ0VudGl0aWVzRXhoYXVzdGVkIjp0cnVlfQ=="
}

如果iam没有lakeformation权限或者表没有schema会出现没有找到column的报错，https://repost.aws/questions/QUkhhW1dHXSc-1yGXt-TR_5A/column-cannot-be-resolved-querying-athena-through-lambda-and-boto3

The error "COLUMN_NOT_FOUND: line 1:8: SELECT * not allowed ..." typically occurs when (1) the user/role does not have sufficient permissions on the table in Lake Formation. (2) the table's classification is UNKNOWN or the table has no column definitions.

如果没有权限会出现s3的access denied报错