Nominatim免费的地址解析，逆地址解析，OpenStreetMap开源地图数据【全网最全】

2024-06-23 01:12
文章标签 数据 全网 地址 解析 开源 免费 地图 最全 openstreetmap nominatim

本文主要是介绍Nominatim免费的地址解析，逆地址解析，OpenStreetMap开源地图数据【全网最全】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

视频学习地址


国内的一些地址解析供应商的API都开始付费了，就想找个免费的地址解析和逆地址解析的应用，最终选择了Nominatim + OpenStreetMap

文章目录

    • 一、选型
      • 1-1、数据源
      • 1-2、地理编码引擎
      • 2-1、初尝Nominatim
        • 2-1-1、地址解析
        • 2-1-2、逆地址解析
      • 2-2、OSM数据解析
        • 2-2-1、place表
        • 2-2-2、placex表
      • 2-3、Nominatim和OSM数据关系映射
      • 2-4、举一反三
      • 2-5、Nominatim API解析
    • 三、安装
    • 四、关于数据源 （重要）
    • 五、替代方案
    • N、其它
      • N-1、place和placex
      • N-2、相关资料
      • N-3、测试覆盖
        • 地址解析
      • 逆地址解析


这篇文章将会从调研、选型、测试、应用全方面的解析，如果你也在找地址解析和逆地址解析的开源方案它一定会给你带来帮助

地址解析：通过一个地名（深圳），获取当前地方的经纬度、省市区级别
逆地址解析：通过经纬度，获取当前位置的名称、省市区级别


一、选型


1-1、数据源


对于地图解析这个应用来说，最重要不是软件部分，而是数据，只有数据全面了才有可能得出相对准确的结果。目前开源免费的全面的数据大概率只有 OpenStreetMap了，它是由各个国家的志愿者一起维护的数据

OpenStreetMap（后面简称OSM） 是一个众包的地图项目，旨在创建一个可自由编辑和使用的世界地图数据库。它由全球的志愿者贡献者更新和维护，提供了一个详细和准确的地理数据集合。OSM 数据包括道路、建筑物、自然特征、商业设施等（简单理解就是很多志愿者一起维护了一份地图数据 ）


OpenStreeMap 相关文档链接 (后面会详解)

描述地址
官网https://www.openstreetmap.org
没有找到合适的中国数据，而且中国数据和台湾都是分开的，这必然不行，直接用亚洲的数据https://download.openstreetmap.fr/extracts/
每一个地址都会有标签，标签很多想知道某个标签的含义，可去标签系统搜索，下面会讲解https://taginfo.openstreetmap.org

1-2、地理编码引擎


调研时间：24年5月

开源方案NominatimPeliasPhoton
支持数据源OpenStreetMapOpenStreetMap、OpenAddresses、Geonames等OpenStreetMap
核心功能地理编码和逆地理编码地理编码和逆地理编码，支持全文搜索高效地进行地理编码和逆地理编码
开发语言Python、PHPTwigJava
GitHub关注数2.9K3.1K1.8K
GitHub最新版本时间2024-03-07无2024-03-06
GitHub待解决问题数9224257
GitHub活跃度高（去年发布10个版本）低（无正式版本）中（去年发布2个版本）
GitHub代码贡献者数902849
系统对接REST APIREST APIREST API

  1. Nominatim能满足功能需求，需要额外处理直辖市和港澳台问题
  2. Photon 不支持中文国际化，无法满足

Nominatim 是一个开源的地理编码引擎，专门用于从 OSM 数据中提取地理信息。它提供了两种主要功能：

  1. 地理编码：将地址转换为经纬度坐标
  2. 逆地理编码：将经纬度坐标转换为地址

Nominatim 的API其实已经研究过了是满足的，下面详细讲解它的API


2-1、初尝Nominatim


这个要VPN才可以访问

2-1-1、地址解析

请求地址

https://nominatim.openstreetmap.org/search?1=1&q=深圳市&format=geocodejson&addressdetails=1&accept-language=zh&zoom=8&limit=1

请求结果

{"type": "FeatureCollection","geocoding": {"version": "0.1.0","attribution": "Data © OpenStreetMap contributors, ODbL 1.0. http://osm.org/copyright","licence": "ODbL","query": "深圳市"},"features": [{"type": "Feature","properties": {"geocoding": {"place_id": 368109611,"osm_type": "relation","osm_id": 3464353,"osm_key": "boundary","osm_value": "administrative","type": "city","label": "深圳市, 广东省, 中国","name": "深圳市","state": "广东省","country": "中国","country_code": "cn","admin": {"level5": "深圳市","level4": "广东省"}}},"geometry": {"type": "Point","coordinates": [114.0545429,22.5445741]}}]
}

2-1-2、逆地址解析

请求地址

https://nominatim.openstreetmap.org/reverse?format=geocodejson&lat=43.767755&lon=87.51623&addressdetails=1&accept-language=zh&zoom=8&limit=1

请求结果

{"type": "FeatureCollection","geocoding": {"version": "0.1.0","attribution": "Data © OpenStreetMap contributors, ODbL 1.0. http://osm.org/copyright","licence": "ODbL","query": ""},"features": [{"type": "Feature","properties": {"geocoding": {"place_id": 190215046,"osm_type": "relation","osm_id": 5663100,"osm_key": "boundary","osm_value": "administrative","type": "district","accuracy": 0,"label": "沙依巴克区, 乌鲁木齐市, 新疆维吾尔自治区, 830000, 中国","name": "沙依巴克区","postcode": "830000","city": "乌鲁木齐市","state": "新疆维吾尔自治区","country": "中国","country_code": "cn","admin": {"level6": "沙依巴克区","level5": "乌鲁木齐市","level4": "新疆维吾尔自治区"}}},"geometry": {"type": "Point","coordinates": [87.46749,43.726972]}}]
}

2-2、OSM数据解析


对于地图服务真正难的是数据，核心也还是OSM的数据，后面会讲怎么导入数据，这里先解析数据。把OSM的数据导入到 PostgreSQL后，它有两张重要的表，个人感觉对于一般应用来说，理解这两张表就够够了 （下面是我的理解，供参考）

  • place：place表维护的是每一条独立的数据（可以是一棵树、也可以是一条河、一个城市）
  • placex：因为地区是包含关系placex维护的是有关系的上下级数据

表字段很多，下面讲重要的，如果对这两张表结构感兴趣的可以参看下面的： N-1


2-2-1、place表

字段描述
osm_id数据的唯一id
osm_type数据类型：N、R、W （对表500w数据 distinct + 搜索）

1.节点（Node）：存储为一个经纬度坐标点。例如，一个节点可能表示一个具体的地理位置，如一座建筑物的角落或一棵树
2.路径（Way）：由一系列节点组成，每个节点都有其自己的经纬度坐标。路径可以表示线性特征（如道路）或闭合区域（如湖泊）
3.关系（Relation）：由多个节点和路径组成，表示更复杂的地理特征和逻辑关系，如边界、多边形区域或路线
class这两个字段是一起的 key=value，是对这条数据打的标签，目前有 9w+个key

highway=secondary
1. highway标签是用于任何类型道路的主要标签
2. highway=secondary 次要道路是连接重要城镇的道路

注：https://taginfo.openstreetmap.org 因为key=value 太多了，官方有专门维护描述
type
admin_level当前数据的等级，数据库有 1-15级 （抽样查看了每一层的数据，并不是特别的标准）
name当前数据的各种语言的描述，地址解析的时候我猜就是匹配这个字段

eg:
“name”=>“深圳市”, “name:af”=>“Shenzhen”, “name:ar”=>“شنجن (الصين)”, “name:az”=>“Şençjen”, “name:ba”=>“Шэньчжэнь”, “name:be”=>“Шэньчжэнь”,
geometry当前数据的经纬度，数据存在多种可能性，比如点、线、多线、多边形、几何图形 等

注：数据并不全是存的明文，有些是加密的，可以通过在线工具解密https://www.zaixianjisuan.com/dilicesuan/wkt%20_%20wkb%20_%20geojson%20convert%20online.html

geometry 存储数据样例

POINT(117.1767305 39.1448629)
LINESTRING(117.1847722 39.1481168, 117.1845921 39.1481353)
POLYGON((117.1829091 39.1494689, 117.182913 39.1494281, 117.1829335 39.1493904, 117.1829685 39.1493598, 117.1830143 39.1493394, 117.183066 39.1493315, 117.1831199 39.1493372, 117.1831478 39.1493482, 117.1831683 39.1493563, 117.183206 39.1493867, 117.1832286 39.1494251, 117.1832337 39.149467, 117.1832206 39.149508, 117.183191 39.1495433, 117.183148 39.1495691, 117.1830964 39.1495825, 117.183042 39.1495819, 117.1829924 39.1495681, 117.182951 39.1495428, 117.1829222 39.1495085, 117.1829091 39.1494689))

2-2-2、placex表

placex 表的关键信息，它很多字段和place表一样

字段名描述
place_id数据的唯一id
parent_place_id上级id
importance数据权重，匹配到多条数据，这个字段是排序规则之一
centroid当前区域的中心点 （是个POINT类型的 经纬度，参看上面的 geometry）
postcode邮编
country_code国家编码 cn
osm_type同 place表
osm_id同 place表
class同 place表
type同 place表
admin_level同 place表
name同 place表
geometry同 place表

这个表数据很重要，解析和逆解析都是对这个表进行搜索


2-3、Nominatim和OSM数据关系映射


Nominatim和OpenStreetMap 字段映射关系（从上面的返回值抽取稳定有用的字段）

Nominatim 返回字段OpenStreeMap 字段（对应表 placex）
place_idplace_id
osm_idosm_id
osm_typeosm_type
osm_keyclass
osm_valuetype
admin[]在 placex 表有个parent_place_id，一直向上取到 parent_place_id = 0

key = level + admin_level
value = name -> ‘name’
postcodepostcode
labeladmin + postcode
geometrycentroid

2-4、举一反三


通过上面的分析得出2点

  1. Nominatim 就是一个地图搜索引擎，用的是OSM的数据
  2. Nominatim 不管是解析还是逆解析返回的都是 placex 表的某条数据（place_id）

通过对数据的分析和一些文档描述，大概知道了它搜索的逻辑地址解析就是去模糊匹配 name，逆地址解析就是拿入参的经纬度去找数据库距离最近权重最高的数据返回


地址解析SQL

SELECTplace_id,ST_AsText(geometry) AS geometry
FROM placex
WHERE name -> 'name' ILIKE '%中国%'
AND importance IS NOT NULL
ORDER BY importance DESC 
LIMIT 1;

逆地址解析SQL

SELECT  place_id,ST_X(centroid) AS lon,ST_Y(centroid) AS lat,ST_Distance(geometry::geography, ST_SetSRID(ST_MakePoint(90.392926,30.014464), 4326)::geography) AS distance
FROM placex
WHERE ST_Distance(geometry::geography, ST_SetSRID(ST_MakePoint(90.392926,30.014464), 4326)::geography) BETWEEN 1 AND 1000
ORDER BYdistance ASC,importance DESC
LIMIT 1;

测试结果和Nominatim返回的结果相似度90%+，但性能没法比，SQL运行结果很慢


2-5、Nominatim API解析


https://nominatim.openstreetmap.org/search?1=1&q=深圳市&format=geocodejson&addressdetails=1&accept-language=zh&zoom=8&limit=1
https://nominatim.openstreetmap.org/reverse?format=geocodejson&lat=43.767755&lon=87.51623&addressdetails=1&accept-language=zh&zoom=8&limit=1

上面这两个URL在绝大部分场景下，已经是最佳答案了，如果你还需要其它的请参考官方API文档

  • https://nominatim.org/release-docs/develop/api/Search/
  • https://nominatim.org/release-docs/develop/api/Reverse/

字段描述
q文本查询 （不和省、市、区 这些字段一起使用）
format返回的数据格式，相信我 geocodejson 是最好的格式，因为它最接近数据库的数据
addressdetails是否返回地址详情
accept-languagezh 返回中文，不然可能会有少数民族文字
limit限制返回条数（数据已经是按照权重排好序了，大部分场景只要一条数据，所以 limit=1）
zoom=8返回的层级 4级基本是省份，5级基本是城市 （建议带上这个参数，不然极少数情况会出错，作者说的）
lat、lon经纬度

三、安装


https://download.openstreetmap.fr/extracts/asia.osm.pbf 下载亚洲的 PBF文件 （先看四）

然后去你的服务上用docker安装（差不多要300G磁盘），执行过程大概4天半左右

docker run -d -it 
--shm-size=12g -e 
PBF_PATH=/nominatim/osm_data/下载下来的数据.pbf 
-e IMPORT_STYLE=address 
-e NOMINATIM_FLATNODE_FILE=/nominatim/flat_data/flatnode.file 
-p 8090:8080 -p 5432:5432 
-v /nominatim/flat_data:/nominatim/flat_data 
-v /nominatim/osm_data:/nominatim/osm_data 
--name planet mediagis/nominatim:4.4



官网dockert安装地址：https://github.com/mediagis/nominatim-docker/tree/master/4.4

非docker安装需要很多各种依赖较为麻烦


四、关于数据源 （重要）


尝试过的数据源

问题数据范围数据源
Nominatim不支持map和img格式中国https://download3.bbbike.org/osm/garmin/region/asia/china/
Nominatim不支持map和img格式中国https://download3.bbbike.org/osm/mapsforge/region/asia/china/
数据不全，部分数据有问题中国https://download.openstreetmap.fr/extracts/asia/china-latest.osm.pbf
数据不全，部分数据有问题中国https://download.geofabrik.de/asia.html
数据不全，部分数据有问题中国https://osmtoday.com/asia.html
完美 亚洲https://download.openstreetmap.fr/extracts/asia.osm.pbf

数据源相关文章：

https://wiki.openstreetmap.org/wiki/Zh-hans:Planet.osm
https://www.chinaflier.com/thread-202695-1-1.html
https://github.com/osm-search/Nominatim/discussions/3434


尝试了很多的中国数据一直都不准，最后抱着试试的心理尝试了亚洲的数据，完美

  • 服务器：4核32G
  • 亚洲 pbf 15g
  • 导入时间 4天半
  • 消耗空间 277G

在这里插入图片描述


五、替代方案


如果你只是需要简单的地址解析和逆地址解析，其实也不用如此大费周章，可以参看：

https://blog.csdn.net/Tomwildboar/article/details/139882311


N、其它


N-1、place和placex

CREATE TABLE "public"."place" ("osm_type" char(1) COLLATE "pg_catalog"."default" NOT NULL,"osm_id" int8 NOT NULL,"class" text COLLATE "pg_catalog"."default" NOT NULL,"type" text COLLATE "pg_catalog"."default" NOT NULL,"admin_level" int2,"name" "public"."hstore","address" "public"."hstore","extratags" "public"."hstore","geometry" geometry(GEOMETRY, 4326) NOT NULL
)CREATE TABLE "public"."placex" ("place_id" int8 NOT NULL,"parent_place_id" int8,"linked_place_id" int8,"importance" float8,"indexed_date" timestamp(6),"geometry_sector" int4,"rank_address" int2,"rank_search" int2,"partition" int2,"indexed_status" int2,"osm_type" char(1) COLLATE "pg_catalog"."default" NOT NULL,"osm_id" int8 NOT NULL,"class" text COLLATE "pg_catalog"."default" NOT NULL,"type" text COLLATE "pg_catalog"."default" NOT NULL,"admin_level" int2,"name" "public"."hstore","address" "public"."hstore","extratags" "public"."hstore","geometry" geometry(GEOMETRY, 4326) NOT NULL,"wikipedia" text COLLATE "pg_catalog"."default","token_info" jsonb,"country_code" varchar(2) COLLATE "pg_catalog"."default","housenumber" text COLLATE "pg_catalog"."default","postcode" text COLLATE "pg_catalog"."default","centroid" geometry(GEOMETRY, 4326)
)
;

N-2、相关资料


描述地址
OSM 官网https://www.openstreetmap.org
OSM官方对中国地图的描述https://wiki.openstreetmap.org/wiki/Zh-hans:%E4%B8%AD%E5%8D%8E%E4%BA%BA%E6%B0%91%E5%85%B1%E5%92%8C%E5%9B%BD
数据标签查询https://taginfo.openstreetmap.org
Nominatim 地址解析APIhttps://nominatim.org/release-docs/develop/api/Search/
Nominatim 逆地址解析APIhttps://nominatim.org/release-docs/develop/api/Reverse/
Nominatim docker安装地址https://github.com/mediagis/nominatim-docker/tree/master/4.4
官网API查询数据没有 level5问题https://github.com/osm-search/Nominatim/issues/3437
官方说明只能导入 pbf、osm 格式https://github.com/osm-search/Nominatim/discussions/3436
pbf、bz2、shp.zip 数据格式含义https://download.geofabrik.de/technical.html
数据源https://download.geofabrik.de/asia.html（福建省数据不是很准）
数据源https://download3.bbbike.org/osm/garmin/region/asia/china/ （Nominatim不支持map和img格式）
数据源https://osmtoday.com/asia.html （数据不全，部分数据有问题））
数据源https://download.openstreetmap.fr/extracts/asia/china-latest.osm.pbf（数据不全，部分数据有问题）
百度提供的在线经纬度获取https://api.map.baidu.com/lbsapi/getpoint/index.html
经纬度在线解析https://www.zaixianjisuan.com/dilicesuan/wkt%20_%20wkb%20_%20geojson%20convert%20online.html
其它阅读https://wiki.openstreetmap.org/wiki/Zh-hans:Planet.osm
https://www.chinaflier.com/thread-202695-1-1.html
https://github.com/osm-search/Nominatim/discussions/3434

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4a5235b6e1154bb3af4fcc489ad633ad.png)

N-3、测试覆盖


我此次的需求只需要精确到 省、市，直接用GPT列举出全部的市级以上的数据，然后再自己每个省份描点经纬度100个，再让GPT生成随机每个省的经纬度 1000个。

让自建API和腾讯API进行对比，问题如下


地址解析
  1. 香港、澳门，腾讯的是带了 【行政区】 后缀，且存在部分的繁体字
  2. 台湾 腾讯返回的都是简体字，自建地图大部分数据返回的是繁体字

逆地址解析

入参自建腾讯百度
110.39119,20.091971{longitude=110.3715545, latitude=20.0748919, nation=‘中国’, province=‘海南省’, city=‘海口市’}{nation=‘中国’, province=‘中国区域’, city=‘’, district=‘’, street=‘’}海南省海口市美兰区
101.808916,36.653178{longitude=101.8128242, latitude=36.649104, nation=‘中国’, province=‘青海省’, city=‘西宁市’}{nation=‘中国’, province=‘青海省’, city=‘海东市’, district=‘互助土族自治县’, street=‘’}青海省西宁市城北区
91.276412,29.525961{longitude=91.4130822, latitude=29.2551346, nation=‘中国’, province=‘西藏自治区’, city=‘山南市’}{nation=‘中国’, province=‘西藏自治区’, city=‘拉萨市’, district=‘城关区’, street=‘’}西藏自治区山南市扎囊县
113.795412,34.887975{longitude=113.7888121, latitude=34.921496, nation=‘中国’, province=‘河南省’, city=‘新乡市’}{nation=‘中国’, province=‘河南省’, city=‘郑州市’, district=‘惠济区’, street=‘’}河南省郑州市惠济区
112.12054,40.707765{longitude=112.120318174164, latitude=40.71081296482041, nation=‘中国’, province=‘内蒙古自治区’, city=‘乌兰察布市’}{nation=‘中国’, province=‘内蒙古自治区’, city=‘呼和浩特市’, district=‘赛罕区’, street=‘’}内蒙古自治区呼和浩特市赛罕区
113.273535,27.875086{longitude=113.7001702, latitude=28.2178951, nation=‘中国’, province=‘湖南省’, city=‘长沙市’}{nation=‘中国’, province=‘湖南省’, city=‘株洲市’, district=‘荷塘区’, street=‘’}湖南省株洲市荷塘区X004(宋芷路)
101.885386,36.529808{longitude=101.9975, latitude=36.399977, nation=‘中国’, province=‘青海省’, city=‘海东市’}{nation=‘中国’, province=‘青海省’, city=‘西宁市’, district=‘湟中区’, street=‘’}青海省西宁市湟中区
121.827422,24.73118{longitude=120.9820179, latitude=23.9739374, nation=‘中国’, province=‘臺灣’, city=‘臺灣’}{nation=‘中国’, province=‘台湾省’, city=‘宜兰县’, district=‘壮围乡’, street=‘’}台湾省宜兰县

结论

1.现在的亚洲的数据和官网几乎一样
2.和腾讯比，也只有很少边界的地方存在误差

这篇关于Nominatim免费的地址解析，逆地址解析，OpenStreetMap开源地图数据【全网最全】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1085917。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题：墙体两侧特征混淆误匹配，导致建图和定位偏差，表现为过门跳变、外月台走歪等 ·解决思路：预期的根治方案IGICP需要较长时间完成上线，先使用切分地图的工程化方案，即墙体两侧切分为不同地图，在某一侧只使用该侧地图进行定位 方案思路 切分原理：切分地图基于关键帧位置，而非点云。 理论基础：光照是直线的，一帧点云必定只能照射到墙的一侧，无法同时照到两侧实践考虑：关
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2