GIS摆渡人

文章目录一.简介1.Cholmod获取2.Cholmod生成3.Cholmod编译4.导入Cholmod4.1 blas库导入：4.2 lapack库导入：二.具体执行过程1.开发环境准备1.1 cholmod 1.5下载1.2 cmake 安装1.3 vs2012 安装2.生成cholmod工程2.1. 导入工程2.2. 配置工程2.3. 生成工程2.4. 打开工程3.编译cholmod工程3.1 配置64位开发平台3.2. 配置单个工程属性3.3. 对all_build进行所有工程编译4.安装cholm

文章目录一.简介二.核心1.核心能力2.环境准备三.工程准备及配置1.工程获取2.依赖库下载3.项目配置3.1 64位Debug3.2 64位Release4.工程执行5.结果输出其他参考:一.简介前面博客讲了 “影像镶嵌 ImageMosaicing 32位开发手册” 的开发过程，32位版问题还是比较多，最明显的就是不支持大图片高分辨率的影像镶嵌。本章就带大家配置执行64位的"影像镶嵌 ImageMosaicing" 的开发过程。二.核心1.核心能力参考 “影像镶嵌 ImageMosaicing

文章目录一.简介二.核心能力1.影像锚点获取2.影像锚点匹配3.影像合并三.环境准备1.运行环境2.开发环境四.工程准备及配置1.工程获取2.依赖库下载3.项目配置2. 32位Debug1. 32位Release64位配置4.工程执行5.结果输出其他一.简介基于OpenCV,C++实现影像镶嵌二.核心能力1.影像锚点获取2.影像锚点匹配3.影像合并三.环境准备1.运行环境windows10 专业版2.开发环境vs2012:推荐使用vs2012,vs版本太低需要使用项目文件改造,

一.简介它利用列格式，支持数据压缩和基于列的编码，从而实现高效的OLAP查询。这使用户能够通过使用弹性计算资源来代替专用服务器来实现成本节约。 列存储，支持数据压缩和基于列的编码，实现高效的OLAP查询 GeoMesa FSDS（ FileSystem data store）可以运行在任何分布式或本地文件系统之上，包括Amazon 3、Hadoop HDFS、谷歌FileStorage和Azure BlobStore。 文件系统数据存储可以将数据ETL到文件系统中，或者使用GeoMesa转换器包装现

1.空间范围查询( Spatial Range Query) 空间范围查询，顾名思义我们可以给定一个范围（query window），然后查询出包含在当前范围内的地理对象。 1.1 数据准备 创建checkin1.csv在 data/checkin1.csv路径下: 注意这里故意把bar坐标修改了一下 -88.331492,32.324142,hotel-88.175933,32.360763,gas-99.388954,32.357073,bar-88.221102,32.35078,r.

实现代码如下： import org.apache.camel.scala.dsl.builder.RouteBuilderSupportimport geotrellis.raster._import geotrellis.proj4._import geotrellis.raster.resample.Bilinearimport geotrellis.spark._import geotrellis.spark.io._import geotrellis.s...

部署环境可以参考本栏目的其他章节。 1、maven代码如下： <dependencies> <dependency> <groupId>org.apache.camel</groupId> <artifactId>camel-core</artifactId> </dependency> <dependency> &l...

本章节将上一章节创建的瓦片发布为TMS服务 本章节将使用akka建立http服务并访问影像瓦片。 使用maven构建测试案例，maven参见上一章节 具体代码如下： import geotrellis.raster._import geotrellis.raster.render._import geotrellis.spark._import geotrellis.spark.io.{FilteringLayerReader, ValueReader, _...

本章使用scala实现影像的切片功能。步骤如下： 一、环境及软件版本： 1、Scala2.11.7 2、Java1.8 3、spark2.2.0 二、使用maven构建测试案例 1、maven依赖库如下： <dependencies>   <dependency>    <groupId>org.apache.camel</groupId>  &...

直接使用geopyspark提供的测试代码，我这里稍微进行了改造，步骤如下： 1、pycharm创建python项目geotrellis-python-temple。 2、创建py文件：geotrellis-hello.py 3、代码如下： #引入以下三个包import geopyspark as gpsfrom pyspark import SparkContextfrom shapely.geometry import box def test(): ...

代码：   def ncdensityrdd(): Unit ={     val conf = new SparkConf().setMaster("local").setAppName("Kernel Density")     val sc = new SparkContext(conf)     val tl = TileLayout(7, 4, 100, 100)   &n...

1、名词概念 1）矢量或几何（Vector or Geometry）：通过连接空间中的点而建立的结构，包括点、线、面结构 2）范围或边界（Extent or Bounding Box）：轴对齐的矩形区域 3）要素（Feature）：带有元数据信息的的几何要素 4）单元格（Cell）:栅格数据的单个数据单元 5）瓦片（Tile）:或者叫切片，栅格数据切割后的瓦片数据。 6）RDD：弹性分布式数据集，这里主要是带有Tile数据的RDD，用户栅格的分布式处理 ...

本文介绍了如何实现 COG 模式下 ETL 的 Layer 更新操作，只要想明白原理，其实代码本就不复杂，这也是我对待码农工作的个人感悟：重要的在于编程思维、解决问题能力的培养，而不是具体的代码。 前言前面介绍过了如何在 ETL 的时候更新 Layer，使得能够在大数据量的时候完成 ETL 操作，同时前两篇文章也介绍了 COG 以及如何在 Geotrellis 中实现 COG 的读取。本文介绍如何在进行 COG 方式 ETL 的时候实...

前言上一篇中简单介绍了 COG 的概念和 Geotrellis 中引入 COG 的原因及简单的原理，本文为大家介绍如何在 Geotrellis 中使用 COG 来写入和读取 GeoTIFF数据。一、写入数据——ETL1.1 实现方案其实这与之前的普通 ETL 操作在概念上是相似的，都是将原始数据转换成系统能用的数据的过程，这是宽泛的 ETL 的定义。在 Geotrellis 中实现很简单，与之前代码基本一致，只要切换一下 writer 类型以及最后建立金字塔额时候...

前言Geotrellis 已经迭代到了 2.0 版本（截止写作此文时为 2.0.0-SNAPSHOT 版），2.0 版多了很多新的特性，其中最重要的应该就是 COG，COG 是什么鬼？刚看到时我也是一脸懵，认认真真的学习了一天，稍有体会，本文对此进行简单介绍。一、COG 简介1.1 什么是 COGCOG 是 Cloud Optimized GeoTIFF's 的简称，从这个名字就能大概猜出他的意义——云端优化的 GeoTIFF。GDAL 官方 WIKI 定义如下：...

前言Geotrellis 是针对大数据量栅格数据进行分布式空间计算的框架，这一点毋庸置疑，并且无论采取何种操作，其实都是先将大块的数据切割成一定大小的小数据（专业术语为瓦片），这是分治的思想，也是分布式计算的精髓，所以使用 Geotrellis 的第一步工作就是要将数据切片（无论是存储在内存中还是进行持久化），然而即使其能力再“大”在实际工作中也难以处理以下几种需求：全球（大范围）高分辨率遥感影像数据，数据量在 TB 级；局部地区数据更新；不同时间数据融合。...

前言在上两篇文章中我介绍了如何直接将Geotiff（一个或者多个）发布为TMS服务。这中间其实我遇到了一个问题，并且这个问题伴随Geotrellis的几乎所有使用案例，下面我详细讲述。一、问题描述无论在将Tiff文件使用Geotrellis导入Accumulo中还是直接将其发布为TMS服务，其实这中间都存在一个问题：当多个Tiff文件存在重叠部分的时候如何接边、去重叠以及在边界处的瓦片如何取出各Tiff文件中涉及到的数据，即保持瓦片显示效果的完整性。这个问题可以说...

前言在上一篇文章中我讲了如何直接将Geotiff文件发布为TMS服务，在其中只讲了单幅Geotiff的操作，其实单幅这种量级的数据对Geotrellis来说就是杀鸡焉用牛刀，Geotrellis针对的是大数据量的操作。在进行完单幅Geotiff的操作后，就去出差了一周，这一周也没闲着，稍有空隙便在思索这个问题，并抽空写那么两行，回来一调试果然可以，于是就有了本文。下面我来介绍如何对大量Geotiff实时进行TMS服务化操作。一、总体效果上次使用的是北京首都国际机场影...

前言传统上我们需要先将Tiff中存储的影像等数据先切割成瓦片，而后再对外提供服务。这样的好处是服务器响应快，典型的用空间来换时间的操作。然而这样造成的问题是空间的巨大浪费，一般情况下均需要存储1-18级左右的瓦片数据。我一直在思考有没有办法不存储瓦片而直接发布TMS服务，当然这样响应速度肯定是要受一点影响，但是基于Geotrellis的分布式计算对这一点提供了巨大帮助，大大缩短了瓦片临时切割（存储于内存中）所用的时间。而且这样不仅仅是节省了存储空间的问题，何况我们有时可...

前言最近事情很多，各种你想不到的事情——such as singing and dancing——再加上最近又研究docker上瘾，所以geotrellis看上去似乎没有关注，其实我一直在脑中思考着geotrellis。之前看geotrellis源码看到有关geotrellis.slick的相关部分，仅大概浏览了一番，知道是用于读取PostGIS数据库的，未做深入研究，又恰巧前几日有老外在gitter上问了如何读取PostGIS数据库，我当时回答他可以用传统的JDBC方...

上一篇文章介绍了如何使用Geotrellis渲染单波段的栅格数据，已然很是头疼，这几天不懈努力之后工作又进了一步，整清楚了如何使用Geotrellis将多个（3个）波段的栅格数据渲染成真彩色，废话不多说，进入正题。 目录前言实现过程总结一、前言       上一篇文章介绍了如何使用Geotrellis渲染单波段的栅格数据，已然很是头疼，这几天不懈努力之后工作又进了一步，整清楚了如何使...

目录前言复杂原因及思路分析实现过程总结一、前言       今天我们来研究一下这个看似简单的问题，在地理信息系统中颜色渲染应当是最基本的操作和功能，比如我们将一幅Landsat数据拖拽到Arcgis或者QGis等软件中，软件会自动为我们呈现出漂亮的图案，一切看似来的那么容易，但是在分布式海量空间数据的情况下实现色彩渲染操作实在也是要了命的。今天我们就接着上一篇文章中的数据处理（权且将色彩渲染归结到数据处理中）来介绍一...

前言要说清楚这个题目对我来说可能都不是一件简单的事情，我简单尝试。研究 GIS 的人应该都清楚在 GIS 中最常用的技术是瓦片技术，无论是传统的栅格瓦片还是比较新颖的矢量瓦片，一旦将数据切好瓦片就会造成其层级固定，假如说 0 - 11 级，请求此层级范围内数据的时候能够正常响应，但是当用户请求超过最高级（假如为 12 ）的时候该如何处理呢？传统方式只能返回 404 ，即显示空白数据，然而有没有更好的方式呢，能够使得用户在请求超过最高级数据的时候能够优雅的并且正确的返回...

前言之前 GeoTrellis 为方便用户将数据（GeoTiff 等遥感影像）导入到 backend （包含 Accumulo、File、Hadoop 等格式）中，编写了一个 ETL 类，该类的输入为用户配置好的 json 文件，其中包含数据源、数据类型、投影、瓦片类型、处理方式等等处理过程中需要用到的信息。从 2.0 版开始，GeoTrellis 加入了流水线（pipeline）功能，用户可以使用 json 或者 AST 将数据的处理过程配置成处理的流水线过程，这样...

前言一个多月没有写博客了，今天尝试着动笔写点。原因很多，最重要的原因是我转行了。是的，我离开了开发岗位，走向了开发的天敌-产品经理。虽然名义上是产品经理，但是干的事情也很杂，除了不写代码，其他的都干，经常还要加个小班，所以就没那么多时间研究技术上的东西，机械键盘上已经落下了一层薄薄的灰尘。但是自己确实又爱码农这一行，上班看着同事畅快的敲着代码，心里就有点痒，所以下班没事仍旧自己瞎捉摸，这不就总结出来今天这篇文章。关于产品经理和研发的关系我还真得多说一句，虽然二者是天...

目录前言前台实现后台实现总结一、前言       看到这个题目有人肯定会说这有什么可写的，最简单的我只要用文件系统一个个查找、打开就可以实现，再高级一点我可以提取出所有数据的元数据，做个元数据管理系统就可以实现查找功能，有必要用geotrellis用分布式吗？这不是杀鸡用牛刀吗？理论上是这样的，但是要看我们考虑问题的尺度，如果你只是一些简单的数据用传统方法当然好，省事、省时、简单、速度快，但是当我们将数据的量放大到一...

目录前言实现方法总结一、前言       今天要介绍的绝对是华丽的干货。比如我们从互联网上下载到了一系列（每天或者月平均等）的MODIS数据，我们怎么能够对比同一区域不同时间的数据情况，采用传统的方法可能只能将所有要参考的数据用ArcGIS等打开，然后费劲的一一对比等，不仅操作繁琐，搞不好日期等还会对应错。本文就是介绍使用Geotrellis动态加载时间序列数据，使我们能够自由选择日期浏览或者像动画一样循环展示一系列数...

目录前言实现方法总结一、前言       其实这个功能之前已经实现，今天将其采用1.0版的方式进行了重构与完善，现将该内容进行总结。       其实这个功能很常见，比如google地球上当我们鼠标移动的时候能够自动获取到鼠标所在位置的高程信息就是本文所讲的一种效果。本文我们也以DEM数据为例，但是读者应当清楚任何栅格数据都可以采用此种方式获取点状目标栅格数据值。如果我们采用传...

目录前言整体介绍前台界面后台控制总结一、前言       之前Geotrellis数据导入集群采用的是命令行的方式，即通过命令行提交spark任务来ingest数据，待数据导入完毕再启动主程序进行数据的调用。这样造成的一个问题就是数据导入与数据处理不能无缝对接，并且只能由管理员导入数据导入数据流程也很麻烦，用户想要导入自己的数据几乎不可能。本文为大家介绍一种自动数据导入方式——通过浏览器前端界面实现交互式数据导入。...

目录前言变化情况介绍总结一、前言       之前版本是0.9或者0.10.1、0.10.2，最近发现更新成为1.0.0-2077839。1.0应该也能称之为正式版了吧。发现其中有很多变化，在这里为大家简单介绍。二、变化情况介绍2.1 数据导入变化       之前数据导入参数基本都要写在命令行，刚查看之前写的博客发现没有介绍数据导入的，只有一个老版的调用本地数据的，本文就...

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html目录前言多波段数据导入读取多波段瓦片提取单波段总结一、前言       之前我们处理的都是单波段的Tiff数据，可以实现瓦片的读取、处理等操作，如果Tiff为多波段Tiff，并且我们不希望在导入的时候将多波段合并成单波段，这时候就需要进行多波段数据处理。多波段数据处理方式基本与...

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html目录前言需求分析实现方案总结一、前言       最近真的是日理千机，但是再忙也要抽出时间进行总结。上一篇文章讲了使用缓冲区分析的方式解决投影变换中边缘数据值计算的问题（见geotrellis使用（十六）使用缓冲区分析的方式解决投影变换中边缘数据值计算的问题）。实际中往往还有一种...

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html目录前言问题探索采样说明实现方案总结一、前言       上一篇文章讲了通过Geotrellis导出自定义的Tiff文件（见geotrellis使用（十四）导出定制的GeoTiff），但是实际中有时会有BUG，就是数据值发生非常明显的变化，理论上只进行了切割、重投影操作，数据值...

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html目录前言实现方案总结一、前言       之前有篇文章介绍了使用Bokeh-scala进行数据可视化（见http://www.cnblogs.com/shoufengwei/p/5722360.html），其实当时选择Bokeh的部分原因就是Bokeh支持大数据量的可视化，有点“大...

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html目录前言需求说明实现方案总结一、前言       最近一段时间比较忙，没能继续推进Geotrellis项目开发，周末和这两天抽空又实现了一个功能——导出自定义的Tiff文件。又恰巧碰上今天这么重要的日子，当然要写点东西来纪念一下，所以就有了这篇文章，闲话莫说，进入正题。二、需求...

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html目录前言安装空间数据库空间数据库栅格化根据属性字段进行赋值总结一、前言       前面写了一篇文章（geotrellis使用（八）矢量数据栅格化）讲解了如何使用Geotrellis将Shape文件栅格化，并许下了后续会写一篇文章讲解空间数据库栅格化的诺言，周末虽然不是闲来无事...

目录前言缓冲区分析多种类型要素栅格化总结参考链接一、前言       上两篇文章介绍了如何使用Geotrellis进行矢量数据栅格化以及栅格渲染，本文主要介绍栅格化过程中常用到的缓冲区分析以及同一范围内的多种类型要素栅格化。       本文主要记录今天过程中碰到的两个问题，第一个问题就是线状要素在进行栅格化的时候只有单个像素，看不出应有的效果；第二个问题就是同一地区的数据...

目录前言图像渲染总结参考链接一、前言       前面几篇文章讲解了如何使用Geotrellis进行数据处理、瓦片生成等，今天主要表一下如何使用Geotrellis进行栅格渲染。       昨日完成了两种数据叠加生成瓦片的工作，然而在进行瓦片渲染的时候始终得不到想要的漂亮的颜色效果，由于这块代码是从之前Geotrellis官方DEMO中拷贝过来的，从未进行深究，所以折腾半天...

目录前言栅格化处理总结参考链接一、前言       首先前几天学习了一下Markdown，今天将博客园的编辑器改为Markdown，从编写博客到界面美观明显都清爽多了，也能写出各种样式的东西了，有关Markdown，网上内容很多，暂且不表，开始进入今天的主题。       前几天碰到一个任务，需要将矢量数据导入到Accumulo中，然后通过geotrellis进行调用。这一下...

     眼看就要端午节了，屌丝还在写代码，话说过节也不给轻松，折腾了一天终于解决了一个BUG，并完成了老板安排的求DEM坡度的任务，那么就分两段来表。一、BUG调试      首先记录一天的BUG调试，简单copy了之前写好的代码（在前面几篇博客中已有介绍），然后添加了求坡度的代码，坡度代码暂且不表，然后满怀欣喜的上线，打开浏览器访问，以为节前的工作就可以告一段落了，谁知一天的...