安之一隅

什么是MapReduce 对于一般的数据统计，简单到诸如数组排序，列求和等等，只需要将数据流指向内存，便可通过一系列JDK api操作，对数据进行汇总计算即可。可现实之中往往场景不止于此。先提出两个问题： 1. 当一个日志文件有4GB大小，让你去对error级别日志进行汇总分析，你会放到内存中去做吗？ 2. 如果各个日志文件分布在不同的服务器，又该怎么办呢？把它们全部拷贝到一台主机再进行统一计算，然后重新分发给每台机器吗？ 诸如这样的问题还有很多，这些都是单点计算无法解决的问题，或者说，在目前大数据的时代而言必然会成为一种瓶颈，因为海量数据是要存储在集群服务器上，这时，便需要一个分布式

编写不易，转载还请注明出处，感谢！ 服务器规划 共使用四台Linux服务器，系统为 CentOS7.5 服务器ip域名软件192.168.192.100base.esri.comPortal For ArcGIS ArcGIS Server Datastore WebAdaptor192.168.192.101ga1.esri.comGeoAnalytics Server GA站点nfs共享目录192.168.192.102ga2.esri.comGeoAnalytics Server192.168.192.103datastore.esri.comDataStore（时空大数据存储）

前言 目前公司大部分的项目都是基于JDK1.6，使用Eclipse开发的。不过我还是想在IDEA上进行开发，用着比较顺手。但是在尝试使用IDEA启动公司项目的过程中遇到了很多问题。在不断尝试下，终于一一解决，特在此记录，以防遗忘。 环境说明 名称版本项目JRE1.6maven3.2.5maven jre1.6Resin3.0.28IntelliJ IDEA2019.1.2所遇到的各种坑 IDEA如何与resin集成 先来说一说在Eclipse中是如何配置的。 之前一直都是用的tomcat，resin算是刚接触。公司对于resin的配置采用项目对应其特有配置文件的形式进行web容器初始化的。

当前用户 root 当前目录 /root/app/rabbitmq 相关依赖 安装erlang 访问https://packagecloud.io/rabbitmq/erlang/install 执行 1 2 curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash yum install erlang-20.3.8.18-1.el7.centos.x86_64 安装rabbitmq-server 添加仓库并安装 访问https://packagecl

排污权做登录日志时遇到的一个问题， 错误代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 @LoginSuccessLog public JSONObject login(JSONObject user) { /*......多余代码省略......*/ //该处有问题 SysUser sysUser = validate(loginCode, password); /*......多余代码省略......*/ return result; }   @LoginErrorLog public SysUser validat

由于客户生产环境Oracle需要做交叉备份及归档备份，且自己Oracle水平又不高，不敢直接在生产环境动手。但公司的集成环境也有很多项目要跑，所以干脆自己虚拟机装一个测。因为虚拟机已有装好的ubuntu，前两天就直接在ubuntu上装了。但是中间遇到了不小的阻碍，主要是某些依赖拉不到，而ubuntu的依赖安装又和yum冲突，所以昨天决定直接不用ubuntu，改用CentOS-7，总算是顺利完成了。详细过程记录如下。 安装JDK1.8 删除预装的jdk 如果系统中事先存在自带的jdk，则需要删除 卸载centos原本自带的openjdk，运行命令：rpm -qa | grep java 然后通