ssydxa219
- 浏览: 610484 次
- 性别:
- 来自: 杭州
-
最新评论
-
ssydxa219：
vim /etc/security/limits.confvi ...
ekl -
Gamehu520：
table中无数据
hbase 出现的问题 -
Xleer0102：
为什么都是只有问没有答，哭晕在厕所
hbase 出现的问题 -
jiajiao_5413：
itext table -
CoderDream：
不完整，缺com.tcs.org.demostic.pub.u ...
struts2.3.1.1+hibernate3.6.9Final+spring3.1.0+proxool+maven+annotation
文章列表
MySQL 插入速度调高至 10000条/秒
- 博客分类：
- mysql
（1）提高数据库插入性能中心思路：尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项：
1）将 innodb_flush_log_at_trx_commit 配置设定为0；按过往经验设定为0，插入速度会有很大 ...
CentOS7 command
- 博客分类：
- CentOS7
CentOS7
常用命令
文件与目录操作
命令 解析
cd /home 进入 ‘/home’ 目录
cd .. 返回上一级目录
cd ../.. 返回上两级目录
cd - 返回上次所在目录
cp file1 file2 将file1复制为file2
cp -a dir1 dir2 复制一个目录
cp -a /tmp/dir1 . 复制一个目录到当前工作目录（.代表当前目录）
ls 查看目录中的文件
ls -a 显示隐藏文件
ls -l 显示详细信息
ls -lrt 按时间显示文件（l表示详细列表，r表示反向排序，t表示按时间排序）
pwd 显示工作路径
mkdir dir1 创建 ‘dir1’ ...
vim /etc/my.cnf
[client]
port = 3306
socket=/ddhome/bin/mysql/tmp/mysql.sock
[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
[mysqld]
#skip-grant-tables
character_set_server=utf8
init_connect='SET NAMES utf8'
skip-name-resolve
#设置3306端口
port = 3306
# 设置mysql的安装目录
basedir=/usr/local/mysql/
# 设置 ...
# -*- coding:utf-8 -*-
from urllib import request as urllib2
from urllib import parse
from bs4 import BeautifulSoup as bs
import json
import codecs
url = r'https://movie.douban.com/subject/26363254/'
outputjsonfile= "/ddhome/data/movie.json"
headers = {
'User-Agent':'Mozilla/5.0 (Wind ...
vim /etc/profile
--------------------------------------------------
HIVE_HOME=/ddhome/bin/hive
HIVE_CONF_DIR=$HIVE_HOME/conf
PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
#进入目录
cd $HIVE_CONF_DIR
#拷贝hive-default.xml.template并重命名为hive-site.xml
cp hive-default.xml.template hive-site.xml
#编辑hive-site.xm ...
Azkaban 3.0+ 安装
- 博客分类：
- Azkaban 3.0+
Azkaban 3.0+ 安装
在root的用户下搭建的
• Azkaban安装部署（可参照：http://azkaban.github.io/azkaban/docs/latest/）
1)：前提 安装JDK，安装Hadoop，Hive客户端环境
本次安装azkaban的版本3.20.0-5,相对版本2.5有部分变化，此次安装 two-server模式
In version 3.0 we provide three modes: the stand alone “solo-server” mode, the heavier weight two server mod ...
broker.id=1
port=9092
host.name=192.168.55.91
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/ddhome/bin/kafka/tmp/kafka-logs
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
l ...
elasticsearch
- 博客分类：
- elasticsearch
grep "^[a-z]" elasticsearch.yml
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
vim /etc/security/limits.d/90-nproc.conf
* soft nproc 4096
vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p
elasticsearch.yml中配置
bootstrap. ...
centos日常用命令
- 博客分类：
- centos用命令
=================centos日常用命令=============================
1.关机 (系统的关机、重启以及登出 ) 的命令
shutdown -h now 关闭系统(1)
init 0 关闭系统(2)
telinit 0 关闭系统(3)
shutdown -h hours:minutes & 按预定时间关闭系统
shutdown -c 取消按预定时间关闭系统
shutdown -r now 重启(1)
reboot 重启(2)
logout 注销
2.查看系统信息的命令
arch 显示机器的处理器架构(1)
uname ...
#history
USER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'`
HISTDIR=/ddhome/history/the_history
if [ -z $USER_IP ]
then
USER_IP=`hostname`
fi
if [ ! -d $HISTDIR ]
then
mkdir -p $HISTDIR
chmod 777 $HISTDIR
fi
if [ ! -d $HISTDIR/${LOGNAME} ]
then
mkdir -p $HISTDIR/${LOGNAME}
chm ...
wget https://github.com/cloudera/hue/archive/release-4.0.1.tar.gz
tar -zvxf release-4.0.1.tar.gz
core-site.xml
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name ...
#卸载系统自带的Mariadb
[root@hdp265dnsnfs ~]# rpm -qa|grep mariadb
mariadb-libs-5.5.44-2.el7.centos.x86_64
[root@hdp265dnsnfs ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64
#删除etc目录下的my.cnf文件
[root@hdp265dnsnfs ~]# rm /etc/my.cnf
rm: cannot remove ?etc/my.cnf? No ...
kvm虚拟化管理平台WebVirtMgr部署-完整记录
打算部署kvm虚拟机环境，下面是虚拟化部署前的一些准备工作：
操作系统环境安装
1）修改内核模式为兼容内核启动
[root@ops ~]# uname -a
Linux openstack 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
[root@ops ~]#vim /boot/grub/grub.conf
......
default=1 #由默认的0改为1，内核兼容模式
2）关闭s ...
一、下载及配置
1.几个基本名词
index: es里的index相当于一个数据库。
type: 相当于数据库里的一个表。
id： 唯一，相当于主键。
node:节点是es实例，一台机器可以运行多个实例，但是同一台机器上的实例在配置文件中要确保http和tcp端口不同（下面有讲）。
cluster:代表一个集群，集群中有多个节点，其中有一个会被选为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。
shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并 ...
5.1 索引
索引(index)是ElasticSearch存放具体数据的地方，是一类具有相似特征的文档的集合。ElasticSearch中索引的概念具有不同意思，这里的索引相当于关系数据库中的一个数据库实例。在ElasticSearch中索引还可以作为动词，表示对数 ...