IT系のめもを蓄積していこうかと
JAVAでredisを使う際、以下のライブラリを使用していた。
https://github.com/mp911de/lettuce
このライブラリはとても素晴らしいのだが、
Non Blocking IO機能を、マルチスレッド環境で使おうとすると、
どうもコントロールが難しい。
というのもの、このライブラリは内部的にnettyを使っており、
Non Blockingを使う際、nettyのHashedWheelTimerってやつが、
シングルスレッドでtickを刻んでいるため、複数接続を作ろうとすると怒られる。（たぶん作れない）
そもそもredisはシングルスレッドなので、複数接続作ることが間違っているのかもしれないが、
常時接続を1本をマルチスレッド環境で使うのもなんとなく心細い。。
エラーハンドリングでの再接続なども実装しようとすると、
せめてcore数くらい接続を用意しておきたい心持である。。
結局Non Blockingはやめて、Blockingを選択したことで、
複数接続を扱えるようになったが、正直結構悩むところである。
mavenのレポジトリとしては、
githubが使える。
ただし、githubだと、最新バージョンしか管理できないため、
ちょっと使いづらい。
maven公式にアップできないものもあるだろうから、
そんなときは、archivaを使うと良い。
https://archiva.apache.org/index.cgi
archivaをセットアップしたので、作業履歴を残しておく。
1.ダウンロード
$ wget http://ftp.riken.jp/net/apache/archiva/2.2.0/binaries/apache-archiva-2.2.0-bin.tar.gz $ unzip apache-archiva-2.2.0apache-archiva-2.2.0-bin.zip
2.設定修正
$ vim apache-archiva-2.2.0/conf/jetty.xml
<Set name="port"><SystemProperty name="jetty.port" default="8080"/></Set>
<Put name="mail.user">{your gmail uer}</Put>
<Put name="mail.password">{your gmail password}</Put>
<Put name="mail.transport.protocol">smtp</Put>
<Put name="mail.smtp.host">smtp.gmail.com</Put>
<Put name="mail.smtp.port">587</Put>
<Put name="mail.smtp.auth">true</Put>
<Put name="mail.smtp.starttls.enable">true</Put>
<Put name="mail.debug">false</Put>
$ vim apache-archiva-2.2.0/conf/archiva.xml
<application>
<url>http://{your domain}/url>
<timestamp>EEE d MMM yyyy HH:mm:ss Z</timestamp>
</application>
3.nginx設定
# vim /etc/nginx/conf.d/archiva.conf
server {
listen 80;
server_name {your domain};
location / {
include /etc/nginx/proxy_params;
client_body_buffer_size 128k;
proxy_pass http://127.0.0.1:8080;
}
}
4.クライアント設定
$ vim ~/.m2/settings.xml
<settings>
<servers>
<server>
<id>archiva.internal</id>
<username>{your username for your archiva}</username>
<password>{your password for your archiva}</password>
</server>
<server>
<id>archiva.snapshots</id>
<username>{your username for your archiva}</username>
<password>{your password for your arvhiva}</password>
</server>
</servers>
</settings>
5.pom.xmlに追記
<!-- distributionManagement -->
<distributionManagement>
<repository>
<id>archiva.internal</id>
<name>Internal Release Repository</name>
<url>http://{your domain}/repository/internal/</url>
</repository>
<snapshotRepository>
<id>archiva.snapshots</id>
<name>Internal Snapshot Repository</name>
<url>http://{your domain}/repository/snapshots/</url>
</snapshotRepository>
</distributionManagement>
以上を設定したい状態で、
$ mvn clean deploy
にて、デプロイが可能となる。
結構いいです。
ただ、認証情報のリセットが一定期間で要求されるので、
若干そこがめんどくさいかな。
ローカル環境にS3環境を構築できる「S3 ninja」なるものを入れてみたので、
備忘録を残しておく。
上記からzipファイルを落として解凍すればよい。
解凍した直下に、「instance.conf.sdsignore」というファイルがあるので、
これを「instance.conf」とする。
また、dataフォルダがあるので、
その下に「s3」フォルダを作成する。
以下を実行すれば、「http://localhost:9444」でアクセス可能となる。
$ ./sirius.sh start
phpとjavaからアップしたが、本物とは違ったので、
コードを記載しておく。
なお、前提として、「http://localhost:9444」にアクセスして、
事前に「test」というバケットを作り、「public」にしておくものとする。
phpコード
<?php
require_once("aws.phar");
$bucketName = "s3";
$accessKey = "AKIAIOSFODNN7EXAMPLE";
$secretKey = "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY";
$keyName = "test/php/000.text";
$s3 = new Aws\S3\S3Client(array(
'credentials' => array(
'key' => $accessKey,
'secret' => $secretKey,
),
'version' => "2006-03-01",
'region' => "us-east-1",
'endpoint' => "http://localhost:9444/",
));
$r = $s3->putObject(array(
'Bucket' => $bucketName,
'Key' => $keyName,
'Body' => fopen("test.txt", "r"),
'ACL' => 'public-read',
'CacheControl' => 'no-store, no-cache',
));
var_dump($r);
javaコード
package sample.ninja_test;
import java.io.File;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.S3ClientOptions;
import com.amazonaws.services.s3.model.CannedAccessControlList;
import com.amazonaws.services.s3.model.PutObjectRequest;
public class App
{
private static final String keyName = "java/000.text";
private static final String bucketName = "test";
private static final String accessKey = "AKIAIOSFODNN7EXAMPLE";
private static final String secretKey = "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY";
public static void main(String[] args) {
AmazonS3Client client = new AmazonS3Client(new BasicAWSCredentials(accessKey, secretKey));
client.setS3ClientOptions(new S3ClientOptions().withPathStyleAccess(true));
client.setEndpoint("http://localhost:9444/s3");
PutObjectRequest putObj = new PutObjectRequest(bucketName, keyName, new File("test.txt"));
putObj.setCannedAcl(CannedAccessControlList.PublicRead);
client.putObject(putObj);
String url = client.getResourceUrl(bucketName, keyName);
System.out.println(url);
}
}
期待した設定としては、javaのコードが正しい。
phpのコードはちょっと設定がおかしい。
とはいえ、この辺は、プログラムの設定等で吸収できるので、
簡易的なテストツールとしてはいいかもしれません。
jettyでtomcatJDBC poolを使っていたら、
以下のようなエラーに遭遇した。
java.util.ServiceConfigurationError: org.apache.juli.logging.Log: Provider org.eclipse.jetty.apache.jsp.JuliLog not a subtype
というわけで、
pomを修正して、tomcat jdbc poolが使っているロガーの依存関係を排除した。
<dependency>
<groupId>org.apache.tomcat</groupId>
<artifactId>tomcat-jdbc</artifactId>
<version>8.0.28</version>
<exclusions>
<exclusion>
<groupId>org.apache.tomcat</groupId>
<artifactId>tomcat-juli</artifactId>
</exclusion>
</exclusions>
</dependency>
意外とわからなかった。。
javaでsynchronizedブロックにて、
Stringを使うと、
異なるオブジェクトであっても、
文字列が同じであれば排他制御がかかる。
ただし、異なるオブジェクト・同一文字列で排他制御をかけるべきでない。
なぜなら、依存ライブラリ等でもしsyncrozinedブロックを使っていたら、
最悪デッドロック等もありえる。
（そんなライブラリはないと思うが。。）
これはStringの特性によるものなのだが、
いつか詳細を記載したいとは思う。
持続的接続をredisで行う場合、
接続は１つでよいと書いた記憶があったが、
javaでノンブロッキングでも大丈夫か検証してみた。
javaのredisクライアントはlettuceを使用し、
1つのコネクションを、
マルチスレッドで共有し、SET、GETを試みたところ、
結果にずれは生じなかった。
結論として、
redisはシングルスレッドであるため、
持続的接続の場合は１コネクションでOK。
ただし、javaではマルチスレッドの性能を生かすため、
CPU数 x 2〜3 ぐらいがいいのかなとは思う。
ちなみに、上記でやっても問題なしでした。
以上
JavaMailでSMTP接続をして、
メールを送信しようとした時、
javax.mail.MessagingException: 501 Syntax: HELO hostname
のエラーがでることがある。
これは送信元のサーバのホスト名が
/etc/hostsに掲載されていない場合に起こる。
その他にも色々方法はあるようだが、
/etc/hostsにhostnameをしっかり書いておくことは大事です。
とはいえ、最近クラウドばかり使っていると、
この辺疎かになりがち。。
javaのweb socketで、decoderとpathparamはある条件において不可能なようなだ。
以下の場合はダメ。
@ServerEndpoint(
value = "/ws/{p1}/{p2}/"
decoders = {HogeDecoder.class},
encoders = {HogeEncoder.class})
public class HogeWebsocket {
/**
* open hander.
*/
@OnOpen
public void onOpen(@PathParam("p1") String p1, Session session, EndpointConfig config) {
:
:
}
}
これだと、p1がdecoderの対象になるみたい。
そのため、次のような方法で対処する。
@ServerEndpoint(
value = "/ws/{p1}/{p2}/"
decoders = {HogeDecoder.class},
encoders = {HogeEncoder.class})
public class HogeWebsocket {
/**
* open hander.
*/
@OnOpen
public void onOpen(Session session, EndpointConfig config) {
Map<String, String> pathParameters = session.getPathParameters();
String p1 = pathParameters.get("p1");
:
}
}
本件は、decoderでバイナリからテキストに変換しようとした際に起きた現象。
なので、decoderが何をするかによるとは思うが。。
javaのページを見たが、それらしき記述はなかった。。
redisの冗長化を行うためには、
がある。
clusterはredis3より正式サポートされた機能である。
特徴としては、以下の通り。
master <-> slave構成だと、
masterが倒れたときのフェイルオーバが皆無である。
master <-> slave構成 + sentinelだと、
masterが倒れたときに、slaveが自動昇格できる。
ただ、slave x 2以上、sentinel x 3以上が望ましい感じがする。
cluster構成だと、
分散でデータを保持しているため、
slaveも同時に使い、自動昇格させる必要がある。（slaveがあれば自動昇格する）
master x 3以上、slave x 3以上にする必要がある。
と考えると、clusterが一番な気がするが、
clusterの欠点は以下の通り。
などなど。
とくに、クライアントライブラリが少ないのは気がかりである。
python, rubyではあるらしい。
javaでもlettuceが対応している。
javaのコードは以下の通り。
List<RedisURI> list = new ArrayList<>();
list.add(new RedisURI("192.168.1.45", 16381, 1, TimeUnit.SECONDS));
list.add(new RedisURI("192.168.1.45", 16382, 1, TimeUnit.SECONDS));
list.add(new RedisURI("192.168.1.45", 16383, 1, TimeUnit.SECONDS));
list.add(new RedisURI("192.168.1.45", 16384, 1, TimeUnit.SECONDS));
list.add(new RedisURI("192.168.1.45", 16385, 1, TimeUnit.SECONDS));
list.add(new RedisURI("192.168.1.45", 16386, 1, TimeUnit.SECONDS));
RedisClusterClient client = RedisClusterClient.create(new Iterable<RedisURI>() {
@Override
public Iterator<RedisURI> iterator() {
return list.iterator();
}
});
AsyncExecutions<String> excutions = null;
RedisAdvancedClusterAsyncCommands<String, String> con = client.connect().async();
AsyncNodeSelection<String, String> masters = con.masters();
excutions = masters.commands().set("hoge", "fuga");
excutions.forEach(result -> result.thenAccept(ret -> System.out.println(ret)));
excutions = masters.commands().get("hoge");
excutions.forEach(result -> result.thenAccept(ret -> System.out.println(ret)));
con.close();
client.shutdown();
しかし、multi – execができないのは結構痛い。。。
うまいことやればできるのかな。。
ただ、分散してしまうから、無理なきがする。
このlettuceっていうライブラリは良さげ。
nettyをベースに使っていて、
ノンブロッキングをサポートしているしね。
昨日書いた記事を検証してみた。
以下３つの例を検証。
1.単純ケース
@WebServlet(name = "test01", urlPatterns = {"/test01"})
public class Test01 extends HttpServlet {
@Override
protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
String name = req.getParameter("name");
try (PrintWriter writer = resp.getWriter();) {
resp.setStatus(200);
resp.setContentType("text/plain");
writer.write("name is " + name);
writer.flush();
writer.close();
}
}
}
2.絶対ダメなケース
@WebServlet(name = "test02", urlPatterns = {"/test02"})
public class Test02 extends HttpServlet {
private String name;
@Override
protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
name = req.getParameter("name");
try (PrintWriter writer = resp.getWriter();) {
resp.setStatus(200);
resp.setContentType("text/plain");
writer.write("name is " + name);
writer.flush();
writer.close();
}
}
}
3.今回検証したかったケース
@WebServlet(name = "test03", urlPatterns = {"/test03"})
public class Test03 extends HttpServlet {
@Override
protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
new MyClass(req, resp).execute();
}
class MyClass {
private HttpServletRequest req;
private HttpServletResponse resp;
private String name;
public MyClass(HttpServletRequest req, HttpServletResponse resp) {
this.req = req;
this.resp = resp;
name = req.getParameter("name");
}
public void execute() throws IOException {
try (PrintWriter writer = resp.getWriter();) {
resp.setStatus(200);
resp.setContentType("text/plain");
writer.write("name is " + name);
writer.flush();
writer.close();
}
}
}
}
結論としては、３は大丈夫であった。
jmeterで同時接続１００を１０回やって、一度も不整合は起きず。