コンテンツへスキップ

tdbloader2を使って大量のRDFトリプルをロードするとき、インデクシングフェーズで大きな一時ファイルが作成されるため、/tmpの容量不足で失敗することがあります。

$ tdbloader2 --jvm-args "-Xmx8g" --loc /path/to/database *.ttl
INFO  Total: 98,355,483 tuples : 4,089.41 seconds : 24,051.26 tuples/sec [2019/03/22 04:15:47 JST]
 04:15:48 INFO Data Load Phase Completed
 04:15:48 INFO Index Building Phase
 04:15:48 INFO Creating Index SPO
 04:15:48 INFO Sort SPO
sort: write failed: /tmp/sortvNPO1J: No space left on device
 04:18:36 ERROR Failed during data phase

Apache JenaJENA-1003: tdbloader2 reports df: `': No such file or directory

こちらを見ると、TMPDIRという環境変数を設定することでtmpディレクトリを指定できるようです。

$ export TMPDIR=/path/to/tmp_dir/
$ tdbloader2 --jvm-args "-Xmx8g" --loc /path/to/database *.ttl

これで無事ロードも終わり、さてFusekiを起動しようと思ったところ…

Server     ERROR Exception in initialization: caught: File size (1852784650) not a multiple of blocksize (8192)

というエラーが出て小一時間悩んでいたのですが、tdbloader2はTDB2ではなくTDB用のツールだったんですね。コマンド名に"2"と付いているのでTDB2のデータベースが作成されると誤解して、TDB2としてロードしようとしたために発生したエラーでした。

TDB2用のコマンドラインツールは以下のページにあるように、"tdb2."で始まるコマンドです。

Apahce Jena: TDB2 - Command Line Tools

今更TDBを使う理由もないので、tdb2.tdbloaderを使ってやり直します。

$ tdb2.tdbloader --loc /path/to/database *.ttl

そこそこマシンスペックがあるなら--loader=parallelを指定してやると、多少処理が早くなります。

1

腱鞘巨細胞腫のために手術を受けてきたお話 の続編です。

昨年10月に巨細胞腫の摘出手術を受けた後、2週間ぐらいは装具で親指を固定されていました。装具を外した後は毎日指を動かしリハビリテーションに励んでいたのですが、どうにも親指がIP関節で屈曲できなくなってしまいました。腱の癒着が生じてしまっている、とのことでした。

以下の文献によれば参考可動域 80度とありますが、30度も曲げられません。さらに、前回の手術部位であるMP関節も拘縮が生じており、母指全体としてかなり可動域に制限がある状態です。

米本 恭三, 石神 重信, 近藤 徹, 関節可動域表示ならびに測定法, リハビリテーション医学, 1995, 32 巻, 4 号, p. 207-217, 公開日 2009/10/28, Online ISSN 1880-778X, Print ISSN 0034-351X, https://doi.org/10.2490/jjrm1963.32.207

このままでは、ペンや箸などの細い棒状のものを持つ動作では、親指の先がうまく動かせないためかなり不便です。細かいハンダ付けも下手くそになってしまいました。また、ペットボトルやコップなど径の大きいものを掴む時でも、親指の先がグリップしないと案外力が入らず滑ってしまうのです。親指の役割の大きさに気付かされました。

主治医と相談した結果、癒着した腱を剥離する手術をすることを勧められ、先月末に手術を受けてきました。3月には私が引っ越してしまうこともあり、急ぎで入院・手術の決定となりました。

... "腱剥離術のため再入院&手術してきました" を続けて読む

2

FUJITSU Server PRIMERGY TX1310 M1で構築したファイルサーバですが、かれこれ2年半くらい稼働でストレージ容量が一杯になってしまいました。昨年の秋頃にJust MyShopで安売りしていたTX1330 M2を寝かせたままということもあり、サーバを移行することにしました。

... "ファイルサーバ移行 PRIMERGY TX1330 M2" を続けて読む

あけましておめでとうございます。

コミックマーケット95(C95)に参加された皆さん、お疲れ様でした。弊サークルは情報・評論ジャンルで3日目(12/31)のサークル参加でした。お越しいただいた方々には改めて感謝申し上げます。

今回は12/25には印刷所へ入稿し、参加前日には手元に完成品が届いているというそこそこ余裕を持ったスケジュールで進行できました。いつも前日深夜にヒーヒー言いながら自宅で印刷・製本をしていたものですから、余裕を持って当日に挑むことができました。

また、無理を言って納期を短縮していただいた山田スピード製版さん(a.k.a. スピード冊子印刷.com)には本当に頭が下がります。LaTeXで出力したPDFを雑に入稿しても、いい感じに仕上げてくれるのが神ですね。

... "コミックマーケット95 参加報告" を続けて読む

先月末のブラックフライデーですが、例によって海外ホスティングのセール情報を漁っていました。KVMベースのVPSの価格もお手頃感が出てきましたので、沢山保有しているクソOpenVZ VPS達を移行したいと思い物色していました。

lowendtalkなんかを見ていると、VirMachのフラッシュセールが大盛り上がりだったようですが、以前記事にも書いたように日本からは購入しにくいのでスルーです。

色々と吟味した結果、UltraVPS.eu というドイツのプロバイダを選びました。ProviderServiceの別ブランドのようです。AS番号はAS29141が割り当てられています。

Storage VPSも欲しかったのでちょうどよいプランがあったことと、ZFSをストレージ仮想化に採用している点が気に入りました。また、この価格帯にしては珍しく99.5%のSLAを提供しているようです。

Fedora 29をインストールしたかったのですが、インストールイメージが提供されていなかったのでサポートに連絡したところ、すぐに対応してくれました。サポートも悪くない印象ですね。

コンパネはよくあるWHMCSでなくBK Managerという独自システムを使っているようです。ドキュメントは以下に。

KVM and Cloud VPS Knowledge Base: http://kb.ultravps.eu/

とりあえず適当にベンチ結果を貼っておきます。

Storage-Special-1

48EUR/y: 1 CPU, 1GB RAM, 750GB Storage, 5TB/m transfer

ロケーションは、Düsseldorf(Germany)とAmsterdam(Netherlands)だけです。どちらも日本からのRTTはほぼ同じなのでどちらでも良かったのですが、Amsterdamの方を買いました。

ヨーロッパにあるので仕方ないですが、日本からのRTTは250msオーバーで、ネットワークスループットもある程度で頭打ちになることを考慮して用途を考えないといけませんね。

System Info
-----------
Processor       : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
CPU Cores       : 1
Frequency       : 2600.063 MHz
Memory          : 983 MB
Swap            : 1023 MB
Uptime          : 16 days, 4:54,

OS              : \S
Arch            : x86_64 (64 Bit)
Kernel          : 4.19.4-300.fc29.x86_64
Hostname        : ultravps


Speedtest (IPv4 only)
---------------------
Your public IPv4 is 185.45.XXX.XXX

Location                Provider        Speed
CDN                     Cachefly        27.3MB/s

Atlanta, GA, US         Coloat          8.51MB/s
Dallas, TX, US          Softlayer       8.78MB/s
Seattle, WA, US         Softlayer       6.77MB/s
San Jose, CA, US        Softlayer       6.60MB/s
Washington, DC, US      Softlayer       10.6MB/s

Tokyo, Japan            Linode          6.37MB/s
Singapore               Softlayer       97.0KB/s
Taiwan                    Hinet           2.74MB/s

Rotterdam, Netherlands  id3.net         36.2MB/s
Haarlem, Netherlands    Leaseweb        25.1MB/s


Disk Speed
----------
I/O (1st run)   : 179 MB/s
I/O (2nd run)   : 184 MB/s
I/O (3rd run)   : 184 MB/s
Average I/O     : 182.333 MB/s

ディスクは、10GiBのシステム用と750GiBのデータ用の2つのディスクが見えています。これはStorageプランだけではなく、他のプランでも同様のディスク構成のようです。

# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom
vda    252:0    0   10G  0 disk
├─vda1 252:1    0  300M  0 part /boot
├─vda2 252:2    0  8.7G  0 part /
└─vda3 252:3    0    1G  0 part [SWAP]
vdb    252:16   0  750G  0 disk
└─vdb1 252:17   0  750G  0 part /data

ちなみに、キャッシュなしで読み書きすると以下のようなスループット・レイテンシになります。

# fio --filename=/dev/vdb --direct=1 --bs=4k --size=512m --rw=rw --name=seqrw
seqrw: (g=0): rw=rw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=1
fio-3.7
Starting 1 process
Jobs: 1 (f=1): [M(1)][100.0%][r=5129KiB/s,w=5053KiB/s][r=1282,w=1263 IOPS][eta 00m:00s]
seqrw: (groupid=0, jobs=1): err= 0: pid=8591: Sun Dec 16 11:55:53 2018
   read: IOPS=1360, BW=5441KiB/s (5572kB/s)(257MiB/48308msec)
    clat (usec): min=80, max=18321, avg=202.83, stdev=150.76
     lat (usec): min=81, max=18324, avg=204.88, stdev=151.35
    clat percentiles (usec):
     |  1.00th=[   98],  5.00th=[  112], 10.00th=[  121], 20.00th=[  137],
     | 30.00th=[  151], 40.00th=[  165], 50.00th=[  180], 60.00th=[  198],
     | 70.00th=[  219], 80.00th=[  245], 90.00th=[  293], 95.00th=[  347],
     | 99.00th=[  545], 99.50th=[  857], 99.90th=[ 1729], 99.95th=[ 2024],
     | 99.99th=[ 3228]
   bw (  KiB/s): min= 3960, max= 6560, per=99.97%, avg=5439.39, stdev=530.10, samples=96
   iops        : min=  990, max= 1640, avg=1359.82, stdev=132.55, samples=96
  write: IOPS=1352, BW=5412KiB/s (5542kB/s)(255MiB/48308msec)
    clat (usec): min=330, max=48336, avg=505.82, stdev=537.37
     lat (usec): min=331, max=48338, avg=508.04, stdev=537.49
    clat percentiles (usec):
     |  1.00th=[  363],  5.00th=[  379], 10.00th=[  396], 20.00th=[  412],
     | 30.00th=[  429], 40.00th=[  445], 50.00th=[  461], 60.00th=[  482],
     | 70.00th=[  506], 80.00th=[  545], 90.00th=[  611], 95.00th=[  685],
     | 99.00th=[ 1254], 99.50th=[ 1582], 99.90th=[ 3130], 99.95th=[ 5276],
     | 99.99th=[32113]
   bw (  KiB/s): min= 4088, max= 6512, per=100.00%, avg=5411.46, stdev=469.30, samples=96
   iops        : min= 1022, max= 1628, avg=1352.84, stdev=117.34, samples=96
  lat (usec)   : 100=0.68%, 250=40.07%, 500=42.68%, 750=14.62%, 1000=1.02%
  lat (msec)   : 2=0.77%, 4=0.12%, 10=0.02%, 20=0.01%, 50=0.01%
  cpu          : usr=6.50%, sys=3.36%, ctx=132850, majf=0, minf=15
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwts: total=65713,65359,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=5441KiB/s (5572kB/s), 5441KiB/s-5441KiB/s (5572kB/s-5572kB/s), io=257MiB (269MB), run=48308-48308msec
  WRITE: bw=5412KiB/s (5542kB/s), 5412KiB/s-5412KiB/s (5542kB/s-5542kB/s), io=255MiB (268MB), run=48308-48308msec

Disk stats (read/write):
  vdb: ios=65529/65136, merge=0/0, ticks=11119/30435, in_queue=41759, util=86.64%

SSD-Special-2

40EUR/y: 2 CPU, 2GB RAM, 50GB Storage, 1TB/m transfer
こちらは色々なロケーションが用意されており、Los Angelsのを購入しました。QuadranetのDCです。他のプランもいくつか買いましたが、内容は似たり寄ったりなので詳細は割愛します。

UnixBenchの数字を見る限りだと、あまりCPU性能はよろしくはないようです。ディスクはSSDなので、ランダムR/Wでもそこそこパフォーマンスが出ますが、安定していない(ばらつきが大きい)感じがします。最大のレイテンシが大きいのが気になります。

Test results for SSD-Special-2 at UltraVPS.eu

Server specs:

2 × Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz
2 GB RAM / 61 GB disk space
Centos 7.5.1804 Core

Benchmark results summary:

UnixBench - 720.9
Disk Read - 43 MB/s
Disk Write - 63 MB/s
Bandwidth - 285.80 MB/s

More: https://serverscope.io/trials/jO56

そういえば、VPSのベンチマークを管理できるserverscope.ioというサービスを使っているのですが(上の結果がそう)、最近は全くメンテされていないのが残念ですね。


本題からは離れますが、先日IDCFクラウドから個人向けサービス提供終了の通知を受けました。

IDCFクラウド:
個人向けサービス提供の終了を受け取りました。どのような対応をすればよいですか。
個人としてIDCFクラウドを利用することはできますか。

クラウドホスティングサービスでありながら、終了までの猶予期間が3ヶ月ほどしか与えられない突然の通知に驚きました。ユーザ向けコミュニティのために色々と活動されていたと記憶しているのですが、残念ですね。B2Bに舵を切る事業方針の転換については理解できますが、既存の顧客に対するぞんざいな対応に不信感が募ります。少なくとも、私は仕事でも使いたいとは思えなくなりました。

しかしながら、趣味で海外の格安業者を多く使ってきた身としては、気づいたときにはプロバイダが死んでいるということがあるので、移行コストを低減する運用は常に考えておくべきだと思います。

IDCFクラウドで動かしていたサービス達は、運良くブラックフライデーで確保したおいたUltraVPS.euにとりあえず移行させました。特に国内で動かしておく理由もないサービスだったので。