SQLServer利用時はトランザクション分離レベルに気を付けて

DBにSQLServerを使用している場合になりまして、事象と対応方法については簡単なのですが、私には詳しい説明が難しいため、先に簡潔に現象を説明します。


「長い更新処理が行われている間、別のユーザーがそのテーブルにアクセスするとデータが取得できない」



＜事象の再現＞

※SQLServerをデフォルトのまま使用していると再現できます。

　Azure for SQLServerの場合は対応されているので、再現しません。


①SQLServer Management Studioのクエリから一つのテーブルをUpdateを行います。

　その際、トランザクションを開始してロックしたままの状態にしてみます。


BEGIN TRAN

Update [KM01_KOKYAKU] Set   [KM01_REV_NO] = 7

Where [KM01_KOKYAKU_CD] = 'CC0002'

※Update文は適時調整してください。


この状態だとまだデータは確定されておらず、CommitかRollbackするまではロック状態です。


②ロック状態のままGeneXusで生成したシステムから、

　上記のテーブルの一覧画面や登録画面を開いて、データにアクセスしてみてください。


　データが表示されないはずです。（画面が表示されないことも）

　データがロックされているため、Selectできない状態となります。


③次にSQLServer Management StudioのクエリからCommitを実行してみてください。

　すると、GeneXusの画面でデータが表示されると思います。



＜原因＞

SQLServerのトランザクション分離レベルがデフォルトだと「READ COMMITTED」であること、

GeneXusが生成するSQL文にはWITH（NOLOCK）が記述されていないことが合わさって上記の現象となります。


GeneXusは以前はSQLServerの場合にSQL文にWITH（NOLOCK）をつけていたのですが、

それだとダーティリードが発生してしまうため、WITH（NOLOCK）を外すように修正されました。


GeneXus コラボDB

http://www.gxsupport.jp/gxfaq/faqdisplay.aspx?2961

GeneXus日本語SAC

https://sac.genexus.jp/viewtr_sac.aspx?30566,


WITH（NOLOCK）がついていると高速であり、Selectできない状態にならないメリットはあるのですが、

他者がCommitしていないデータをSelectできてしまうので、業務システムとしては致命的です。（ダーティリード）



＜対応方法＞

上記のSAC 30566にも記載がありますが、トランザクション分離レベルを「READ_COMMITTED_SNAPSHOT」にすることで、Select時にロックされているかどうかは関係なくなります。


SQL

ALTER DATABASE <データベース名> SET READ_COMMITTED_SNAPSHOT ON

※DBにアクセスがあるとSQLが終了しないので、DBを再起動してから実行するのが良いです。


ちなみにAzure for SQLServerは、デフォルトで「READ_COMMITTED_SNAPSHOT」です。


トランザクション分離レベルの「READ_COMMITTED_SNAPSHOT」については

こちらのURLが参考になるかと思います。

SQL Serverのスナップショット分離レベル導入によるデータ基盤連携の課題解決

https://techblog.zozo.com/entry/sqlserver-transaction-isolation-level-snapshot



ただし、「READ_COMMITTED_SNAPSHOT」にすることによって、

多少HDDの容量やSelect時の負荷といった問題が発生しますが、

誰かが更新している間はSelectで待ち状態になることに比べれば些細な影響だと思います。


コメント

コメントを投稿

このブログの人気の投稿

Tomcatの設定３：8080ポート以外で動作させる

Tomcatで運用する場合で、いくつか考慮した方が良い設定・情報を記載します。 Tomcatのデフォルトではポート8080で動作します。 URLがhttp://localhost:8080/xxxxx/servlet/xxxxxという形になりますね。 こちらをポート80（http）で動作するようにすると、 URLからポートの記述を省略することができます。 http://localhost:8080/xxxxx/servlet/xxxxx ↓↓↓ http://localhost/xxxxx/servlet/xxxxx http://localhost:80/xxxxx/servlet/xxxxx と同じ 同じように、SSLを使ってhttpsにする場合はTomcatのデフォルトは8443ですが、 443（https）ポートで動作するようにすると、こちらも省略できます。 https://localhost:8443/xxxxx/servlet/xxxxx ↓↓↓ https://localhost/xxxxx/servlet/xxxxx https://localhost:443/xxxxx/servlet/xxxxx と同じ ＜設定方法＞ ※Apacheと連携する場合はApacheが80ポートで動作しますので、 以下の設定方法は、”Tomcatのみ”で動作させる場合の設定方法となります。 Tomcat\conf\server.xmlを修正します。 <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /> ↓↓↓ <Connector port=" 80 " protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /> 以上です。 SSL（https）を設定済みの場合は8443と記載の個所を443に変
Read more »

Tomcatの設定１：データソースを使用する方法とメリット

イメージ
GeneXusに限った話ではないのですが、 ジェネレータにJavaを選んだ場合はTomcatを利用することが多いかと思いますので、 Tomcatで運用する場合で、いくつか考慮した方が良い設定・情報を記載します。 GeneXusのデフォルト設定だと、DBへの接続方法はJDBCで、 コネクションプーリングもアプリケーション側で実施する形となります。 [Enable Connection Pooling] プロパティ http://wiki.genexus.jp/hwiki.aspx?%5BEnable+Connection+Pooling%5D+プロパティ, このままでも特に問題は無いのですが、 私の経験上、Tomcatのデータソースを利用する方が安定性が少し上がります。 数年前の事例ですが、サーバーを起動したまま運用を続けていくと、 徐々にTomcatのメモリが蓄積されていき、数週間すると動きが悪くなってくる。という現象がありました。 サーバースペックや、利用人数、アプリ側の作り方など、色々と影響は考えられますが、 何か特定の処理や操作をした場合ではなく、少しづつゴミデータが蓄積されているような状況でした。 このシステムでTomcatのデータソースを利用するようにしたところ、 問題が解消され、メモリが綺麗に開放されるようになった。 という経験があります。 このことから、Tomcatのデータソースを利用した方が、安定性が良いのかと思う次第です。 やはり世界中の技術者に10年も20年も使い込まれたTomcatは性能や品質が良いのでしょうね。 ただ、まあ、運用計画的に1週間に1回位は再起動をした方が 何かと良いのではないかとも思いますけどね。 ＜設定方法＞ １．TomcatのcontextにDB情報を定義する Tomcat\conf\context.xmlか、 Tomcat\conf\catalina\localhost\<アプリケーション名>.xmlのどちらかに記述する 記述場所は<Context> ～ </Context>の間 <Resource name="jdbc/ 【任意のデータソース名】 " auth=&
Read more »

Tomcatの設定２：アクセスログの活用

Tomcatで運用する場合で、いくつか考慮した方が良い設定・情報を記載します。 Tomcatはデフォルトでアクセスログが出力されます。 インストールフォルダのTomcat\logs\localhost_access_log.YYYY-MM-DD.txtです。 こちらの設定がTomcat\conf\server.xmlで調整できます。 <!-- Access log processes all example.      Documentation at: /docs/config/valve.html      Note: The pattern used is equivalent to using pattern="common" --> <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"      prefix="localhost_access_log" suffix=".txt"      pattern="%h %l %u %t &quot;%r&quot; %s %b %D" /> 少々バージョンが古いですが、設定内容は以下のURLが参考になります。 Tomcatのアクセスログを出力する http://www.m-bsys.com/code/tomcat-accesslog デフォルトが日付毎のローテートですし、出力内容としても特に問題はないと思いますが、 追加で「処理時間(sec)」を出力するようにしておくと、 リクエストに時間が掛かったアクセスを分析することが出来て良いかと思います。 分析方法は「アクセスログ分析ソフトやサービス」といったものが色々とありますので、 そちらを使っていくのだと思いますが、そこまでは私も実施したことが無いです。
Read more »

Tomcatの設定５：メモリ調整と起動モード

イメージ
Tomcatで運用する場合で、いくつか考慮した方が良い設定・情報を記載します。 Tomcatのデフォルトでは初期メモリが128MB、最大が256MBとなっています。 市販のパソコンでもメモリは4GBや8GBは有りますので、初期値は非常に小さいです。 Linuxの場合は、Tomcatの起動オプションで、設定してください。 WindowsのTomcatの場合は設定コンソールから設定します。 サーバーのスペックや構成に合わせて必ず調整した方が良いものは以下の内容になります。 １．メモリ（ヒープ領域） -Xms ：Initial memory pool -Xmx ：Maximum memory pool Tomcat起動時に初期メモリが確保され、不足したら拡張を繰り返す形となります。（最大値まで） 個人的にはどうせ拡張するのであれば、初期メモリの時点である程度確保しておいた方が良いと考えてます。 その方が拡張の際の処理動作コストも軽減されますので。 どの位の設定が良いのかは一概には言えず、 私の経験則からの例ですが、総メモリが8GBで、TomcatとPostgreSQLが同居したサーバーの場合であれば、初期2GB、最大3GB位の設定にしますね。 ２．起動モード Tomcatには起動モードが2種類あり、「クライアントモード」と「サーバモード」があります。 ＜クライアントモード＞ 起動時間を短縮し、メモリサイズを縮小するように調整されている。 起動時に「-client」オプションを付けて実行する。 ＜サーバーモード＞ プログラム実行速度が最大になるように設計されている。 起動時に「-server」オプションを付けて実行する。 運用時にはサーバーモードで動作させるようにしましょう。 ３．メモリ（Permanent領域） -XX:PermSize ・・・ Permanent 領域の初期値 こちらは運用中の影響ではなく、Tomcatが起動できるかどうかという設定です。 プログラムが大量にある場合、Tomcat起動時にロードしきれずにエラーになったり、 起動が遅かったりしますので、その際には拡張した方が良いです。 サーバーモードの初期値は64MBです。 システムの規模がそこそ
Read more »

IVS文字・サロゲートペア文字の注意

システムの中で文字数を取得する際には IVS文字・サロゲートペア文字 に注意が必要です。 IVD/IVSとは | 文字情報基盤整備事業 https://mojikiban.ipa.go.jp/1292.html サロゲートペア入門：CodeZine（コードジン） https://codezine.jp/article/detail/1592 例えば、エラーチェックで指定した「文字数」で固定する場合 最大「文字数」を超えているかチェックする場合 GeneXusでは&変数.Length()か、またはLen(&変数)で文字数を取得することが出来ます。 但し、上記のIVS文字・サロゲートペア文字の場合は、 見た目の１文字が１文字として算出されません。 試した環境：GeneXus15U10 通常文字　：辻 ＩＶＳ文字：辻の点が１つの文字 このLengthを求めると、以下の結果となります。 通常文字　：１文字 ＩＶＳ文字：３文字 --------- 通常文字　　　　　：叱 サロゲートペア文字：叱（環境依存） このLengthを求めると、以下の結果となります。 通常文字　　　　　：１文字 サロゲートペア文字：２文字 ※IVS文字とサロゲートペア文字を試したい場合は、Windowsの設定を変更する必要があります。 　Microsoft IMEの場合 　　・IMEのプロパティから[詳細設定] 　　・[変換]タブの[詳細設定] 　　・変換文字制限に 　　　　　変換文字制限をしない 　　　　　IVSを含む文字を制限する 　　　　　サロゲートペアを含む文字を制限する 　　　といった候補が出ますので、[変換文字制限をしない]をチェックしてください。 　　　これで変換候補にIVS文字とサロゲートペア文字が出てきます。 　　※※※ 　　　　試した後は、戻しておいた方が良いです。 　　　　メールなどで送ってしまうと相手に迷惑ですので。 ちなみにBytecount()を使用してバイト数（文字コードはUTF-8）を取得すると 以下の結果となります。 通常文字　：辻 ＩＶＳ文字：辻の点が１つの文字 ↓↓↓ 通常文字　：３バイト ＩＶＳ文字：７バイト ---------
Read more »

Tomcatで画面表示の速度改善

イメージ
GeneXusのJavaでTomcatを利用している場合に、効果があった速度改善を記載します。 GeneXusはデフォルトで表示する画面のHTMLページを圧縮する設定になっています。 [Auto Compress Http Traffic] プロパティ http://wiki.genexus.jp/hwiki.aspx?%5BAuto+Compress+Http+Traffic%5D+プロパティ, HTMLページはGeneXusがやってくれますので、 JavaScriptやCSSをサーバー側の設定で圧縮することで更に改善することができます。 JavaScriptやCSSも全部合わせればかなりのサイズになりますので、 サーバーがクラウドなどで遠隔地にあり、転送速度がボトルネックとなっているシステムだとかなりの効果がでます。 社内LAN上のシステムの場合だとさほど効果はないかもしれませんが、試してみる価値はあると思います。 設定方法 ※Tomcat8.5で記載 Tomcat/conf/server.xmlを編集 <Connector port="8080" protocol="HTTP/1.1" の箇所に以下の設定値を追記 compression="on" compressionMinSize="2048" noCompressionUserAgents="" compressableMimeType="text/html,text/css,text/plain,text/javascript,application/javascript,application/json,image/svg+xml" useSendfile="false" 例： <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" compression="on" compressionMinSize="2048" noCompressionUserAge
Read more »