* [ruby-core:91692] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
@ 2019-03-06 7:37 ` knowide
2019-03-06 22:24 ` [ruby-core:91706] " alanwucanada
` (5 subsequent siblings)
6 siblings, 0 replies; 7+ messages in thread
From: knowide @ 2019-03-06 7:37 UTC (permalink / raw)
To: ruby-core
Issue #15642 has been reported by tomog105 (Tomohiro Ogoke).
----------------------------------------
Bug #15642: IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
https://bugs.ruby-lang.org/issues/15642
* Author: tomog105 (Tomohiro Ogoke)
* Status: Open
* Priority: Normal
* Assignee:
* Target version:
* ruby -v: ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
* Backport: 2.4: UNKNOWN, 2.5: UNKNOWN, 2.6: UNKNOWN
----------------------------------------
## 内容
`IO#readline` に `chomp: true` オプションを指定して文字列を読み込んだ場合に、
先頭から特定の長さになる行(具体的には 8,192 の n 倍 + 1バイト)について、
行の区切りが "\r\n" であっても "\n" しか取り除かれないという現象が発生します。
`IO#each_line` についても同じ現象が発生しますが、
引数の先頭に rs として "\r\n" を与えた場合には当該現象は発生しません。
## 再現コード
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 3) + "\r\n" + "a\r\n")
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
## 実行結果
それぞれ `result: a` が返ることを期待していますが、
trunk (2.7.0dev), 2.6.1, 2.5.3, 2.4.5 全てで `result: a\r` が返ってきます。
```
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.6.1 ruby -v test_chomp.rb
ruby 2.6.1p33 (2019-01-30 revision 66950) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.5.3 ruby -v test_chomp.rb
ruby 2.5.3p105 (2018-10-18 revision 65156) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.4.5 ruby -v test_chomp.rb
ruby 2.4.5p335 (2018-10-18 revision 65137) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
--
https://bugs.ruby-lang.org/
^ permalink raw reply [flat|nested] 7+ messages in thread
* [ruby-core:91706] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
2019-03-06 7:37 ` [ruby-core:91692] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する knowide
@ 2019-03-06 22:24 ` alanwucanada
2019-03-07 2:12 ` [ruby-core:91707] " knowide
` (4 subsequent siblings)
6 siblings, 0 replies; 7+ messages in thread
From: alanwucanada @ 2019-03-06 22:24 UTC (permalink / raw)
To: ruby-core
Issue #15642 has been updated by alanwu (Alan Wu).
I ran the repro script on my Mac and I get
```
"size: 8194 result: a"
"size: 16386 result: a"
"size: 24578 result: a"
"size: 32770 result: a"
"size: 40962 result: a"
"size: 49154 result: a"
"size: 57346 result: a"
"size: 65538 result: a"
"size: 73730 result: a"
"size: 81922 result: a"
```
This might be caused by `IO#write` not flushing to the file. The following might get you the desired output:
``` diff
--- a/repro.rb
+++ b/repro1.rb
@@ -3,6 +3,7 @@ require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 3) + "\r\n" + "a\r\n")
+ tmp.flush
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
----------------------------------------
Bug #15642: IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
https://bugs.ruby-lang.org/issues/15642#change-76973
* Author: tomog105 (Tomohiro Ogoke)
* Status: Open
* Priority: Normal
* Assignee:
* Target version:
* ruby -v: ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
* Backport: 2.4: UNKNOWN, 2.5: UNKNOWN, 2.6: UNKNOWN
----------------------------------------
## 内容
`IO#readline` に `chomp: true` オプションを指定して文字列を読み込んだ場合に、
先頭から特定の長さになる行(具体的には 8,192 の n 倍 + 1バイト)について、
行の区切りが "\r\n" であっても "\n" しか取り除かれないという現象が発生します。
`IO#each_line` についても同じ現象が発生しますが、
引数の先頭に rs として "\r\n" を与えた場合には当該現象は発生しません。
## 再現コード
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 3) + "\r\n" + "a\r\n")
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
## 実行結果
それぞれ `result: a` が返ることを期待していますが、
trunk (2.7.0dev), 2.6.1, 2.5.3, 2.4.5 全てで `result: a\r` が返ってきます。
```
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.6.1 ruby -v test_chomp.rb
ruby 2.6.1p33 (2019-01-30 revision 66950) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.5.3 ruby -v test_chomp.rb
ruby 2.5.3p105 (2018-10-18 revision 65156) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.4.5 ruby -v test_chomp.rb
ruby 2.4.5p335 (2018-10-18 revision 65137) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
--
https://bugs.ruby-lang.org/
^ permalink raw reply [flat|nested] 7+ messages in thread
* [ruby-core:91707] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
2019-03-06 7:37 ` [ruby-core:91692] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する knowide
2019-03-06 22:24 ` [ruby-core:91706] " alanwucanada
@ 2019-03-07 2:12 ` knowide
2019-03-07 15:19 ` [ruby-core:91709] " nagachika00
` (3 subsequent siblings)
6 siblings, 0 replies; 7+ messages in thread
From: knowide @ 2019-03-07 2:12 UTC (permalink / raw)
To: ruby-core
Issue #15642 has been updated by tomog105 (Tomohiro Ogoke).
@alanwu, Thanks your feedbacks.
Sorry, There was an error in the repro script.
The correct repro script including your feedback is as follows.
repro script:
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 4) + "\r\n" + "a\r\n")
tmp.flush
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
results:
```console
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
----------------------------------------
Bug #15642: IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
https://bugs.ruby-lang.org/issues/15642#change-76974
* Author: tomog105 (Tomohiro Ogoke)
* Status: Open
* Priority: Normal
* Assignee:
* Target version:
* ruby -v: ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
* Backport: 2.4: UNKNOWN, 2.5: UNKNOWN, 2.6: UNKNOWN
----------------------------------------
## 内容
`IO#readline` に `chomp: true` オプションを指定して文字列を読み込んだ場合に、
先頭から特定の長さになる行(具体的には 8,192 の n 倍 + 1バイト)について、
行の区切りが "\r\n" であっても "\n" しか取り除かれないという現象が発生します。
`IO#each_line` についても同じ現象が発生しますが、
引数の先頭に rs として "\r\n" を与えた場合には当該現象は発生しません。
## 再現コード
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 3) + "\r\n" + "a\r\n")
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
## 実行結果
それぞれ `result: a` が返ることを期待していますが、
trunk (2.7.0dev), 2.6.1, 2.5.3, 2.4.5 全てで `result: a\r` が返ってきます。
```
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.6.1 ruby -v test_chomp.rb
ruby 2.6.1p33 (2019-01-30 revision 66950) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.5.3 ruby -v test_chomp.rb
ruby 2.5.3p105 (2018-10-18 revision 65156) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.4.5 ruby -v test_chomp.rb
ruby 2.4.5p335 (2018-10-18 revision 65137) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
--
https://bugs.ruby-lang.org/
^ permalink raw reply [flat|nested] 7+ messages in thread
* [ruby-core:91709] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
` (2 preceding siblings ...)
2019-03-07 2:12 ` [ruby-core:91707] " knowide
@ 2019-03-07 15:19 ` nagachika00
2019-03-08 2:55 ` [ruby-core:91714] " knowide
` (2 subsequent siblings)
6 siblings, 0 replies; 7+ messages in thread
From: nagachika00 @ 2019-03-07 15:19 UTC (permalink / raw)
To: ruby-core
Issue #15642 has been updated by nagachika (Tomoyuki Chikanaga).
Backport changed from 2.4: REQUIRED, 2.5: REQUIRED, 2.6: REQUIRED to 2.4: REQUIRED, 2.5: DONE, 2.6: REQUIRED
ruby_2_5 r67191 merged revision(s) 67188.
----------------------------------------
Bug #15642: IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
https://bugs.ruby-lang.org/issues/15642#change-76979
* Author: tomog105 (Tomohiro Ogoke)
* Status: Closed
* Priority: Normal
* Assignee:
* Target version:
* ruby -v: ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
* Backport: 2.4: REQUIRED, 2.5: DONE, 2.6: REQUIRED
----------------------------------------
## 内容
`IO#readline` に `chomp: true` オプションを指定して文字列を読み込んだ場合に、
先頭から特定の長さになる行(具体的には 8,192 の n 倍 + 1バイト)について、
行の区切りが "\r\n" であっても "\n" しか取り除かれないという現象が発生します。
`IO#each_line` についても同じ現象が発生しますが、
引数の先頭に rs として "\r\n" を与えた場合には当該現象は発生しません。
## 再現コード
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 4) + "\r\n" + "a\r\n")
tmp.flush
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
## 実行結果
それぞれ `result: a` が返ることを期待していますが、
trunk (2.7.0dev), 2.6.1, 2.5.3, 2.4.5 全てで `result: a\r` が返ってきます。
```
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.6.1 ruby -v test_chomp.rb
ruby 2.6.1p33 (2019-01-30 revision 66950) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.5.3 ruby -v test_chomp.rb
ruby 2.5.3p105 (2018-10-18 revision 65156) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.4.5 ruby -v test_chomp.rb
ruby 2.4.5p335 (2018-10-18 revision 65137) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
--
https://bugs.ruby-lang.org/
^ permalink raw reply [flat|nested] 7+ messages in thread
* [ruby-core:91714] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
` (3 preceding siblings ...)
2019-03-07 15:19 ` [ruby-core:91709] " nagachika00
@ 2019-03-08 2:55 ` knowide
2019-03-11 6:49 ` [ruby-core:91758] " naruse
2019-03-31 14:58 ` [ruby-core:92064] " usa
6 siblings, 0 replies; 7+ messages in thread
From: knowide @ 2019-03-08 2:55 UTC (permalink / raw)
To: ruby-core
Issue #15642 has been updated by tomog105 (Tomohiro Ogoke).
I confirmed that it was fixed, thanks.
```console
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-08 trunk 67194) [x86_64-darwin18]
"size: 8193 result: a"
"size: 16385 result: a"
"size: 24577 result: a"
"size: 32769 result: a"
"size: 40961 result: a"
"size: 49153 result: a"
"size: 57345 result: a"
"size: 65537 result: a"
"size: 73729 result: a"
"size: 81921 result: a"
```
----------------------------------------
Bug #15642: IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
https://bugs.ruby-lang.org/issues/15642#change-76986
* Author: tomog105 (Tomohiro Ogoke)
* Status: Closed
* Priority: Normal
* Assignee:
* Target version:
* ruby -v: ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
* Backport: 2.4: REQUIRED, 2.5: DONE, 2.6: REQUIRED
----------------------------------------
## 内容
`IO#readline` に `chomp: true` オプションを指定して文字列を読み込んだ場合に、
先頭から特定の長さになる行(具体的には 8,192 の n 倍 + 1バイト)について、
行の区切りが "\r\n" であっても "\n" しか取り除かれないという現象が発生します。
`IO#each_line` についても同じ現象が発生しますが、
引数の先頭に rs として "\r\n" を与えた場合には当該現象は発生しません。
## 再現コード
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 4) + "\r\n" + "a\r\n")
tmp.flush
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
## 実行結果
それぞれ `result: a` が返ることを期待していますが、
trunk (2.7.0dev), 2.6.1, 2.5.3, 2.4.5 全てで `result: a\r` が返ってきます。
```
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.6.1 ruby -v test_chomp.rb
ruby 2.6.1p33 (2019-01-30 revision 66950) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.5.3 ruby -v test_chomp.rb
ruby 2.5.3p105 (2018-10-18 revision 65156) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.4.5 ruby -v test_chomp.rb
ruby 2.4.5p335 (2018-10-18 revision 65137) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
--
https://bugs.ruby-lang.org/
^ permalink raw reply [flat|nested] 7+ messages in thread
* [ruby-core:91758] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
` (4 preceding siblings ...)
2019-03-08 2:55 ` [ruby-core:91714] " knowide
@ 2019-03-11 6:49 ` naruse
2019-03-31 14:58 ` [ruby-core:92064] " usa
6 siblings, 0 replies; 7+ messages in thread
From: naruse @ 2019-03-11 6:49 UTC (permalink / raw)
To: ruby-core
Issue #15642 has been updated by naruse (Yui NARUSE).
Backport changed from 2.4: REQUIRED, 2.5: DONE, 2.6: REQUIRED to 2.4: REQUIRED, 2.5: DONE, 2.6: DONE
ruby_2_6 r67207 merged revision(s) 67188.
----------------------------------------
Bug #15642: IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
https://bugs.ruby-lang.org/issues/15642#change-77034
* Author: tomog105 (Tomohiro Ogoke)
* Status: Closed
* Priority: Normal
* Assignee:
* Target version:
* ruby -v: ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
* Backport: 2.4: REQUIRED, 2.5: DONE, 2.6: DONE
----------------------------------------
## 内容
`IO#readline` に `chomp: true` オプションを指定して文字列を読み込んだ場合に、
先頭から特定の長さになる行(具体的には 8,192 の n 倍 + 1バイト)について、
行の区切りが "\r\n" であっても "\n" しか取り除かれないという現象が発生します。
`IO#each_line` についても同じ現象が発生しますが、
引数の先頭に rs として "\r\n" を与えた場合には当該現象は発生しません。
## 再現コード
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 4) + "\r\n" + "a\r\n")
tmp.flush
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
## 実行結果
それぞれ `result: a` が返ることを期待していますが、
trunk (2.7.0dev), 2.6.1, 2.5.3, 2.4.5 全てで `result: a\r` が返ってきます。
```
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.6.1 ruby -v test_chomp.rb
ruby 2.6.1p33 (2019-01-30 revision 66950) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.5.3 ruby -v test_chomp.rb
ruby 2.5.3p105 (2018-10-18 revision 65156) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.4.5 ruby -v test_chomp.rb
ruby 2.4.5p335 (2018-10-18 revision 65137) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
--
https://bugs.ruby-lang.org/
^ permalink raw reply [flat|nested] 7+ messages in thread
* [ruby-core:92064] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
` (5 preceding siblings ...)
2019-03-11 6:49 ` [ruby-core:91758] " naruse
@ 2019-03-31 14:58 ` usa
6 siblings, 0 replies; 7+ messages in thread
From: usa @ 2019-03-31 14:58 UTC (permalink / raw)
To: ruby-core
Issue #15642 has been updated by usa (Usaku NAKAMURA).
Backport changed from 2.4: REQUIRED, 2.5: DONE, 2.6: DONE to 2.4: DONE, 2.5: DONE, 2.6: DONE
ruby_2_4 r67391 merged revision(s) 67188.
----------------------------------------
Bug #15642: IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する
https://bugs.ruby-lang.org/issues/15642#change-77389
* Author: tomog105 (Tomohiro Ogoke)
* Status: Closed
* Priority: Normal
* Assignee:
* Target version:
* ruby -v: ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
* Backport: 2.4: DONE, 2.5: DONE, 2.6: DONE
----------------------------------------
## 内容
`IO#readline` に `chomp: true` オプションを指定して文字列を読み込んだ場合に、
先頭から特定の長さになる行(具体的には 8,192 の n 倍 + 1バイト)について、
行の区切りが "\r\n" であっても "\n" しか取り除かれないという現象が発生します。
`IO#each_line` についても同じ現象が発生しますが、
引数の先頭に rs として "\r\n" を与えた場合には当該現象は発生しません。
## 再現コード
```rb
require 'tempfile'
(1..10).each do |i|
Tempfile.open do |tmp|
tmp.write("a" * ((8192 * i) - 4) + "\r\n" + "a\r\n")
tmp.flush
p "size: #{tmp.size} result: " + File.open(tmp, "rb").readlines(chomp: true).last
end
end
```
## 実行結果
それぞれ `result: a` が返ることを期待していますが、
trunk (2.7.0dev), 2.6.1, 2.5.3, 2.4.5 全てで `result: a\r` が返ってきます。
```
$ RBENV_VERSION=2.7.0-dev ruby -v test_chomp.rb
ruby 2.7.0dev (2019-03-06 trunk 67174) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.6.1 ruby -v test_chomp.rb
ruby 2.6.1p33 (2019-01-30 revision 66950) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.5.3 ruby -v test_chomp.rb
ruby 2.5.3p105 (2018-10-18 revision 65156) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
$ RBENV_VERSION=2.4.5 ruby -v test_chomp.rb
ruby 2.4.5p335 (2018-10-18 revision 65137) [x86_64-darwin18]
"size: 8193 result: a\r"
"size: 16385 result: a\r"
"size: 24577 result: a\r"
"size: 32769 result: a\r"
"size: 40961 result: a\r"
"size: 49153 result: a\r"
"size: 57345 result: a\r"
"size: 65537 result: a\r"
"size: 73729 result: a\r"
"size: 81921 result: a\r"
```
--
https://bugs.ruby-lang.org/
^ permalink raw reply [flat|nested] 7+ messages in thread
end of thread, other threads:[~2019-03-31 14:58 UTC | newest]
Thread overview: 7+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
[not found] <redmine.issue-15642.20190306073750@ruby-lang.org>
2019-03-06 7:37 ` [ruby-core:91692] [Ruby trunk Bug#15642] IO#readline に chomp: true オプションを指定した場合に正しく行区切りを取り除かれないケースが存在する knowide
2019-03-06 22:24 ` [ruby-core:91706] " alanwucanada
2019-03-07 2:12 ` [ruby-core:91707] " knowide
2019-03-07 15:19 ` [ruby-core:91709] " nagachika00
2019-03-08 2:55 ` [ruby-core:91714] " knowide
2019-03-11 6:49 ` [ruby-core:91758] " naruse
2019-03-31 14:58 ` [ruby-core:92064] " usa
This is a public inbox, see mirroring instructions
for how to clone and mirror all data and code used for this inbox;
as well as URLs for read-only IMAP folder(s) and NNTP newsgroup(s).