remove checkutf8

src/cmd/apply.rs

@@ -487,7 +487,7 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
+        // .checkutf8(false)
         .select(args.arg_column);
 
     let mut rdr = rconfig.reader()?;

src/cmd/applydp.rs

@@ -282,7 +282,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.arg_column);
 
     let mut rdr = rconfig.reader()?;

src/cmd/behead.rs

@@ -22,9 +22,7 @@ struct Args {
 
 pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
-    let conf = Config::new(&args.arg_input)
-        .checkutf8(false)
-        .no_headers(false);
+    let conf = Config::new(&args.arg_input).no_headers(false);
 
     let mut rdr = conf.reader()?;
     let mut wtr = Config::new(&args.flag_output).writer()?;

src/cmd/count.rs

@@ -35,7 +35,6 @@ struct Args {
 pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
     let conf = Config::new(&args.arg_input)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers)
         // we also want to count the quotes when computing width
         .quoting(!args.flag_width)

src/cmd/dedup.rs

@@ -81,7 +81,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.flag_select);
 
     let mut rdr = rconfig.reader()?;

src/cmd/diff.rs

@@ -61,12 +61,10 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
 
     let rconfig_left = Config::new(&args.arg_input_left)
         .delimiter(args.flag_delimiter_left)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers_left);
 
     let rconfig_right = Config::new(&args.arg_input_right)
         .delimiter(args.flag_delimiter_right)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers_right);
 
     if rconfig_left.is_stdin() || rconfig_right.is_stdin() {

src/cmd/enumerate.rs

@@ -73,7 +73,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
     let mut rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers);
 
     let mut rdr = rconfig.reader()?;

src/cmd/exclude.rs

@@ -114,12 +114,10 @@ impl Args {
         let rconf1 = Config::new(&Some(self.arg_input1.clone()))
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
-            .checkutf8(false)
             .select(self.arg_columns1.clone());
         let rconf2 = Config::new(&Some(self.arg_input2.clone()))
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
-            .checkutf8(false)
             .select(self.arg_columns2.clone());
 
         let mut rdr1 = rconf1.reader_file()?;

src/cmd/fetch.rs

@@ -341,7 +341,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let mut rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .trim(csv::Trim::All)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers);
 
     let mut rdr = rconfig.reader()?;

src/cmd/fetchpost.rs

@@ -329,7 +329,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let mut rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .trim(csv::Trim::All)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers);
 
     let mut rdr = rconfig.reader()?;

src/cmd/fill.rs

@@ -85,7 +85,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.arg_selection);
 
     let wconfig = Config::new(&args.flag_output);

src/cmd/fixlengths.rs

@@ -46,7 +46,6 @@ struct Args {
 pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
     let config = Config::new(&args.arg_input)
-        .checkutf8(false)
         .delimiter(args.flag_delimiter)
         .no_headers(true)
         .flexible(true);

src/cmd/flatten.rs

@@ -58,7 +58,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers);
     let mut rdr = rconfig.reader()?;
     let headers = rdr.byte_headers()?.clone();

src/cmd/fmt.rs

@@ -56,7 +56,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
 
     let rconfig = Config::new(&args.arg_input)
-        .checkutf8(false)
         .delimiter(args.flag_delimiter)
         .no_headers(true);
     let mut wconfig = Config::new(&args.flag_output)

src/cmd/foreach.rs

@@ -69,7 +69,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.arg_column);
 
     let mut rdr = rconfig.reader()?;

src/cmd/frequency.rs

@@ -116,7 +116,6 @@ impl Args {
         Config::new(&self.arg_input)
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
-            .checkutf8(false)
             .select(self.flag_select.clone())
     }
 

src/cmd/generate.rs

@@ -77,9 +77,7 @@ struct Args {
 
 pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
-    let conf = Config::new(&args.arg_input)
-        .checkutf8(false)
-        .delimiter(args.flag_delimiter);
+    let conf = Config::new(&args.arg_input).delimiter(args.flag_delimiter);
 
     let tdir = temp_dir();
     let mut dsp = DataSampleParser::new();

src/cmd/index.rs

@@ -51,7 +51,7 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
         Some(p) => PathBuf::from(&p),
     };
 
-    let rconfig = Config::new(&Some(args.arg_input)).checkutf8(false);
+    let rconfig = Config::new(&Some(args.arg_input));
     let mut rdr = rconfig.reader_file()?;
     let mut wtr = io::BufWriter::new(fs::File::create(pidx)?);
     RandomAccessSimple::create(&mut rdr, &mut wtr)?;

src/cmd/input.rs

@@ -78,7 +78,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
         std::env::set_var("QSV_SNIFF_PREAMBLE", "1");
     }
     let mut rconfig = Config::new(&args.arg_input)
-        .checkutf8(false)
         .delimiter(args.flag_delimiter)
         .no_headers(true)
         .quote(args.flag_quote.as_byte())

src/cmd/join.rs

@@ -317,12 +317,10 @@ impl Args {
         let rconf1 = Config::new(&Some(self.arg_input1.clone()))
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
-            .checkutf8(false)
             .select(self.arg_columns1.clone());
         let rconf2 = Config::new(&Some(self.arg_input2.clone()))
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
-            .checkutf8(false)
             .select(self.arg_columns2.clone());
 
         let mut rdr1 = rconf1.reader_file_stdin()?;

src/cmd/luau.rs

@@ -158,7 +158,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers);
 
     let mut rdr = rconfig.reader()?;

src/cmd/partition.rs

@@ -76,7 +76,6 @@ impl Args {
         Config::new(&self.arg_input)
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
-            .checkutf8(false)
             .select(self.arg_column.clone())
     }
 

src/cmd/rename.rs

@@ -44,7 +44,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
 
     let rconfig = Config::new(&args.arg_input)
-        .checkutf8(false)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers);
 

src/cmd/replace.rs

@@ -103,7 +103,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.flag_select);
 
     let mut rdr = rconfig.reader()?;

src/cmd/reverse.rs

@@ -39,7 +39,6 @@ struct Args {
 pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
     let rconfig = Config::new(&args.arg_input)
-        .checkutf8(false)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers);
 

src/cmd/safenames.rs

@@ -161,9 +161,7 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
         .map(str::to_lowercase)
         .collect();
 
-    let rconfig = Config::new(&args.arg_input)
-        .checkutf8(true)
-        .delimiter(args.flag_delimiter);
+    let rconfig = Config::new(&args.arg_input).delimiter(args.flag_delimiter);
 
     let mut rdr = rconfig.reader()?;
     let mut wtr = Config::new(&args.flag_output).writer()?;

src/cmd/sample.rs

@@ -67,7 +67,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
 
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
-        .checkutf8(false)
         .no_headers(args.flag_no_headers);
 
     let mut sample_size = args.arg_sample_size;

src/cmd/search.rs

@@ -114,7 +114,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.flag_select);
 
     let mut rdr = rconfig.reader()?;

src/cmd/searchset.rs

@@ -169,7 +169,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     debug!("Successfully compiled regex set!");
 
     let rconfig = Config::new(&args.arg_input)
-        .checkutf8(false)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
         .select(args.flag_select);

src/cmd/select.rs

@@ -68,7 +68,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.arg_selection);
 
     let mut rdr = rconfig.reader()?;

src/cmd/slice.rs

@@ -59,7 +59,7 @@ struct Args {
 
 pub fn run(argv: &[&str]) -> CliResult<()> {
     let args: Args = util::get_args(USAGE, argv)?;
-    match args.rconfig().checkutf8(false).indexed()? {
+    match args.rconfig().indexed()? {
         None => args.no_index(),
         Some(idxed) => args.with_index(idxed),
     }
@@ -111,7 +111,6 @@ impl Args {
 
     fn rconfig(&self) -> Config {
         Config::new(&self.arg_input)
-            .checkutf8(false)
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
     }

src/cmd/sniff.rs

@@ -94,7 +94,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
 
     let conf = Config::new(&args.arg_input)
         .flexible(true)
-        .checkutf8(false)
         .delimiter(args.flag_delimiter);
     let n_rows = util::count_rows(&conf)?;
 

src/cmd/sort.rs

@@ -78,7 +78,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.flag_select);
 
     // we're loading the entire file into memory, we need to check avail mem

src/cmd/sortcheck.rs

@@ -96,7 +96,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(args.flag_no_headers)
-        .checkutf8(false)
         .select(args.flag_select);
 
     let mut rdr = rconfig.reader()?;

src/cmd/split.rs

@@ -137,7 +137,6 @@ impl Args {
 
     fn rconfig(&self) -> Config {
         Config::new(&self.arg_input)
-            .checkutf8(false)
             .delimiter(self.flag_delimiter)
             .no_headers(self.flag_no_headers)
     }

src/cmd/table.rs

@@ -74,7 +74,6 @@ pub fn run(argv: &[&str]) -> CliResult<()> {
     let rconfig = Config::new(&args.arg_input)
         .delimiter(args.flag_delimiter)
         .no_headers(true)
-        .checkutf8(false)
         .flexible(true);
     let wconfig = Config::new(&args.flag_output).delimiter(Some(Delimiter(b'\t')));
 

src/cmd/transpose.rs

@@ -102,7 +102,6 @@ impl Args {
 
     fn rconfig(&self) -> Config {
         Config::new(&self.arg_input)
-            .checkutf8(false)
             .delimiter(self.flag_delimiter)
             .no_headers(true)
     }

src/util.rs

@@ -323,7 +323,6 @@ pub fn many_configs(
             Config::new(&Some(p))
                 .delimiter(delim)
                 .no_headers(no_headers)
-                .checkutf8(false)
         })
         .collect::<Vec<_>>();
     errif_greater_one_stdin(&confs)?;