Hex Artifact Content

Artifact e0ad1bdba09b850610887e4d74a637afbe43ee2b:


0000: 23 21 20 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20  #! /usr/bin/env 
0010: 74 63 6c 73 68 0a 0a 70 61 63 6b 61 67 65 20 72  tclsh..package r
0020: 65 71 75 69 72 65 20 68 74 74 70 20 32 2e 37 0a  equire http 2.7.
0030: 70 61 63 6b 61 67 65 20 72 65 71 75 69 72 65 20  package require 
0040: 73 71 6c 69 74 65 33 0a 70 61 63 6b 61 67 65 20  sqlite3.package 
0050: 72 65 71 75 69 72 65 20 73 68 61 31 0a 0a 6e 61  require sha1..na
0060: 6d 65 73 70 61 63 65 20 65 76 61 6c 20 3a 3a 61  mespace eval ::a
0070: 70 70 66 73 20 7b 0a 09 76 61 72 69 61 62 6c 65  ppfs {..variable
0080: 20 63 61 63 68 65 64 69 72 20 22 2f 74 6d 70 2f   cachedir "/tmp/
0090: 61 70 70 66 73 2d 63 61 63 68 65 22 0a 09 76 61  appfs-cache"..va
00a0: 72 69 61 62 6c 65 20 74 74 6c 20 33 36 30 30 0a  riable ttl 3600.
00b0: 09 76 61 72 69 61 62 6c 65 20 6e 74 74 6c 20 36  .variable nttl 6
00c0: 30 0a 0a 09 70 72 6f 63 20 5f 68 61 73 68 5f 73  0...proc _hash_s
00d0: 65 70 20 7b 68 61 73 68 20 7b 73 65 70 73 20 34  ep {hash {seps 4
00e0: 7d 7d 20 7b 0a 09 09 66 6f 72 20 7b 73 65 74 20  }} {...for {set 
00f0: 69 64 78 20 30 7d 20 7b 24 69 64 78 20 3c 20 24  idx 0} {$idx < $
0100: 73 65 70 73 7d 20 7b 69 6e 63 72 20 69 64 78 7d  seps} {incr idx}
0110: 20 7b 0a 09 09 09 61 70 70 65 6e 64 20 72 65 74   {....append ret
0120: 76 61 6c 20 22 5b 73 74 72 69 6e 67 20 72 61 6e  val "[string ran
0130: 67 65 20 24 68 61 73 68 20 5b 65 78 70 72 20 7b  ge $hash [expr {
0140: 24 69 64 78 20 2a 20 32 7d 5d 20 5b 65 78 70 72  $idx * 2}] [expr
0150: 20 7b 28 24 69 64 78 20 2a 20 32 29 20 2b 20 31   {($idx * 2) + 1
0160: 7d 5d 5d 2f 22 0a 09 09 7d 0a 09 09 61 70 70 65  }]]/"...}...appe
0170: 6e 64 20 72 65 74 76 61 6c 20 22 5b 73 74 72 69  nd retval "[stri
0180: 6e 67 20 72 61 6e 67 65 20 24 68 61 73 68 20 5b  ng range $hash [
0190: 65 78 70 72 20 7b 24 69 64 78 20 2a 20 32 7d 5d  expr {$idx * 2}]
01a0: 20 65 6e 64 5d 22 0a 0a 09 09 72 65 74 75 72 6e   end]"....return
01b0: 20 24 72 65 74 76 61 6c 0a 09 7d 0a 0a 09 70 72   $retval..}...pr
01c0: 6f 63 20 5f 63 61 63 68 65 66 69 6c 65 20 7b 75  oc _cachefile {u
01d0: 72 6c 20 6b 65 79 20 7b 6b 65 79 49 73 48 61 73  rl key {keyIsHas
01e0: 68 20 31 7d 7d 20 7b 0a 09 09 73 65 74 20 66 69  h 1}} {...set fi
01f0: 6c 65 6b 65 79 20 24 6b 65 79 0a 09 09 69 66 20  lekey $key...if 
0200: 7b 24 6b 65 79 49 73 48 61 73 68 7d 20 7b 0a 09  {$keyIsHash} {..
0210: 09 09 73 65 74 20 66 69 6c 65 6b 65 79 20 5b 5f  ..set filekey [_
0220: 68 61 73 68 5f 73 65 70 20 24 66 69 6c 65 6b 65  hash_sep $fileke
0230: 79 5d 0a 09 09 7d 0a 0a 09 09 73 65 74 20 66 69  y]...}....set fi
0240: 6c 65 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 24 3a  le [file join $:
0250: 3a 61 70 70 66 73 3a 3a 63 61 63 68 65 64 69 72  :appfs::cachedir
0260: 20 24 66 69 6c 65 6b 65 79 5d 0a 0a 09 09 66 69   $filekey]....fi
0270: 6c 65 20 6d 6b 64 69 72 20 5b 66 69 6c 65 20 64  le mkdir [file d
0280: 69 72 6e 61 6d 65 20 24 66 69 6c 65 5d 0a 0a 09  irname $file]...
0290: 09 69 66 20 7b 5b 66 69 6c 65 20 65 78 69 73 74  .if {[file exist
02a0: 73 20 24 66 69 6c 65 5d 7d 20 7b 0a 09 09 09 72  s $file]} {....r
02b0: 65 74 75 72 6e 20 24 66 69 6c 65 0a 09 09 7d 0a  eturn $file...}.
02c0: 0a 09 09 73 65 74 20 74 6d 70 66 69 6c 65 20 22  ...set tmpfile "
02d0: 24 7b 66 69 6c 65 7d 2e 5b 65 78 70 72 20 7b 72  ${file}.[expr {r
02e0: 61 6e 64 28 29 7d 5d 22 0a 0a 09 09 73 65 74 20  and()}]"....set 
02f0: 66 64 20 5b 6f 70 65 6e 20 24 74 6d 70 66 69 6c  fd [open $tmpfil
0300: 65 20 22 77 22 5d 0a 09 09 66 63 6f 6e 66 69 67  e "w"]...fconfig
0310: 75 72 65 20 24 66 64 20 2d 74 72 61 6e 73 6c 61  ure $fd -transla
0320: 74 69 6f 6e 20 62 69 6e 61 72 79 0a 0a 09 09 63  tion binary....c
0330: 61 74 63 68 20 7b 0a 09 09 09 73 65 74 20 74 6f  atch {....set to
0340: 6b 65 6e 20 5b 3a 3a 68 74 74 70 3a 3a 67 65 74  ken [::http::get
0350: 75 72 6c 20 24 75 72 6c 20 2d 63 68 61 6e 6e 65  url $url -channe
0360: 6c 20 24 66 64 20 2d 62 69 6e 61 72 79 20 74 72  l $fd -binary tr
0370: 75 65 5d 0a 09 09 7d 0a 0a 09 09 69 66 20 7b 5b  ue]...}....if {[
0380: 69 6e 66 6f 20 65 78 69 73 74 73 20 74 6f 6b 65  info exists toke
0390: 6e 5d 7d 20 7b 0a 09 09 09 73 65 74 20 6e 63 6f  n]} {....set nco
03a0: 64 65 20 5b 3a 3a 68 74 74 70 3a 3a 6e 63 6f 64  de [::http::ncod
03b0: 65 20 24 74 6f 6b 65 6e 5d 0a 09 09 09 3a 3a 68  e $token]....::h
03c0: 74 74 70 3a 3a 72 65 73 65 74 20 24 74 6f 6b 65  ttp::reset $toke
03d0: 6e 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09  n...} else {....
03e0: 73 65 74 20 6e 63 6f 64 65 20 22 39 30 30 22 0a  set ncode "900".
03f0: 09 09 7d 0a 0a 09 09 63 6c 6f 73 65 20 24 66 64  ..}....close $fd
0400: 0a 0a 09 09 69 66 20 7b 24 6b 65 79 49 73 48 61  ....if {$keyIsHa
0410: 73 68 7d 20 7b 0a 09 09 09 73 65 74 20 68 61 73  sh} {....set has
0420: 68 20 5b 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65  h [string tolowe
0430: 72 20 5b 73 68 61 31 3a 3a 73 68 61 31 20 2d 68  r [sha1::sha1 -h
0440: 65 78 20 2d 66 69 6c 65 20 24 74 6d 70 66 69 6c  ex -file $tmpfil
0450: 65 5d 5d 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09  e]]...} else {..
0460: 09 09 73 65 74 20 68 61 73 68 20 24 6b 65 79 0a  ..set hash $key.
0470: 09 09 7d 0a 0a 09 09 69 66 20 7b 24 6e 63 6f 64  ..}....if {$ncod
0480: 65 20 3d 3d 20 22 32 30 30 22 20 26 26 20 24 68  e == "200" && $h
0490: 61 73 68 20 3d 3d 20 24 6b 65 79 7d 20 7b 0a 09  ash == $key} {..
04a0: 09 09 66 69 6c 65 20 72 65 6e 61 6d 65 20 2d 66  ..file rename -f
04b0: 6f 72 63 65 20 2d 2d 20 24 74 6d 70 66 69 6c 65  orce -- $tmpfile
04c0: 20 24 66 69 6c 65 0a 09 09 7d 20 65 6c 73 65 20   $file...} else 
04d0: 7b 0a 09 09 09 66 69 6c 65 20 64 65 6c 65 74 65  {....file delete
04e0: 20 2d 66 6f 72 63 65 20 2d 2d 20 24 74 6d 70 66   -force -- $tmpf
04f0: 69 6c 65 0a 09 09 7d 0a 0a 09 09 72 65 74 75 72  ile...}....retur
0500: 6e 20 24 66 69 6c 65 0a 09 7d 0a 0a 0a 09 70 72  n $file..}....pr
0510: 6f 63 20 5f 69 73 48 61 73 68 20 7b 76 61 6c 75  oc _isHash {valu
0520: 65 7d 20 7b 0a 09 09 73 65 74 20 76 61 6c 75 65  e} {...set value
0530: 20 5b 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65 72   [string tolower
0540: 20 24 76 61 6c 75 65 5d 0a 0a 09 09 69 66 20 7b   $value]....if {
0550: 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74 68 20 24  [string length $
0560: 76 61 6c 75 65 5d 20 21 3d 20 34 30 7d 20 7b 0a  value] != 40} {.
0570: 09 09 09 72 65 74 75 72 6e 20 66 61 6c 73 65 0a  ...return false.
0580: 09 09 7d 0a 0a 09 09 69 66 20 7b 21 5b 72 65 67  ..}....if {![reg
0590: 65 78 70 20 7b 5e 5b 30 2d 39 61 2d 66 5d 2a 24  exp {^[0-9a-f]*$
05a0: 7d 20 24 76 61 6c 75 65 5d 7d 20 7b 0a 09 09 09  } $value]} {....
05b0: 72 65 74 75 72 6e 20 66 61 6c 73 65 0a 09 09 7d  return false...}
05c0: 0a 0a 09 09 72 65 74 75 72 6e 20 74 72 75 65 0a  ....return true.
05d0: 09 7d 0a 0a 09 70 72 6f 63 20 5f 6e 6f 72 6d 61  .}...proc _norma
05e0: 6c 69 7a 65 4f 53 20 7b 6f 73 7d 20 7b 0a 09 09  lizeOS {os} {...
05f0: 73 65 74 20 6f 73 20 5b 73 74 72 69 6e 67 20 74  set os [string t
0600: 6f 6c 6f 77 65 72 20 5b 73 74 72 69 6e 67 20 74  olower [string t
0610: 72 69 6d 20 24 6f 73 5d 5d 0a 0a 09 09 73 77 69  rim $os]]....swi
0620: 74 63 68 20 2d 2d 20 24 6f 73 20 7b 0a 09 09 09  tch -- $os {....
0630: 22 6c 69 6e 75 78 22 20 2d 20 22 66 72 65 65 62  "linux" - "freeb
0640: 73 64 22 20 2d 20 22 6f 70 65 6e 62 73 64 22 20  sd" - "openbsd" 
0650: 2d 20 22 6e 65 74 62 73 64 22 20 7b 0a 09 09 09  - "netbsd" {....
0660: 09 72 65 74 75 72 6e 20 24 6f 73 0a 09 09 09 7d  .return $os....}
0670: 0a 09 09 09 22 73 75 6e 6f 73 22 20 7b 0a 09 09  ...."sunos" {...
0680: 09 09 72 65 74 75 72 6e 20 22 73 6f 6c 61 72 69  ..return "solari
0690: 73 22 0a 09 09 09 7d 0a 09 09 09 22 6e 6f 61 72  s"....}...."noar
06a0: 63 68 22 20 2d 20 22 6e 6f 6e 65 22 20 2d 20 22  ch" - "none" - "
06b0: 61 6e 79 22 20 2d 20 22 61 6c 6c 22 20 7b 0a 09  any" - "all" {..
06c0: 09 09 09 72 65 74 75 72 6e 20 22 6e 6f 61 72 63  ...return "noarc
06d0: 68 22 0a 09 09 09 7d 0a 09 09 7d 0a 0a 09 09 72  h"....}...}....r
06e0: 65 74 75 72 6e 20 2d 63 6f 64 65 20 65 72 72 6f  eturn -code erro
06f0: 72 20 22 55 6e 61 62 6c 65 20 74 6f 20 6e 6f 72  r "Unable to nor
0700: 6d 61 6c 69 7a 65 20 4f 53 3a 20 24 6f 73 22 0a  malize OS: $os".
0710: 09 7d 0a 0a 09 70 72 6f 63 20 5f 6e 6f 72 6d 61  .}...proc _norma
0720: 6c 69 7a 65 43 50 55 20 7b 63 70 75 7d 20 7b 0a  lizeCPU {cpu} {.
0730: 09 09 73 65 74 20 63 70 75 20 5b 73 74 72 69 6e  ..set cpu [strin
0740: 67 20 74 6f 6c 6f 77 65 72 20 5b 73 74 72 69 6e  g tolower [strin
0750: 67 20 74 72 69 6d 20 24 63 70 75 5d 5d 0a 0a 09  g trim $cpu]]...
0760: 09 73 77 69 74 63 68 20 2d 67 6c 6f 62 20 2d 2d  .switch -glob --
0770: 20 24 63 70 75 20 7b 0a 09 09 09 22 69 3f 38 36   $cpu {...."i?86
0780: 22 20 7b 0a 09 09 09 09 72 65 74 75 72 6e 20 22  " {.....return "
0790: 69 78 38 36 22 0a 09 09 09 7d 0a 09 09 09 22 78  ix86"....}...."x
07a0: 38 36 5f 36 34 22 20 7b 0a 09 09 09 09 72 65 74  86_64" {.....ret
07b0: 75 72 6e 20 24 63 70 75 0a 09 09 09 7d 0a 09 09  urn $cpu....}...
07c0: 09 22 6e 6f 61 72 63 68 22 20 2d 20 22 6e 6f 6e  ."noarch" - "non
07d0: 65 22 20 2d 20 22 61 6e 79 22 20 2d 20 22 61 6c  e" - "any" - "al
07e0: 6c 22 20 7b 0a 09 09 09 09 72 65 74 75 72 6e 20  l" {.....return 
07f0: 22 6e 6f 61 72 63 68 22 0a 09 09 09 7d 0a 09 09  "noarch"....}...
0800: 7d 0a 0a 09 09 72 65 74 75 72 6e 20 2d 63 6f 64  }....return -cod
0810: 65 20 65 72 72 6f 72 20 22 55 6e 61 62 6c 65 20  e error "Unable 
0820: 74 6f 20 6e 6f 72 6d 61 6c 69 7a 65 20 43 50 55  to normalize CPU
0830: 3a 20 24 63 70 75 22 0a 09 7d 0a 0a 09 70 72 6f  : $cpu"..}...pro
0840: 63 20 69 6e 69 74 20 7b 7d 20 7b 0a 09 09 69 66  c init {} {...if
0850: 20 7b 5b 69 6e 66 6f 20 65 78 69 73 74 73 20 3a   {[info exists :
0860: 3a 61 70 70 66 73 3a 3a 69 6e 69 74 5f 63 61 6c  :appfs::init_cal
0870: 6c 65 64 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72  led]} {....retur
0880: 6e 0a 09 09 7d 0a 0a 09 09 23 20 46 6f 72 63 65  n...}....# Force
0890: 20 5b 70 61 72 72 61 79 5d 20 74 6f 20 62 65 20   [parray] to be 
08a0: 6c 6f 61 64 65 64 0a 09 09 63 61 74 63 68 20 7b  loaded...catch {
08b0: 0a 09 09 09 70 61 72 72 61 79 20 64 6f 65 73 5f  ....parray does_
08c0: 6e 6f 74 5f 65 78 69 73 74 0a 09 09 7d 0a 0a 09  not_exist...}...
08d0: 09 73 65 74 20 3a 3a 61 70 70 66 73 3a 3a 69 6e  .set ::appfs::in
08e0: 69 74 5f 63 61 6c 6c 65 64 20 31 0a 0a 09 09 69  it_called 1....i
08f0: 66 20 7b 21 5b 69 6e 66 6f 20 65 78 69 73 74 73  f {![info exists
0900: 20 3a 3a 61 70 70 66 73 3a 3a 64 62 5d 7d 20 7b   ::appfs::db]} {
0910: 0a 09 09 09 66 69 6c 65 20 6d 6b 64 69 72 20 24  ....file mkdir $
0920: 3a 3a 61 70 70 66 73 3a 3a 63 61 63 68 65 64 69  ::appfs::cachedi
0930: 72 0a 0a 09 09 09 73 71 6c 69 74 65 33 20 3a 3a  r.....sqlite3 ::
0940: 61 70 70 66 73 3a 3a 64 62 20 5b 66 69 6c 65 20  appfs::db [file 
0950: 6a 6f 69 6e 20 24 3a 3a 61 70 70 66 73 3a 3a 63  join $::appfs::c
0960: 61 63 68 65 64 69 72 20 63 61 63 68 65 2e 64 62  achedir cache.db
0970: 5d 0a 09 09 7d 0a 0a 09 09 23 20 43 72 65 61 74  ]...}....# Creat
0980: 65 20 74 61 62 6c 65 73 0a 09 09 64 62 20 65 76  e tables...db ev
0990: 61 6c 20 7b 43 52 45 41 54 45 20 54 41 42 4c 45  al {CREATE TABLE
09a0: 20 49 46 20 4e 4f 54 20 45 58 49 53 54 53 20 73   IF NOT EXISTS s
09b0: 69 74 65 73 28 68 6f 73 74 6e 61 6d 65 20 50 52  ites(hostname PR
09c0: 49 4d 41 52 59 20 4b 45 59 2c 20 6c 61 73 74 55  IMARY KEY, lastU
09d0: 70 64 61 74 65 2c 20 74 74 6c 29 3b 7d 0a 09 09  pdate, ttl);}...
09e0: 64 62 20 65 76 61 6c 20 7b 43 52 45 41 54 45 20  db eval {CREATE 
09f0: 54 41 42 4c 45 20 49 46 20 4e 4f 54 20 45 58 49  TABLE IF NOT EXI
0a00: 53 54 53 20 70 61 63 6b 61 67 65 73 28 68 6f 73  STS packages(hos
0a10: 74 6e 61 6d 65 2c 20 73 68 61 31 2c 20 70 61 63  tname, sha1, pac
0a20: 6b 61 67 65 2c 20 76 65 72 73 69 6f 6e 2c 20 6f  kage, version, o
0a30: 73 2c 20 63 70 75 41 72 63 68 2c 20 69 73 4c 61  s, cpuArch, isLa
0a40: 74 65 73 74 2c 20 68 61 76 65 4d 61 6e 69 66 65  test, haveManife
0a50: 73 74 29 3b 7d 0a 09 09 64 62 20 65 76 61 6c 20  st);}...db eval 
0a60: 7b 43 52 45 41 54 45 20 54 41 42 4c 45 20 49 46  {CREATE TABLE IF
0a70: 20 4e 4f 54 20 45 58 49 53 54 53 20 66 69 6c 65   NOT EXISTS file
0a80: 73 28 70 61 63 6b 61 67 65 5f 73 68 61 31 2c 20  s(package_sha1, 
0a90: 74 79 70 65 2c 20 74 69 6d 65 2c 20 73 6f 75 72  type, time, sour
0aa0: 63 65 2c 20 73 69 7a 65 2c 20 70 65 72 6d 73 2c  ce, size, perms,
0ab0: 20 66 69 6c 65 5f 73 68 61 31 2c 20 66 69 6c 65   file_sha1, file
0ac0: 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72 65  _name, file_dire
0ad0: 63 74 6f 72 79 29 3b 7d 0a 0a 09 09 23 20 43 72  ctory);}....# Cr
0ae0: 65 61 74 65 20 69 6e 64 65 78 65 73 0a 09 09 64  eate indexes...d
0af0: 62 20 65 76 61 6c 20 7b 43 52 45 41 54 45 20 49  b eval {CREATE I
0b00: 4e 44 45 58 20 49 46 20 4e 4f 54 20 45 58 49 53  NDEX IF NOT EXIS
0b10: 54 53 20 73 69 74 65 73 5f 69 6e 64 65 78 20 4f  TS sites_index O
0b20: 4e 20 73 69 74 65 73 20 28 68 6f 73 74 6e 61 6d  N sites (hostnam
0b30: 65 29 3b 7d 0a 09 09 64 62 20 65 76 61 6c 20 7b  e);}...db eval {
0b40: 43 52 45 41 54 45 20 49 4e 44 45 58 20 49 46 20  CREATE INDEX IF 
0b50: 4e 4f 54 20 45 58 49 53 54 53 20 70 61 63 6b 61  NOT EXISTS packa
0b60: 67 65 73 5f 69 6e 64 65 78 20 4f 4e 20 70 61 63  ges_index ON pac
0b70: 6b 61 67 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c  kages (hostname,
0b80: 20 70 61 63 6b 61 67 65 2c 20 76 65 72 73 69 6f   package, versio
0b90: 6e 2c 20 6f 73 2c 20 63 70 75 41 72 63 68 29 3b  n, os, cpuArch);
0ba0: 7d 0a 09 09 64 62 20 65 76 61 6c 20 7b 43 52 45  }...db eval {CRE
0bb0: 41 54 45 20 49 4e 44 45 58 20 49 46 20 4e 4f 54  ATE INDEX IF NOT
0bc0: 20 45 58 49 53 54 53 20 66 69 6c 65 73 5f 69 6e   EXISTS files_in
0bd0: 64 65 78 20 4f 4e 20 66 69 6c 65 73 20 28 70 61  dex ON files (pa
0be0: 63 6b 61 67 65 5f 73 68 61 31 2c 20 66 69 6c 65  ckage_sha1, file
0bf0: 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72 65  _name, file_dire
0c00: 63 74 6f 72 79 29 3b 7d 0a 09 7d 0a 0a 09 70 72  ctory);}..}...pr
0c10: 6f 63 20 64 6f 77 6e 6c 6f 61 64 20 7b 68 6f 73  oc download {hos
0c20: 74 6e 61 6d 65 20 68 61 73 68 20 7b 6d 65 74 68  tname hash {meth
0c30: 6f 64 20 73 68 61 31 7d 7d 20 7b 0a 09 09 73 65  od sha1}} {...se
0c40: 74 20 75 72 6c 20 22 68 74 74 70 3a 2f 2f 24 68  t url "http://$h
0c50: 6f 73 74 6e 61 6d 65 2f 61 70 70 66 73 2f 24 6d  ostname/appfs/$m
0c60: 65 74 68 6f 64 2f 24 68 61 73 68 22 0a 09 09 73  ethod/$hash"...s
0c70: 65 74 20 66 69 6c 65 20 5b 5f 63 61 63 68 65 66  et file [_cachef
0c80: 69 6c 65 20 24 75 72 6c 20 24 68 61 73 68 5d 0a  ile $url $hash].
0c90: 0a 09 09 69 66 20 7b 21 5b 66 69 6c 65 20 65 78  ...if {![file ex
0ca0: 69 73 74 73 20 24 66 69 6c 65 5d 7d 20 7b 0a 09  ists $file]} {..
0cb0: 09 09 72 65 74 75 72 6e 20 2d 63 6f 64 65 20 65  ..return -code e
0cc0: 72 72 6f 72 20 22 55 6e 61 62 6c 65 20 74 6f 20  rror "Unable to 
0cd0: 66 65 74 63 68 20 28 66 69 6c 65 20 64 6f 65 73  fetch (file does
0ce0: 20 6e 6f 74 20 65 78 69 73 74 3a 20 24 66 69 6c   not exist: $fil
0cf0: 65 29 22 0a 09 09 7d 0a 0a 09 09 72 65 74 75 72  e)"...}....retur
0d00: 6e 20 24 66 69 6c 65 0a 09 7d 0a 0a 09 70 72 6f  n $file..}...pro
0d10: 63 20 67 65 74 69 6e 64 65 78 20 7b 68 6f 73 74  c getindex {host
0d20: 6e 61 6d 65 7d 20 7b 0a 09 09 73 65 74 20 6e 6f  name} {...set no
0d30: 77 20 5b 63 6c 6f 63 6b 20 73 65 63 6f 6e 64 73  w [clock seconds
0d40: 5d 0a 0a 09 09 73 65 74 20 6c 61 73 74 55 70 64  ]....set lastUpd
0d50: 61 74 65 73 20 5b 64 62 20 65 76 61 6c 20 7b 53  ates [db eval {S
0d60: 45 4c 45 43 54 20 6c 61 73 74 55 70 64 61 74 65  ELECT lastUpdate
0d70: 2c 20 74 74 6c 20 46 52 4f 4d 20 73 69 74 65 73  , ttl FROM sites
0d80: 20 57 48 45 52 45 20 68 6f 73 74 6e 61 6d 65 20   WHERE hostname 
0d90: 3d 20 24 68 6f 73 74 6e 61 6d 65 20 4c 49 4d 49  = $hostname LIMI
0da0: 54 20 31 3b 7d 5d 0a 09 09 69 66 20 7b 5b 6c 6c  T 1;}]...if {[ll
0db0: 65 6e 67 74 68 20 24 6c 61 73 74 55 70 64 61 74  ength $lastUpdat
0dc0: 65 73 5d 20 3d 3d 20 30 7d 20 7b 0a 09 09 09 73  es] == 0} {....s
0dd0: 65 74 20 6c 61 73 74 55 70 64 61 74 65 20 30 0a  et lastUpdate 0.
0de0: 09 09 09 73 65 74 20 74 74 6c 20 30 0a 09 09 7d  ...set ttl 0...}
0df0: 20 65 6c 73 65 20 7b 0a 09 09 09 73 65 74 20 6c   else {....set l
0e00: 61 73 74 55 70 64 61 74 65 20 5b 6c 69 6e 64 65  astUpdate [linde
0e10: 78 20 24 6c 61 73 74 55 70 64 61 74 65 73 20 30  x $lastUpdates 0
0e20: 5d 0a 09 09 09 73 65 74 20 74 74 6c 20 5b 6c 69  ]....set ttl [li
0e30: 6e 64 65 78 20 24 6c 61 73 74 55 70 64 61 74 65  ndex $lastUpdate
0e40: 73 20 31 5d 0a 09 09 7d 0a 0a 09 09 69 66 20 7b  s 1]...}....if {
0e50: 24 6e 6f 77 20 3c 20 28 24 6c 61 73 74 55 70 64  $now < ($lastUpd
0e60: 61 74 65 20 2b 20 24 74 74 6c 29 7d 20 7b 0a 09  ate + $ttl)} {..
0e70: 09 09 72 65 74 75 72 6e 20 43 4f 4d 50 4c 45 54  ..return COMPLET
0e80: 45 0a 09 09 7d 0a 0a 09 09 69 66 20 7b 5b 73 74  E...}....if {[st
0e90: 72 69 6e 67 20 6d 61 74 63 68 20 22 2a 5c 5b 2f  ring match "*\[/
0ea0: 7e 5c 5d 2a 22 20 24 68 6f 73 74 6e 61 6d 65 5d  ~\]*" $hostname]
0eb0: 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e 20 2d 63  } {....return -c
0ec0: 6f 64 65 20 65 72 72 6f 72 20 22 49 6e 76 61 6c  ode error "Inval
0ed0: 69 64 20 68 6f 73 74 6e 61 6d 65 22 0a 09 09 7d  id hostname"...}
0ee0: 0a 0a 09 09 73 65 74 20 75 72 6c 20 22 68 74 74  ....set url "htt
0ef0: 70 3a 2f 2f 24 68 6f 73 74 6e 61 6d 65 2f 61 70  p://$hostname/ap
0f00: 70 66 73 2f 69 6e 64 65 78 22 0a 0a 09 09 63 61  pfs/index"....ca
0f10: 74 63 68 20 7b 0a 09 09 09 73 65 74 20 74 6f 6b  tch {....set tok
0f20: 65 6e 20 5b 3a 3a 68 74 74 70 3a 3a 67 65 74 75  en [::http::getu
0f30: 72 6c 20 24 75 72 6c 5d 0a 09 09 09 69 66 20 7b  rl $url]....if {
0f40: 5b 3a 3a 68 74 74 70 3a 3a 6e 63 6f 64 65 20 24  [::http::ncode $
0f50: 74 6f 6b 65 6e 5d 20 3d 3d 20 22 32 30 30 22 7d  token] == "200"}
0f60: 20 7b 0a 09 09 09 09 73 65 74 20 69 6e 64 65 78   {.....set index
0f70: 68 61 73 68 5f 64 61 74 61 20 5b 3a 3a 68 74 74  hash_data [::htt
0f80: 70 3a 3a 64 61 74 61 20 24 74 6f 6b 65 6e 5d 0a  p::data $token].
0f90: 09 09 09 7d 0a 09 09 09 3a 3a 68 74 74 70 3a 3a  ...}....::http::
0fa0: 72 65 73 65 74 20 24 74 6f 6b 65 6e 0a 09 09 09  reset $token....
0fb0: 3a 3a 68 74 74 70 3a 3a 63 6c 65 61 6e 75 70 20  ::http::cleanup 
0fc0: 24 74 6f 6b 65 6e 0a 09 09 7d 0a 0a 09 09 69 66  $token...}....if
0fd0: 20 7b 21 5b 69 6e 66 6f 20 65 78 69 73 74 73 20   {![info exists 
0fe0: 69 6e 64 65 78 68 61 73 68 5f 64 61 74 61 5d 7d  indexhash_data]}
0ff0: 20 7b 0a 09 09 09 23 20 43 61 63 68 65 20 74 68   {....# Cache th
1000: 69 73 20 72 65 73 75 6c 74 20 66 6f 72 20 36 30  is result for 60
1010: 20 73 65 63 6f 6e 64 73 0a 09 09 09 64 62 20 65   seconds....db e
1020: 76 61 6c 20 7b 49 4e 53 45 52 54 20 4f 52 20 52  val {INSERT OR R
1030: 45 50 4c 41 43 45 20 49 4e 54 4f 20 73 69 74 65  EPLACE INTO site
1040: 73 20 28 68 6f 73 74 6e 61 6d 65 2c 20 6c 61 73  s (hostname, las
1050: 74 55 70 64 61 74 65 2c 20 74 74 6c 29 20 56 41  tUpdate, ttl) VA
1060: 4c 55 45 53 20 28 24 68 6f 73 74 6e 61 6d 65 2c  LUES ($hostname,
1070: 20 24 6e 6f 77 2c 20 24 3a 3a 61 70 70 66 73 3a   $now, $::appfs:
1080: 3a 6e 74 74 6c 29 3b 7d 0a 0a 09 09 09 72 65 74  :nttl);}.....ret
1090: 75 72 6e 20 2d 63 6f 64 65 20 65 72 72 6f 72 20  urn -code error 
10a0: 22 55 6e 61 62 6c 65 20 74 6f 20 66 65 74 63 68  "Unable to fetch
10b0: 20 24 75 72 6c 22 0a 09 09 7d 0a 0a 09 09 73 65   $url"...}....se
10c0: 74 20 69 6e 64 65 78 68 61 73 68 20 5b 6c 69 6e  t indexhash [lin
10d0: 64 65 78 20 5b 73 70 6c 69 74 20 24 69 6e 64 65  dex [split $inde
10e0: 78 68 61 73 68 5f 64 61 74 61 20 22 2c 22 5d 20  xhash_data ","] 
10f0: 30 5d 0a 0a 09 09 69 66 20 7b 21 5b 5f 69 73 48  0]....if {![_isH
1100: 61 73 68 20 24 69 6e 64 65 78 68 61 73 68 5d 7d  ash $indexhash]}
1110: 20 7b 0a 09 09 09 72 65 74 75 72 6e 20 2d 63 6f   {....return -co
1120: 64 65 20 65 72 72 6f 72 20 22 49 6e 76 61 6c 69  de error "Invali
1130: 64 20 68 61 73 68 3a 20 24 69 6e 64 65 78 68 61  d hash: $indexha
1140: 73 68 22 0a 09 09 7d 0a 0a 09 09 73 65 74 20 66  sh"...}....set f
1150: 69 6c 65 20 5b 64 6f 77 6e 6c 6f 61 64 20 24 68  ile [download $h
1160: 6f 73 74 6e 61 6d 65 20 24 69 6e 64 65 78 68 61  ostname $indexha
1170: 73 68 5d 0a 09 09 73 65 74 20 66 64 20 5b 6f 70  sh]...set fd [op
1180: 65 6e 20 24 66 69 6c 65 5d 0a 09 09 73 65 74 20  en $file]...set 
1190: 64 61 74 61 20 5b 72 65 61 64 20 24 66 64 5d 0a  data [read $fd].
11a0: 09 09 63 6c 6f 73 65 20 24 66 64 0a 0a 09 09 73  ..close $fd....s
11b0: 65 74 20 63 75 72 72 5f 70 61 63 6b 61 67 65 73  et curr_packages
11c0: 20 5b 6c 69 73 74 5d 0a 09 09 66 6f 72 65 61 63   [list]...foreac
11d0: 68 20 6c 69 6e 65 20 5b 73 70 6c 69 74 20 24 64  h line [split $d
11e0: 61 74 61 20 22 5c 6e 22 5d 20 7b 0a 09 09 09 73  ata "\n"] {....s
11f0: 65 74 20 6c 69 6e 65 20 5b 73 74 72 69 6e 67 20  et line [string 
1200: 74 72 69 6d 20 24 6c 69 6e 65 5d 0a 0a 09 09 09  trim $line].....
1210: 69 66 20 7b 5b 73 74 72 69 6e 67 20 6d 61 74 63  if {[string matc
1220: 68 20 22 2a 2f 2a 22 20 24 6c 69 6e 65 5d 7d 20  h "*/*" $line]} 
1230: 7b 0a 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09  {.....continue..
1240: 09 09 7d 0a 0a 09 09 09 69 66 20 7b 24 6c 69 6e  ..}.....if {$lin
1250: 65 20 3d 3d 20 22 22 7d 20 7b 0a 09 09 09 09 63  e == ""} {.....c
1260: 6f 6e 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09  ontinue....}....
1270: 09 73 65 74 20 77 6f 72 6b 20 5b 73 70 6c 69 74  .set work [split
1280: 20 24 6c 69 6e 65 20 22 2c 22 5d 0a 0a 09 09 09   $line ","].....
1290: 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d 70 6c 61 69  unset -nocomplai
12a0: 6e 20 70 6b 67 49 6e 66 6f 0a 09 09 09 69 66 20  n pkgInfo....if 
12b0: 7b 5b 63 61 74 63 68 20 7b 0a 09 09 09 09 73 65  {[catch {.....se
12c0: 74 20 70 6b 67 49 6e 66 6f 28 70 61 63 6b 61 67  t pkgInfo(packag
12d0: 65 29 20 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72  e)  [lindex $wor
12e0: 6b 20 30 5d 0a 09 09 09 09 73 65 74 20 70 6b 67  k 0].....set pkg
12f0: 49 6e 66 6f 28 76 65 72 73 69 6f 6e 29 20 20 5b  Info(version)  [
1300: 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 31 5d 0a  lindex $work 1].
1310: 09 09 09 09 73 65 74 20 70 6b 67 49 6e 66 6f 28  ....set pkgInfo(
1320: 6f 73 29 20 20 20 20 20 20 20 5b 5f 6e 6f 72 6d  os)       [_norm
1330: 61 6c 69 7a 65 4f 53 20 5b 6c 69 6e 64 65 78 20  alizeOS [lindex 
1340: 24 77 6f 72 6b 20 32 5d 5d 0a 09 09 09 09 73 65  $work 2]].....se
1350: 74 20 70 6b 67 49 6e 66 6f 28 63 70 75 41 72 63  t pkgInfo(cpuArc
1360: 68 29 20 20 5b 5f 6e 6f 72 6d 61 6c 69 7a 65 43  h)  [_normalizeC
1370: 50 55 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b  PU [lindex $work
1380: 20 33 5d 5d 0a 09 09 09 09 73 65 74 20 70 6b 67   3]].....set pkg
1390: 49 6e 66 6f 28 68 61 73 68 29 20 20 20 20 20 5b  Info(hash)     [
13a0: 73 74 72 69 6e 67 20 74 6f 6c 6f 77 65 72 20 5b  string tolower [
13b0: 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20 34 5d 5d  lindex $work 4]]
13c0: 0a 09 09 09 09 73 65 74 20 70 6b 67 49 6e 66 6f  .....set pkgInfo
13d0: 28 68 61 73 68 5f 74 79 70 65 29 20 22 73 68 61  (hash_type) "sha
13e0: 31 22 0a 09 09 09 09 73 65 74 20 70 6b 67 49 6e  1".....set pkgIn
13f0: 66 6f 28 69 73 4c 61 74 65 73 74 29 20 5b 65 78  fo(isLatest) [ex
1400: 70 72 20 7b 21 21 5b 6c 69 6e 64 65 78 20 24 77  pr {!![lindex $w
1410: 6f 72 6b 20 35 5d 7d 5d 0a 09 09 09 7d 5d 7d 20  ork 5]}]....}]} 
1420: 7b 0a 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09  {.....continue..
1430: 09 09 7d 0a 0a 09 09 09 69 66 20 7b 21 5b 5f 69  ..}.....if {![_i
1440: 73 48 61 73 68 20 24 70 6b 67 49 6e 66 6f 28 68  sHash $pkgInfo(h
1450: 61 73 68 29 5d 7d 20 7b 0a 09 09 09 09 63 6f 6e  ash)]} {.....con
1460: 74 69 6e 75 65 0a 09 09 09 7d 0a 0a 09 09 09 6c  tinue....}.....l
1470: 61 70 70 65 6e 64 20 63 75 72 72 5f 70 61 63 6b  append curr_pack
1480: 61 67 65 73 20 24 70 6b 67 49 6e 66 6f 28 68 61  ages $pkgInfo(ha
1490: 73 68 29 0a 0a 09 09 09 23 20 44 6f 20 6e 6f 74  sh).....# Do not
14a0: 20 64 6f 20 61 6e 79 20 61 64 64 69 74 69 6f 6e   do any addition
14b0: 61 6c 20 77 6f 72 6b 20 69 66 20 77 65 20 61 6c  al work if we al
14c0: 72 65 61 64 79 20 68 61 76 65 20 74 68 69 73 20  ready have this 
14d0: 70 61 63 6b 61 67 65 0a 09 09 09 73 65 74 20 65  package....set e
14e0: 78 69 73 74 69 6e 67 5f 70 61 63 6b 61 67 65 73  xisting_packages
14f0: 20 5b 64 62 20 65 76 61 6c 20 7b 53 45 4c 45 43   [db eval {SELEC
1500: 54 20 70 61 63 6b 61 67 65 20 46 52 4f 4d 20 70  T package FROM p
1510: 61 63 6b 61 67 65 73 20 57 48 45 52 45 20 68 6f  ackages WHERE ho
1520: 73 74 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e 61  stname = $hostna
1530: 6d 65 20 41 4e 44 20 73 68 61 31 20 3d 20 24 70  me AND sha1 = $p
1540: 6b 67 49 6e 66 6f 28 68 61 73 68 29 3b 7d 5d 0a  kgInfo(hash);}].
1550: 09 09 09 69 66 20 7b 5b 6c 73 65 61 72 63 68 20  ...if {[lsearch 
1560: 2d 65 78 61 63 74 20 24 65 78 69 73 74 69 6e 67  -exact $existing
1570: 5f 70 61 63 6b 61 67 65 73 20 24 70 6b 67 49 6e  _packages $pkgIn
1580: 66 6f 28 70 61 63 6b 61 67 65 29 5d 20 21 3d 20  fo(package)] != 
1590: 2d 31 7d 20 7b 0a 09 09 09 09 63 6f 6e 74 69 6e  -1} {.....contin
15a0: 75 65 0a 09 09 09 7d 0a 0a 09 09 09 69 66 20 7b  ue....}.....if {
15b0: 24 70 6b 67 49 6e 66 6f 28 69 73 4c 61 74 65 73  $pkgInfo(isLates
15c0: 74 29 7d 20 7b 0a 09 09 09 09 64 62 20 65 76 61  t)} {.....db eva
15d0: 6c 20 7b 55 50 44 41 54 45 20 70 61 63 6b 61 67  l {UPDATE packag
15e0: 65 73 20 53 45 54 20 69 73 4c 61 74 65 73 74 20  es SET isLatest 
15f0: 3d 20 30 20 57 48 45 52 45 20 68 6f 73 74 6e 61  = 0 WHERE hostna
1600: 6d 65 20 3d 20 24 68 6f 73 74 6e 61 6d 65 20 41  me = $hostname A
1610: 4e 44 20 70 61 63 6b 61 67 65 20 3d 20 24 70 6b  ND package = $pk
1620: 67 49 6e 66 6f 28 24 70 61 63 6b 61 67 65 29 20  gInfo($package) 
1630: 41 4e 44 20 6f 73 20 3d 20 24 70 6b 67 49 6e 66  AND os = $pkgInf
1640: 6f 28 24 70 61 63 6b 61 67 65 29 20 41 4e 44 20  o($package) AND 
1650: 63 70 75 41 72 63 68 20 3d 20 24 70 6b 67 49 6e  cpuArch = $pkgIn
1660: 66 6f 28 63 70 75 41 72 63 68 29 3b 7d 0a 09 09  fo(cpuArch);}...
1670: 09 7d 0a 0a 09 09 09 64 62 20 65 76 61 6c 20 7b  .}.....db eval {
1680: 49 4e 53 45 52 54 20 49 4e 54 4f 20 70 61 63 6b  INSERT INTO pack
1690: 61 67 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c 20  ages (hostname, 
16a0: 73 68 61 31 2c 20 70 61 63 6b 61 67 65 2c 20 76  sha1, package, v
16b0: 65 72 73 69 6f 6e 2c 20 6f 73 2c 20 63 70 75 41  ersion, os, cpuA
16c0: 72 63 68 2c 20 69 73 4c 61 74 65 73 74 2c 20 68  rch, isLatest, h
16d0: 61 76 65 4d 61 6e 69 66 65 73 74 29 20 56 41 4c  aveManifest) VAL
16e0: 55 45 53 20 28 24 68 6f 73 74 6e 61 6d 65 2c 20  UES ($hostname, 
16f0: 24 70 6b 67 49 6e 66 6f 28 68 61 73 68 29 2c 20  $pkgInfo(hash), 
1700: 24 70 6b 67 49 6e 66 6f 28 70 61 63 6b 61 67 65  $pkgInfo(package
1710: 29 2c 20 24 70 6b 67 49 6e 66 6f 28 76 65 72 73  ), $pkgInfo(vers
1720: 69 6f 6e 29 2c 20 24 70 6b 67 49 6e 66 6f 28 6f  ion), $pkgInfo(o
1730: 73 29 2c 20 24 70 6b 67 49 6e 66 6f 28 63 70 75  s), $pkgInfo(cpu
1740: 41 72 63 68 29 2c 20 24 70 6b 67 49 6e 66 6f 28  Arch), $pkgInfo(
1750: 69 73 4c 61 74 65 73 74 29 2c 20 30 29 3b 7d 0a  isLatest), 0);}.
1760: 09 09 7d 0a 0a 09 09 23 20 4c 6f 6f 6b 20 66 6f  ..}....# Look fo
1770: 72 20 70 61 63 6b 61 67 65 73 20 74 68 61 74 20  r packages that 
1780: 68 61 76 65 20 62 65 65 6e 20 64 65 6c 65 74 65  have been delete
1790: 64 0a 09 09 73 65 74 20 66 6f 75 6e 64 5f 70 61  d...set found_pa
17a0: 63 6b 61 67 65 73 20 5b 64 62 20 65 76 61 6c 20  ckages [db eval 
17b0: 7b 53 45 4c 45 43 54 20 73 68 61 31 20 46 52 4f  {SELECT sha1 FRO
17c0: 4d 20 70 61 63 6b 61 67 65 73 20 57 48 45 52 45  M packages WHERE
17d0: 20 68 6f 73 74 6e 61 6d 65 20 3d 20 24 68 6f 73   hostname = $hos
17e0: 74 6e 61 6d 65 3b 7d 5d 0a 09 09 66 6f 72 65 61  tname;}]...forea
17f0: 63 68 20 70 61 63 6b 61 67 65 20 24 66 6f 75 6e  ch package $foun
1800: 64 5f 70 61 63 6b 61 67 65 73 20 7b 0a 09 09 09  d_packages {....
1810: 73 65 74 20 66 6f 75 6e 64 5f 70 61 63 6b 61 67  set found_packag
1820: 65 73 5f 61 72 72 28 24 70 61 63 6b 61 67 65 29  es_arr($package)
1830: 20 31 0a 09 09 7d 0a 0a 09 09 66 6f 72 65 61 63   1...}....foreac
1840: 68 20 70 61 63 6b 61 67 65 20 24 63 75 72 72 5f  h package $curr_
1850: 70 61 63 6b 61 67 65 73 20 7b 0a 09 09 09 75 6e  packages {....un
1860: 73 65 74 20 2d 6e 6f 63 6f 6d 70 6c 61 69 6e 20  set -nocomplain 
1870: 66 6f 75 6e 64 5f 70 61 63 6b 61 67 65 73 5f 61  found_packages_a
1880: 72 72 28 24 70 61 63 6b 61 67 65 29 0a 09 09 7d  rr($package)...}
1890: 0a 0a 09 09 66 6f 72 65 61 63 68 20 70 61 63 6b  ....foreach pack
18a0: 61 67 65 20 5b 61 72 72 61 79 20 6e 61 6d 65 73  age [array names
18b0: 20 66 6f 75 6e 64 5f 70 61 63 6b 61 67 65 73 5f   found_packages_
18c0: 61 72 72 5d 20 7b 0a 09 09 09 64 62 20 65 76 61  arr] {....db eva
18d0: 6c 20 7b 44 45 4c 45 54 45 20 46 52 4f 4d 20 70  l {DELETE FROM p
18e0: 61 63 6b 61 67 65 73 20 57 48 45 52 45 20 68 6f  ackages WHERE ho
18f0: 73 74 6e 61 6d 65 20 3d 20 24 68 6f 73 74 6e 61  stname = $hostna
1900: 6d 65 20 41 4e 44 20 73 68 61 31 20 3d 20 24 70  me AND sha1 = $p
1910: 61 63 6b 61 67 65 3b 7d 0a 09 09 7d 0a 0a 09 09  ackage;}...}....
1920: 64 62 20 65 76 61 6c 20 7b 49 4e 53 45 52 54 20  db eval {INSERT 
1930: 4f 52 20 52 45 50 4c 41 43 45 20 49 4e 54 4f 20  OR REPLACE INTO 
1940: 73 69 74 65 73 20 28 68 6f 73 74 6e 61 6d 65 2c  sites (hostname,
1950: 20 6c 61 73 74 55 70 64 61 74 65 2c 20 74 74 6c   lastUpdate, ttl
1960: 29 20 56 41 4c 55 45 53 20 28 24 68 6f 73 74 6e  ) VALUES ($hostn
1970: 61 6d 65 2c 20 24 6e 6f 77 2c 20 24 3a 3a 61 70  ame, $now, $::ap
1980: 70 66 73 3a 3a 74 74 6c 29 3b 7d 0a 0a 09 09 72  pfs::ttl);}....r
1990: 65 74 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09  eturn COMPLETE..
19a0: 7d 0a 0a 09 70 72 6f 63 20 67 65 74 70 6b 67 6d  }...proc getpkgm
19b0: 61 6e 69 66 65 73 74 20 7b 68 6f 73 74 6e 61 6d  anifest {hostnam
19c0: 65 20 70 61 63 6b 61 67 65 5f 73 68 61 31 7d 20  e package_sha1} 
19d0: 7b 0a 09 09 73 65 74 20 68 61 76 65 4d 61 6e 69  {...set haveMani
19e0: 66 65 73 74 73 20 5b 64 62 20 65 76 61 6c 20 7b  fests [db eval {
19f0: 53 45 4c 45 43 54 20 68 61 76 65 4d 61 6e 69 66  SELECT haveManif
1a00: 65 73 74 20 46 52 4f 4d 20 70 61 63 6b 61 67 65  est FROM package
1a10: 73 20 57 48 45 52 45 20 73 68 61 31 20 3d 20 24  s WHERE sha1 = $
1a20: 70 61 63 6b 61 67 65 5f 73 68 61 31 20 4c 49 4d  package_sha1 LIM
1a30: 49 54 20 31 3b 7d 5d 0a 09 09 73 65 74 20 68 61  IT 1;}]...set ha
1a40: 76 65 4d 61 6e 69 66 65 73 74 20 5b 6c 69 6e 64  veManifest [lind
1a50: 65 78 20 24 68 61 76 65 4d 61 6e 69 66 65 73 74  ex $haveManifest
1a60: 73 20 30 5d 0a 0a 09 09 69 66 20 7b 24 68 61 76  s 0]....if {$hav
1a70: 65 4d 61 6e 69 66 65 73 74 7d 20 7b 0a 09 09 09  eManifest} {....
1a80: 72 65 74 75 72 6e 20 43 4f 4d 50 4c 45 54 45 0a  return COMPLETE.
1a90: 09 09 7d 0a 0a 09 09 69 66 20 7b 21 5b 5f 69 73  ..}....if {![_is
1aa0: 48 61 73 68 20 24 70 61 63 6b 61 67 65 5f 73 68  Hash $package_sh
1ab0: 61 31 5d 7d 20 7b 0a 09 09 09 72 65 74 75 72 6e  a1]} {....return
1ac0: 20 46 41 49 4c 0a 09 09 7d 0a 0a 09 09 73 65 74   FAIL...}....set
1ad0: 20 66 69 6c 65 20 5b 64 6f 77 6e 6c 6f 61 64 20   file [download 
1ae0: 24 68 6f 73 74 6e 61 6d 65 20 24 70 61 63 6b 61  $hostname $packa
1af0: 67 65 5f 73 68 61 31 5d 0a 09 09 73 65 74 20 66  ge_sha1]...set f
1b00: 64 20 5b 6f 70 65 6e 20 24 66 69 6c 65 5d 0a 09  d [open $file]..
1b10: 09 73 65 74 20 70 6b 67 64 61 74 61 20 5b 72 65  .set pkgdata [re
1b20: 61 64 20 24 66 64 5d 0a 09 09 63 6c 6f 73 65 20  ad $fd]...close 
1b30: 24 66 64 0a 0a 09 09 64 62 20 74 72 61 6e 73 61  $fd....db transa
1b40: 63 74 69 6f 6e 20 7b 0a 09 09 09 66 6f 72 65 61  ction {....forea
1b50: 63 68 20 6c 69 6e 65 20 5b 73 70 6c 69 74 20 24  ch line [split $
1b60: 70 6b 67 64 61 74 61 20 22 5c 6e 22 5d 20 7b 0a  pkgdata "\n"] {.
1b70: 09 09 09 09 73 65 74 20 6c 69 6e 65 20 5b 73 74  ....set line [st
1b80: 72 69 6e 67 20 74 72 69 6d 20 24 6c 69 6e 65 5d  ring trim $line]
1b90: 0a 0a 09 09 09 09 69 66 20 7b 24 6c 69 6e 65 20  ......if {$line 
1ba0: 3d 3d 20 22 22 7d 20 7b 0a 09 09 09 09 09 63 6f  == ""} {......co
1bb0: 6e 74 69 6e 75 65 0a 09 09 09 09 7d 0a 0a 09 09  ntinue.....}....
1bc0: 09 09 73 65 74 20 77 6f 72 6b 20 5b 73 70 6c 69  ..set work [spli
1bd0: 74 20 24 6c 69 6e 65 20 22 2c 22 5d 0a 0a 09 09  t $line ","]....
1be0: 09 09 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d 70 6c  ..unset -nocompl
1bf0: 61 69 6e 20 66 69 6c 65 49 6e 66 6f 0a 09 09 09  ain fileInfo....
1c00: 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 74 79  .set fileInfo(ty
1c10: 70 65 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72  pe) [lindex $wor
1c20: 6b 20 30 5d 0a 09 09 09 09 73 65 74 20 66 69 6c  k 0].....set fil
1c30: 65 49 6e 66 6f 28 74 69 6d 65 29 20 5b 6c 69 6e  eInfo(time) [lin
1c40: 64 65 78 20 24 77 6f 72 6b 20 31 5d 0a 0a 09 09  dex $work 1]....
1c50: 09 09 73 65 74 20 77 6f 72 6b 20 5b 6c 72 61 6e  ..set work [lran
1c60: 67 65 20 24 77 6f 72 6b 20 32 20 65 6e 64 5d 0a  ge $work 2 end].
1c70: 09 09 09 09 73 77 69 74 63 68 20 2d 2d 20 24 66  ....switch -- $f
1c80: 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 20 7b 0a  ileInfo(type) {.
1c90: 09 09 09 09 09 22 66 69 6c 65 22 20 7b 0a 09 09  ....."file" {...
1ca0: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
1cb0: 28 73 69 7a 65 29 20 5b 6c 69 6e 64 65 78 20 24  (size) [lindex $
1cc0: 77 6f 72 6b 20 30 5d 0a 09 09 09 09 09 09 73 65  work 0].......se
1cd0: 74 20 66 69 6c 65 49 6e 66 6f 28 70 65 72 6d 73  t fileInfo(perms
1ce0: 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f 72 6b 20  ) [lindex $work 
1cf0: 31 5d 0a 09 09 09 09 09 09 73 65 74 20 66 69 6c  1].......set fil
1d00: 65 49 6e 66 6f 28 73 68 61 31 29 20 5b 6c 69 6e  eInfo(sha1) [lin
1d10: 64 65 78 20 24 77 6f 72 6b 20 32 5d 0a 0a 09 09  dex $work 2]....
1d20: 09 09 09 09 73 65 74 20 77 6f 72 6b 20 5b 6c 72  ....set work [lr
1d30: 61 6e 67 65 20 24 77 6f 72 6b 20 33 20 65 6e 64  ange $work 3 end
1d40: 5d 0a 09 09 09 09 09 7d 0a 09 09 09 09 09 22 73  ]......}......"s
1d50: 79 6d 6c 69 6e 6b 22 20 7b 0a 09 09 09 09 09 09  ymlink" {.......
1d60: 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 73 6f 75  set fileInfo(sou
1d70: 72 63 65 29 20 5b 6c 69 6e 64 65 78 20 24 77 6f  rce) [lindex $wo
1d80: 72 6b 20 30 5d 0a 09 09 09 09 09 09 73 65 74 20  rk 0].......set 
1d90: 77 6f 72 6b 20 5b 6c 72 61 6e 67 65 20 24 77 6f  work [lrange $wo
1da0: 72 6b 20 31 20 65 6e 64 5d 0a 09 09 09 09 09 7d  rk 1 end]......}
1db0: 0a 09 09 09 09 7d 0a 0a 09 09 09 09 73 65 74 20  .....}......set 
1dc0: 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 5b  fileInfo(name) [
1dd0: 6a 6f 69 6e 20 24 77 6f 72 6b 20 22 2c 22 5d 0a  join $work ","].
1de0: 09 09 09 09 73 65 74 20 66 69 6c 65 49 6e 66 6f  ....set fileInfo
1df0: 28 6e 61 6d 65 29 20 5b 73 70 6c 69 74 20 5b 73  (name) [split [s
1e00: 74 72 69 6e 67 20 74 72 69 6d 20 24 66 69 6c 65  tring trim $file
1e10: 49 6e 66 6f 28 6e 61 6d 65 29 20 22 2f 22 5d 20  Info(name) "/"] 
1e20: 22 2f 22 5d 0a 09 09 09 09 73 65 74 20 66 69 6c  "/"].....set fil
1e30: 65 49 6e 66 6f 28 64 69 72 65 63 74 6f 72 79 29  eInfo(directory)
1e40: 20 5b 6a 6f 69 6e 20 5b 6c 72 61 6e 67 65 20 24   [join [lrange $
1e50: 66 69 6c 65 49 6e 66 6f 28 6e 61 6d 65 29 20 30  fileInfo(name) 0
1e60: 20 65 6e 64 2d 31 5d 20 22 2f 22 5d 0a 09 09 09   end-1] "/"]....
1e70: 09 73 65 74 20 66 69 6c 65 49 6e 66 6f 28 6e 61  .set fileInfo(na
1e80: 6d 65 29 20 5b 6c 69 6e 64 65 78 20 24 66 69 6c  me) [lindex $fil
1e90: 65 49 6e 66 6f 28 6e 61 6d 65 29 20 65 6e 64 5d  eInfo(name) end]
1ea0: 0a 0a 09 09 09 09 64 62 20 65 76 61 6c 20 7b 49  ......db eval {I
1eb0: 4e 53 45 52 54 20 49 4e 54 4f 20 66 69 6c 65 73  NSERT INTO files
1ec0: 20 28 70 61 63 6b 61 67 65 5f 73 68 61 31 2c 20   (package_sha1, 
1ed0: 74 79 70 65 2c 20 74 69 6d 65 2c 20 73 6f 75 72  type, time, sour
1ee0: 63 65 2c 20 73 69 7a 65 2c 20 70 65 72 6d 73 2c  ce, size, perms,
1ef0: 20 66 69 6c 65 5f 73 68 61 31 2c 20 66 69 6c 65   file_sha1, file
1f00: 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 64 69 72 65  _name, file_dire
1f10: 63 74 6f 72 79 29 20 56 41 4c 55 45 53 20 28 24  ctory) VALUES ($
1f20: 70 61 63 6b 61 67 65 5f 73 68 61 31 2c 20 24 66  package_sha1, $f
1f30: 69 6c 65 49 6e 66 6f 28 74 79 70 65 29 2c 20 24  ileInfo(type), $
1f40: 66 69 6c 65 49 6e 66 6f 28 74 69 6d 65 29 2c 20  fileInfo(time), 
1f50: 24 66 69 6c 65 49 6e 66 6f 28 73 6f 75 72 63 65  $fileInfo(source
1f60: 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 73 69 7a  ), $fileInfo(siz
1f70: 65 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28 70 65  e), $fileInfo(pe
1f80: 72 6d 73 29 2c 20 24 66 69 6c 65 49 6e 66 6f 28  rms), $fileInfo(
1f90: 73 68 61 31 29 2c 20 24 66 69 6c 65 49 6e 66 6f  sha1), $fileInfo
1fa0: 28 6e 61 6d 65 29 2c 20 24 66 69 6c 65 49 6e 66  (name), $fileInf
1fb0: 6f 28 64 69 72 65 63 74 6f 72 79 29 20 29 3b 7d  o(directory) );}
1fc0: 0a 09 09 09 09 64 62 20 65 76 61 6c 20 7b 55 50  .....db eval {UP
1fd0: 44 41 54 45 20 70 61 63 6b 61 67 65 73 20 53 45  DATE packages SE
1fe0: 54 20 68 61 76 65 4d 61 6e 69 66 65 73 74 20 3d  T haveManifest =
1ff0: 20 31 20 57 48 45 52 45 20 73 68 61 31 20 3d 20   1 WHERE sha1 = 
2000: 24 70 61 63 6b 61 67 65 5f 73 68 61 31 3b 7d 0a  $package_sha1;}.
2010: 09 09 09 7d 0a 09 09 7d 0a 0a 09 09 72 65 74 75  ...}...}....retu
2020: 72 6e 20 43 4f 4d 50 4c 45 54 45 0a 09 7d 0a 7d  rn COMPLETE..}.}
2030: 0a                                               .