1  

Making Sense of NIBRS Data with a Relational Database  

Eman Abdu, Douglas E. Salane and Peter Shenkin  

Center for Cybercrime Studies Department of Mathematics & Computer Science 

John Jay College of Criminal Justice  

December 30, 2017    Abstract     The FBI’s National incident‐based crime report system (NIBRS) data collection provides exceptional opportunities to understand the situational and demographic factors associated with crime. This paper describes a relational database implementation of NIBRS.  The paper provides an introduction to NIBRS data structure, discusses current tools available for analyzing NIBRS data, and explores the benefits of analyzing NIBRS with a relational database.  The paper examines how NIBRS data is changing over time and some of the data quality issues that arise from missing or infrequently provided data.  The paper also explores the use of the relational database and spreadsheet Pivot Tables to make NIBRS analysis capabilities available to analysts for specific studies.  Our current relational database contains NIBRS data for the years 1995 through 2015.      1. Introduction    In the 1980s, the FBI as part of its Uniform Crime Reporting (UCR) program, developed the National Incident‐Based Reporting System (NIBRS) (Federal Bureau of Investigation, 2009).  Working with the Bureau of Justice Statistics and other advocacy groups, the FBI expects to transition the UCR program, its method for collecting crime data since the 1930s,  to NIBRS only data collection by 2021 (Federal Bureau of Investigation, 2017).   If these efforts are successful, NIBRS will offer detailed information on crime that is representative of the US population.  Currently NIBRS only covers about 31% of the US population.  

The NIBRS collects detailed information on crime incidents reported to law enforcement agencies and makes that information available for crime research and analysis. (Federal Bureau of Investigation, 2015)   Unlike the FBI’s UCR Summary Reporting System, which provides mainly aggregate crime statistics for eight serious forms of crime1, the NIBRS collects detailed information on 52 offenses in 22 crime categories2.  For a given crime incident, NIBRS records up to 57 data elements which provide information on the offense, victim, offender, property involved, arrestee and the incident itself, e.g., the date and time of the incident as well as the reporting  agency.  With NIBRS, researchers typically have 

                                                       1 The UCR program provides counts for murder and non‐negligent manslaughter, forcible rape, robbery, aggravated assault, burglary, larceny‐theft, motor vehicle theft, and arson.  2 The 52 offenses for which NIBRS provides detailed information are known in NIBRS as Group A incidents.  NIBRS also collects information on 11 less serious non‐violent, victimless offenses known as Group B offenses for which mainly arrestee data is recorded.     

2  

information on the situational context of the incident, victim‐offender demographics, victim‐offender relationships, and incident clearance.  A given NIBRS crime incident can include information on multiple offenses, up to ten victims and offenders, and multiple arrestees.   In addition, NIBRS also provides information on the reporting agency and even population information for the reporting agency’s locale.  At the time of this writing, NIBRS data for the years 1991 through 2015 are available for download from the National Archive of Criminal Justice Data, which is the source of NIBRS data for our relational database (NAJCD, 2017).  The FBI recently  released NIBRS data for 2016.    NIBRS allows a crime researcher to analyze the social, economic and demographic factors associated with crime.   The paper by (Maxfield, 1999) describes the opportunities NIBRS presents for research as well as the potential pitfalls.   With NIBRS, criminal justice researchers have examined aspects of crime such as the relationships between victims and offenders, weapons used in various types of crimes, crime trends over time and in different localities, and the prevalence of certain types of crime.  NIBRS is one of the few crime databases that provides the information needed for the study of crime clearance and its relation to race, age and other demographic factors.  The report (Roberts, 2009) offers a comprehensive survey of the use of NIBRS for study of crime clearance, disaggregation of crime rates by situational context, and outcomes of violent encounters.     Despite its tremendous potential, researchers have noted several difficulties with NIBRS data.  These include the frequency of missing incident data and the lack of agency participation, especially in larger municipalities, which could lead to biased analyses (Addington, 2008).  Other concerns include lack of incident‐level variables that provide educational, occupational and precise location information, i.e., the location of the incident within the reporting agency, making it difficult to determine a socio‐economic context.   Nonetheless, the use of NIBRS for reporting crime data is increasing and the quality appears to be improving as agencies continue to adopt NIBRS based operational record management systems that provide incident‐based crime data to the UCR program through NIBRS.  (See Appendix I for a discussion.)   Moreover, crime trends and crime breakdowns determined from NIBRS data in recent years show remarkable agreement with those computed from data from other established sources such as the Uniform Crime Reports and Supplement Homicide Reports (See Abdu et al., 2016)  and (Abdu et al., 2017).      Key impediments to research with NIBRS data have been the complexity and size of the data set as well as limited tools for data extraction and analysis.   Despite dramatic improvements during the past 10 years in the computer processing and storage capabilities, the size of the data set still poses problems.  Current releases of NIBRS data contain about 5 million incidents each year along with associated incident data which are located in different segments of files.  Our relational database, which includes data from 1995 through 2015 contains about 79.9 million incidents.    

NIBRS data are available for a particular year and multiyear analysis requires processing multiple files.  In addition, the 57 different data elements associated with an incident are grouped into 6 different categories or segments: Administrative, Offense, Property, Victim, Offender, and Arrestee.  Examining, for example, victim‐offender relationships requires linking the data in the victim and offender segments together.  Tools available at the National Archive of Criminal Justice Data, described briefly in Section 3, mitigate some of the complexity of dealing with NIBRS data.  These tools give criminal justice researchers significantly increased access to NIBRS data and provide some statistical analysis capabilities.  However, they provide limited capabilities for exploring relationships in NIBRS data.  They are not intended for multiyear analysis.  In addition, database analysts are not able to use them to provide schema and customized views of the data tailored for particular research investigations, which 

3  

researchers could then further analyze by performing iterative queries.      Modern relational databases provide a wide range of built‐in facilities that take advantage of the structure of the data for efficient processing and analysis.       In this paper we describe our relational database implementation of NIBRS data which mirrors the structure of NIBRS.  This paper updates and adds to our previous report (Abdu et al., 2011)) which examined NIBRS data for the years 1995 to 2008.  With our current implementation, which contains data from the years 1995 to 2015, we continue to examine various NIBRS data quality issues including the frequency of missing data as well as the extent of multiple records and their effect on analysis.  The seven additional years of data 2009 to 2015 allow us to get a good idea of the frequency of missing data for key data items in NIBRS, for example, victim‐offender relationship.  We also discuss our latest work in using the database to prepare views of the data and schema that facilitate analysis for non‐data processing experts.  For example, we illustrate simple joins that create a view, or an intermediate table, that has the required information for victim‐offender analyses.   We also show how a customized view can be imported into a spreadsheet where modern pivot tables provide capabilities similar to data cubes.       The following is an outline of the paper. In section 2, we give a brief overview of the structure of NIBRS data.  In section 3, we review some NIBRS data and analysis tools available to researchers.   We describe in section 4 our relational database implementation and discuss some of the advantages it offers for managing NIBRS data.  In section 5, we use the relational database to examine several aspects of NIBRS data including changes since 1995 in the data and incident reporting rates. We also examine the use of the NIBRS relational database for multiyear analysis for selected offenses where the offense involves the use of a computer. In addition, we illustrate the use of a relational database join to extract patterns in victim/offender relationships.  In section 6, we use the relational database to extract data needed to study the use of a computer in various offenses.   We show the use of a spreadsheet pivot table to disaggregate the data according age, sex, and race.   In section 7, we examine rate of missing victim and offender information for the offense of murder/non‐negligent homicide.  Appendices provide information on NIBRS adoption, NIBRS segment attributes, SQL code used in studies in the paper and availability of the NIBRS Relational Database.     2. A brief review of NIBRS structure      The organization of NIBRS data and the potential complexities of analyzing it have been covered in many papers and reports.  See for example (Akiyama & Nolan, 1999).   One of the best sources of detailed information on NIBRS data structure are the NIBRS code books available at National Archive of 

Criminal Justice Data (NACJD) (for example, Federal Bureau of Investigation, 2008).  For the most recent information on NIBRS data elements and offense codes, the 2017  FBI NIBRS User Manual (U.S. Dept. of Justice, 2017) is the definitive source. A review of NIBRS structure appears on the web site (NACJD, 2010).   In this section we simply give an overview of the basic NIBRS structure that is essential for understanding and using our relational database implementation.  The section also provides an overview of the types of detailed information in NIBRS and gives an indication of some of the data processing questions that NIBRS presents.    As noted, the NIBRS classifies crime incidents into two different categories called Group A and Group B offenses.  Group A NIBRS incidents include crimes mainly against person and property and result from an incident being reported to a law enforcement agency.  Group B offenses consist of crimes 

4  

against society such as drunkenness, driving under the influence, and disorderly conduct.   Group B crimes typically result from an arrest.  There are 52 Group A offenses and 11 Group B offenses.  The FBI has added 6 group A offenses since our 2011 report when NIBRS had 46 offenses.   New offenses include codes for human trafficking, identity theft and computer hacking which appeared in 2015.   With a relational database, offense codes are in tables and the tables are easily updated.  Moreover the database can check for referential integrity.  In other words, if we upload data and the code is not in the current database offense table, the database will produce and error for codes in the data but not in the table.  These code tables are derived from the NIBRS code book and greatly facilitate NIBRS reporting.     NIBRS handles Group A and B incidents quite differently.   Group A incidents include information on one or more offenders, victims, and offenses associated with the incident.  A Group A incident may also have information on one or more arrestees and, depending on the offense(s), the property involved in the incident.  Group B incidents mainly provide demographic information for the arrestee as well as information on the offense, possible weapons involved, and the arrest itself.   NIBRS data from 1995 to 2015 consist of approximately 79.7 million Group A incidents and about 23.9 million Group B incidents.  This report focuses primarily on Group A incidents since it is for these incidents that a relational database implementation provides the greatest utility. 

   For Group A incidents, NIBRS data organization centers around a crime incident reported to a law enforcement agency.  Each NIBRS Group A incident consists of 57 data elements that provide specific information about the incident.  NIBRS groups the data elements into six different categories or so‐called segments:  Administrative, Offense, Property, Victim, Offender, and Arrestee segments.  A single record in the Administrative Segment provides information on a given incident, for example, the date and hour, the reporting agency, and clearance information.  In NIBRS, information on the offenses, property involved, victims, offenders and arrestees appears in the five other segments.  For example, information on one offense is recorded in a single record in the Offense Segment.  The incident record in the Administrative Segment provides counts of how many offense, property, offender, victim, and arrestee records are associated with the incident. Each segment record includes the Originating Agency Identifier (ORI) and incident number, which together identify all segments records associated with a particular incident.  In this respect NIBRS is very much like a relational database.   Appendix II lists the six main Group A incident segments and associated fields as they appear in our implementation of the NIBRS database.      Group B offenses appear in a separate segment called the Group B Arrest Segment.  Each record corresponds to an arrest for a Group B offense.  Group B information includes primarily characteristics of the arrestee: age, sex, race, ethnicity and resident status.  Group B offense records also contain an ORI and incident number.  There may be multiple Group B arrest records with the same ORI and incident number if more than one person is arrested for the offense.    In addition to the seven segments just described, NIBRS provides six additional segments. There are three so‐called Batch Header Segments that provide information on the originating agency.   The ORI number, which identifies the agency, is the identifying field in each of these three segments.  These segments contain information on agency’s location, city and county the agency serves, population indicators, and even NIBRS submission history.   Three more segments,  the Windows Exceptionally Cleared, Windows Recovered Property, and Window Arrestee Segments, provide a mechanism for agencies to update incident information if new additional information, e.g., clearance, arrest or property recovered information,  becomes available  after an initial incident report is submitted.  Indeed, a consideration in NIBRS design was the ability to update incident information after an initial submission.  

5  

In section 4, we discuss the use of duplicate records in subsequent years, an important mechanism for updating NIBRS information.     One way NIBRS differs from a traditional normalized database is the use of multiple entries for a data element.  For example, one data element for an incident is the offense code.  A NIBRS record in the victim segment includes up to 10 different offenses against a victim.  A victim segment record provides space for these 10 different offense codes even if most are blank.   In addition, a victim segment record lists the victim‐offender relationships for up to 10 different offenders. The victim segment record also provides space for up to 5 different victim injuries.  Offense segment records can contain up to 3 codes that categorize the type of criminal activity associated with the offense and 3 codes that indicate the type of force/weapon involved.  An offense record also has 3 fields that indicate whether the offense involved a computer, drugs, alcohol, or some combination of these.  Allowing for multiple responses for data elements actually facilitates NIBRS data processing.  In Appendix II, the listings of the fields in the main NIBRS segment s indicate the multi response data elements.    One of our interests has been the frequency with which multi response data is missing in NIBRS and how that frequency varies over time.   We suspect that as agencies increasingly deploy NIBRS based operational systems, data collection of these types of attributes will increase.    In section 5, we present some preliminary findings on the frequency and quality of this type of NIBRS data.    Analysis of Group A incidents presents several challenges.  Each incident may involve one or more offenses, victims, arrestees, properties, etc.   Depending on the study, for example, if the researcher is counting incidents, one or more of these segments must be linked to the associated administrative record.   If a count of victims is the unit of analysis, one or more segments must be linked to the victim record.  As noted, further complicating NIBRS processing, certain data elements allow for the recording of multiple responses, for example, different weapons used, different victim injuries, the relationship of a victim to different offenders.   The complexity of NIBRS data has frequently led researchers to restrict their attention to single segment analysis or to limit analysis to one additional segment.  Often researchers ignore multiple offenders or victims associated with an incident. Some of the difficulties of dealing with NIBRS complexity are summarized in (Chilton & Regoeczi, 2005) and (Akiyam, October 1997).  Our analysis in section 4. Indicates that from 1995 to 2015 very few incidents involve more than three records in any segment.   3. Sources of NIBRS data and some current tools    Researchers working with NIBRS realized early on that the size and complexity of NIBRS data would require data processing skills that typically exceeded those of most data analysts.  The National Archive of Criminal Justice Data (NACJD) at the Inter‐university Consortium for Political and Social Research (ICPSR) has played the lead role in packaging NIBRS data and making it available to the Criminal Justice research community (Dunn & Zelenock, 1999).  Indeed, our own work relies on NIBRS data made available for download from ICPSR.  Here we briefly describe the efforts of ICPSR and others to make NIBRS data available and provide analysis capabilities.     The FBI releases NIBRS data for a given year as one large rectangular file in a format similar to that of a spreadsheet.   As discussed, NIBRS data elements are organized by segments.  In the FBI released file, each row corresponds to a record in a segment and the columns correspond to data elements.  The records in a segment are stored in contiguous rows.  Most data elements (a cell in the spreadsheet) contain a code, typically, one or two characters in length, which is assigned by the FBI and 

6  

described in a codebook released with the data.   The FBI also assigns an agency identifier and an incident number, which appear in each segment record and allow segments associated with a particular incident to be linked together.  Data processing is complicated by the size of the segments and the need to link segments.  For example, since 2008 the Administrative Segments typically have over 5 million rows while the Victim Segments, the largest segments, usually have over 5.5 million rows. 

   Most researchers obtain NIBRS data from the ICPSR‘s NACJD web site3.  After checking FBI released data for consistency4, ICPSR separates the data in the FBI NIBRS file into 13 separate files and makes these available for download.   ICPSR also adds a variable to each segment record that indicates the number of segment records that are associated with a particular incident.  For example, if an incident has multiple victim records, the first victim record, identified by a victim sequence number, would contain a count of the number of victim segments associated with the incident.  In addition, ICPSR provides a modified codebook that details the structure of the files as prepared by ICPSR.  Single segment analysis is facilitated by the fact the NAJCD provides SPSS and SAS scripts to downloaded NIBRS data into those applications.  In the early days of NIBRS, single segment analysis was the norm.        In order to give data analysts the opportunity to examine incidents with multiple segments,   NAJCD provides a set of NIBRS data files called Extract Files that contain merged segments (NACJD, 2008).  The Extract Files are based on the desired unit of analysis such as incident, victim or offense.  For example, the analyst selects the Administrative‐level Extract file if a count of incidents is desired.  A record in the Administrative‐level Extract file includes a given incident merged with the records from the five other segments associated with the given incident.  Similarly, a Victim‐level Extract file would include Victim records merged with the five other associated segments.  The extract file has the same number of records as the unit of count upon which it is based.  In order to keep extract files from becoming unwieldy, the ICPSR only merges up to three segment records.    As the ICPSR points out and our analysis in the next section confirms, 99% of all NIBRS incidents have 3 or fewer such records.    The National Center for Juvenile Justice (NCJJ, 2010) has used the 2008 Victim‐Level Extract files to produce a modified extract file suitable for studying victims of domestic violence.   First, it culled the original ICPSR extract file to include only victims of domestic violence.  NCJJ also defined a person offense5 hierarchy and only included those records where the most serious offense was a person offense.   In addition, NCJJ eliminated states that reported fewer than 1000 domestic violence victims.  This reduced a data set of about 5.5 million records to about 550 thousand records.   If the data were in a relational database, such a customized view of the Extract file would be easy to produce with an SQL query.  The NCJJ site also provides on‐line analysis capabilities for this domestic violence data set.     There have been several other attempts to make on‐line analysis capabilities available for NIBRS data.  Since 2005 the NACJD web site has used the Survey Documentation Analysis system (SDA, 2011) to allow users to analyze NIBRS data within a single segment and single year.  Statistical analysis capabilities include frequency or cross tabulations, comparison of means, correlation matrix, and multiple regression.  The addition of drop down menus with code definitions eliminates the need to 

                                                       3 As of this writing NIBRS data for the years 1991 to 2016 were available.   4 For example, ICPSR checks that codes in that appear in the data are consistent with the descriptions given in the NIBRS codebook. 5 Person offenses in this study include murder/non‐negligent manslaughter; kidnapping/abduction; forcible rape; forcible sodomy; sexual assault with an object; forcible fondling; robbery; aggravated assault; simple assault; and intimidation. 

7  

specify codes and simplifies use of the system.   Recently, the NACJD site has made the SDA System available for use on the extract files, which make possible multi segment analysis.    The SDA interface, however, limits the ability to extract relations in the data and explore NIBRS for missing data.  Moreover, it was not designed to provide customized views and schema often requested by crime researchers.      Another early attempt to make NIBRS analysis capabilities available on‐line was The National Consortium on Violence Research (NCOVR).  NCOVR provided web access to a hierarchical multidimensional data cube generated from a relational database implementation of NIBRS.  No query capabilities were available. The dimensions reflected the organization of NIBRS data into segments.  The cubes allowed users to select and filter NIBRS variables and count incidents.  The NCOVR site allowed users to aggregate data from regions of the country down to the local reporting agency. The NCOVR site stopped tracking NIBRS as data in 2004 (Edgar, Cohen, & Porter, 2004) and  NIBRS data from certain regions appeared to be missing.    In addition, to the aforementioned sites, the FBI now makes considerable NBIRS information available on offenses in data tables on its NIBRS site (FBI: UCR (2016)).   For example, to give an idea of the detailed information available, for NIBRS 2016 data for the offense murder and manslaughter, breakdowns are available according to circumstance (e.g., argument, assault on law enforcement office, drug dealing, etc.).    For a range of other offenses, victim, offender, incident, relationship, arrestee and other information are available.  The FBI site makes the data available for download in precomputed Excel or PDF files.    Both NCOVR and NACJD provided valuable services, but offer limited analysis capabilities for NIBRS data.  NCOVR provided essentially multidimensional OLAP (MOLAP) processing in the form of data cubes.  NACJD extract files facilitate access to data in multiple segments.  However, multiple response data elements make the extract files complex and significant processing is often required to extract desired information.  Neither system makes it easy to explore relations in the data or perform iterative queries.            For the past several years the FBI has been providing increased access to NIBRS data on its Crime in the United States Web site. (Federal Bureau of Investigation, 2016). The site provides precomputed data tables that make information available for a range of offenses.  For a given offense, different tables provide Information on victims, offenders and arrestees aggregated by age, race and sex. There are also tables that provide information on location, time of day, circumstance, relationship and type of weapon or force used.   4.  A relational database implementation  

In this section we describe a relational database implementation of NIBRS data.   Analysis facilities based on the SDA and data cubes allow end users to access and analyze NIBRS data.  A relational database implementation, on the other hand, gives data processing specialists or anyone familiar with SQL, the opportunity to explore NIBRS data in ways not possible with systems designed primarily for end user analysis.  For example, with a relational database it is easy to examine NIBRS for frequency of missing data, the extent to which multiple segments occur, and to extract relations in the data, for example, age versus multiple offenders and victims. (See section 5.)  In addition, with a database implementation, specialists can create specialized views of the data for crime researchers, which then can be queried iteratively or exported into spreadsheets.  Non‐specialists can then employ features such as pivot tables in spreadsheets to analyze the data much as one would with a data cube.   

8  

Finally, modern databases include a number of features that optimize processing of the data and help us verify the referential integrity of the data when adding newly released NIBRS data to our collection. 

 Our implementation mirrors the structure of the 13 NIBRS segment files provided by ICPSR 

(NACJD, 2010).  ICPSR provides NIBRS data in 13 linked ASCII segment files, each of which is easily converted to a relational database table.  Besides cleaning the data and checking it for referential integrity, ICPSR also includes in Victim, Offender, and Arrestee Segment records an attribute that indicates the number of such records associated with a given incident.  Our implementation includes all NIBRS data available at ICPSR for the years 1995 through 2015 and thus facilitates multiyear analysis.  A list of the attributes in each of the six main Group A segment tables in our implementation appears in Appendix II.    Note that we have added the NIBRS release year as an attribute to all tables.   This is required because incident records can be duplicated in subsequent years as discussed in the next section. 

 In our implementation, the Administrative Segment functions as a master table where each 

incident record is uniquely identified by the incident number, ORI code, NIBRS release year and incident date.  Since all our tables include NIBRS data for multiple years, these four attributes together uniquely identify an incident in the Administrative Table and allow us to link information in other tables to a particular incident.   Attributes in the Administrative Table, which appear in the original NIBRS data, indicate the total number of Victim, Offense, Offender, Property and Arrestee segments associated with a given incident.  It is important to note that information for a NIBRS incident may be duplicated in a subsequent released year; i.e., information for one NIBRS incident may appear in two successive years.  The only attribute that distinguishes the records is the NIBRS release year.  The four aforementioned keys allow us to detect when incident information is duplicated in the data set.  Most researchers seem to be unaware of this duplication in NIBRS; however, this occurs in a very small percentage of incidents, less than 1.5 % per year in the data we have analyzed.     We have implemented all other segments provided by ICPSR as tables and have added the required keys to link the information to an incident.  In addition to the four keys mentioned, the victim, offender, and arrestee tables each contain a sequence number, which is needed to identify a record in those tables since each incident can include multiple records from these segments.  For a given incident, for example, the sequence number in the victim table indicates the particular victim for which the victim record provides information.  Sequence numbers in the other tables serve the same purpose.  Additional keys in the Offense and Property Segments distinguish multiple records associated with a single incident in those files.  As noted, NIBRS uses a system of codes to indicate just about all data element values.  For example, for a given incident, the offense table uses one of 58 different codes to indicate the particular offense value.    

Besides the six main tables (Appendix II) that provide information on Group A incidents, NIBRS includes seven other segments which we include in our database implementation.  NIBRS provides information on each ORI such as geographic, demographic, NIBRS submission and other organizational information. Three separate batch tables (Batch1, Batch2 and Batch 3) provide this data and in each the ORI number and NIBRS release year provide unique record identifiers.  We include Batch files for all years for researchers who might be interested in studying, for example, how agency participation varies over time.  In addition, Group B offenses are listed in a separate table that is not linked to other tables in the database.  Here the ORI, Incident number, Incident date, NIBRS release date and arrestee sequence number are the attributes needed to distinguish records.  The table includes an arrestee sequence number to distinguish different arrestees recorded for the same incident.  Our implementation also 

9  

includes as tables the three Windows Segments released with NIBRS.  These segments provide information on exceptional clearance, recovered property and arrests that might be made after NIBRS data is submitted.  Record counts of the three Windows tables, which appear in the next section, indicate this type of data is provided infrequently.    

In addition to the 13 NIBRS tables built from NIBRS segments, our implementation includes 46 additional supporting tables. Since NIBRS data consist mainly of codes, the code descriptions found in the NIBRS codebook must be associated with these codes to understand the data.  Our implementation provides tables that map codes to descriptions; supporting tables include UCR Offenses, Bias Motivations, Property Descriptions, Types of Activity, Relationships of Offenders and Victims, Type of Criminal Activity, Type of Weapon or Force Involved, etc.  These additional tables are an important feature of our implementation as they are needed to enforce referential integrity, provide analysts with a quick description of the codes, and facilitate report generation.  These tables can be viewed as our application’s data dictionary and are derived from the NIBRS codebook.     In our implementation, we maintain the NIBRS structure of multiple responses for certain data elements.  Such implementations, although not characteristic of a normalized database, facilitate processing and limit the complexity of the database, especially for a data warehouse environment.  As noted, the Victim, Arrestee, Offense and Property Segments (Tables) contain multiple response data elements.  Multiple response data elements in the six main NIBRS segments are indicated in Appendix II.   

A modern database6 provides many optimizations that can take advantage of the structure of NIBRS data.  For example, the indexing capabilities and caching schemes used can dramatically speed up processing.  Even database joins, a computationally intensive operation, can take advantage of the fact that most incidents involve very few multiple segment records.   Modern features such as partitioning can speed up a range of operations. In NIBRS data processing, for example, partitioning by year is very natural and allows those interested in specific years to avoid the large costs or processing tables that contain data for all years.   For most studies we prepare for researchers, pre‐computed data views (or tables) that support subsequent queries and require no further joins.  Finally, modern database systems provide a host of add on tools for data mining, data warehousing and building custom applications, which are optimized to work with the database.    Another significant effort was the building of facilities to update the database when additional NIBRS data is made available at the NACJD.  We have developed scripts that add NAJCD segment files to our existing database.  The database employs the supporting tables to enforce the referential integrity of the database when data is added.  For example, if the FBI adds codes to NIBRS, the supporting tables must be updated.  Indeed the referential integrity check that occurs when the data base is updated is a computationally intensive operation. Our database runs on an HP ProLiant ML 350 Gen 9 Server with 32 gigabytes of RAM.   

  

5. Use of the NIBRS relational database to examine NIBRS data     In this section we use the relational database implementation to examine NIBRS data.  We examine the size of the database segments for the years 1995 through 2015, the frequency of multiple 

                                                       6 Our current implementation uses Oracle 12c Enterprise Edition, Release 11.2.0.1.0, 64 Bit Production 

10  

segment records, and the increasing use of computers in a range of different crimes. We also illustrate the use of a join to extract relationships from the data. 

   Table 1 shows how the number of NIBRS records in each of the non‐Batch NIBRS segments has increased during the period from 1995 to 2015.    For example, the second column shows the number of Administrative Segments records is the total number of incidents in the NBIRS database for the 1995–2005 period and the table shows there are about 29 million incidents during that period.  The total number of records in each of the Offense, Property, Victim, Offender and Arrestee Segments is not much larger than the number of incidents in the Administrative Segment since few incidents involve multiple segments.    NIBRS makes use of duplicate records to handle information uploaded in the year following an incident, which can affect incident counts. We explore this later. 

  

  

Table 1. Sizes of NIBRS Segments John Jay NIBRS Relational Database 

Segment Type  Record Counts (in millions, first 7 rows)  Columns (attributes)  

  ’95‐‘05  ’95‐‘08  ’95‐‘15  Current NIBRS 

1. Administrative  29.1  44.1  79.7  17 

2. Offense  31.9  48.4  87.9  26 

3. Property  33.3  50.7  93.8  25 

4. Victim  31.7  48.2  88.0  55 

5. Offender  32.9  50.0  90.8  12 

6. Arrestee  8.0  12.4  23.9  21 

7. Group B Arrest  9.9  14.6  26.5  19 

8. Window Exceptional Clearance 

11,502  16,611  38,357  27 

9. Window Recovered Property 

7,086  11,074  18,952  35 

10.Window Arrestee  156,791  179,559  241,187  32 

  

The last columns show the number of different attributes in each segment record.  This number is approximately the same as the number of NIBRS data elements tracked in the segment. The number is slightly larger since in each record several attributes contain data needed to manage the database, for example, the NIBRS released year is needs to be recorded in each segment. The released year and incident year are usually but not necessarily the same.   Also, each segment record maintains a count of the total number of records in that segment that are associated with a particularly incident.   

 The Window segments allow ORIs to submit additional information for a Group A incident if 

information was not available for the initial submission.  Submitting agencies use these segments to record exceptional events, for example, an ORI changes from a UCR summary submitter to NIBRS incident data submitter, a subsequent event causes the incident to be cleared, or an arrest is made at after the initial submission.   Table 6 shows a very small percentage of incidents involve Windows Segment submissions.  

11  

    Not listed in the table are the segments Batch1, Batch 2 and Batch 3, which provide information on the ORI, population information,  and submission information.  For the past three years the FBI has consolidated information in these files into one batch file   Our relational database splits the information in this one large batch file into three files as in earlier releases of NIBRS data.   Each of these Batch segments contains 22,537 distinct ORI records for 2015, one for each reporting agency.   Although some information in Batch Segments is duplicated from year to year, we add these files each time we update the database since they include information on NIBRS agency participation trends.    Table 2a gives counts of incidents with single and multiple segments for NIBRS data from 1995 to 2015.  The table shows about 17.3 million incidents (about 22%) have just one Arrestee Segment while about 2.2 million (about 3%) have two Arrestee Segments.  For each incident in NIBRS, attributes in the Administrative Segment provided by ICPSR and used in our relational database implementation indicate the number of arrest, offender, offense and victim records associated with an incident.   Notice that in the entire data collection (1995‐2015) very few incidents have more than three segment records.  For example, of the over 79 million incidents in the NIBRS 1995‐2015 data collection, only about 123,535 incidents (about 0.16%) have 4 arrest records.   Analysis with our date base indicates that under 2% have four or more records.   As expected the number of offenses associate with an incident decrease less rapidly but nonetheless analysis shows that only about .6% of incidents have 4 or more Offense records.  

   Table 2a. Incidents with Multiple Records 1995‐2015 

 

  Number of Records per Incident  Segment   1  2 3 4 Arrestee  17,329,233  21.75%  2,207,330 2.77% 423,080 0.53%  123,535  0.16%

Offense  71,715,271  90.01%  5,950,932 7.47% 1,320,391 1.66%  436,482  0.55%

Offender   72,083,712  90.47%  6,927,813 8.70% 596,652 0.75%  56,083  0.07%

Victim   73,380,728  92.10%  5,168,540 6.49% 746,749 0.94%  205,587  0.26%

Percentages based on 79.7 million incidents in 1995‐2015 data collection 

    

   Table 2b. Incidents with Multiple Records 2015 only 

 

  Number of Records per Incident  Segment   1  2 3 4 Arrestee  1,259,886  24.93%  146,591 2.90% 24,356 0.48%  6674  0.13%

Offense  4,532,042  89.66%  402315 7.96% 80674 1.60%  25799  0.51%

Offender   4,504,537  89.12%  493675 9.77% 49541 0.98%  5764  0.11%

Victim   4,585,143  90.71%  384375 7.60% 56808 1.12%  15574  0.31%

Percentages based on  5.1 million incidents in 2015 data collection 

 Table 2b show the numbers and percentage of segment records per incident for the NIBRS released year 2015 only.   Note the close agreement with the results in Table 2a which provide data for the period 1995‐2015.  Examination of each year throughout the 1995‐2015 period shows the same remarkably close agreement to the results in Tables 2a and 2b.   

12  

 Collecting incident‐based data on a national level and releasing it for research purposes presents 

a number of challenges.  It may be necessary for reporting agencies to submit data to the FBI at different times if new data associated with an incident becomes available.  In our implementation of NIBRS, the Administrative Segment contains two date attributes:  the Incident Date and the NIBRS Release Date.   The Incident Date is usually the date the incident occurred.  If this date is unknown, NIBRS uses the date the incident was reported.  The NIBRS Release Date is the date ICPSR assigns to the data set.  Typically, the Incident year is the same as the NIBRS Release year.  Table 3 shows the numbers and percentages of incidents where the NIBRS Release year differs from the NIBRS Incident year.  The percentage of such incidents in the database is relatively small, 1.43% or less.   

 The ICPSR NIBRS Extract files facilitate use of NIBRS data by collecting up to 3 segment records 

with an incident or segment record. Various Extract Files are available depending on the desired unit of analysis.  The decision to include only up to 3 records should make little difference for most studies involving NIBRS data.   

 Currently, the FBI does not close out a NIBRS year until 14 months after the end of the year, in 

February of the following year.  An incident that occurs and is reported to the FBI in December may not have complete information.  The ORI may provide that information in the next year and it will appear in the NIBRS collection for the subsequent year.  In such cases, NIBRS data will contain two identical incidents in subsequent NIBRS Release years.    Care must be taken in counting incidents over multiple years since identical incident records can appear in different NIBRS release years.   Sometimes the clearance date will indicate additional information for the incident that became available later. Often an arrestee record date will indicate that the arrest was made in a subsequent year.    The arrestee date is frequently updated in the first year the incident appears.  As one might expect, incidents that occur late in the year are far more likely to result in a duplicate record in a subsequent year.    

  

Table 3a.    NIBRS Released Year vs. Incident Year(1995 – 2015 data sets)

NIBRS Released Year   Incidents where Released  year is not the same as Incident year    

Percentage of incidents where released year not the same as incident year   

Total Released year Records  (number of incidents in Administrative Segment)  

2015  68,091  1.35%  5,054,699 

2014  67,010  1.34%  4,986,370 

2013  72,288  1.43%  5,070,862 

2012  68,357  1.30%  5,261,649 

2011  63,905  1.26%  5,084,696 

2010  61,940  1.22%  5,060,854 

2009  60,658  1.20%  5,052,752 

2008  56,882  1.13%  5,016,,841 

2007  58,303  1.17%  5,003,962 

2006  59,110  1.20%  4,906,781 

13  

2005  52,351  1.13% 4,614,054 

2004  46,490  1.14% 4,083,571 2003  39,856  1.10% 3,637,432 2002  36,941  1.07% 3,455,589 2001  200  * 3,232,281 2000  22,407  0.89% 2,841,523 1999  20,484  0.95% 2,157,326 1998   102  * 1,822,675 1997   56  * 1,426,978 1996   81  * 1,064,763 1995  168  *     837,014 

*Data for these years reflect varying compliance standards in early NIBRS years        Table 3b.  shows how the number of Administrative records or incidents reported by LEAs each year has changed  from 1995 to 2015.   In the early years of the NIBRS program there were significant year‐to‐year increases as additional agencies participated in the program. Table 3a. shows that since 2006 the number of incidents has remained fairly stable – around 5 million incidents reported per year.   This reflects a stabilization in the number of agencies submitting data through the NIBRS program. Another possible factor is that overall crime rates have remained stable during this period.       Note that since 20013 no NIBRS reporting agency is reporting more than 100,000 incidents per year and the number reporting more peaked at 3 in 2007.   Again, this may be due to a decrease in crime rates during the period.  In addition, no new agencies that service large municipalities have been added in recent years.  We expect this will change as the FBI adds 400 additional agencies, including those representing large cities, through the National Crime Statistics Exchange. (Federal Bureau of Investigation: CJIS‐Link. (2015)). The FBI expects all crime reporting to be done through the NIBRS beginning in 2021.  

   

Table 3b. Numbers of Incidents Reported by Law Enforcement Agencies 

NIBRS RELEASE YEAR 

between 1 and 10 

between 11 and 100 

between 101 and 1,000 

between 1,001 and 10,000 

Between 10,001 and 100,000 

more than 100,000 

Grand Total 

1995  111  380  585  170  9  1,255 

1996  128  422  712  211  14  1,487 

1997  118  477  830  292  21  1,738 

1998  158  598  1,114  356  23  2,249 

1999  241  771  1,385  427  28  2,852 

2000  304  884  1,624  516  37  3,365 

2001  310  1,022  1,665  567  46  1  3,611 

2002  383  1,042  1,716  616  51  1  3,809 

2003  473  1,128  1,987  645  53  1  4,287 

14  

2004  504  1,237  2,019  705  58  2  4,525 

2005  475  1,222  2,144  775  64  2  4,682 

2006  488  1,233  2,245  807  66  2  4,841 

2007  480  1,278  2,276  827  71  3  4,935 

2008  476  1,381  2,396  859  70  2  5,184 

2009  508  1,561  2,589  866  69  2  5,595 

2010  484  1,624  2,615  871  66  2  5,662 

2011  512  1,712  2,678  902  69  1  5,874 

2012  541  1,754  2,794  928  68  1  6,086 

2013  562  1,788  2,828  887  64  6,129 

2014  532  1,929  2,858  874  65  6,258 

2015  523  1,913  2,899  881  68  6,284 

Grand Total 

8,311  25,356  41,959  13,982  1,080  20  90,708 

    In 2016, 6,849 agencies, 37.1 percent of all agencies eligible to participate, reported crime data through NIBRS. (U.S. Department of Justice, 2017a) These agencies covered approximately 100 million persons or about 31 percent of the United States’ population.  Our studies indicate that despite covering only about one third of the population, crime breakdowns and crime trends seen in NIBRS data closely resemble those in other widely used crime data sources (Abdu et al.2016, Abdu et al. 2017).  See Appendix I for a discussion of NIBRS participation trends.  

The relational database facilitates multiyear analysis.  Table 4 shows the percentages of incidents where selected offenses involve the use of a computer.   The table provides a snapshot of NIBRS data at five year intervals.  As expected, wire fraud and pornography/obscene materials offenses are far more likely to involve a computer than other offenses.   Although the reported computer use for most crime categories is small, most categories show considerable increases from 1995 to 2005 and less of an increase from 2010 to 2015.  Certain categories such as betting/wagering, drug/narcotics violations, extortion blackmail, and intimidation show a leveling off or a slight decline from 2000 to 2005.  

 

Table 4. Incidents Where Offense Involves Use of a Computer 

     

1995  2000  2005 

Betting/Wagering  98  0 0.00% 525 3 0.57% 793  2 0.25% 

Confidence Game  7,362  21 0.29% 40,392 276 0.68% 107,951  1685 1.56% 

Counterfeiting/Forgery  13,133  5 0.04% 60,251 520 0.86% 119,949  1513 1.26% 

Drug/Narcotic Violations  59,553  33 0.06% 245,132 407 0.17% 441,957  371 0.08% 

Embezzlement  2,112  9 0.43% 18,818 84 0.45% 21,397  187 0.87% 

Extortion/Blackmail  121  0 0.00% 488 7 1.43% 1,108  7 0.63% 

Gambling Equipment Violations 

119  0 0.00% 320 1 0.31% 582  1 0.17% 

Impersonation  726  0 0.00% 7,451 68 0.91% 40,988  594 1.45% 

15  

Intimidation  26,718  14 0.05% 118,589 366 0.31% 224,300  665 0.30% 

Pornography/Obscene Material 

216  0 0.00% 1,103 108 9.79% 2,457  391 15.91% 

Robbery  13,319  2 0.02% 50,996 37 0.07% 109,126  21 0.02% 

Teller Machine Fraud  2,881  10 0.35% 18,720 327 1.75% 50,351  1171 2.33% 

Wire Fraud  172  5 2.91% 656 84 12.80% 3,187  592 18.58%  

2010  2015 

Betting/Wagering  1,210  5 0.41% 478 11 2.30% 

Confidence Game  111,711  2415 2.16% 145,522 5215 3.58% 

Counterfeiting/Forgery  93,498  1463 1.56% 91,873 2058 2.24%

Drug/Narcotic Violations  543,377  542 0.10% 632,780 830 0.13%

Embezzlement  19,756  243 1.23% 23,224 447 1.92%

Extortion/Blackmail  1,519  62 4.08% 2,311 275 11.90%

Gambling Equipment Violations 

637  14 2.20% 369 9 2.44%

Impersonation  62,254  1842 2.96% 122,586 7063 5.76%

Intimidation  251,918  1666 0.66% 229,882 3238 1.41%

Pornography/Obscene Material 

6,501  1301 20.01% 12,404 2877 23.19%

Robbery  125,139  67 0.05% 111,966 80 0.07%

Teller Machine Fraud  88,848  4001 4.50% 103,883 4148 3.99%

Wire Fraud  5,235  912 17.42% 8,743 1545 17.67%

    This type of NIBRS data raises several questions.    First, in this study we are counting incidents and all data are derived from the associated offense segment/s. If one or more offenses associated with the incident involve computer usage, we count the incident.  Second, each offense record contains three attributes, Offender Suspected of Using 1, 2 or 3.   Each attribute can have one of the responses: alcohol, drugs, computer equipment or not applicable. The SQL statement that generated the above data looked for the code for computer use in each of these fields and assumed the data were consistent, i.e., only one field indicated that computer equipment was involved.  In multiyear analysis, the increase in computer use may simply be due to better data gathering and reporting systems in use by agencies submitting data through NIBRS, which increases the likelihood that data will be provided for this attribute.    The consistency of results over different crime categories, however, indicates the results are not just due to the way the data were collected.   The results presented here indicate that this data item often is likely not to be reported.     As noted our implementation follows NIBRS and simply creates separate attributes for multiple response data elements.  Listing these multi response data elements as separate attributes rather than 

16  

implementing them in a separate table simplifies the database and facilitates processing at the cost of possibly slightly more storage. The victim segment has the most multiple response data elements.  For example, NIBRS will record up to five possible injuries suffered by a victim.  Each is listed as a separate attribute in the victim segment, injury 1,2,3,4 or 5.  A study of NIBRS victim records shows only about 21% of the victim records have injury 1 populated with a code; 50% of those records (or 11% of all victim records) contain the injury type “none” indicating that the victim did not suffer an injury.  The data indicate injury attributes 2 and higher are seldom used7.    The Victim Segment also records up to 10 different offenses associated with the victim.  Again, each is a separate attribute in the table. The Victim Segment also lists up to 10 different offenders and their relationship to the victim.  About 25% of victim records list one or more offender/victim relationships, about 5% list two or more and only about 1% list three or more relationships.   This results hold not only for the 1995‐2015 data collection but also can be seen in each year of NIBRS data since 2000.     Studies that require NIBRS data in different segments have long posed difficulties for data analysts.  In a relational data base, the join is the standard tool to merge data in two or more different segments or tables.  Even though this might appear computationally intensive, the fact that a NIBRS incident is likely to involve only a few offender, victim or offense records limits the computational costs.  In addition, data from different segments is often easy to obtain by using SQL queries which don’t require a join. However, as illustrated in Table 5., joins can often produce tables that can then be mined to reveal interesting trends in the data.    One study of NIBRS data often of interest is the relationship between the age of the victim and offender.  Here we show a join of the victim and offender tables that provides a list of incidents sorted by ORI code, incident number, offender sequence number and victim sequence number.  A sample of the resulting table appears as Table 5.   The table highlights an incident where there are multiple victims and offenders.  For the incident beginning at line 3, we see there are 4 offenders and 2 victims.  The table clearly shows the relationships between the ages of victims and offenders.  The data in the complete table show a strong correlation between the age of the victim and offender.  In addition, there is a strong correlation between incidents that have multiple victims and offenders and the ages of those involved.   

  Table 5. Victim/Offender Join

  ORI Code 

Incident Number 

OffenderSequence No. 

OffenderAge 

Victim Sequence No.

Victim Age 

IncidentDate 

1  CO0030400  CI0BRFRH‐2 N  1 23 3 33  09‐Nov‐00

2  DE0020300  LT01KETVV0 N  0 00 1 39  16‐DEC‐02

3  DE0020600  LI01KVBRTU N  1 11 1 09  06‐OCT‐04  DE0020600  LI01KVBRTU N  1 11 2 08  06‐OCT‐05  DE0020600  LI01KVBRTU N  2 10 1 09  06‐OCT‐06  DE0020600  LI01KVBRTU N  2 10 2 08  06‐OCT‐07  DE0020600  LI01KVBRTU N  3 10 1 09  06‐OCT‐0

                                                       7 Of the 88 million victim records in 1995‐2015 NIBRS collection, about 20% have a code listed for injury 1 and are not null.  For Injury 2 less than 176 thousand (less than .2% of victim records) have a code listed.  Use of the remaining injury attributes is negligible.       

17  

8  DE0020600  LI01KVBRTU N  3 10 2 08  06‐OCT‐09  DE0020600  LI01KVBRTU N  4 12 1 09  06‐OCT‐010  DE0020600  LI01KVBRTU N  4 12 2 08  06‐OCT‐0

11  IA0820200  7Z1C7REMQ‐F  1 40 1 41  24‐JAN‐02   In computing the join we included records where the offender’s sequence number might be 0.   (See row 2 in Table 5.)  NIBRS uses this code value to indicate that nothing is known about the offender, possibly not even the number of offenders.  Ages are stored as character strings in NIBRS, and the age attribute normally would contain an age, as is the case with most entries in the age column in the table.  A code value of ‘00’ indicates that the age was either unknown or left blank.   Of the 50,036,343 Offender Segment records in the 1995–2008 NIBRS collection, 12,853,346 (about 25%) have an age value of ‘00’ and about 15,841,074 (about 32%) have a sequence number of 0.   Thus, missing data in NIBRS may impact the conclusions we reach using NIBRS data for victim‐offender age studies.       We have notice a number of other NIBRS incident variables are missing or frequently not reported.  For example, NIBRS gives investigators the opportunity to record the circumstances surrounding a criminal activity. The circumstances are a multi response variable in the Victim Segment and up to two circumstances may be recorded.   NIBRS provides codes for the following: argument, assault on law enforcement, drug dealing, gang activity, child playing with weapon.  (A complete list appears in the codebook).    In only 4 to 5% of victim records is there at least one code that indicates the circumstances surrounding an incident.  Moreover, this frequency is remarkably consistent throughout the 1995‐2015 collection.        As illustrated, having NIBRS in a relational database facilitates a variety of studies.  Moreover, one can employ the power of the join, a feature in the SQL Select statement, to extract relationships.  In addition, modern databases employ various techniques such as partitioning and indexing to optimize data processing.  Here we have shown that despite rather large tables, a modern database can take advantage of the NIBRS structure to perform an SQL join of the largest NIBRS tables on fairly modest computing equipment at reasonable cost.  Finally, as noted databases usually provide checks for data referential integrity which ensures our database code tables have all NIBRS codes when new data are download from NACJD.  This is particularly valuable when new offense or other codes are added by the FBI.   6. Precomputed views of NIBRS data and interactive analysis capabilities       In this section we use our relational database and modern spreadsheets capabilities to enable analysts to create views of NIBRS data.  The basic idea is to let a database expert use SQL commands to generate the raw data needed for a range of studies, and then let the analyst import the data into a spreadsheet and develop views of the data needed for his or her particular study8.   Here we extract NIBRS data that allows researchers to study offender demographics and the use of a computer in various offenses.   Using modern spreadsheet features such as Pivot Tables found in Microsoft Excel, analysts can perform analyses similar to those done with data cubes, for example, aggregation and disaggregation according to different demographic features.  In addition, modern spreadsheets provide a wide range of statistical and report capabilities that can be applied to the data.    

                                                       8 Of course the data could also be imported into a statistical package such as SAS or SPSS. 

18  

We assumed the analyst was interested in studying offenders who committed various types of offenses where a computer played a role. We were interested in providing capabilities that would allow analysts to aggregate counts of offenders according to a specific offense and demographic features such as race, age and gender.  Thus, the data would allow analysts to determine if an offender in a particular age group might be more likely to use a computer in a given type of crime.  In addition to selecting the offenses with the pivot table feature, users also can select the years for which counts are presented.  In order to study age, we divided ages up into the following 10 year categories: child (0‐10); teen (11‐20); young adult (21‐20); three middle age categories 31‐40, 41‐50, 51‐60; and two senior categories 61‐70, and 71‐80.  With the pivot table feature, users have the option of combining these categories and simply studying the offender counts aggregated according to race and gender. 

 Generating the raw data for the spreadsheet pivot table required linking data elements in the 

Offense and Offender NIBRS segment tables.  In NIBRS, the multi response data element that indicates computer involvement, “Offender Suspected of Using (1‐3),” is in the Offense Segment.  When provided, the possible responses for the Offender Suspected of Using attributes are a combination of one or more of the following: drugs, alcohol, computer equipment, or not applicable.  The code for computer equipment may appear in any one of the three attributes which complicates processing.  The type of crime is indicated by the UCR offense code attribute in the Offense Segment. The offender demographic attributes, age, gender and race, are in the Offender Segment.   If an offense is linked to multiple offenders, NIBRS does not distinguish if a particular offender made use of a computer and another did not.  Thus, if four offenders are linked to an incident involving one offense, we would count four offenders as having made use of a computer in the crime.   In this study offenders are counted for each offense.  If an offender is involved in two offenses, the offender will appear in the counts for each of those offenses.  

    An SQL join of the Offender and Offense Segment tables produces the intermediate table that contains the data imported into the spreadsheet pivot table.  (See Appendix III) Attributes in the intermediate table, which are derived from the original segment tables, include the NIBRS Released Year; the ORI and Incident Codes; a description of the UCR offense; and the race, age group and gender of the offender.  The age groups were calculated as part of the SQL join.  We restricted the list of records in the intermediate table to include only those incidents where the released year matches the incident year to avoid record duplication. (We have already discussed the problem of duplication in multiyear NIBRS studies.)   Once the intermediate table (or raw data) is imported into the spreadsheet, many different studies are possible.   The three tables presented in this section were derived from one pivot table and the raw data generated by the join.  The spreadsheet pivot table feature provides clickable buttons that enable aggregation and disaggregation of various demographic features, inclusion or exclusion of features, selection of offenses, and selection of years.    

   Table 6 shows offender counts for pornography offenses in which the offender is suspected of using a computer. The offender counts are aggregated by age groups.  In this study the analyst has chosen to display snapshots at 5 year intervals beginning at 2000 and ending at 2015.   The age groups 1‐10 and 71‐80 are not shown since in each case only one offender was listed for the entire period.        

19  

 

Table 6 Offender Counts Offender suspected of using a computer) 

Aggregated According to Age Group  

Offense  Age  2000 2005 2010 2015 Total  Pornography Obscene Material 

11‐20  20 60 313 1057 1450 

21‐30  21 74 241 372 708 

31‐40  10 70 173 255 508 

41‐50  17 52 135 196 400 

51‐60  4 33 93 126 256 

61‐70  0  13  28 56 97 

    Using the pivot table field list feature, we can deselect age and view the offender counts aggregated by race.  Table 7 shows offenders aggregated by race while age is suppressed. The offender counts are listed for various NIBRS racial categories, Black (B), White (W) and Native American (N) and Pacific Islander (I).  We also list number of offenders where race is either Unknown (U)  or  Blank. The table rows  again show how these values change over time.  Here again only one offense is shown.   

Table 7. Offender Counts Offender suspected of using a computer 

Aggregated According to Race  

Offense  Race   2000  2005 2010 2015 Total  Pornography Obscene Material 

N    1  5 2  12  20 

B    5  8 59  249  321 

I    1  1 4  14  20 

U    42  29 105  272  448 

W    60  282 918  1804  3064 

Blank 0  67 213  924  1204 

    

The pivot feature allows us to do various studies on the raw data produced by a join of the offender and offense segments.  Table 8 shows offender counts for two selected offenses, embezzlement and wire fraud.   Here we aggregate offenders according to age and gender.  We also choose to display only 5 year snapshots for the years 2000 to 2015.      

20  

  

Table 8. Offenders Counts Embezzlement and Wire Fraud 

Aggregated According to Age Groups 

Count of offenders: Aggregated by Offense, Age and Gender 

  

Year  

Offense  Description 

Age Group  Gender  2000 2005 2010 2015  Total

Embezzlement  11 – 20  F  11 14 17 41  83

     M  4 7 10 23  44

  20 – 30  F  17 29 42 83  171

     M  11 23 31 75  140

   31 – 40  F  9 31 31 53  124

      M  8 13 29 38  88

   41 – 50  F  5 21 24 35  85

      M  3 10 8 26  47

   51 – 60  F     4 12 18  34

      M  1 3 4 9  17

       

Wire Fraud  11 – 20  F  1 2 8 10  21

      M  9 18 10 12  49

  20 – 30  F  1 19 31 19  70

     M  7 24 19 39  89

   31 – 40  F     11 10 25  46

      M  4 27 25 36  92

   41 – 50  F  1 6 9 27  43

      M  4 7 24 16  51

   51 – 60  F     4 8 12  24

      M  2 8 8 18  26

 

 The preceding tables only show counts of offenders for several different offenses.  These are 

presented simply to demonstrate some of the capabilities available in most modern spreadsheets.   Percentages could also easily be computed.  

  The numbers presented indicate that the Offender Suspected of Using Attribute frequently is 

left blank.  Other authors have noted that certain incident level details often are missing in NIBRS data.  Addington (2008), for example, examined the frequency with which the Circumstance attribute in the Victim Segment is left out in homicide cases.  (About 35% for NIBRS compared with 30% for the FBI’s Supplementary Homicide Reports.)    

This section illustrates one of the main values of a relational database implementation of 

21  

 NIBRS − it facilitates the preparation of NIBRS data to support a variety of specialized studies.  We are currently working with criminal justice researchers to provide raw data to support studies in several areas.  .  7. Missing Victim/Offender Information in Murder/Non‐negligent Incidents   

In this section we examine the frequency of missing data for the offense murder/non‐negligent homicide.  We begin by examining missing victim demographic data.   We then examine the frequency of missing offender data.   

 Missing victim data for the period 1995 to 2015 appears in Table 9.  The counts listed are the 

number of murder victims where age, race or gender is missing. The results show that since 2010 NIBRS recording is fairly complete despite some non‐recording spikes in earlier years in the collection.   

Table 9. Missing Victim Information   Age, Race, and Gender  

Murder/Non‐negligent Manslaughter – Offense 09A (1995‐2015) 

 

Row Labels   victims  age  is missing 

   race is missing 

 gender 

is missing 

 1995  458  6 1.31% 6 1.31% 0  0.00%

1996  643  13 2.02% 7 1.09% 3  0.47%

1997  749  18 2.40% 10 1.34% 0  0.00%

1998  1007  40 7.13% 22 5.28% 7  0.72%

1999  1275  35 4.99% 28 4.42% 7  2.71%

2000  1695  82 4.84% 52 3.07% 17  1.00%

2001  2055  93 12.59% 52 5.60% 15  0.77%

2002  2166  102 10.82% 55 4.35% 17  2.50%

2003  2253  67 4.70% 53 3.27% 8  1.15%

2004  2466  106 6.26% 59 3.39% 21  0.89%

2005  3443  131 10.99% 78 3.92% 14  1.20%

2006  3535  113 4.79% 67 2.70% 26  1.50%

2007  3559  99 4.28% 63 2.53% 16  0.47%

2008  3385  100 5.24% 97 5.87% 29  1.61%

2009  3622  81 3.50% 57 3.38% 8  0.23%

2010  3617  46 1.34% 51 2.50% 9  0.26%

2011  3722  51 3.57% 79 3.30% 15  1.49%

2012  3862  53 1.99% 66 3.99% 11  0.30%

2013  3713  59 2.84% 62 4.69% 14  0.39%

2014  3596  49 1.36% 73 2.03% 23  0.64%

2015  4234  58 1.37% 71 1.68% 14  .33%

22  

 Note that for the years 2001, 2002 and 2005 age of the victim is missing in over 10% of the 

victim records.  Since 2008 the percentage of records missing victim age has remained under 4%.  As expected, gender is seldom not reported throughout the period with rates consistently under 1.5 % since 2002 and typically below .5 %.    Race also is unreported in only a small percentage of cases  

 In Table 10, we present the numbers and rates of victims for the offense murder/non‐negligent 

manslaughter where offender demographic information is missing. Rates for missing offender information would be expected to be much higher than corresponding rates for victim information and this is what the Tables 9 and 10 show.  Victims and witnesses often are unable to provide detailed offender information.   In addition, frequently, no offender information is available unless there is an arrest, which might not occur. 

 

Table 10. Missing Offender Information Age, Race and Gender 

Murder and Non‐Negligent Manslaughter (1995‐2014) 

Victims

 offender age unknown 

 

 offender race unknown 

 

offender gender unknown 

1995  458  32  6.99% 26 5.68% 22  4.80%

1996  643  45  7.00% 43 6.69% 34  5.29%

1997  749  61  8.14% 54 7.21% 47  6.28%

1998  975  86  8.82% 66 6.77% 51  5.23%

1999  1230  98  7.97% 94 7.64% 73  5.93%

2000  1695  244  14.40% 184 10.86% 166  9.79%

2001  1958  210  10.73% 162 8.27% 146  7.46%

2002  2053  240  11.69% 183 8.91% 156  7.60%

2003  2132  230  10.79% 198 9.29% 168  7.88%

2004  2358  307  13.02% 266 11.28% 216  9.16%

2005  3320  596  17.95% 480 14.46% 399  12.02%

2006  3404  568  16.69% 431 12.66% 376  11.05%

2007  3420  464  13.57% 318 9.30% 261  7.63%

2008  3252  412  12.67% 345 10.61% 270  8.30%

2009  3457  467  13.51% 345 9.98% 271  7.84%

2010  3430  455  13.27% 310 9.04% 257  7.49%

2011  3544  500  14.11% 368 10.38% 317  8.94%

2012  3689  520  14.10% 373 10.11% 319  8.65%

2013  3551  475  13.38% 342 9.63% 298  8.39%

2014  3596  441  12.26% 383 10.65% 316  8.79%

2015  4234  608  14.27% 485 11.45% 404  9.54%

 

23  

The Table 10 shows that the rates of missing offender age, race and gender have been fairly consistent since 2000.  Since 2000, the missing age rate is about 13.5%, the missing race rate is about 10.4% and the missing gender rate is about 8.8%.   It is interesting to note that in the early years of NIBRS rates of missing demographic information were actually somewhat lower than in recent years.  NIBRS reporting in the early years of the program, however, was far more limited than today.  

 One of the most widely used sources of homicide data is the Supplemental Homicide Reports 

(SHR). Approximately 85% to 90% of homicides reported through the UCR Summary are represented in the SHR data collection.   However, participation in the SHR program is voluntary and reporting is often 

incomplete.  For example, approximately 30% of SHR cases have no offender (U.S. Department of Justice (2017c)).  The NIBRS rate is far lower, about 15%.  Yet the SHR is often the preferred source since the program is seen as a more representative sample of the US population.   With all UCR data collected through the NIBRS in 2021, NIBRS promises to be a key source of data for homicide studies as the data become representative of the US population.  

 8. Concluding Remarks    In this paper we have described some of the facilities available for analyzing NIBRS data including our own relational database implementation of NIBRS.   The relational database implementation offers many advantages; however, the analyst needs to work with a data processing specialist. With a relational database implementation, data processing specialists can develop views of NIBRS data suitable for particular studies.  Researchers can then use  powerful tools such as spreadsheet pivot tables to selectively analyze the data.  Finally, a relational database allows us to study NIBRS data quality and take full advantage of the rich collection of incident‐based crime data in the NIBRS.    The appendix IV describes how to get a copy of the NIBRS Relational Database.    Acknowledgements  

The authors gratefully acknowledge Henry Gallo who has played a key role in developing the IT infrastructure that houses John Jay’s Oracle implementation of NIBRS data.   We also acknowledge the contributions of Boris Bondarenko and Raul Cabrera who helped develop the initial implementation of the NIBRS relational database.  In addition, the authors  thank the FBI Criminal Justice Information Services, the ICPSR‐NACJD, and the NYS Justice Services Division for their helpful advice and willingness to take the time to answer our many questions.  Finally, the authors thank Tom Holt of The Michigan State School of Criminal Justice for his helpful advice on this project throughout the years. 

 The NIBRS project has been supported by a number of funding agencies.  These include 

NSF, NASA and the Center for Cybercrime Studies at John Jay College which provides the computing infrastructure that houses the NIBRS Relational Database.  We are especially grateful for recent funding from the National Institute Justice under the Data Resources Program: Funding for the Analysis of Existing Data, award no, 2014-R2-CX-0016.    

24  

 References  Abdu, E., Shenkin, P., and Salane, D.E. (2011).  Exploring NIBRS with a Relational Database, Center for Cyber Crime Studies Technical Report, 1‐23.   Abdu, E., Gallo, H., Salane, D.E., Shenkin, P. and Smith, M. (2015), Assessing and Enhancing the Utility of NIBRS Data. Presented at the American Society of Criminology Annual Meeting, Nov. 19, 2015, Washington, D.C. Available at http://web.math.jjay.cuny.edu/research1.php.  Abdu, Salane, D.E., Shenkin, P. (2016), Assessing the Utility of NIBRS Data. Presented at the American Society of Criminology Annual Meeting, Nov. 19, 2016, New Orleans, LA. http://web.math.jjay.cuny.edu/research1.php  Abdu E., Salane, D.E., Shenkin, P. (2017), Understanding Bias and Item Missing Data in NIBRS. Presented at the American Society of Criminology Annual Meeting, Nov. 17, 2017, Philadelphia, PA.   Available at http://web.math.jjay.cuny.edu/research1.php   Addington, L., (2004). The Effect of NIBRS Reporting on Item Missing Data in Murder Cases. Homicide Studies, 8, 193‐213.  Addington, L. (2008). Assessing the Extent of Nonresponse Bias on NIBRS Estimates of Violent Crime.  Journal of Contemporary Criminal Justice, 24, 32‐49.    Akiyam, Y. (October 1997). Cross Tabulations and Units of Count with NIBRS Data Elements. Federal Bureau of Investigation, Criminal Justice Information Services Divsion.  Akiyama, Y., & Nolan, J. (1999). Methods for Understanding and Analyzing NIBRS Data. Journal of Quantitiative Methods in Criminology , 15, 225‐238.  Chilton, R., & Regoeczi, W. (2005). The Importance of being specific: Offense, Victim, Offender, and Arrest Rates in NIBRS. presented at the annual meeting of the American Sociological Association. Philadelphia, PA: All Academic, Inc.  Dunn, C. S., & Zelenock, T. J. (1999). NIBRS Data Available for Secondary Analysis. Journal of Quantitative Criminology , 15 (2), 239‐248.  Edgar, P., Cohen, J., & Porter, J. (2004). Web‐Based Data Resources at the NCOVR Data Center. Carnegie Mellon University , National Consortium on Violence Research, Pittsburgh .  Federal Bureau of Investigation. (2009, January 14). About the Uniform Crime Reporting Program. Retrieved Februray 10, 2011, from Uniform Crime Reporting Statistics: http://www.ucrdatatool.gov/abouttheucr.cfm  

25  

Federal Bureau of Investigation. (2008). National Incident‐Based Reporting System, 2008: Codebook. United States Department of Justice, FBI. Ann Arbor, Michigan: Inter‐University Consortium for Political Science and Social Research. 

 Federal Bureau of Investigation. (2015). The Expansion of NIBRS. Retrived January 10, 2017, from 2015 National Incident Bases Reporting System: https://ucr.fbi.gov/nibrs/2015  Federal Bureau of Investigation: CJIS‐Link. (2015). New Initiative Aims to Increase Crime Reporting in NIBRS.  Retrived January 15, 2016, from https://ucr.fbi.gov/nibrs/2015 https://www.fbi.gov/services/cjis/cjis‐link/new‐initiative‐aims‐to‐increase‐crime‐reporting‐in‐nibrs  Federal Bureau of Investigation: UCR (2016). Data Tables.  Retrieved December 1, 2017 from https://ucr.fbi.gov/nibrs/2016/tables/data‐table  Federal Bureau of Investigation. (2017). NIBRS Overview.  Retrieved December 20, 2017 from  https://ucr.fbi.gov/nibrs‐overview  JRSA. (2008, February ). Status of NIBRS in the States. Retrieved January 2011, from IBR Resource Center: http://www.jrsa.org/ibrrc/background‐status/nibrs_states.shtml  Maxfield, M. (1999). The National Incident‐Based Reporting System: Reserach and Policy Applications. Journal of Quantitative Criminology , 119‐149.  NACJD. (2010). National Incident‐Based Reporting System Resource Guide. Retrieved February 10, 2011, from National Archive of Criminal Justice Data: http://www.icpsr.umich.edu/icpsrweb/NACJD/NIBRS/  NACJD. (2008). National Incident‐Based Reporting System, 2008 : Extract Files. Ann Arbor, Michigan: Inter‐university Consortium for Political and Social Science Research .  NACJD. (2010). NIBRS Data and File Specification. Retrieved March 15, 2011, from National Archive of Criminal Justice Data: http://www.icpsr.umich.edu/icpsrweb/NACJD/NIBRS/specs.jsp  NAJCD. (2017). Retrieved December 10, 2017, from http://www.icpsr.umich.edu/icpsrweb/NACJD/  NCOVR. (n.d.). Access NCOVR Data Sets. Retrieved Novmeber 10, 2011, from National Consortium on Violence Research: http://www.ncovr.heinz.cmu.edu//Docs/Direct_access_data_cubes_and_discoverer.htm#  Edgar, P., Cohen, J., & Porter, J. (2004). Web‐Based Data Resources at the NCOVR Data Center. Carnegie Mellon University , National Consortium on Violence Research, Pittsburgh .  NCJJ. (2010, September 23). Easy Access to NIBRS: Victims of Domestic Violence 2008. Retrieved May 10, 2011, from http://www.ojjdp.gov/ojstatbb/ezanibrsdv/  Roberts, A. (2009). Contributions of the National Incident‐Based Reporting System to Substantive Knowledge in Criminology: A Review. Sociology Compass , 3 (3), 433‐458.  

26  

SDA. (2011, March 29). SDA:Survey Documenation and Analysis System. Retrieved April 10, 2011, from http://sda.berkeley.edu/document.htm 

United States Department of Justice, Federal Bureau of Investigation. (2010, September). Crime in the United States 2009. Retrieved March 2011, from http://www2.fbi.gov/ucr/cius2009/about/index.html  U.S. Department of Justice (2017a). Uniform Crime Reporting Program: National Incident Based Reporting System. (2017). FBI Releases 2016 NIBRS Crime Statistics in Report and CDE, Promotes Transition of Agencies. December 11, 2017.  U.S. Department of Justice (2017b).  Federal Bureaus of Investigation, Criminal Justice Information Services Division, National Incident‐Bases Reporting System User Manual,  Version 2.2.  Available at https://ucr.fbi.gov/nibrs/nibrs‐user‐manual .  U.S. Department of Justice (2017c).  Office of Justice Programs:  Bureau of Justice Statistics. The Nations Two Measure of Homicide. Report NCJ 247060, July 2014       

27  

Appendix I – NIBRS Adoption    NIBRS adoption for reporting crime data to the FBI has been progressing albeit slowly.  Since NIBRS is a voluntary program, adoption by law enforcement agencies, especially in larger municipalities, has been slow.   According to the Justice Research Association (JRSA, 2008), as of Feb. 2008 about 37 percent of law enforcement agencies submitted crime data through the NIBRS program, which accounted for about 25% of the US population,   up from about 14% of the population in 2000.    As of 2008 the FBI had certified 31 states to submit crime data through the NIBRS.  In 2008, the largest reporting municipality was Fairfax County Virginia, which has a population just under one million.   In 2010, NIBRS submission accounted for 26% of the crime data collected and covered about 28% of the population (United States Department of Justice, Federal Bureau of Investigation, 2010).    

In 2016, 6,849 agencies, 37.1 percent of all agencies eligible to participate, reported crime data through NIBRS. (U.S. Department of Justice, 2017a).  These agencies covered approximately 100 million persons or about 31 percent of the United States’ population.  Thus since 2008 only an additional 3% of the population became covered by NIBRS. Since 2008, the number of NIBRS reporting agencies has been increasing by about 100 per year.   

 As we noted, by 2021 the FBI expects all UCR crime reporting to take place under the 

NIBRS program.   In just the last year (2015‐2016), over 600 additional agencies began reporting crime data through the NIBRS program.  In addition, the National Crime Statistics Exchange, a partnership between the FBI and Bureau of Justice Statistics, is in the process of recruiting 400 additional NIBRS reporting agencies which will include large municipalities.  The goal is to make NIBRS Data representative of the US population (http://www.theiacp.org/ncsx)      Despite programs to promote NIBRS reporting, municipalities have been reluctant to devote resources to developing systems that would not directly benefit operations.  NIBRS after all is for crime analysis and does not provide information such as names and locations needed for an operational system.  However, reporting agencies and states increasingly are using operational systems based on NIBRS standards. These systems facilitate NIBRS reporting as a byproduct9.   Based on the NIBRS standards, these systems provide information needed for use in operations, tools to glean intelligence, and various mapping tools to aid analysis.  

      NIBRS provides a standard for sharing crime information. Although separate programs, NIBRS provides the structure for data in submitted to the FBI’s National Law Enforcement Data Exchange Program (N‐DEx).  In fact, NIBRS data can be submitted to the FBI through N‐DEx (FBI web site and Police Chief Paper) but NIBRS submission for agencies that use N‐DeX is not required10.   

                                                       9 https://www.zuerchertech.com/news/west‐virginia‐goes‐live‐with‐zuercher‐nibrs‐suite  10https://www.fbi.gov/services/cjis/ndex  

28  

Appendix II ‐ Group A Segment Descriptions  ADMINISTRATIVE SEGMENT              NIBRS_Release_Date   State_Code   ORI_Code   Inicident_Number   INCIDENT_DATE INCIDENT_DATE_HOUR   TOTAL_OFFENSE_SEGMENTS   TOTAL_VICTIM_SEGMENTS      TOTAL_OFFENDER_SEGMENTS   TOTAL_ARRESTEE_SEGMENTS   CITY_SUBMISSION                                CLEARED_EXCEPTIONALLY   EXCEPTIONAL_CLEARANCE_DATE NUMBER_OF_RECORDS_PER_ORI     ARRESTEE SEGMENT NIBRS_RELEASE_ DATE, STATE_CODE, ORI_CODE INCIDENT_NUMBER INCIDENT_DATE  ARRESTEE_SEQUENCE_NUMBER ARREST_TRANSACTION_NUMBER ARREST_DATE    TYPE_OF_ARREST   MULTI_ARRESTEE_SEG_INDICATOR UCR_ARREST_OFFENSE_CODE    ARRESTEE_WAS_ARMED_WITH (1‐2)   AGE_OF_ARRESTEE   SEX_OF_ARRESTEE   RACE_OF_ARRESTEE   ETHNICITY_OF_ARRESTEE     RESIDENT_STATUS_OF_ARRESTEE                         DISPOSITION_ARRESTEE_UNDER18 NUMBER_OF_RECORDS_PER_ORI   OFFENDER SEGMENT  NIBRS_RELEASE_ DATE STATE_CODE ORI_CODE   INCIDENT_NUMBER   INCIDENT_DATE                          OFFENDER_SEQUENCE_NUMBER   AGE_OF_OFFENDER   SEX_OF_OFFENDER                  RACE_OF_OFFENDER NUMBER_OF_RECORDS_PER_ORI     PROPERTY SEGMENT, NIBRS_RELEASE_ DATE, STATE_CODE, ORI_CODE, INCIDENT_CODE   INCIDENT_DATE  TYPE_PROPERTY_LOSS   PROPERTY_DESCRIPTION   VALUE_OF_PROPERTY   DATE_RECOVERED  NUMBER_STOLEN_VEHICLES, NUMBER_RECOVERED_VEHICLES  SUSPECTED_DRUG_TYPE (1‐3)   ESTIMATED_QUANTITY (1‐3)   ESTIMATES_QUANTITY_FRACTIONAL (1‐3) TYPE_MEASUREMENT (1‐3)                                 NUMBER_OF_RECORDS_PER_ORI                           OFFENSE SEGMENT  NIBRS_RELEASE_ DATE STATE_CODE ORI_CODE   INCIDENT_NUMBER INCIDENT_DATE  UCR_OFFENSE_CODE   OFFENSE_ATTEMPTED_COMPLETED OFFENDER_SUSPECTED_USING (1‐3)     LOCATION_TYPE   NUMBER_OF_PREMESISES_ENTERED   METHOD_OF_ENTRY  TYPE_CRIMINAL_ACTIVITY (1‐3)   TYPE_WEAPON_FORCE_INVOLVED (1‐3)      BIAS_MOTIVATION NUMBER_OF_RECORDS_PER_ORI    VICTIM SEGMENT NIBRS_RELEASE_ DATE STATE_CODE, ORI_CODE   INCIDENT_NUMBER INCIDENT_DATE  VICTIM_SEQUENCE_NUMBER UCR_OFFENSE_CODE (1‐10) TYPE_OF_VICTIM   AGE_OF_VICTIM   SEX_OF_VICTIM   RACE_OF_VICTIM   ETHNICITY_OF_VICTIM RESIDENT_STATUS_OF_VICTIM    CIRCIMSTANCE (1‐2)   ADDITIONAL_JUSTIFIABLEHOMICIDE   INJURY (1‐4) OFFENDER_NUMBER_RELATED (1‐10)   RELATIONSHIP_VICTIMOFFENDER (1‐10)  OTHER_ORI_JURISDICTION   TYPE_ACTIVITY TYPE_ASSIGNMENT NUMBER_OF_RECORDS_PER_ORI          

                                                        

29  

 Appendix III  ‐  SQL Code to Extract NIBRS data for Offense/Offender Computer Use Study  rem ============================================== rem Date : 10/31/2010 rem SQL Code to list the offenders using computers in all NIBRS offenses. rem The age, gender, and race of each offender is listed. rem Also listed are the UCR offense code description and the NIBRS release rem year for the incident. rem Subtotals are listed for incidents involving multiple offenders. rem Table prepared for import into an Excel Spreadsheet. rem ============================================== SELECT nibrs_released, state_code, ori, description, age_of_offender_group, sex_of_offender, race_of_offender, number_of_incidents FROM (SELECT nibrs_released, state_code, ori, ucr_offense_code, age_of_offender_group, sex_of_offender, race_of_offender, COUNT(*) AS number_of_incidents FROM (SELECT a.nibrs_released, a.state_code, a.ori, a.ucr_offense_code, ( CASE WHEN age_of_offender > '00' AND age_of_offender <= '10' THEN 'CH' WHEN age_of_offender > '10' AND age_of_offender <= '20' THEN 'TE' WHEN age_of_offender > '20' AND age_of_offender <= '30' THEN 'YO' WHEN age_of_offender > '30' AND age_of_offender <= '40' THEN 'M1' WHEN age_of_offender > '40' AND age_of_offender <= '50' THEN 'M2' WHEN age_of_offender > '50' AND age_of_offender <= '60' THEN 'M3' WHEN age_of_offender > '60' AND age_of_offender <= '70' THEN 'S1' WHEN age_of_offender > '70' AND age_of_offender <= '99' THEN 'S2' ELSE age_of_offender END ) AS age_of_offender_group, b.sex_of_offender, b.race_of_offender FROM nibrs.offense a, nibrs.offender b WHERE a.nibrs_released = b.nibrs_released

30  

AND a.state_code = b.state_code AND a.ori = b.ori AND a.incident = b.incident AND a.incident_date = b.incident_date AND a.nibrs_released=Extract(YEARFROM a.incident_date) AND b.nibrs_released=Extract(YEARFROM b.incident_date) AND ( offender_suspected_using1 = 'C' OR offender_suspected_using2 = 'C' OR offender_suspected_using3 = 'C' )) GROUP BY nibrs_released, state_code, ori, ucr_offense_code, age_of_offender_group, sex_of_offender, race_of_offender) a left outer join ucr_offense_code b ON a.ucr_offense_code = b.code;                     Appendix ‐ IV   Availability of the John Jay Relational Database  

The John Jay Relational Database is now available for distribution.  Anyone running an Oracle Database on a platform with sufficient computing power should be able to import the entire John Jay NIBRS Relational Database with a few commands.  We have used the proprietary Oracle Data Pump utility to create a complete copy of the database in a 38.4 gigabyte file called NIBRS_Data.  With the Linux compression utility gzip, we were able to compress the file to a 4.5 gigabyte file called NIBRS_Data.gz.   The Data Pump utility (impdp) can be used to recreate the NIBRS database. Three files available from the Center for Cybercrime Studies website are useful in installing the NIBRS database – NIBRS_Data.gz, NIBRS_Data.log and NIBRS_Data.Readme .  NIBRS_Data.gz is the compressed version of NIBRS_Data and contains the NIBRS database. NIBRS_DATA.log was created when the database file NIBRS_Data was produced.  The log file provides a description of the tables in the NIBRS database.  The NIBRS_Data.Readme file contains instructions for installing the database from NIBRS_Data.gz.  Only NIBRS_Data is needed to create a new instance of the NIBRS relational database.